JP4361665B2 - 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 - Google Patents
動画像符号化データのトランスコーディング方法およびトランスコーディング装置 Download PDFInfo
- Publication number
- JP4361665B2 JP4361665B2 JP2000178964A JP2000178964A JP4361665B2 JP 4361665 B2 JP4361665 B2 JP 4361665B2 JP 2000178964 A JP2000178964 A JP 2000178964A JP 2000178964 A JP2000178964 A JP 2000178964A JP 4361665 B2 JP4361665 B2 JP 4361665B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion information
- encoded
- inter
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ある符号化アルゴリズムにより生成された動画像符号化データを異なる符号化アルゴリズムに対応した動画像符号化データに変換するトランスコーディング方法およびトランスコーデイング装置に係り、特に画像の縮小機能を含んだトランスコーディング方法およびトランスコーデイング装置に関する。
【０００２】
【従来の技術】
文字、図形、音声、映像などの異なる情報をデジタルデータで表現し、これらのメディアを統合して一元的に取り扱うマルチメディアが近年注目を浴びている。このマルチメディアに対応するオーディオ・ビデオ符号化方式として、ＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Experts Group）２等があり、これらに準拠した動画像符号化伝送システムが各種提供されている。
【０００３】
例えばＭＰＥＧ２に準拠した動画像符号化伝送システムにおいて、送信装置では、所定個数のフレームからなるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）を単位として動画像の符号化が行われる。このＧＯＰは、少なくとも１枚のＩ（Ｉｎｔｒａ）フレームと、これに続く複数のＰ（Ｐｒｅｄｉｃｔｉｖｅ）フレームとにより構成されている。そして、Ｉフレームについては、フレーム内の画素データのみを使用して、他のフレームとは独立して符号化（フレーム内符号化）が行われる。また、Ｐフレームについては、時間的に前に存在するフレームとの相関性を利用するフレーム間予測符号化が行われる。
【０００４】
Ｉフレームに対応した符号化データは、当該フレームを分割した複数のブロック（８×８画素）を各々フレーム内符号化したデータを含んでいる。また、一般にＰフレームに対応した符号化データは、当該フレームを分割した複数のブロックの各々について、当該ブロックに対応した画像と当該ブロックのフレーム間予測符号化のために参照された他のフレームの中の当該ブロックに近似した参照画像との差分のＤＣＴ（Discrete Cosine Transform；離散コサイン変換）係数を含んでいる。また、Ｐフレームに対応した符号化データは、この他に、各マクロブロック（２×２ブロック＝１６×１６画素）毎に、当該マクロブロックとその参照画像との間の動きを表す動き情報を各々含んでいる。しかしながら、これらのＤＣＴ係数や動き情報は、各々を表現するための符号量が少なくて済むので、フレーム間予測符号化データは、フレーム内符号化データに比べて符号量が著しく小さい。
【０００５】
このようにＭＰＥＧ２方式によれば、僅かなフレーム数のフレーム内符号化データと多数のフレーム間予測符号化データを伝送するので、動画像全体を表す符号量が少なくて済み、リアルタイムに動画像を伝送し、受信側においてリアルタイムに動画像を復号することができる。
【０００６】
さて、最近では、様々な通信システムにおいて動画像の符号化伝送が検討されるようになってきている。このため、ある伝送レートでの伝送を想定して動画像の符号化データが生成されたが、この符号化データを当初の予定とは異なった伝送レートで伝送しなければならないようなことが起こりうる。
【０００７】
このような場合、ピクチャグループ当たりの符号化データのデータレートを減少させることが求められる。このための技術として、符号化方式を変換するトランスコーディングがある。最近では、単に符号化方式を変換するだけではなく、様々な付加機能がトランスコーディングに求められるようになってきている。その付加機能の１つに、伝送画像の縮小機能がある。
【０００８】
図１３は、この画像縮小機能を持った従来のトランスコーディング装置の構成を示すブロック図である。同図に示すように、従来のトランスコーディング装置は、復号器１００と、符号化器２００と、これらの間に介挿されたフィルタ３０１および画像縮小部３０２とにより構成されている。
【０００９】
ここで、復号器１００は、逆多重化装置１０１と、可変長復号器１０２および１０３と、逆量子化器１０４と、逆ＤＣＴ部１０５と、加算器１０６と、動き補償部１０７とを有している。また、符号化器２００は、減算器２０１と、ＤＣＴ部２０２と、量子化器２０３と、逆量子化器２０４と、逆ＤＣＴ部２０５と、加算器２０６と、動き予測および補償部２０７と、可変長符号化器２０８および２０９と、多重化装置２１０とを有している。
【００１０】
このトランスコーディング装置では、第１の符号化方法により生成された符号化データが復号器１００によって復号される。その動作は概略次の通りである。
【００１１】
まず、図示しない送信ノードから例えばＩフレームのフレーム内符号化データが送られてくると、このフレーム内符号化データは、逆多重化装置１０１に入力される。このフレーム内符号化データは、他のフレームを参照することなく符号化されているため、動き情報を含んでおらず、Ｉフレームの各ブロックのＤＣＴ係数の可変長符号化データのみを含んでいる。そして、各ブロックのＤＣＴ係数の可変長符号化データは、逆多重化器１０１から出力され、可変長復号器１０２および逆量子化器１０４による各処理を経て、各ブロックのＤＣＴ係数に戻される。そして、逆ＤＣＴ部１０５により、各ブロックのＤＣＴ係数に対して逆ＤＣＴが施され、各ブロックに対応した画像データが復元される。このＩフレームの各ブロックの画像データは、加算器１０６を介して、フィルタ３０１へ出力されるとともに、動き補償部１０７内の図示しないフレームメモリに格納される。
【００１２】
次に、図示しない送信ノードから上記Ｉフレームを参照して得られたＰフレームのフレーム間予測符号化データが送られたとする。このフレーム間予測符号化データは、Ｐフレームの各マクロブロックについて、当該マクロブロックに近似した上記Ｉフレーム内の参照画像と当該マクロブロックとの間の移動ベクトルを表す動き情報の可変長符号化データを含んでいる。さらにこのフレーム間予測符号化データは、Ｐフレームの各ブロックについて、当該ブロックとその参照画像との差分画像のＤＣＴ係数の可変長符号化データを含んでいる。
【００１３】
これらのうち動き情報の可変長符号化データは、逆多重化装置１０１から可変長復号器１０３に送られ、可変長復号後、動き補償部１０７に送られる。動き補償部１０７は、このようにして各マクロブロックに対応した動き情報を受け取る毎に、当該マクロブロックの占有領域を当該動き情報に従って平行移動させた参照画像の占有領域を求め、フレームメモリ内のＩフレームの画像データのうちこの参照画像に対応したものを読み出して加算器１０６に送る。
【００１４】
一方、差分画像のＤＣＴ係数の可変長符号化データは、可変長復号器１０２、逆量子化器１０４および逆ＤＣＴ部１０５の各処理を経て、差分画像の画像データとされる。そして、このようにして得られるＰフレームの各ブロックに対応した差分画像の画像データは、加算器１０６によって、当該ブロックの参照画像の画像データと加算される。この結果、加算器１０６からＰフレームの各ブロックの画像データが出力され、このＰフレームの画像データは、フィルタ３０１へ出力されるとともに、動き補償部１０７内のフレームメモリに格納される。
【００１５】
その後、このＰフレームを参照した後続フレームのフレーム間予測符号化データが送信ノードから送られてきたときは、以上説明したと同様、フレームメモリ内のＰフレームの画像データを参照画像として、当該フレーム間予測符号化データの復号が行われる。
【００１６】
このようにして復号器１００により各フレームの画像データが順次復号される。そして、画像の縮小を行う場合には、これらの画像データに対し、フィルタ３０１による高域周波数成分除去処理および画像縮小部３０２による画像縮小処理が施され、縮小画像の画像データが得られる。ここで、画像縮小処理では、例えば画像を１／４に縮小するとした場合、画像を構成する各画素に対応したデータを、縦方向および横方向の各々について、２画素に１画素の割合で間引く。高域周波数除去処理は、このような間引きによって縮小画像に折り返し雑音が生じるのを防ぐため、復号画像における高周波領域の成分を予め除去する処理である。
【００１７】
縮小画像の画像データは、符号化器２００により第２の符号化方法に従って符号化される。その動作は概略次の通りである。
【００１８】
符号化器２００は、画像縮小部３０２から順次出力される画像データを全て符号化するのではなく、例えば数フレームに１フレームの割合で間引き、この間引き後の各フレームの画像データの符号化を行う。
【００１９】
この間引きを経た各フレームのうちＩフレームとすべきフレーム（以下、単にＩフレームという）の画像データが減算器２０１に与えられると、この画像データは減算器２０１を介してＤＣＴ部２０２に送られる。そして、ＤＣＴ部２０２では、この画像データがブロック単位に分割され、各ブロックについてＤＣＴが施される。この結果得られる各ブロックのＤＣＴ係数は、量子化器２０３によって量子化された後、可変長符号化器２０８によって可変長符号化され、多重化装置２１０を介して、図示しない受信ノードへ送信される。
【００２０】
一方、量子化器２０３の出力データは、逆量子化器２０４および逆ＤＣＴ部２０５の各処理を経る。この結果、Ｉフレームの各ブロックの画像データが逆ＤＣＴ部２０５から得られ、このＩフレームの画像データは、動き予測および補償部２０７内の図示しないフレームメモリに格納される。
【００２１】
その後、間引き後の各フレームのうちこのＩフレームを参照したＰフレームとすべきフレーム（以下、単にＰフレームという）の画像データが減算器２０１に与えられたとする。このとき動き予測および補償部２０７は、減算器２０１に与えられるＰフレームの各マクロブロックに対応した画像データについて、当該画像データと近似した参照画像の画像データをフレームメモリ内のＩフレームの画像データの中から探索する。このとき動き予測および補償部２０７は、Ｐフレームの各マクロブロックと、この探索により得られた各マクロブロックに対応した参照画像との間の移動ベクトルを表す動き情報を生成する。そして、動き予測および補償部２０７は、探索により得られたＰフレームの各マクロブロックの参照画像の画像データを減算器２０１に供給する。また、各マクロブロックに対応した動き情報は、可変長符号化器２０９によって可変長符号化され、多重化装置２１０に送られる。
【００２２】
減算器２０１では、Ｐフレームの各マクロブロックの画像データから各々に対応した参照画像の画像データが差し引かれ、各マクロブロック毎に差分画像の画像データが出力される。
【００２３】
この各マクロブロックに対応した差分画像の画像データは、ＤＣＴ部２０２によってブロック単位でＤＣＴが施され、この結果得られる各ブロックに対応したＤＣＴ係数は量子化器２０３によって量子化される。そして、量子化器２０３の出力データは、可変長符号化器２０８によって可変長符号化され、多重化装置２１０に供給される。
【００２４】
そして、多重化装置２１０では、可変長符号化器２０９から送られてくる各マクロブロックの動き情報の可変長符号化データと、可変長符号化器２０８から送られてくる各ブロックに対応した差分画像のＤＣＴ係数の可変長符号化データとが多重化され、受信ノードに送信される。
【００２５】
一方、量子化器２０３の出力データは、逆量子化器２０４および逆ＤＣＴ部２０５の各処理を経る。この結果、減算器２０１の出力データに相当するデータ、すなわち、Ｐフレームの各ブロックとこれに対応する参照画像との差分画像の画像データが逆ＤＣＴ部２０５から加算器２０６に出力される。
【００２６】
動き予測および補償部２０７は、各マクロブロックに対応した差分画像の画像データが加算器２０６に与えられるのに合わせ、当該マクロブロックについて生成した動き情報に基づき、当該マクロブロックに対応した参照画像の占有領域を求め、フレームメモリ内のＩフレームの画像データのうちこの参照画像に対応したものを読み出して加算器２０６に送る。
【００２７】
加算器２０６では、Ｐフレームの各ブロックに対応した差分画像の画像データに対し、このようにして動き予測および補償部２０７から送られてくる当該ブロックに対応した参照画像の画像データが加算され、元のＰフレームの画像データが出力される。このＰフレームの画像データは、動き予測および補償部２０７内のフレームメモリに格納される。
【００２８】
その後、間引き後の各フレームのうちこのＰフレームを参照したＰフレームとすべきフレームの画像データが減算器２０１に与えられた場合も、以上と同様であり、動き予測および補償部２０７のフレームメモリ内のＰフレームの画像データを参照して、当該フレームのフレーム間予測符号化が行われる。
以上のようにして、画像の縮小および第１の符号化方式から第２の符号化方式への変換が行われるのである。
【００２９】
【発明が解決しようとする課題】
ところで、上述した従来のトランスコーディング装置では、符号化データから元の画像を復号し、この画像を縮小してから再符号化することによりデータレートの異なった縮小画像の符号化データを生成するので、演算量が多く、非効率的である。特に再符号化の際に行われる動き情報の探索の演算量は、全演算量の約８割を占めており、この演算量を減少させることが従来から望まれていた。
【００３０】
この発明は以上説明した事情に鑑みてなされたものであり、再符号化の際の動き情報の探索が不要であり、元の画像の符号化データを効率的に他の符号化アルゴリズムに対応した縮小画像の符号化データに変換することができるトランスコーディング方法およびトランスコーディング装置を提供することを目的としている。
【００３１】
【課題を解決するための手段】
この発明に係るトランスコーディング方法は、
フレーム内符号化アルゴリズムと動き補償を伴ったフレーム間予測符号化アルゴリズムとを含む第１符号化アルゴリズムにより動画像を表す複数のフレームから生成された符号化データを、第２符号化アルゴリズムに対応した符号化データに変換するトランスコーディング方法において、
前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前後に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化されたフレーム間予測符号化フレームとを含み、
且つ、それぞれの前記フレームは複数のブロックから構成されており、
前記フレーム間予測符号化フレームのブロックの各々に対応する前記動き補償のための動き情報から、前記動画像を縮小したときの動き情報を生成する縮小画像用動き情報算出過程と、
前記縮小画像用動き情報算出過程により得られた動き情報から、前記第２符号化アルゴリズムに対応した動き情報を推定する動き情報推定過程であって、
前記フレーム間予測符号化フレームにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されたブロックに対応する動き情報に基づいて、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定し、
前記フレーム間予測符号化フレームにおいて、時間的に後に存在する第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報から、当該第１参照フレームにおいて当該ブロックに対応する第１参照ブロックを求め、当該第１参照フレームにおける各ブロックのうち、前記第１参照ブロックに重複している部分の面積が最も大きいブロックであって、且つ、時間的に前に存在する第２参照フレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報と、前記フレーム間予測符号化フレームにおいて前記第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報との和を、前記第２符号化アルゴリズムに対応した動き情報として推定する動き情報推定過程と、
前記縮小画像用動き情報算出過程において算出された縮小画像に対応した動き情報を用いて、前記フレーム間予測符号化アルゴリズムにより生成された符号化データから当該符号化データに対応した画像の縮小画像の画像データを生成する縮小画像データ算出過程と、
前記縮小画像データ算出過程において得られた画像データから前記第２符号化アルゴリズムに対応した符号化データを生成する過程であって、前記動き情報推定過程において算出された動き情報を用いて動き補償を行い、フレーム間予測符号化による符号化データを生成する再符号化過程と
を具備することを特徴としている。
また、本発明は、フレーム内符号化アルゴリズムと動き補償を伴ったフレーム間予測符号化アルゴリズムとを含む第１符号化アルゴリズムにより動画像を表す複数のフレームから生成された符号化データを、第２符号化アルゴリズムに対応した符号化データに変換するトランスコーディング装置において、
前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前後に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化されたフレーム間予測符号化フレームとを含み、
且つ、それぞれの前記フレームは複数のブロックから構成されており、
前記フレーム間予測符号化フレームのブロックの各々に対応する前記動き補償のための動き情報から、前記動画像を縮小したときの動き情報を生成する縮小画像用動き情報算出手段と、
前記縮小画像用動き情報算出手段により得られた動き情報から、前記第２符号化アルゴリズムに対応した動き情報を推定する動き情報推定手段であって、
前記フレーム間予測符号化フレームにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されたブロックに対応する動き情報に基づいて、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定し、
前記フレーム間予測符号化フレームにおいて、時間的に後に存在する第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報から、当該第１参照フレームにおいて当該ブロックに対応する第１参照ブロックを求め、当該第１参照フレームにおける各ブロックのうち、前記第１参照ブロックに重複している部分の面積が最も大きいブロックであって、且つ、時間的に前に存在する第２参照フレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報と、前記フレーム間予測符号化フレームにおいて前記第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報との和を、前記第２符号化アルゴリズムに対応した動き情報として推定する動き情報推定手段と、
前記縮小画像用動き情報算出手段において算出された縮小画像に対応した動き情報を用いて、前記フレーム間予測符号化アルゴリズムにより生成された符号化データから当該符号化データに対応した画像の縮小画像の画像データを生成する縮小画像データ算出手段と、
前記縮小画像データ算出手段において得られた画像データから前記第２符号化アルゴリズムに対応した符号化データを生成する手段であって、前記動き情報推定手段において算出された動き情報を用いて動き補償を行い、フレーム間予測符号化による符号化データを生成する再符号化手段と
を具備することを特徴としている。
【００３２】
【発明の実施の形態】
以下、図面を参照し、本発明の一実施形態について説明する。
Ａ．本発明の対象となるトランスコーディング
本発明は、画像の縮小を行いながら、ある符号化アルゴリズム（第１符号化アルゴリズム）に対応した符号化データを別の符号化アルゴリズム（第２符号化アルゴリズム）に対応した符号化データに変換するトランスコーディングに関するものである。図１（ａ）〜（ｃ）は本発明の対象となるトランスコーディングの例を示す図である。
【００３３】
まず、図１（ａ）に示す例では、画像の縮小を行いながら、Ｉフレームと２個のＢフレームとＰフレームとからなるピクチャグループに対応した符号化データを、Ｉフレームと３個のＰフレームとからなるピクチャグループに対応した符号化データに変換するトランスコーディングを行っている。
【００３４】
この例において、トランスコーディング前のＢフレームに対応した符号化データは、その前のＩフレームの画像データとその後のＰフレームの画像データとを参照することにより生成されており、Ｉフレームとの間で動き補償（順方向予測）を行うための動き情報とＰフレームとの間で動き補償（逆方向予測）を行うための動き情報を含んでいる。
【００３５】
次に図１（ｂ）に示す例では、上記図１（ａ）に示す例において、画像の縮小を行いながら、２個のＢフレームのうち後の方のＢフレームに対応した符号化データを間引き、Ｉフレームの直後のＢフレームに対応した符号化データをＩフレームのみを参照したＰフレームの符号化データに変換し、このＰフレームを参照した内容となるようにピクチャグループ内の最後のＰフレームに対応した符号化データの変換を行う。
【００３６】
次に図１（ｃ）に示す例では、Ｉフレームと３個のＰフレームからなるピクチャグループに対応した符号化データが与えられた場合において、画像の縮小を行いながら、３個のＰフレームのうち１個を間引き、Ｉフレームと２個のＰフレームからなるピクチャグループに対応した符号化データに変換する。
【００３７】
Ｂ．本実施形態に係るトランスコーディング方法
図２はこの発明の一実施形態に係るトランスコーディング方法の原理を示す図である。この図に従って本実施形態に係るトランスコーディング方法の原理について説明すると次の通りである。
ステップａ：第１符号化アルゴリズムに対応した符号化データから各マクロブロックに対応したＤＣＴ係数行列を取り出し、各ＤＣＴ係数行列に対し、フィルタ処理と画素間引き処理に相当する演算を含んだ特殊な逆ＤＣＴを施し、縮小画像の画像データを復号する。
ステップｂ：第１符号化方式の符号化データに含まれる動き情報に対して、画像の縮小率に応じた比例縮小処理を施して縮小画像に対応した動き情報を生成する。
ステップｃ：第２符号化アルゴリズムに従って縮小画像のフレーム間予測符号化を行ったときに得られるであろう動き情報をステップｂにおいて生成された動き情報から推定する。
ステップｄ：ステップａにおいて得られた縮小画像の画像データについて、必要に応じてフレーム間引きを行い、動き予測を行うことなく、上記ｃにより得られた動き情報を用いて、第２符号化アルゴリズムによる再符号化を行う。
【００３８】
図３（ａ）〜（ｃ）は、前掲図１（ａ）の場合を例に、本実施形態に係るトランスコーディング方法を説明する図である。
この例では、Ｉフレームと２個のＢフレームとＰフレームとからなるピクチャグループに対応した符号化データを、画像の縮小を行いながら、Ｉフレームと３個のＰフレームとからなるピクチャグループに対応した符号化データにトランスコーディングする。図３（ａ）には、トランスコーディング前のＧＯＰが示されている。
【００３９】
ここで、Ｉフレームを構成する各ブロックに対応した符号化データは、当該ブロック内の画像に対応したＤＣＴ係数行列を含んでいる。また、ＢフレームやＰフレームに対応した符号化データは、各ブロックとこれに対応した参照フレーム中の参照画像との差分画像に対応したＤＣＴ係数行列と、各マクロブロックとその参照画像との間の移動ベクトルを示す動き情報とを含んでいる。
【００４０】
本実施形態では、上記各ＤＣＴ係数行列に対して、上述した特殊な逆ＤＣＴを施し、上記各フレーム毎に、縮小画像の画像データを生成する（上記ステップａ）。
また、本実施形態では、上記各動き情報を画像の縮小率に応じて比例縮小し、縮小画像に対応した動き情報を生成する（上記ステップｂ）。
この結果、図３（ｂ）に示すように、Ｉフレーム、２個のＢフレーム、Ｐフレームの各画像を縮小した画像データと、２個のＢフレームおよびＰフレームが元々持っていた各動き情報を比例縮小した各動き情報が得られる。
【００４１】
そして、本実施形態では、このようにして得られた縮小画像の画像データ（図３（ｂ）上段）が再符号化の対象となる。ここで、一般的な再符号化では、フレーム間予測符号化の際に各マクロブロックに対応した参照画像を参照フレームの中から探索する動き予測を行う。しかし、本実施形態では、この動き予測を行わず、上記ステップｂにおいて得られた動き情報を利用する。ただし、この動き情報は、図３（ａ）に示すＧＯＰの構成に対応した内容であるため、そのままではトランスコーディング後のＧＯＰ（図１（ａ）下段）に対応した動き情報として使用することができない。そこで、本実施形態では、各フレーム間の参照関係をトランスコーディング後の状態としたときの動き情報を上記ステップｂにおいて得られた各動き情報から推定する（ステップｃ）。
【００４２】
この結果、図３（ｃ）に示すように、トランスコーデイング後のＧＯＰにおけるＩフレームおよび３個のＰフレームに対応した縮小画像の画像データと、トランスコーディング後のＧＯＰに対応した各動き情報とが得られる。そして、このようにして得られた縮小画像の画像データと、動き情報とを用いて、動き予測を行うことなく再符号化を行う（ステップｄ）。
以上が本実施形態に係るトランスコーディング方法の概略である。なお、本実施形態に係るトランスコーディング方法については、以下説明する本実施形態に係るトランスコーディング装置の構成および動作を参照することによりさらに理解が深まるであろう。
【００４３】
Ｃ．本実施形態に係るトランスコーディング装置の構成
図４は、この発明の一実施形態であるトランスコーディング装置の構成を示すブロック図である。図４に示すように、このトランスコーディング装置は、第１符号化アルゴリズムに対応した符号化データの復号を行う復号器１００Ａと、第２符号化アルゴリズムに従って画像データの符号化を行う符号化器２００Ａと、動き情報推定部４００とを有している。
【００４４】
これらのうち復号器１００Ａは、前掲図１３の復号器１００における逆ＤＣＴ部１０５を特殊逆ＤＣＴ部１２１に置き換え、かつ、可変長復号器１０３の後段に比例縮小部１０３を追加した構成となっている。これらの要素以外の各要素については前掲図１３に示すものと同一であるので、各々に前掲図１３と共通の符号を付けて説明を省略する。
【００４５】
ここで、特殊逆ＤＣＴ部１２１は、逆多重化装置１０１、可変長復号器１０２および逆量子化器１０４を介して供給される符号化データ中の各マクロブロックに対応したＤＣＴ係数行列に対して、上述したフィルタ処理と画素間引き処理とを含んだ特殊な逆ＤＣＴ処理を施し、縮小画像の画像データを生成する装置である。なお、この特殊逆ＤＣＴの演算内容については説明の重複を避けるため、本実施形態の動作とともに説明する。
【００４６】
比例縮小部１２２は、逆量子化装置１０１および可変長復号器１０３を介して供給される符号化データ中の各マクロブロックに対応した動き情報に対して、画像の縮小率に応じて比例縮小処理を施し、縮小画像のマクロブロックに対応した動き情報を生成する装置である。ここで、比例縮小処理について詳述すると次の通りである。
【００４７】
まず、本実施形態において言うところの縮小率は、縮小後の画像の面積と縮小前の画像の比である。また、動き情報は、ＸＹ直交座標系にフレームを配置した場合におけるマクロブロックと参照画像との間の移動ベクトルのＸ方向成分とＹ方向成分とにより構成されている。
【００４８】
そこで、本実施形態における比例縮小処理では、縮小率をｒとした、各動き情報におけるＸ方向成分およびＹ方向成分に√ｒを各々乗じて、縮小後の画像に対応した動き情報の各成分を求める。すなわち、縮小率が例えば１／４である場合、各動き情報におけるＸ方向成分およびＹ方向成分に１／２を各々乗じ、縮小率が例えば１／９である場合には、各成分に１／３を各々乗じるのである。
【００４９】
動き情報推定部４００は、仮に符号化器２００Ａにおいて動き予測を伴った第２符号化アルゴリズムに対応したフレーム間予測符号化を行ったとすれば得られるであろう動き情報を、比例縮小部１２２により得られる縮小画像用の動き情報から推定する装置である。
【００５０】
符号化器２００Ａは、前掲図１３の符号化器２００における動き予測および補償部２０７を動き補償部２２１に置き換えた構成となっている。この動き補償部２２１は、動き予測を行うことなく、動き情報推定部４００から供給される動き情報を用いて、フレーム間予測符号化のための動き補償を行う。この動き補償部２２１以外の各要素については前掲図１３に示すものと同一であるので、各々に前掲図１３と共通の符号を付けて説明を省略する。
【００５１】
Ｄ．本実施形態に係るトランスコーディング装置の動作
以下、１／４の縮小率で図１（ａ）に示すトランスコーディングを行う場合を例に挙げ、本実施形態の動作について説明する。
【００５２】
第１符号化アルゴリズムに対応した符号化データ（図１（ａ）上段）は、符号化器１００Ａにおける符号化器１００Ａの逆多重化装置１０１に順次入力される。ここで、図１（ａ）上段のＩフレームに対応した符号化データは、Ｉフレームを構成するブロック毎にフレーム内符号化により得られたＤＣＴ係数行列の可変長符号化データを含んでいる。また、図１（ａ）上段のＢフレームまたはＰフレームに対応した各符号化データは、当該フレームを構成するブロック（８×８画素）毎にフレーム間符号予測化により得られた差分画像のＤＣＴ係数行列の可変長符号化データを含むとともに、当該フレームを構成するマクロブロック（１６×１６画素）毎に動き情報の可変長符号化データとを含んでいる。
【００５３】
これらの各フレームの符号化データのうちＤＣＴ係数行列の可変長符号化データは、逆多重化装置１０１によって可変長復号器１０２に送られ、可変長復号器１０２および逆量子化器１０４による処理を経ることにより、フレーム内符号化またはフレーム間予測符号化により得られた各マクロブロック内の各ブロックに対応したＤＣＴ係数行列に戻される。
【００５４】
このＤＣＴ係数行列は、当該フレームがＩフレームである場合には各ブロックの画像に対してＤＣＴを施すことにより得られたＤＣＴ係数行列であり、当該フレームがＢフレームまたはＰフレームであるときは、当該ブロックとその参照画像との差分画像に対してＤＣＴを施すことにより得られたＤＣＴ係数行列である。そして、特殊逆ＤＣＴ部１２１では、各ブロック毎に、当該ブロックに対応したＤＣＴ係数行列に対し、フィルタ処理および画素間引き処理を含んだ特殊な逆ＤＣＴが施される。
【００５５】
以下、この特殊な逆ＤＣＴについて説明する。
まず、一般的な逆ＤＣＴは、次式により与えられる。
【数１】
上記式において、Ｆは、逆量子化器１０４から供給された１つのブロックに対応したＤＣＴ係数行列であり、次式により与えられる。
【数２】
また、上記数１の式において、Ｃは、逆ＤＣＴ用係数行列であり、この行列を構成する要素である係数Ｃijは、次式により与えられる。
【数３】
そして、上記数１の式において、ｆは逆ＤＣＴにより得られる１ブロック（８×８画素）の画素データの行列である。
【００５６】
ここで、１／４の縮小率で画像の縮小を行う場合には、上記数１により得られる行列ｆにおいて、例えば奇数であるインデックスｉに対応した要素および例えば奇数であるインデックスｊに対応した要素を間引けばよい。
しかし、この画素の間引きを行うと、折り返し雑音が発生する場合がある。
そこで、この折り返し雑音の発生を防止するため、ＤＣＴ係数行列における高周波領域に対応した各係数を０に置き換え、次のＤＣＴ係数行列Ｆ’を作成する。
【数４】
【００５７】
次に、このＤＣＴ係数行列Ｆ’に対する逆ＤＣＴを次式に従って行う。
【数５】
この結果、次式に示す１ブロック（８×８画素）分の画素データの行列ｆａが得られる。
【数６】
【００５８】
次に、このようにして得られる画素データの行列ｆａからインデックスｉが奇数である要素（画素データ）およびインデックスｊが奇数である要素（画素データ）を間引き、１／４縮小画像を表す以下の画素データ行列ｆｂを作成する。
【数７】
【００５９】
以上説明した数４〜数７の各演算を行うことにより１／４縮小画像の画素データ行列ｆｂを得ることができるが、これでは演算量が多く、処理時間は長くなってしまう。
そこで、本実施形態では、次の数８の行列演算を行う。
【数８】
この行列演算を実行することにより、上記数４〜数７を順次実行した場合と全く同じ４×４画素の画素データ行列ｆｂが得られる。
以上が特殊逆ＤＣＴ部１２１において行われる特殊逆ＤＣＴの処理内容である。
【００６０】
なお、以上の説明では、１ブロック（８×８画素）分の画素データの行列の中からインデックスｉおよびｊがいずれも偶数である要素（画素データ）を選択して縮小画像の画素データ行列を生成する場合の例を挙げたが、要素の選択方法はこれに限定されない。
【００６１】
例えば１ブロック（８×８画素）分の画素データの行列の中から、インデックスｉが偶数であり、かつ、インデックスｊが奇数である要素のみを選択して下記のような縮小画像の画素データ行列ｆｂを生成することも可能である。
【数９】
この画素データ行列ｆｂを得るためには、次式の行列演算を行えばよい。
【数１０】
【００６２】
また、１ブロック（８×８画素）分の画素データの行列の中から、インデックスｉが奇数であり、かつ、インデックスｊが偶数である要素のみを選択して下記のような縮小画像の画素データ行列ｆｂを生成することも可能である。
【数１１】
この画素データ行列ｆｂを得るためには、次式の行列演算を行えばよい。
【数１２】
【００６３】
さらに１ブロック（８×８画素）分の画素データの行列の中から、インデックスｉおよびｊがいずれも奇数である要素のみを選択して下記のような縮小画像の画素データ行列ｆｂを生成することも可能である。
【数１３】
この画素データ行列ｆｂを得るためには、次式の行列演算を行えばよい。
【数１４】
【００６４】
また、以上説明した４種類の縮小画像の画素データ行列を全て求め、各行列要素毎に、これらの４種類の画素データ行列間の平均値を求め、これらの平均値を縮小画像の画素データ行列の各行列要素としてもよい。すなわち、縮小画像の画素データ行列のインデックスｉおよびｊに対応した行列要素をｆｉｊとした場合、この行列要素ｆｉｊを次式により求めるのである。
【数１５】
【００６５】
上記式において、ｆｉｊ−ｋ（ｋ＝０〜３）は、各々、数８、数１０、数１２および数１４により各々求められる上記４種類の縮小画像の画素データ行列の行列要素である。
【００６６】
特殊逆ＤＣＴ部１２１では、このような特殊逆ＤＣＴがフレームを構成する各ブロックに対応したＤＣＴ係数行列について実施され、１／４縮小画像を構成する各ブロックに対応した画素データ行列が得られる。そして、これらの各ブロックを４ブロック（行方向２ブロック、列方向２ブロック）ずつ用いて、縮小画像を構成する複数のブロック（８×８画素）が構成される。
【００６７】
一方、符号化器１００Ａに入力される各フレームの符号化データのうち動き情報の可変長符号化データは、逆多重化装置１０１によって可変長復号器１０３に送られ、この可変長復号器１０３による処理を経ることにより、元の各マクロブロックに対応した動き情報に戻される。
【００６８】
そして、比例縮小部１２２では、この各マクロブロックに対応した動き情報のＸ方向成分およびＹ方向成分に対し、画像の縮小率に応じた係数、すなわち、√（１／４）＝１／２が乗算され、１／４縮小後の動き情報に変換される。
【００６９】
この１／４縮小後の動き情報は、縮小前の各マクロブロック毎に１個ずつ得られる。しかし、１／４縮小後は、上記の通り、マクロブロックを１／４に縮小したブロックを４個ずつまとめて１つのマクロブロックが構成される。従って、この縮小後のマクロブロック１個について、４個の動き情報が得られることになる。そこで、本実施形態では、縮小後のマクロブロックに含まれることとなる縮小前の４個のマクロブロックに対応した４個の動き情報を比例縮小するとともに、例えばこれらを平均化し、縮小後のマクロブロックに対応した動き情報とする。
以上が比例縮小部１２２における動作の詳細である。
【００７０】
次に、加算器１０６には、各フレームの符号化データから得られた縮小画像の各マクロブロックに対応した画像データが供給される。当該フレームがＩフレームである場合、このＩフレームの符号化データから得られた縮小後の各マクロブロックの画像データは、加算器１０６を介して動き補償部１０７に供給され、この動き補償部１０７内のフレームメモリに格納される。
【００７１】
一方、当該フレームがＢフレームやＰフレームのようなフレーム間予測符号化フレームである場合には、当該フレームの符号化データから得られた縮小後の各マクロブロックの画像データ（参照画像との差分の画像データ）が加算器１０６に供給されるのに合わせて、当該フレームの符号化データから得られた縮小後の各マクロブロックに対応した動き情報が比例縮小部１２２から動き補償部１０７に供給される。
【００７２】
動き補償部１０７では、この各マクロブロックに対応した動き情報から各マクロブロックのフレーム間予測符号化のために参照された参照画像の位置を各々求める。そして、フレームメモリ内の参照フレームの画像データの中から各マクロブロックの参照画像の画像データを選択して読み出し、加算器１０６に順次供給する。
【００７３】
ところで、本実施形態では比例縮小部１２２によって動き情報の縮小が行われるので、これにより縮小画像に対応した動き情報のＸ方向成分およびＹ方向成分が整数値ではなく、小数点以下の数値を含んだ実数値になる場合がある。かかる場合の対処方法としては、例えば次の方法がある。
【００７４】
方法１：動き情報のＸ方向成分およびＹ方向成分を丸めて整数値とし、参照画像の位置を求め、その画像データをフレームメモリから読み出す。
【００７５】
方法２：参照画像の画素値を補間演算により求める。
すなわち、動き情報のＸ方向成分およびＹ方向成分が小数点以下の数値がある場合、動き情報から求められる参照画像の各画素の位置が、参照フレームを構成する各マクロブロック中の各画素のいずれからもずれたものとなり、参照画像の画像データを得ることができなくなる。そこで、参照画素の各画素の画素値については、当該画素を囲む参照フレーム中の４つの画素の画素値から補間演算により算出し、参照画像の画像データとして加算器１０６に供給する。
なお、この方法２を採る場合には、符号化器２００Ａにおける動き補償部２２１においても同様な方法による動き補償を行うこととなる。
【００７６】
加算器１０６では、このようにして動き補償部１０７から供給される各マクロブロックの参照画像の画像データと特殊逆ＤＣＴ部１２１から供給される各マクロブロックに対応した差分画像の画像データとが加算される。この結果、縮小画像における各マクロブロックの画像データが加算器１０６から出力され、動き補償部１０７内のフレームメモリに格納される。この画像データは、その後、当該画像データを参照画像とするフレームの符号化データが符号化器２００Ａに入力されたときに、その復号のために参照される。
以上が復号器１００Ａにおける動作の詳細である。
【００７７】
次に、図５〜図７を参照し、動き情報推定部４００の動作について説明する。図５〜図７において、トランスコーディング前のＩフレームとＰフレームの間には２個のＢフレームが介挿されている。動き情報推定部４００は、これらのＢフレームを直前のフレームのみを参照したＰフレームとした場合の動き情報を推定する処理および最後のＰフレームを直前のＰフレーム（元々はＢフレームであったもの）のみを参照したＰフレームとした場合の動き情報を推定する処理を実行する。
【００７８】
＜Ｉフレームの直後のＢフレームに対応した処理＞
本実施形態では、このＢフレームに含まれる次の３種類のマクロブロックを取り扱う。
ａ．順方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
ｂ．双方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）を参照した動き情報と後フレーム（この例ではＰフレーム）を参照した動き情報とを符号化データに含むマクロブロック。
ｃ．逆方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、後フレーム（この例ではＰフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
なお、Ｉフレームの直後のものに限らず、２番目のＢフレームも同様である。
【００７９】
動き情報推定部４００は、Ｉフレームの直後のＢフレームに関し、３種類のマクロブロックａ〜ｃに対応したトランスコーディング後の動き情報を次のようにして算出する。
【００８０】
まず、このマクロブロックａについては、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）をそのままトランスコーディング後の動き情報とする。次に、マクロブロックｂについては、当該マクロブロックの符号化データから分離された動き情報のうち、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）のみをトランスコーディング後の動き情報とし、後フレームを参照した動き情報（逆方向）Ｖｂａｃｋｗａｒｄ（Ｂ）を廃棄する。
【００８１】
次に、マクロブロックｃについてであるが、このマクロブロックｃに対応した符号化データは、Ｐフレーム（第１参照フレーム）との間の動き補償のための動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）しか含んでおらず、トランスコーディング後の参照先であるＩフレーム（第２参照フレーム）との間の動き補償のための動き情報を含んでいない。一方、Ｐフレーム（第１参照フレーム）を構成する各マクロブロックの符号化データは、Ｉフレーム（第２参照フレーム）との間の動き補償のための動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を含んでいる。そこで、動き情報推定部４００は、動き情報Ｖｂａｃｋｗａｏｒｄ（Ｂ）およびＶｆｏｒｗａｒｄ（Ｐ）を用いた演算により、当該マクロブロックｃとＩフレーム（第２参照フレーム）との間の動き補償のための動き情報の予測値を求める。ここで、図８を参照し、この動き情報の予測値の算出方法の一例を説明する。
【００８２】
ステップ１：まず、処理対象であるマクロブロックｃの符号化データから分離された動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）を取得する。この動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）は、Ｐフレーム（第１参照フレーム）に含まれる当該処理対象マクロブロックｃに対応したマクロブロック（第１参照マクロブロック）から当該処理対象マクロブロックｃまでの動きに対応している。
ステップ２：上記動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）からＰフレーム（第１参照フレーム）における当該マクロブロックｃに対応した第１参照マクロブロックを求める。
ステップ３：Ｐフレーム（第１参照フレーム）における各マクロブロックのうち上記第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を求める。図８に示す例において第１参照マクロブロックは、マクロブロックｂ１〜ｂ４に跨っており、これらのうちマクロブロックｂ４と重複している部分の面積が最も広い。従って、このマクロブロックｂ４に対応した動き情報Ｖ４が動き情報Ｖｆｏｒｗａｒｄ（Ｐ）として選択されることとなる。
ステップ４：上記動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）およびＶｆｏｒｗａｒｄ（ｐ）から、下記式に従い、当該マクロブロックｃのトランスコーディング後の予測動き情報Ｖｆｏｒｗａｒｄ（Ｂ）を算出する。
【数１６】
以上がＩフレームの直後のＢフレームに対応したトランスコーディング後の動き情報の算出方法の詳細である。
【００８３】
＜２番目のＢフレームに対応した処理＞
次に図６を参照し、２番目のＢフレームに対応した処理を説明する。この２番目のＢフレームも、Ｉフレームの直後のＢフレームと同様、上記３種類のマクロブロックａ〜ｃを含んでいる。また、処理対象フレームである２番目のＢフレームとそのトランスコーディング前の参照先である第１参照フレーム（ＩフレームのＢフレーム）との時間差と、同処理対象フレームとそのトランスコーディング後の参照先である第２参照フレーム（Ｉフレームの直後のＢフレーム）との間差を比較すると、後者は前者の１／２である。そこで、動き情報推定部４００は、３種類のマクロブロックａ〜ｃに対応したトランスコーディング後の動き情報を次のような線形補間により算出する。
【００８４】
まず、このマクロブロックａについては、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）を取得し、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。次に、マクロブロックｂについては、当該マクロブロックの符号化データから分離された動き情報のうち、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）を取得し、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。
【００８５】
次に、マクロブロックｃについては、上述したＩフレームの直後のＢフレームの場合と同様な方法により、当該マクロブロックｃとＩフレーム（第２参照フレーム）における対応するマクロブロックとの間の動き補償のための予測動き情報Ｖｆｏｒｗａｒｄ（Ｂ）を求め、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。
【００８６】
以上が２番目のＢフレームに対応したトランスコーディング後の動き情報の算出方法の詳細である。画像の動きが比較的緩やかな場合には、このような線形補間によっても、動き情報探索によって得られるものに比較的近い動き情報の予測値が得られると考えられる。
【００８７】
＜最後のＰフレームに対応した処理＞
次に図７を参照し、最後のＰフレームに対応した処理を説明する。このＰフレームを構成する各マクロブロックは、全て先頭のＩフレーム（第１参照フレーム）を参照することにより符号化データが生成されている。
【００８８】
また、この処理対象フレームであるＰフレームとそのトランスコーディング前の参照先である第１参照フレーム（Ｉフレーム）との時間差と、同処理対象フレームとそのトランスコーディング後の参照先である第２参照フレーム（２番目のＢフレーム）との間差を比較すると、後者は前者の１／３である。
【００８９】
そこで、動き情報推定部４００は、この処理対象フレームにおけるトランスコーディング後の動き情報を次のような線形補間により算出する。すなわち、各マクロブロックについて、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｐ）を取得し、Ｖｆｏｒｗａｒｄ（Ｐ）／３をトランスコーディング後の動き情報とするのである。以上が最後のＰフレームに対応したトランスコーディング後の動き情報の推定方法の詳細である。
【００９０】
次に、符号化器２００Ａの動作について説明する。
符号化器２００Ａには、復号器１００Ａから出力された処理対象フレームの各マクロブロック（処理対象マクロブロック）の画像データと、動き情報推定部４００によって求められた各処理対象マクロブロックに対応した動き情報とが供給される。そして、符号化器２００Ａにおける動き補償部２２１は、動き情報推定部４００から受け取った各処理対象マクロブロックに対応した動き情報を用いて、各処理対象マクロブロックに対応した第２参照マクロブロックの位置を各々求める。そして、この各処理対象マクロブロックに対応した第２参照ブロックの画像データを図示しないフレームメモリから読み出して減算器２０１に送る。
【００９１】
減算器２１は、これらの各第２参照マクロブロックの画像データを各々に対応した処理対象マクロブロックの画像データから減算し、各々予測誤差として出力する。この予測誤差は、ＤＣＴ部２０２によってＤＣＴ係数に変換され、量子化器２０３によって量子化データとされる。この量子化データは、逆量子化器２０４および逆ＤＣＴ部２０５を介することにより予測誤差に戻される。加算器２０６は、動き補償部２２１から出力された第２参照マクロブロックの画像データとこの予測誤差とを加算し、処理対象マクロブロックに対応した画像データとしてフレームメモリに書き込む。
【００９２】
一方、量子化器２０３から出力された量子化データは、可変長符号化器２０８によって可変長符号とされる。また、動き情報推定４００からの動き情報は可変長符号化器２０９によって可変長符号とされる。これらの可変長符号は、多重化器２１０によって多重化され、処理対象フレームに対応したトランスコーディング後の符号化データとして出力される。
【００９３】
このように本実施形態によれば、第１符号化アルゴリズムに対応した符号化データを第２符号化アルゴリズムに対応した縮小画像の符号化データにトランスコーディングする場合において、符号化器２００Ａ側での動き情報探索は行われず、トランスコーディングの際の動き情報の探索のための演算量が大幅に削減されるので、縮小処理を伴うトランスコーディングの効率を著しく高めることができる。
【００９４】
Ｄ．他のトランスコーディングにおける動作例
以上説明した実施形態では、図１（ａ）に示すトランスコーディングを行う場合を例に挙げたが、ここでは他のトランスコーディングを行う場合の動作例を説明する。
【００９５】
まず、図９を参照し、図１（ｂ）に示すトランスコーディングを行う場合における動き情報推定部４００の動作を説明する。図９において、Ｉフレームの直後のＢフレームのトランスコーディング後の動き情報の算出方法は上記実施形態において説明した通りである。次に、図９における２番目のＢフレームは、トランスコーディングの際に間引かれる。
【００９６】
そして、ピクチャグループの最後のＰフレームのトランスコーディング後の動き情報は次のようにして求める。まず、図９に示すように、トランスコーディング前にＩフレームを参照フレームとしていたＰフレームは、トランスコーディング後、Ｉフレームの直後のＰフレーム（元はＢフレームであったもの）を参照したフレームとなる。ここで、ＩフレームとＰフレームとの間の時間差と、トランスコーディング前のＩフレームの直後のＰフレームと最後のＰフレームとの時間差とを比較すると、後者は前者の２／３となる。そこで、動き情報推定部４００は、最後のＰフレームの各マクロブロックに対応した動き情報Ｖ（Ｐ）を取得し、２Ｖ（Ｐ）／３をトランスコーディング後の動き情報とする。
【００９７】
次に、図１０を参照し、図１（ｃ）に示すトランスコーディングを行う場合における動き情報推定部４００の動作を説明する。図１０において、Ｉフレームの直後のＰフレームは、トランスコーディングの前後において参照先であるフレームに変化がない。従って、このＰフレームは、動き情報推定部４００の処理対象とならない。２番目のＰフレームは、トランスコーディングの際に間引かれる。従って、この２番目のＰフレームも動き情報推定部４００の処理対象とならない。
【００９８】
次に、ピクチャグループの最後のＰフレームは、トランスコーディング前の参照先である第１参照フレームは２番目のＰフレームであるが、トランスコーディング後の参照先である第２参照フレームはＩフレームの直後の１番目のＰフレームである。そこで、動き情報推定部４００は、処理対象フレームたる最後のＰフレームを構成する各処理対象マクロブロックについて、以下の手順により第２参照フレームと当該処理対象フレームとの間の動きに対応した動き情報の予測値Ｖｆｏｒｗａｒｄ（Ｐ）を算出する。
【００９９】
ステップ１：まず、最後のＰフレーム中の処理対象マクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を用いて、第１参照フレーム（２番目のＰフレーム）における当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【０１００】
ステップ２：次に第１参照フレームにおける各マクロブロックのうち上記第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を求め、この動き情報Ｖｆｏｒｗａｒｄ（Ｐ）と上記ステップ１において求めた動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を加算する。この結果、第２参照フレーム（１番目のＰフレーム）と当該処理対象フレームとの間の動きに対応した動き情報の予測値Ｖｆｏｒｗａｒｄ（Ｐ）が得られる。
以上が図１（ｂ）および（ｃ）に例示するようなフレームの間引きを伴うトランスコーディングを行う場合の動き情報推定部４００の動作である。他の部分の動作は上記実施形態と何等変わるところはない。
【０１０１】
Ｅ．動き情報推定部４００の動き情報算出アルゴリズムの例
動き情報推定部４００の動き情報の推定値の算出アルゴリズムとしては、既に図８を参照して説明したものの他、各種のアルゴリズムが考えられる。
【０１０２】
まず、図１１に示す動き情報算出アルゴリズムは、ＭＰＥＧ−４あるいはＨ．２６３のようなブロック毎に動き補償を行うことができる符号化データに好適な動き情報算出アルゴリズムである。このアルゴリズムでは、以下の手順により動き情報の算出を行う。
【０１０３】
ステップ１：まず、処理対象フレームにおける処理対象マクロブロックに対応した動き情報Ｖ０を求め、この動き情報Ｖ０から、第１参照フレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【０１０４】
ステップ２：次に、第１参照フレームにおいて第１参照マクロブロックを分割した各第１参照ブロック毎に、第１参照フレームにおける各マクロブロックのうち当該第１参照ブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報を求める。
【０１０５】
図１１の例では、左上の第１参照ブロックについては、左上のマクロブロックｂ１と重複している面積が最も広いので、この左上のマクロブロックｂ１に対応した動き情報Ｖ１が第１参照フレームの符号化データの中から選択されることとなる。また、右上の第１参照ブロックについては、右上のマクロブロックｂ２と重複している面積が最も広いので、この右上のマクロブロックｂ２に対応した動き情報Ｖ２が第１参照フレームの符号化データの中から選択されることとなる。また、左下の第１参照ブロックについては、左下のマクロブロックｂ３と重複している面積が最も広いので、この左下のマクロブロックｂ３に対応した動き情報Ｖ３が第１参照フレームの符号化データの中から選択されることとなる。最後に、右下の第１参照ブロックについては、右下のマクロブロックｂ４と重複している面積が最も広いので、この右下のマクロブロックｂ４に対応した動き情報Ｖ４が第１参照フレームの符号化データの中から選択されることとなる。
【０１０６】
ステップ３：上記ステップ１の動き情報Ｖ０とステップＳ２において各第１参照ブロック毎に選択した動き情報Ｖ１〜Ｖ４から、次の演算により、第２参照フレームから処理対象フレームにおける処理対象マクロブロックを分割した４個のブロックまでの動き情報Ｖ１ｎｅｗ〜Ｖ４ｎｅｗを求める。
【数１７】
【０１０７】
この動き情報の推定値の算出アルゴリズムによれば、処理対象マクロブロックを分割した各ブロックについて、参照画像との間の動き情報が得られるので、各ブロック毎に動き補償が可能な符号化方法に対して最適なトランスコーディングを行うことができる。
【０１０８】
次に、図１２に示す動き情報算出アルゴリズムでは、以下の手順により動き情報の算出を行う。
【０１０９】
ステップ１：まず、処理対象フレームの符号化データから処理対象マクロブロックに対応した動き情報Ｖ０を求め、この動き情報Ｖ０から、第１参照フレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【０１１０】
ステップ２：次に、第１参照フレームにおいて各マクロブロックのうち第１参照マクロブロックと重複しているマクロブロックｂ１〜ｂ４を求め、これらのマクロブロックｂ１〜ｂ４のうち第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報を求める。図１２（ａ）の例では、図示された４個のマクロブロックｂ１〜ｂ４のうち右下に図示されたマクロブロックｂ４と第１参照マクロブロックとの重複部分の面積が最も広いので、このマクロブロックｂ４に対応した動き情報Ｖ４が第１参照フレームの符号化データの中から選択されることとなる。
【０１１１】
ステップ３：次に、第１参照フレームにおいて、第１参照マクロブロックの中心からこの第１参照マクロブロックとの重複部分の面積が最も広いマクロブロックｂ４の中心までの動き情報ΔＶ４を求める（図１２（ｂ）参照）。
【０１１２】
ステップＳ４：上記ステップ１の動き情報Ｖ０と、ステップ２において求めた動き情報Ｖ４と、ステップ３において求めた動き情報ΔＶ４とから、次の演算により、第２参照レームから処理対象フレームにおける処理対象マクロブロックまでの動き情報Ｖｎｅｗを求める。
【数１８】
【０１１３】
Ｆ．他の実施形態
（１）上記実施形態では、画像の１／４縮小を伴うトランスコーディングを行う場合、縮小後のマクロブロックに含まれることとなる縮小前の４個のマクロブロックに対応した４個の動き情報を画像の縮小率に応じた比率で各々縮小し、この結果得られる４個の動き情報の平均値を当該縮小後のマクロブロックの動き情報とした。
【０１１４】
しかしながら、画像の１／４縮小を伴うトランスコーディングを行う場合において、トランスコーディング後の符号化方式がＭＰＥＧ−４やＨ．２６３などのようなブロック単位で動き補償を行う符号化方式である場合もある。
【０１１５】
かかる場合には、トランスコーディング前の１個のマクロブロックがトランスコーディング後は１個のブロックとなるので、トランスコーディング前の各マクロブロックに対応した動き情報を画像の縮小率に応じた比率で各々縮小したものを、トランスコーディング後の各ブロックの動き情報として用いればよい。
【０１１６】
（２）上記実施形態では、図４に示す復号器１００Ａの動き補償部１０７において、マクロブロック単位で動き補償を行った。しかし、復号器１００Ａ側での動き補償の方法はこれに限定されない。例えばトランスコーディング前の符号化データがマクロブロック単位で動き情報を有している場合、これらの動き情報の比例縮小を行うことにより、１／４縮小後の８×８画素の各ブロックに対応した動き情報を得ることができる。従って、復号器１００Ａの動き補償部１０７において、この８×８画素の各ブロックに対応した比例縮小後の動き情報を用いてブロック単位で動き補償を行うようにしてもよい。このようにすることで、精度の良い復号画像を復号器１００Ａから符号化器２００Ａに供給することができる。
【０１１７】
また、トランスコーディング前の符号化データが８×８画素のブロック単位で動き情報を有している場合、これらの動き情報の比例縮小を行うことにより、１／４縮小後の４×４画素の各ブロックに対応した動き情報を得ることができる。この場合には、復号器１００Ａの動き補償部１０７において、この４×４画素の各ブロックに対応した比例縮小後の動き情報を用いて４×４画素のブロック単位で動き補償を行うようにしてもよい。
【０１１８】
（３）上記実施形態では、画像を１／４の縮小率で縮小する場合を例に挙げたが、これはあくまでも一例であり、本発明はこれに限らず、任意の縮小率による画像の縮小に適用可能である。例えば画像を１／１６の縮小率で縮小する場合、例えば８×８画素のブロックに対して高域成分の除去を行いつつ２×２画素を取り出す操作が必要となるが、この操作は例えば次式に従って行えばよい。
【数１９】
【０１１９】
上記式において、Ｆ00、Ｆ01、Ｆ10、Ｆ11は、８×８のＤＣＴ係数行列から取り出された４個の低周波成分である。この例では、高域除去された８×８画素のブロックのうち（ｉ、ｊ）＝（０、０）、（０、４）、（４、０）、（４、４）の各行列要素からなる縮小画像の２×２画素の画素データ行列の要素ｆｉｊを求めている。
【０１２０】
上記式の代わりに、次式を用いてもよい。
【数２０】
この例では、高域除去された８×８画素のブロックのうち（ｉ、ｊ）＝（０、１）、（０、５）、（４、１）、（４、５）の各行列要素からなる縮小画像の画素データ行列（２×２画素）の要素ｆｉｊを求めている。
【０１２１】
以上２通りの例を示したが、高域除去された８×８画素のブロックの中から４個の行列要素を選択する選択方法は、全部で１６通りある。いずれの行列要素を選択する場合も、上記数１９または数２０と基本的に同じ演算により行列要素を算出することができる。なお、１６通りの選択方法のうちの１つに従って４個の行列要素を選択し、それらを算出する以外に、これらの選択方法のうちの幾つか（全部でも良い）に従って、４個の行列要素からなる行列を複数組求め、各行列要素毎に平均を取って、縮小画像の画素データ行列にしてもよい。
【０１２２】
（４）上記実施形態では、ＭＰＥＧ−２などのようにＧＯＰ単位で符号化を行う符号化アルゴリズムにより得られた符号化データのトランスコーディングを例に挙げたが、この発明の適用範囲はこれに限定されるものではない。本発明は、ＭＰＥＧ−４などのように、不定期なタイミングでＩフレ−ムを設ける符号化アルゴリズムにより得られた符号化データのトランスコーディングに適用してもよい。
【０１２３】
【発明の効果】
以上説明したように、本発明に係るトランスコーディング方法またはトランスコーディング装置によれば、画像の縮小を伴うトランスコーディングを少ない演算量で実行することができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の適用対象であるトランスコーディングの例を示す図である。
【図２】 この発明の一実施形態であるトランスコーディング方法を示す図である。
【図３】 同トランスコーディング方法を示す図である。
【図４】 この発明の一実施形態であるトランスコーディング装置の構成を示すブロック図である。
【図５】 同実施形態における動き情報の推定処理を示す図である。
【図６】 同実施形態における動き情報の推定処理を示す図である。
【図７】 同実施形態における動き情報の推定処理を示す図である。
【図８】 同実施形態における動き情報の推定値の算出アルゴリズムを説明する図である。
【図９】 同実施形態における動き情報の推定処理を示す図である。
【図１０】 同実施形態における動き情報の推定処理を示す図である。
【図１１】 同実施形態における動き情報の推定処理の他の例を示す図である。
【図１２】 同実施形態における動き情報の推定処理の他の例を示す図である。
【図１３】 従来のトランスコーディング装置の構成を示すブロック図である。
【符号の説明】
１００Ａ……復号器、２００Ａ……符号化器、４００……動き情報推定部、
１２１……特殊逆ＤＣＴ部、１２２……比例縮小部、２２１……動き補償部。
【発明の属する技術分野】
本発明は、ある符号化アルゴリズムにより生成された動画像符号化データを異なる符号化アルゴリズムに対応した動画像符号化データに変換するトランスコーディング方法およびトランスコーデイング装置に係り、特に画像の縮小機能を含んだトランスコーディング方法およびトランスコーデイング装置に関する。
【０００２】
【従来の技術】
文字、図形、音声、映像などの異なる情報をデジタルデータで表現し、これらのメディアを統合して一元的に取り扱うマルチメディアが近年注目を浴びている。このマルチメディアに対応するオーディオ・ビデオ符号化方式として、ＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Experts Group）２等があり、これらに準拠した動画像符号化伝送システムが各種提供されている。
【０００３】
例えばＭＰＥＧ２に準拠した動画像符号化伝送システムにおいて、送信装置では、所定個数のフレームからなるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）を単位として動画像の符号化が行われる。このＧＯＰは、少なくとも１枚のＩ（Ｉｎｔｒａ）フレームと、これに続く複数のＰ（Ｐｒｅｄｉｃｔｉｖｅ）フレームとにより構成されている。そして、Ｉフレームについては、フレーム内の画素データのみを使用して、他のフレームとは独立して符号化（フレーム内符号化）が行われる。また、Ｐフレームについては、時間的に前に存在するフレームとの相関性を利用するフレーム間予測符号化が行われる。
【０００４】
Ｉフレームに対応した符号化データは、当該フレームを分割した複数のブロック（８×８画素）を各々フレーム内符号化したデータを含んでいる。また、一般にＰフレームに対応した符号化データは、当該フレームを分割した複数のブロックの各々について、当該ブロックに対応した画像と当該ブロックのフレーム間予測符号化のために参照された他のフレームの中の当該ブロックに近似した参照画像との差分のＤＣＴ（Discrete Cosine Transform；離散コサイン変換）係数を含んでいる。また、Ｐフレームに対応した符号化データは、この他に、各マクロブロック（２×２ブロック＝１６×１６画素）毎に、当該マクロブロックとその参照画像との間の動きを表す動き情報を各々含んでいる。しかしながら、これらのＤＣＴ係数や動き情報は、各々を表現するための符号量が少なくて済むので、フレーム間予測符号化データは、フレーム内符号化データに比べて符号量が著しく小さい。
【０００５】
このようにＭＰＥＧ２方式によれば、僅かなフレーム数のフレーム内符号化データと多数のフレーム間予測符号化データを伝送するので、動画像全体を表す符号量が少なくて済み、リアルタイムに動画像を伝送し、受信側においてリアルタイムに動画像を復号することができる。
【０００６】
さて、最近では、様々な通信システムにおいて動画像の符号化伝送が検討されるようになってきている。このため、ある伝送レートでの伝送を想定して動画像の符号化データが生成されたが、この符号化データを当初の予定とは異なった伝送レートで伝送しなければならないようなことが起こりうる。
【０００７】
このような場合、ピクチャグループ当たりの符号化データのデータレートを減少させることが求められる。このための技術として、符号化方式を変換するトランスコーディングがある。最近では、単に符号化方式を変換するだけではなく、様々な付加機能がトランスコーディングに求められるようになってきている。その付加機能の１つに、伝送画像の縮小機能がある。
【０００８】
図１３は、この画像縮小機能を持った従来のトランスコーディング装置の構成を示すブロック図である。同図に示すように、従来のトランスコーディング装置は、復号器１００と、符号化器２００と、これらの間に介挿されたフィルタ３０１および画像縮小部３０２とにより構成されている。
【０００９】
ここで、復号器１００は、逆多重化装置１０１と、可変長復号器１０２および１０３と、逆量子化器１０４と、逆ＤＣＴ部１０５と、加算器１０６と、動き補償部１０７とを有している。また、符号化器２００は、減算器２０１と、ＤＣＴ部２０２と、量子化器２０３と、逆量子化器２０４と、逆ＤＣＴ部２０５と、加算器２０６と、動き予測および補償部２０７と、可変長符号化器２０８および２０９と、多重化装置２１０とを有している。
【００１０】
このトランスコーディング装置では、第１の符号化方法により生成された符号化データが復号器１００によって復号される。その動作は概略次の通りである。
【００１１】
まず、図示しない送信ノードから例えばＩフレームのフレーム内符号化データが送られてくると、このフレーム内符号化データは、逆多重化装置１０１に入力される。このフレーム内符号化データは、他のフレームを参照することなく符号化されているため、動き情報を含んでおらず、Ｉフレームの各ブロックのＤＣＴ係数の可変長符号化データのみを含んでいる。そして、各ブロックのＤＣＴ係数の可変長符号化データは、逆多重化器１０１から出力され、可変長復号器１０２および逆量子化器１０４による各処理を経て、各ブロックのＤＣＴ係数に戻される。そして、逆ＤＣＴ部１０５により、各ブロックのＤＣＴ係数に対して逆ＤＣＴが施され、各ブロックに対応した画像データが復元される。このＩフレームの各ブロックの画像データは、加算器１０６を介して、フィルタ３０１へ出力されるとともに、動き補償部１０７内の図示しないフレームメモリに格納される。
【００１２】
次に、図示しない送信ノードから上記Ｉフレームを参照して得られたＰフレームのフレーム間予測符号化データが送られたとする。このフレーム間予測符号化データは、Ｐフレームの各マクロブロックについて、当該マクロブロックに近似した上記Ｉフレーム内の参照画像と当該マクロブロックとの間の移動ベクトルを表す動き情報の可変長符号化データを含んでいる。さらにこのフレーム間予測符号化データは、Ｐフレームの各ブロックについて、当該ブロックとその参照画像との差分画像のＤＣＴ係数の可変長符号化データを含んでいる。
【００１３】
これらのうち動き情報の可変長符号化データは、逆多重化装置１０１から可変長復号器１０３に送られ、可変長復号後、動き補償部１０７に送られる。動き補償部１０７は、このようにして各マクロブロックに対応した動き情報を受け取る毎に、当該マクロブロックの占有領域を当該動き情報に従って平行移動させた参照画像の占有領域を求め、フレームメモリ内のＩフレームの画像データのうちこの参照画像に対応したものを読み出して加算器１０６に送る。
【００１４】
一方、差分画像のＤＣＴ係数の可変長符号化データは、可変長復号器１０２、逆量子化器１０４および逆ＤＣＴ部１０５の各処理を経て、差分画像の画像データとされる。そして、このようにして得られるＰフレームの各ブロックに対応した差分画像の画像データは、加算器１０６によって、当該ブロックの参照画像の画像データと加算される。この結果、加算器１０６からＰフレームの各ブロックの画像データが出力され、このＰフレームの画像データは、フィルタ３０１へ出力されるとともに、動き補償部１０７内のフレームメモリに格納される。
【００１５】
その後、このＰフレームを参照した後続フレームのフレーム間予測符号化データが送信ノードから送られてきたときは、以上説明したと同様、フレームメモリ内のＰフレームの画像データを参照画像として、当該フレーム間予測符号化データの復号が行われる。
【００１６】
このようにして復号器１００により各フレームの画像データが順次復号される。そして、画像の縮小を行う場合には、これらの画像データに対し、フィルタ３０１による高域周波数成分除去処理および画像縮小部３０２による画像縮小処理が施され、縮小画像の画像データが得られる。ここで、画像縮小処理では、例えば画像を１／４に縮小するとした場合、画像を構成する各画素に対応したデータを、縦方向および横方向の各々について、２画素に１画素の割合で間引く。高域周波数除去処理は、このような間引きによって縮小画像に折り返し雑音が生じるのを防ぐため、復号画像における高周波領域の成分を予め除去する処理である。
【００１７】
縮小画像の画像データは、符号化器２００により第２の符号化方法に従って符号化される。その動作は概略次の通りである。
【００１８】
符号化器２００は、画像縮小部３０２から順次出力される画像データを全て符号化するのではなく、例えば数フレームに１フレームの割合で間引き、この間引き後の各フレームの画像データの符号化を行う。
【００１９】
この間引きを経た各フレームのうちＩフレームとすべきフレーム（以下、単にＩフレームという）の画像データが減算器２０１に与えられると、この画像データは減算器２０１を介してＤＣＴ部２０２に送られる。そして、ＤＣＴ部２０２では、この画像データがブロック単位に分割され、各ブロックについてＤＣＴが施される。この結果得られる各ブロックのＤＣＴ係数は、量子化器２０３によって量子化された後、可変長符号化器２０８によって可変長符号化され、多重化装置２１０を介して、図示しない受信ノードへ送信される。
【００２０】
一方、量子化器２０３の出力データは、逆量子化器２０４および逆ＤＣＴ部２０５の各処理を経る。この結果、Ｉフレームの各ブロックの画像データが逆ＤＣＴ部２０５から得られ、このＩフレームの画像データは、動き予測および補償部２０７内の図示しないフレームメモリに格納される。
【００２１】
その後、間引き後の各フレームのうちこのＩフレームを参照したＰフレームとすべきフレーム（以下、単にＰフレームという）の画像データが減算器２０１に与えられたとする。このとき動き予測および補償部２０７は、減算器２０１に与えられるＰフレームの各マクロブロックに対応した画像データについて、当該画像データと近似した参照画像の画像データをフレームメモリ内のＩフレームの画像データの中から探索する。このとき動き予測および補償部２０７は、Ｐフレームの各マクロブロックと、この探索により得られた各マクロブロックに対応した参照画像との間の移動ベクトルを表す動き情報を生成する。そして、動き予測および補償部２０７は、探索により得られたＰフレームの各マクロブロックの参照画像の画像データを減算器２０１に供給する。また、各マクロブロックに対応した動き情報は、可変長符号化器２０９によって可変長符号化され、多重化装置２１０に送られる。
【００２２】
減算器２０１では、Ｐフレームの各マクロブロックの画像データから各々に対応した参照画像の画像データが差し引かれ、各マクロブロック毎に差分画像の画像データが出力される。
【００２３】
この各マクロブロックに対応した差分画像の画像データは、ＤＣＴ部２０２によってブロック単位でＤＣＴが施され、この結果得られる各ブロックに対応したＤＣＴ係数は量子化器２０３によって量子化される。そして、量子化器２０３の出力データは、可変長符号化器２０８によって可変長符号化され、多重化装置２１０に供給される。
【００２４】
そして、多重化装置２１０では、可変長符号化器２０９から送られてくる各マクロブロックの動き情報の可変長符号化データと、可変長符号化器２０８から送られてくる各ブロックに対応した差分画像のＤＣＴ係数の可変長符号化データとが多重化され、受信ノードに送信される。
【００２５】
一方、量子化器２０３の出力データは、逆量子化器２０４および逆ＤＣＴ部２０５の各処理を経る。この結果、減算器２０１の出力データに相当するデータ、すなわち、Ｐフレームの各ブロックとこれに対応する参照画像との差分画像の画像データが逆ＤＣＴ部２０５から加算器２０６に出力される。
【００２６】
動き予測および補償部２０７は、各マクロブロックに対応した差分画像の画像データが加算器２０６に与えられるのに合わせ、当該マクロブロックについて生成した動き情報に基づき、当該マクロブロックに対応した参照画像の占有領域を求め、フレームメモリ内のＩフレームの画像データのうちこの参照画像に対応したものを読み出して加算器２０６に送る。
【００２７】
加算器２０６では、Ｐフレームの各ブロックに対応した差分画像の画像データに対し、このようにして動き予測および補償部２０７から送られてくる当該ブロックに対応した参照画像の画像データが加算され、元のＰフレームの画像データが出力される。このＰフレームの画像データは、動き予測および補償部２０７内のフレームメモリに格納される。
【００２８】
その後、間引き後の各フレームのうちこのＰフレームを参照したＰフレームとすべきフレームの画像データが減算器２０１に与えられた場合も、以上と同様であり、動き予測および補償部２０７のフレームメモリ内のＰフレームの画像データを参照して、当該フレームのフレーム間予測符号化が行われる。
以上のようにして、画像の縮小および第１の符号化方式から第２の符号化方式への変換が行われるのである。
【００２９】
【発明が解決しようとする課題】
ところで、上述した従来のトランスコーディング装置では、符号化データから元の画像を復号し、この画像を縮小してから再符号化することによりデータレートの異なった縮小画像の符号化データを生成するので、演算量が多く、非効率的である。特に再符号化の際に行われる動き情報の探索の演算量は、全演算量の約８割を占めており、この演算量を減少させることが従来から望まれていた。
【００３０】
この発明は以上説明した事情に鑑みてなされたものであり、再符号化の際の動き情報の探索が不要であり、元の画像の符号化データを効率的に他の符号化アルゴリズムに対応した縮小画像の符号化データに変換することができるトランスコーディング方法およびトランスコーディング装置を提供することを目的としている。
【００３１】
【課題を解決するための手段】
この発明に係るトランスコーディング方法は、
フレーム内符号化アルゴリズムと動き補償を伴ったフレーム間予測符号化アルゴリズムとを含む第１符号化アルゴリズムにより動画像を表す複数のフレームから生成された符号化データを、第２符号化アルゴリズムに対応した符号化データに変換するトランスコーディング方法において、
前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前後に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化されたフレーム間予測符号化フレームとを含み、
且つ、それぞれの前記フレームは複数のブロックから構成されており、
前記フレーム間予測符号化フレームのブロックの各々に対応する前記動き補償のための動き情報から、前記動画像を縮小したときの動き情報を生成する縮小画像用動き情報算出過程と、
前記縮小画像用動き情報算出過程により得られた動き情報から、前記第２符号化アルゴリズムに対応した動き情報を推定する動き情報推定過程であって、
前記フレーム間予測符号化フレームにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されたブロックに対応する動き情報に基づいて、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定し、
前記フレーム間予測符号化フレームにおいて、時間的に後に存在する第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報から、当該第１参照フレームにおいて当該ブロックに対応する第１参照ブロックを求め、当該第１参照フレームにおける各ブロックのうち、前記第１参照ブロックに重複している部分の面積が最も大きいブロックであって、且つ、時間的に前に存在する第２参照フレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報と、前記フレーム間予測符号化フレームにおいて前記第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報との和を、前記第２符号化アルゴリズムに対応した動き情報として推定する動き情報推定過程と、
前記縮小画像用動き情報算出過程において算出された縮小画像に対応した動き情報を用いて、前記フレーム間予測符号化アルゴリズムにより生成された符号化データから当該符号化データに対応した画像の縮小画像の画像データを生成する縮小画像データ算出過程と、
前記縮小画像データ算出過程において得られた画像データから前記第２符号化アルゴリズムに対応した符号化データを生成する過程であって、前記動き情報推定過程において算出された動き情報を用いて動き補償を行い、フレーム間予測符号化による符号化データを生成する再符号化過程と
を具備することを特徴としている。
また、本発明は、フレーム内符号化アルゴリズムと動き補償を伴ったフレーム間予測符号化アルゴリズムとを含む第１符号化アルゴリズムにより動画像を表す複数のフレームから生成された符号化データを、第２符号化アルゴリズムに対応した符号化データに変換するトランスコーディング装置において、
前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前後に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化されたフレーム間予測符号化フレームとを含み、
且つ、それぞれの前記フレームは複数のブロックから構成されており、
前記フレーム間予測符号化フレームのブロックの各々に対応する前記動き補償のための動き情報から、前記動画像を縮小したときの動き情報を生成する縮小画像用動き情報算出手段と、
前記縮小画像用動き情報算出手段により得られた動き情報から、前記第２符号化アルゴリズムに対応した動き情報を推定する動き情報推定手段であって、
前記フレーム間予測符号化フレームにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されたブロックに対応する動き情報に基づいて、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定し、
前記フレーム間予測符号化フレームにおいて、時間的に後に存在する第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報から、当該第１参照フレームにおいて当該ブロックに対応する第１参照ブロックを求め、当該第１参照フレームにおける各ブロックのうち、前記第１参照ブロックに重複している部分の面積が最も大きいブロックであって、且つ、時間的に前に存在する第２参照フレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報と、前記フレーム間予測符号化フレームにおいて前記第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報との和を、前記第２符号化アルゴリズムに対応した動き情報として推定する動き情報推定手段と、
前記縮小画像用動き情報算出手段において算出された縮小画像に対応した動き情報を用いて、前記フレーム間予測符号化アルゴリズムにより生成された符号化データから当該符号化データに対応した画像の縮小画像の画像データを生成する縮小画像データ算出手段と、
前記縮小画像データ算出手段において得られた画像データから前記第２符号化アルゴリズムに対応した符号化データを生成する手段であって、前記動き情報推定手段において算出された動き情報を用いて動き補償を行い、フレーム間予測符号化による符号化データを生成する再符号化手段と
を具備することを特徴としている。
【００３２】
【発明の実施の形態】
以下、図面を参照し、本発明の一実施形態について説明する。
Ａ．本発明の対象となるトランスコーディング
本発明は、画像の縮小を行いながら、ある符号化アルゴリズム（第１符号化アルゴリズム）に対応した符号化データを別の符号化アルゴリズム（第２符号化アルゴリズム）に対応した符号化データに変換するトランスコーディングに関するものである。図１（ａ）〜（ｃ）は本発明の対象となるトランスコーディングの例を示す図である。
【００３３】
まず、図１（ａ）に示す例では、画像の縮小を行いながら、Ｉフレームと２個のＢフレームとＰフレームとからなるピクチャグループに対応した符号化データを、Ｉフレームと３個のＰフレームとからなるピクチャグループに対応した符号化データに変換するトランスコーディングを行っている。
【００３４】
この例において、トランスコーディング前のＢフレームに対応した符号化データは、その前のＩフレームの画像データとその後のＰフレームの画像データとを参照することにより生成されており、Ｉフレームとの間で動き補償（順方向予測）を行うための動き情報とＰフレームとの間で動き補償（逆方向予測）を行うための動き情報を含んでいる。
【００３５】
次に図１（ｂ）に示す例では、上記図１（ａ）に示す例において、画像の縮小を行いながら、２個のＢフレームのうち後の方のＢフレームに対応した符号化データを間引き、Ｉフレームの直後のＢフレームに対応した符号化データをＩフレームのみを参照したＰフレームの符号化データに変換し、このＰフレームを参照した内容となるようにピクチャグループ内の最後のＰフレームに対応した符号化データの変換を行う。
【００３６】
次に図１（ｃ）に示す例では、Ｉフレームと３個のＰフレームからなるピクチャグループに対応した符号化データが与えられた場合において、画像の縮小を行いながら、３個のＰフレームのうち１個を間引き、Ｉフレームと２個のＰフレームからなるピクチャグループに対応した符号化データに変換する。
【００３７】
Ｂ．本実施形態に係るトランスコーディング方法
図２はこの発明の一実施形態に係るトランスコーディング方法の原理を示す図である。この図に従って本実施形態に係るトランスコーディング方法の原理について説明すると次の通りである。
ステップａ：第１符号化アルゴリズムに対応した符号化データから各マクロブロックに対応したＤＣＴ係数行列を取り出し、各ＤＣＴ係数行列に対し、フィルタ処理と画素間引き処理に相当する演算を含んだ特殊な逆ＤＣＴを施し、縮小画像の画像データを復号する。
ステップｂ：第１符号化方式の符号化データに含まれる動き情報に対して、画像の縮小率に応じた比例縮小処理を施して縮小画像に対応した動き情報を生成する。
ステップｃ：第２符号化アルゴリズムに従って縮小画像のフレーム間予測符号化を行ったときに得られるであろう動き情報をステップｂにおいて生成された動き情報から推定する。
ステップｄ：ステップａにおいて得られた縮小画像の画像データについて、必要に応じてフレーム間引きを行い、動き予測を行うことなく、上記ｃにより得られた動き情報を用いて、第２符号化アルゴリズムによる再符号化を行う。
【００３８】
図３（ａ）〜（ｃ）は、前掲図１（ａ）の場合を例に、本実施形態に係るトランスコーディング方法を説明する図である。
この例では、Ｉフレームと２個のＢフレームとＰフレームとからなるピクチャグループに対応した符号化データを、画像の縮小を行いながら、Ｉフレームと３個のＰフレームとからなるピクチャグループに対応した符号化データにトランスコーディングする。図３（ａ）には、トランスコーディング前のＧＯＰが示されている。
【００３９】
ここで、Ｉフレームを構成する各ブロックに対応した符号化データは、当該ブロック内の画像に対応したＤＣＴ係数行列を含んでいる。また、ＢフレームやＰフレームに対応した符号化データは、各ブロックとこれに対応した参照フレーム中の参照画像との差分画像に対応したＤＣＴ係数行列と、各マクロブロックとその参照画像との間の移動ベクトルを示す動き情報とを含んでいる。
【００４０】
本実施形態では、上記各ＤＣＴ係数行列に対して、上述した特殊な逆ＤＣＴを施し、上記各フレーム毎に、縮小画像の画像データを生成する（上記ステップａ）。
また、本実施形態では、上記各動き情報を画像の縮小率に応じて比例縮小し、縮小画像に対応した動き情報を生成する（上記ステップｂ）。
この結果、図３（ｂ）に示すように、Ｉフレーム、２個のＢフレーム、Ｐフレームの各画像を縮小した画像データと、２個のＢフレームおよびＰフレームが元々持っていた各動き情報を比例縮小した各動き情報が得られる。
【００４１】
そして、本実施形態では、このようにして得られた縮小画像の画像データ（図３（ｂ）上段）が再符号化の対象となる。ここで、一般的な再符号化では、フレーム間予測符号化の際に各マクロブロックに対応した参照画像を参照フレームの中から探索する動き予測を行う。しかし、本実施形態では、この動き予測を行わず、上記ステップｂにおいて得られた動き情報を利用する。ただし、この動き情報は、図３（ａ）に示すＧＯＰの構成に対応した内容であるため、そのままではトランスコーディング後のＧＯＰ（図１（ａ）下段）に対応した動き情報として使用することができない。そこで、本実施形態では、各フレーム間の参照関係をトランスコーディング後の状態としたときの動き情報を上記ステップｂにおいて得られた各動き情報から推定する（ステップｃ）。
【００４２】
この結果、図３（ｃ）に示すように、トランスコーデイング後のＧＯＰにおけるＩフレームおよび３個のＰフレームに対応した縮小画像の画像データと、トランスコーディング後のＧＯＰに対応した各動き情報とが得られる。そして、このようにして得られた縮小画像の画像データと、動き情報とを用いて、動き予測を行うことなく再符号化を行う（ステップｄ）。
以上が本実施形態に係るトランスコーディング方法の概略である。なお、本実施形態に係るトランスコーディング方法については、以下説明する本実施形態に係るトランスコーディング装置の構成および動作を参照することによりさらに理解が深まるであろう。
【００４３】
Ｃ．本実施形態に係るトランスコーディング装置の構成
図４は、この発明の一実施形態であるトランスコーディング装置の構成を示すブロック図である。図４に示すように、このトランスコーディング装置は、第１符号化アルゴリズムに対応した符号化データの復号を行う復号器１００Ａと、第２符号化アルゴリズムに従って画像データの符号化を行う符号化器２００Ａと、動き情報推定部４００とを有している。
【００４４】
これらのうち復号器１００Ａは、前掲図１３の復号器１００における逆ＤＣＴ部１０５を特殊逆ＤＣＴ部１２１に置き換え、かつ、可変長復号器１０３の後段に比例縮小部１０３を追加した構成となっている。これらの要素以外の各要素については前掲図１３に示すものと同一であるので、各々に前掲図１３と共通の符号を付けて説明を省略する。
【００４５】
ここで、特殊逆ＤＣＴ部１２１は、逆多重化装置１０１、可変長復号器１０２および逆量子化器１０４を介して供給される符号化データ中の各マクロブロックに対応したＤＣＴ係数行列に対して、上述したフィルタ処理と画素間引き処理とを含んだ特殊な逆ＤＣＴ処理を施し、縮小画像の画像データを生成する装置である。なお、この特殊逆ＤＣＴの演算内容については説明の重複を避けるため、本実施形態の動作とともに説明する。
【００４６】
比例縮小部１２２は、逆量子化装置１０１および可変長復号器１０３を介して供給される符号化データ中の各マクロブロックに対応した動き情報に対して、画像の縮小率に応じて比例縮小処理を施し、縮小画像のマクロブロックに対応した動き情報を生成する装置である。ここで、比例縮小処理について詳述すると次の通りである。
【００４７】
まず、本実施形態において言うところの縮小率は、縮小後の画像の面積と縮小前の画像の比である。また、動き情報は、ＸＹ直交座標系にフレームを配置した場合におけるマクロブロックと参照画像との間の移動ベクトルのＸ方向成分とＹ方向成分とにより構成されている。
【００４８】
そこで、本実施形態における比例縮小処理では、縮小率をｒとした、各動き情報におけるＸ方向成分およびＹ方向成分に√ｒを各々乗じて、縮小後の画像に対応した動き情報の各成分を求める。すなわち、縮小率が例えば１／４である場合、各動き情報におけるＸ方向成分およびＹ方向成分に１／２を各々乗じ、縮小率が例えば１／９である場合には、各成分に１／３を各々乗じるのである。
【００４９】
動き情報推定部４００は、仮に符号化器２００Ａにおいて動き予測を伴った第２符号化アルゴリズムに対応したフレーム間予測符号化を行ったとすれば得られるであろう動き情報を、比例縮小部１２２により得られる縮小画像用の動き情報から推定する装置である。
【００５０】
符号化器２００Ａは、前掲図１３の符号化器２００における動き予測および補償部２０７を動き補償部２２１に置き換えた構成となっている。この動き補償部２２１は、動き予測を行うことなく、動き情報推定部４００から供給される動き情報を用いて、フレーム間予測符号化のための動き補償を行う。この動き補償部２２１以外の各要素については前掲図１３に示すものと同一であるので、各々に前掲図１３と共通の符号を付けて説明を省略する。
【００５１】
Ｄ．本実施形態に係るトランスコーディング装置の動作
以下、１／４の縮小率で図１（ａ）に示すトランスコーディングを行う場合を例に挙げ、本実施形態の動作について説明する。
【００５２】
第１符号化アルゴリズムに対応した符号化データ（図１（ａ）上段）は、符号化器１００Ａにおける符号化器１００Ａの逆多重化装置１０１に順次入力される。ここで、図１（ａ）上段のＩフレームに対応した符号化データは、Ｉフレームを構成するブロック毎にフレーム内符号化により得られたＤＣＴ係数行列の可変長符号化データを含んでいる。また、図１（ａ）上段のＢフレームまたはＰフレームに対応した各符号化データは、当該フレームを構成するブロック（８×８画素）毎にフレーム間符号予測化により得られた差分画像のＤＣＴ係数行列の可変長符号化データを含むとともに、当該フレームを構成するマクロブロック（１６×１６画素）毎に動き情報の可変長符号化データとを含んでいる。
【００５３】
これらの各フレームの符号化データのうちＤＣＴ係数行列の可変長符号化データは、逆多重化装置１０１によって可変長復号器１０２に送られ、可変長復号器１０２および逆量子化器１０４による処理を経ることにより、フレーム内符号化またはフレーム間予測符号化により得られた各マクロブロック内の各ブロックに対応したＤＣＴ係数行列に戻される。
【００５４】
このＤＣＴ係数行列は、当該フレームがＩフレームである場合には各ブロックの画像に対してＤＣＴを施すことにより得られたＤＣＴ係数行列であり、当該フレームがＢフレームまたはＰフレームであるときは、当該ブロックとその参照画像との差分画像に対してＤＣＴを施すことにより得られたＤＣＴ係数行列である。そして、特殊逆ＤＣＴ部１２１では、各ブロック毎に、当該ブロックに対応したＤＣＴ係数行列に対し、フィルタ処理および画素間引き処理を含んだ特殊な逆ＤＣＴが施される。
【００５５】
以下、この特殊な逆ＤＣＴについて説明する。
まず、一般的な逆ＤＣＴは、次式により与えられる。
【数１】
【数２】
【数３】
【００５６】
ここで、１／４の縮小率で画像の縮小を行う場合には、上記数１により得られる行列ｆにおいて、例えば奇数であるインデックスｉに対応した要素および例えば奇数であるインデックスｊに対応した要素を間引けばよい。
しかし、この画素の間引きを行うと、折り返し雑音が発生する場合がある。
そこで、この折り返し雑音の発生を防止するため、ＤＣＴ係数行列における高周波領域に対応した各係数を０に置き換え、次のＤＣＴ係数行列Ｆ’を作成する。
【数４】
次に、このＤＣＴ係数行列Ｆ’に対する逆ＤＣＴを次式に従って行う。
【数５】
【数６】
次に、このようにして得られる画素データの行列ｆａからインデックスｉが奇数である要素（画素データ）およびインデックスｊが奇数である要素（画素データ）を間引き、１／４縮小画像を表す以下の画素データ行列ｆｂを作成する。
【数７】
以上説明した数４〜数７の各演算を行うことにより１／４縮小画像の画素データ行列ｆｂを得ることができるが、これでは演算量が多く、処理時間は長くなってしまう。
そこで、本実施形態では、次の数８の行列演算を行う。
【数８】
以上が特殊逆ＤＣＴ部１２１において行われる特殊逆ＤＣＴの処理内容である。
【００６０】
なお、以上の説明では、１ブロック（８×８画素）分の画素データの行列の中からインデックスｉおよびｊがいずれも偶数である要素（画素データ）を選択して縮小画像の画素データ行列を生成する場合の例を挙げたが、要素の選択方法はこれに限定されない。
【００６１】
例えば１ブロック（８×８画素）分の画素データの行列の中から、インデックスｉが偶数であり、かつ、インデックスｊが奇数である要素のみを選択して下記のような縮小画像の画素データ行列ｆｂを生成することも可能である。
【数９】
【数１０】
また、１ブロック（８×８画素）分の画素データの行列の中から、インデックスｉが奇数であり、かつ、インデックスｊが偶数である要素のみを選択して下記のような縮小画像の画素データ行列ｆｂを生成することも可能である。
【数１１】
【数１２】
さらに１ブロック（８×８画素）分の画素データの行列の中から、インデックスｉおよびｊがいずれも奇数である要素のみを選択して下記のような縮小画像の画素データ行列ｆｂを生成することも可能である。
【数１３】
【数１４】
また、以上説明した４種類の縮小画像の画素データ行列を全て求め、各行列要素毎に、これらの４種類の画素データ行列間の平均値を求め、これらの平均値を縮小画像の画素データ行列の各行列要素としてもよい。すなわち、縮小画像の画素データ行列のインデックスｉおよびｊに対応した行列要素をｆｉｊとした場合、この行列要素ｆｉｊを次式により求めるのである。
【数１５】
上記式において、ｆｉｊ−ｋ（ｋ＝０〜３）は、各々、数８、数１０、数１２および数１４により各々求められる上記４種類の縮小画像の画素データ行列の行列要素である。
【００６６】
特殊逆ＤＣＴ部１２１では、このような特殊逆ＤＣＴがフレームを構成する各ブロックに対応したＤＣＴ係数行列について実施され、１／４縮小画像を構成する各ブロックに対応した画素データ行列が得られる。そして、これらの各ブロックを４ブロック（行方向２ブロック、列方向２ブロック）ずつ用いて、縮小画像を構成する複数のブロック（８×８画素）が構成される。
【００６７】
一方、符号化器１００Ａに入力される各フレームの符号化データのうち動き情報の可変長符号化データは、逆多重化装置１０１によって可変長復号器１０３に送られ、この可変長復号器１０３による処理を経ることにより、元の各マクロブロックに対応した動き情報に戻される。
【００６８】
そして、比例縮小部１２２では、この各マクロブロックに対応した動き情報のＸ方向成分およびＹ方向成分に対し、画像の縮小率に応じた係数、すなわち、√（１／４）＝１／２が乗算され、１／４縮小後の動き情報に変換される。
【００６９】
この１／４縮小後の動き情報は、縮小前の各マクロブロック毎に１個ずつ得られる。しかし、１／４縮小後は、上記の通り、マクロブロックを１／４に縮小したブロックを４個ずつまとめて１つのマクロブロックが構成される。従って、この縮小後のマクロブロック１個について、４個の動き情報が得られることになる。そこで、本実施形態では、縮小後のマクロブロックに含まれることとなる縮小前の４個のマクロブロックに対応した４個の動き情報を比例縮小するとともに、例えばこれらを平均化し、縮小後のマクロブロックに対応した動き情報とする。
以上が比例縮小部１２２における動作の詳細である。
【００７０】
次に、加算器１０６には、各フレームの符号化データから得られた縮小画像の各マクロブロックに対応した画像データが供給される。当該フレームがＩフレームである場合、このＩフレームの符号化データから得られた縮小後の各マクロブロックの画像データは、加算器１０６を介して動き補償部１０７に供給され、この動き補償部１０７内のフレームメモリに格納される。
【００７１】
一方、当該フレームがＢフレームやＰフレームのようなフレーム間予測符号化フレームである場合には、当該フレームの符号化データから得られた縮小後の各マクロブロックの画像データ（参照画像との差分の画像データ）が加算器１０６に供給されるのに合わせて、当該フレームの符号化データから得られた縮小後の各マクロブロックに対応した動き情報が比例縮小部１２２から動き補償部１０７に供給される。
【００７２】
動き補償部１０７では、この各マクロブロックに対応した動き情報から各マクロブロックのフレーム間予測符号化のために参照された参照画像の位置を各々求める。そして、フレームメモリ内の参照フレームの画像データの中から各マクロブロックの参照画像の画像データを選択して読み出し、加算器１０６に順次供給する。
【００７３】
ところで、本実施形態では比例縮小部１２２によって動き情報の縮小が行われるので、これにより縮小画像に対応した動き情報のＸ方向成分およびＹ方向成分が整数値ではなく、小数点以下の数値を含んだ実数値になる場合がある。かかる場合の対処方法としては、例えば次の方法がある。
【００７４】
方法１：動き情報のＸ方向成分およびＹ方向成分を丸めて整数値とし、参照画像の位置を求め、その画像データをフレームメモリから読み出す。
【００７５】
方法２：参照画像の画素値を補間演算により求める。
すなわち、動き情報のＸ方向成分およびＹ方向成分が小数点以下の数値がある場合、動き情報から求められる参照画像の各画素の位置が、参照フレームを構成する各マクロブロック中の各画素のいずれからもずれたものとなり、参照画像の画像データを得ることができなくなる。そこで、参照画素の各画素の画素値については、当該画素を囲む参照フレーム中の４つの画素の画素値から補間演算により算出し、参照画像の画像データとして加算器１０６に供給する。
なお、この方法２を採る場合には、符号化器２００Ａにおける動き補償部２２１においても同様な方法による動き補償を行うこととなる。
【００７６】
加算器１０６では、このようにして動き補償部１０７から供給される各マクロブロックの参照画像の画像データと特殊逆ＤＣＴ部１２１から供給される各マクロブロックに対応した差分画像の画像データとが加算される。この結果、縮小画像における各マクロブロックの画像データが加算器１０６から出力され、動き補償部１０７内のフレームメモリに格納される。この画像データは、その後、当該画像データを参照画像とするフレームの符号化データが符号化器２００Ａに入力されたときに、その復号のために参照される。
以上が復号器１００Ａにおける動作の詳細である。
【００７７】
次に、図５〜図７を参照し、動き情報推定部４００の動作について説明する。図５〜図７において、トランスコーディング前のＩフレームとＰフレームの間には２個のＢフレームが介挿されている。動き情報推定部４００は、これらのＢフレームを直前のフレームのみを参照したＰフレームとした場合の動き情報を推定する処理および最後のＰフレームを直前のＰフレーム（元々はＢフレームであったもの）のみを参照したＰフレームとした場合の動き情報を推定する処理を実行する。
【００７８】
＜Ｉフレームの直後のＢフレームに対応した処理＞
本実施形態では、このＢフレームに含まれる次の３種類のマクロブロックを取り扱う。
ａ．順方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
ｂ．双方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、前フレーム（この例ではＩフレーム）を参照した動き情報と後フレーム（この例ではＰフレーム）を参照した動き情報とを符号化データに含むマクロブロック。
ｃ．逆方向予測モードによりフレーム間予測符号化がなされたマクロブロック。すなわち、後フレーム（この例ではＰフレーム）のみを参照した動き情報を符号化データに含むマクロブロック。
なお、Ｉフレームの直後のものに限らず、２番目のＢフレームも同様である。
【００７９】
動き情報推定部４００は、Ｉフレームの直後のＢフレームに関し、３種類のマクロブロックａ〜ｃに対応したトランスコーディング後の動き情報を次のようにして算出する。
【００８０】
まず、このマクロブロックａについては、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）をそのままトランスコーディング後の動き情報とする。次に、マクロブロックｂについては、当該マクロブロックの符号化データから分離された動き情報のうち、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）のみをトランスコーディング後の動き情報とし、後フレームを参照した動き情報（逆方向）Ｖｂａｃｋｗａｒｄ（Ｂ）を廃棄する。
【００８１】
次に、マクロブロックｃについてであるが、このマクロブロックｃに対応した符号化データは、Ｐフレーム（第１参照フレーム）との間の動き補償のための動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）しか含んでおらず、トランスコーディング後の参照先であるＩフレーム（第２参照フレーム）との間の動き補償のための動き情報を含んでいない。一方、Ｐフレーム（第１参照フレーム）を構成する各マクロブロックの符号化データは、Ｉフレーム（第２参照フレーム）との間の動き補償のための動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を含んでいる。そこで、動き情報推定部４００は、動き情報Ｖｂａｃｋｗａｏｒｄ（Ｂ）およびＶｆｏｒｗａｒｄ（Ｐ）を用いた演算により、当該マクロブロックｃとＩフレーム（第２参照フレーム）との間の動き補償のための動き情報の予測値を求める。ここで、図８を参照し、この動き情報の予測値の算出方法の一例を説明する。
【００８２】
ステップ１：まず、処理対象であるマクロブロックｃの符号化データから分離された動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）を取得する。この動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）は、Ｐフレーム（第１参照フレーム）に含まれる当該処理対象マクロブロックｃに対応したマクロブロック（第１参照マクロブロック）から当該処理対象マクロブロックｃまでの動きに対応している。
ステップ２：上記動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）からＰフレーム（第１参照フレーム）における当該マクロブロックｃに対応した第１参照マクロブロックを求める。
ステップ３：Ｐフレーム（第１参照フレーム）における各マクロブロックのうち上記第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を求める。図８に示す例において第１参照マクロブロックは、マクロブロックｂ１〜ｂ４に跨っており、これらのうちマクロブロックｂ４と重複している部分の面積が最も広い。従って、このマクロブロックｂ４に対応した動き情報Ｖ４が動き情報Ｖｆｏｒｗａｒｄ（Ｐ）として選択されることとなる。
ステップ４：上記動き情報Ｖｂａｃｋｗａｒｄ（Ｂ）およびＶｆｏｒｗａｒｄ（ｐ）から、下記式に従い、当該マクロブロックｃのトランスコーディング後の予測動き情報Ｖｆｏｒｗａｒｄ（Ｂ）を算出する。
【数１６】
【００８３】
＜２番目のＢフレームに対応した処理＞
次に図６を参照し、２番目のＢフレームに対応した処理を説明する。この２番目のＢフレームも、Ｉフレームの直後のＢフレームと同様、上記３種類のマクロブロックａ〜ｃを含んでいる。また、処理対象フレームである２番目のＢフレームとそのトランスコーディング前の参照先である第１参照フレーム（ＩフレームのＢフレーム）との時間差と、同処理対象フレームとそのトランスコーディング後の参照先である第２参照フレーム（Ｉフレームの直後のＢフレーム）との間差を比較すると、後者は前者の１／２である。そこで、動き情報推定部４００は、３種類のマクロブロックａ〜ｃに対応したトランスコーディング後の動き情報を次のような線形補間により算出する。
【００８４】
まず、このマクロブロックａについては、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）を取得し、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。次に、マクロブロックｂについては、当該マクロブロックの符号化データから分離された動き情報のうち、前フレームを参照した動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｂ）を取得し、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。
【００８５】
次に、マクロブロックｃについては、上述したＩフレームの直後のＢフレームの場合と同様な方法により、当該マクロブロックｃとＩフレーム（第２参照フレーム）における対応するマクロブロックとの間の動き補償のための予測動き情報Ｖｆｏｒｗａｒｄ（Ｂ）を求め、Ｖｆｏｒｗａｒｄ（Ｂ）／２をトランスコーディング後の動き情報とする。
【００８６】
以上が２番目のＢフレームに対応したトランスコーディング後の動き情報の算出方法の詳細である。画像の動きが比較的緩やかな場合には、このような線形補間によっても、動き情報探索によって得られるものに比較的近い動き情報の予測値が得られると考えられる。
【００８７】
＜最後のＰフレームに対応した処理＞
次に図７を参照し、最後のＰフレームに対応した処理を説明する。このＰフレームを構成する各マクロブロックは、全て先頭のＩフレーム（第１参照フレーム）を参照することにより符号化データが生成されている。
【００８８】
また、この処理対象フレームであるＰフレームとそのトランスコーディング前の参照先である第１参照フレーム（Ｉフレーム）との時間差と、同処理対象フレームとそのトランスコーディング後の参照先である第２参照フレーム（２番目のＢフレーム）との間差を比較すると、後者は前者の１／３である。
【００８９】
そこで、動き情報推定部４００は、この処理対象フレームにおけるトランスコーディング後の動き情報を次のような線形補間により算出する。すなわち、各マクロブロックについて、当該マクロブロックの符号化データから分離された動き情報（順方向）Ｖｆｏｒｗａｒｄ（Ｐ）を取得し、Ｖｆｏｒｗａｒｄ（Ｐ）／３をトランスコーディング後の動き情報とするのである。以上が最後のＰフレームに対応したトランスコーディング後の動き情報の推定方法の詳細である。
【００９０】
次に、符号化器２００Ａの動作について説明する。
符号化器２００Ａには、復号器１００Ａから出力された処理対象フレームの各マクロブロック（処理対象マクロブロック）の画像データと、動き情報推定部４００によって求められた各処理対象マクロブロックに対応した動き情報とが供給される。そして、符号化器２００Ａにおける動き補償部２２１は、動き情報推定部４００から受け取った各処理対象マクロブロックに対応した動き情報を用いて、各処理対象マクロブロックに対応した第２参照マクロブロックの位置を各々求める。そして、この各処理対象マクロブロックに対応した第２参照ブロックの画像データを図示しないフレームメモリから読み出して減算器２０１に送る。
【００９１】
減算器２１は、これらの各第２参照マクロブロックの画像データを各々に対応した処理対象マクロブロックの画像データから減算し、各々予測誤差として出力する。この予測誤差は、ＤＣＴ部２０２によってＤＣＴ係数に変換され、量子化器２０３によって量子化データとされる。この量子化データは、逆量子化器２０４および逆ＤＣＴ部２０５を介することにより予測誤差に戻される。加算器２０６は、動き補償部２２１から出力された第２参照マクロブロックの画像データとこの予測誤差とを加算し、処理対象マクロブロックに対応した画像データとしてフレームメモリに書き込む。
【００９２】
一方、量子化器２０３から出力された量子化データは、可変長符号化器２０８によって可変長符号とされる。また、動き情報推定４００からの動き情報は可変長符号化器２０９によって可変長符号とされる。これらの可変長符号は、多重化器２１０によって多重化され、処理対象フレームに対応したトランスコーディング後の符号化データとして出力される。
【００９３】
このように本実施形態によれば、第１符号化アルゴリズムに対応した符号化データを第２符号化アルゴリズムに対応した縮小画像の符号化データにトランスコーディングする場合において、符号化器２００Ａ側での動き情報探索は行われず、トランスコーディングの際の動き情報の探索のための演算量が大幅に削減されるので、縮小処理を伴うトランスコーディングの効率を著しく高めることができる。
【００９４】
Ｄ．他のトランスコーディングにおける動作例
以上説明した実施形態では、図１（ａ）に示すトランスコーディングを行う場合を例に挙げたが、ここでは他のトランスコーディングを行う場合の動作例を説明する。
【００９５】
まず、図９を参照し、図１（ｂ）に示すトランスコーディングを行う場合における動き情報推定部４００の動作を説明する。図９において、Ｉフレームの直後のＢフレームのトランスコーディング後の動き情報の算出方法は上記実施形態において説明した通りである。次に、図９における２番目のＢフレームは、トランスコーディングの際に間引かれる。
【００９６】
そして、ピクチャグループの最後のＰフレームのトランスコーディング後の動き情報は次のようにして求める。まず、図９に示すように、トランスコーディング前にＩフレームを参照フレームとしていたＰフレームは、トランスコーディング後、Ｉフレームの直後のＰフレーム（元はＢフレームであったもの）を参照したフレームとなる。ここで、ＩフレームとＰフレームとの間の時間差と、トランスコーディング前のＩフレームの直後のＰフレームと最後のＰフレームとの時間差とを比較すると、後者は前者の２／３となる。そこで、動き情報推定部４００は、最後のＰフレームの各マクロブロックに対応した動き情報Ｖ（Ｐ）を取得し、２Ｖ（Ｐ）／３をトランスコーディング後の動き情報とする。
【００９７】
次に、図１０を参照し、図１（ｃ）に示すトランスコーディングを行う場合における動き情報推定部４００の動作を説明する。図１０において、Ｉフレームの直後のＰフレームは、トランスコーディングの前後において参照先であるフレームに変化がない。従って、このＰフレームは、動き情報推定部４００の処理対象とならない。２番目のＰフレームは、トランスコーディングの際に間引かれる。従って、この２番目のＰフレームも動き情報推定部４００の処理対象とならない。
【００９８】
次に、ピクチャグループの最後のＰフレームは、トランスコーディング前の参照先である第１参照フレームは２番目のＰフレームであるが、トランスコーディング後の参照先である第２参照フレームはＩフレームの直後の１番目のＰフレームである。そこで、動き情報推定部４００は、処理対象フレームたる最後のＰフレームを構成する各処理対象マクロブロックについて、以下の手順により第２参照フレームと当該処理対象フレームとの間の動きに対応した動き情報の予測値Ｖｆｏｒｗａｒｄ（Ｐ）を算出する。
【００９９】
ステップ１：まず、最後のＰフレーム中の処理対象マクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を用いて、第１参照フレーム（２番目のＰフレーム）における当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【０１００】
ステップ２：次に第１参照フレームにおける各マクロブロックのうち上記第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を求め、この動き情報Ｖｆｏｒｗａｒｄ（Ｐ）と上記ステップ１において求めた動き情報Ｖｆｏｒｗａｒｄ（Ｐ）を加算する。この結果、第２参照フレーム（１番目のＰフレーム）と当該処理対象フレームとの間の動きに対応した動き情報の予測値Ｖｆｏｒｗａｒｄ（Ｐ）が得られる。
以上が図１（ｂ）および（ｃ）に例示するようなフレームの間引きを伴うトランスコーディングを行う場合の動き情報推定部４００の動作である。他の部分の動作は上記実施形態と何等変わるところはない。
【０１０１】
Ｅ．動き情報推定部４００の動き情報算出アルゴリズムの例
動き情報推定部４００の動き情報の推定値の算出アルゴリズムとしては、既に図８を参照して説明したものの他、各種のアルゴリズムが考えられる。
【０１０２】
まず、図１１に示す動き情報算出アルゴリズムは、ＭＰＥＧ−４あるいはＨ．２６３のようなブロック毎に動き補償を行うことができる符号化データに好適な動き情報算出アルゴリズムである。このアルゴリズムでは、以下の手順により動き情報の算出を行う。
【０１０３】
ステップ１：まず、処理対象フレームにおける処理対象マクロブロックに対応した動き情報Ｖ０を求め、この動き情報Ｖ０から、第１参照フレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【０１０４】
ステップ２：次に、第１参照フレームにおいて第１参照マクロブロックを分割した各第１参照ブロック毎に、第１参照フレームにおける各マクロブロックのうち当該第１参照ブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報を求める。
【０１０５】
図１１の例では、左上の第１参照ブロックについては、左上のマクロブロックｂ１と重複している面積が最も広いので、この左上のマクロブロックｂ１に対応した動き情報Ｖ１が第１参照フレームの符号化データの中から選択されることとなる。また、右上の第１参照ブロックについては、右上のマクロブロックｂ２と重複している面積が最も広いので、この右上のマクロブロックｂ２に対応した動き情報Ｖ２が第１参照フレームの符号化データの中から選択されることとなる。また、左下の第１参照ブロックについては、左下のマクロブロックｂ３と重複している面積が最も広いので、この左下のマクロブロックｂ３に対応した動き情報Ｖ３が第１参照フレームの符号化データの中から選択されることとなる。最後に、右下の第１参照ブロックについては、右下のマクロブロックｂ４と重複している面積が最も広いので、この右下のマクロブロックｂ４に対応した動き情報Ｖ４が第１参照フレームの符号化データの中から選択されることとなる。
【０１０６】
ステップ３：上記ステップ１の動き情報Ｖ０とステップＳ２において各第１参照ブロック毎に選択した動き情報Ｖ１〜Ｖ４から、次の演算により、第２参照フレームから処理対象フレームにおける処理対象マクロブロックを分割した４個のブロックまでの動き情報Ｖ１ｎｅｗ〜Ｖ４ｎｅｗを求める。
【数１７】
この動き情報の推定値の算出アルゴリズムによれば、処理対象マクロブロックを分割した各ブロックについて、参照画像との間の動き情報が得られるので、各ブロック毎に動き補償が可能な符号化方法に対して最適なトランスコーディングを行うことができる。
【０１０８】
次に、図１２に示す動き情報算出アルゴリズムでは、以下の手順により動き情報の算出を行う。
【０１０９】
ステップ１：まず、処理対象フレームの符号化データから処理対象マクロブロックに対応した動き情報Ｖ０を求め、この動き情報Ｖ０から、第１参照フレームにおける当該処理対象マクロブロックに対応した第１参照マクロブロックを求める。
【０１１０】
ステップ２：次に、第１参照フレームにおいて各マクロブロックのうち第１参照マクロブロックと重複しているマクロブロックｂ１〜ｂ４を求め、これらのマクロブロックｂ１〜ｂ４のうち第１参照マクロブロックと重複している部分の面積が最も広いマクロブロックに対応した動き情報を求める。図１２（ａ）の例では、図示された４個のマクロブロックｂ１〜ｂ４のうち右下に図示されたマクロブロックｂ４と第１参照マクロブロックとの重複部分の面積が最も広いので、このマクロブロックｂ４に対応した動き情報Ｖ４が第１参照フレームの符号化データの中から選択されることとなる。
【０１１１】
ステップ３：次に、第１参照フレームにおいて、第１参照マクロブロックの中心からこの第１参照マクロブロックとの重複部分の面積が最も広いマクロブロックｂ４の中心までの動き情報ΔＶ４を求める（図１２（ｂ）参照）。
【０１１２】
ステップＳ４：上記ステップ１の動き情報Ｖ０と、ステップ２において求めた動き情報Ｖ４と、ステップ３において求めた動き情報ΔＶ４とから、次の演算により、第２参照レームから処理対象フレームにおける処理対象マクロブロックまでの動き情報Ｖｎｅｗを求める。
【数１８】
Ｆ．他の実施形態
（１）上記実施形態では、画像の１／４縮小を伴うトランスコーディングを行う場合、縮小後のマクロブロックに含まれることとなる縮小前の４個のマクロブロックに対応した４個の動き情報を画像の縮小率に応じた比率で各々縮小し、この結果得られる４個の動き情報の平均値を当該縮小後のマクロブロックの動き情報とした。
【０１１４】
しかしながら、画像の１／４縮小を伴うトランスコーディングを行う場合において、トランスコーディング後の符号化方式がＭＰＥＧ−４やＨ．２６３などのようなブロック単位で動き補償を行う符号化方式である場合もある。
【０１１５】
かかる場合には、トランスコーディング前の１個のマクロブロックがトランスコーディング後は１個のブロックとなるので、トランスコーディング前の各マクロブロックに対応した動き情報を画像の縮小率に応じた比率で各々縮小したものを、トランスコーディング後の各ブロックの動き情報として用いればよい。
【０１１６】
（２）上記実施形態では、図４に示す復号器１００Ａの動き補償部１０７において、マクロブロック単位で動き補償を行った。しかし、復号器１００Ａ側での動き補償の方法はこれに限定されない。例えばトランスコーディング前の符号化データがマクロブロック単位で動き情報を有している場合、これらの動き情報の比例縮小を行うことにより、１／４縮小後の８×８画素の各ブロックに対応した動き情報を得ることができる。従って、復号器１００Ａの動き補償部１０７において、この８×８画素の各ブロックに対応した比例縮小後の動き情報を用いてブロック単位で動き補償を行うようにしてもよい。このようにすることで、精度の良い復号画像を復号器１００Ａから符号化器２００Ａに供給することができる。
【０１１７】
また、トランスコーディング前の符号化データが８×８画素のブロック単位で動き情報を有している場合、これらの動き情報の比例縮小を行うことにより、１／４縮小後の４×４画素の各ブロックに対応した動き情報を得ることができる。この場合には、復号器１００Ａの動き補償部１０７において、この４×４画素の各ブロックに対応した比例縮小後の動き情報を用いて４×４画素のブロック単位で動き補償を行うようにしてもよい。
【０１１８】
（３）上記実施形態では、画像を１／４の縮小率で縮小する場合を例に挙げたが、これはあくまでも一例であり、本発明はこれに限らず、任意の縮小率による画像の縮小に適用可能である。例えば画像を１／１６の縮小率で縮小する場合、例えば８×８画素のブロックに対して高域成分の除去を行いつつ２×２画素を取り出す操作が必要となるが、この操作は例えば次式に従って行えばよい。
【数１９】
上記式において、Ｆ00、Ｆ01、Ｆ10、Ｆ11は、８×８のＤＣＴ係数行列から取り出された４個の低周波成分である。この例では、高域除去された８×８画素のブロックのうち（ｉ、ｊ）＝（０、０）、（０、４）、（４、０）、（４、４）の各行列要素からなる縮小画像の２×２画素の画素データ行列の要素ｆｉｊを求めている。
【０１２０】
上記式の代わりに、次式を用いてもよい。
【数２０】
【０１２１】
以上２通りの例を示したが、高域除去された８×８画素のブロックの中から４個の行列要素を選択する選択方法は、全部で１６通りある。いずれの行列要素を選択する場合も、上記数１９または数２０と基本的に同じ演算により行列要素を算出することができる。なお、１６通りの選択方法のうちの１つに従って４個の行列要素を選択し、それらを算出する以外に、これらの選択方法のうちの幾つか（全部でも良い）に従って、４個の行列要素からなる行列を複数組求め、各行列要素毎に平均を取って、縮小画像の画素データ行列にしてもよい。
【０１２２】
（４）上記実施形態では、ＭＰＥＧ−２などのようにＧＯＰ単位で符号化を行う符号化アルゴリズムにより得られた符号化データのトランスコーディングを例に挙げたが、この発明の適用範囲はこれに限定されるものではない。本発明は、ＭＰＥＧ−４などのように、不定期なタイミングでＩフレ−ムを設ける符号化アルゴリズムにより得られた符号化データのトランスコーディングに適用してもよい。
【０１２３】
【発明の効果】
以上説明したように、本発明に係るトランスコーディング方法またはトランスコーディング装置によれば、画像の縮小を伴うトランスコーディングを少ない演算量で実行することができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の適用対象であるトランスコーディングの例を示す図である。
【図２】 この発明の一実施形態であるトランスコーディング方法を示す図である。
【図３】 同トランスコーディング方法を示す図である。
【図４】 この発明の一実施形態であるトランスコーディング装置の構成を示すブロック図である。
【図５】 同実施形態における動き情報の推定処理を示す図である。
【図６】 同実施形態における動き情報の推定処理を示す図である。
【図７】 同実施形態における動き情報の推定処理を示す図である。
【図８】 同実施形態における動き情報の推定値の算出アルゴリズムを説明する図である。
【図９】 同実施形態における動き情報の推定処理を示す図である。
【図１０】 同実施形態における動き情報の推定処理を示す図である。
【図１１】 同実施形態における動き情報の推定処理の他の例を示す図である。
【図１２】 同実施形態における動き情報の推定処理の他の例を示す図である。
【図１３】 従来のトランスコーディング装置の構成を示すブロック図である。
【符号の説明】
１００Ａ……復号器、２００Ａ……符号化器、４００……動き情報推定部、
１２１……特殊逆ＤＣＴ部、１２２……比例縮小部、２２１……動き補償部。
Claims (8)
- フレーム内符号化アルゴリズムと動き補償を伴ったフレーム間予測符号化アルゴリズムとを含む第１符号化アルゴリズムにより動画像を表す複数のフレームから生成された符号化データを、第２符号化アルゴリズムに対応した符号化データに変換するトランスコーディング方法において、
前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前後に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化されたフレーム間予測符号化フレームとを含み、
且つ、それぞれの前記フレームは複数のブロックから構成されており、
前記フレーム間予測符号化フレームのブロックの各々に対応する前記動き補償のための動き情報から、前記動画像を縮小したときの動き情報を生成する縮小画像用動き情報算出過程と、
前記縮小画像用動き情報算出過程により得られた動き情報から、前記第２符号化アルゴリズムに対応した動き情報を推定する動き情報推定過程であって、
前記フレーム間予測符号化フレームにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されたブロックに対応する動き情報に基づいて、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定し、
前記フレーム間予測符号化フレームにおいて、時間的に後に存在する第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報から、当該第１参照フレームにおいて当該ブロックに対応する第１参照ブロックを求め、当該第１参照フレームにおける各ブロックのうち、前記第１参照ブロックに重複している部分の面積が最も大きいブロックであって、且つ、時間的に前に存在する第２参照フレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報と、前記フレーム間予測符号化フレームにおいて前記第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報との和を、前記第２符号化アルゴリズムに対応した動き情報として推定する動き情報推定過程と、
前記縮小画像用動き情報算出過程において算出された縮小画像に対応した動き情報を用いて、前記フレーム間予測符号化アルゴリズムにより生成された符号化データから当該符号化データに対応した画像の縮小画像の画像データを生成する縮小画像データ算出過程と、
前記縮小画像データ算出過程において得られた画像データから前記第２符号化アルゴリズムに対応した符号化データを生成する過程であって、前記動き情報推定過程において算出された動き情報を用いて動き補償を行い、フレーム間予測符号化による符号化データを生成する再符号化過程と
を具備することを特徴とするトランスコーディング方法。 - 前記フレーム間予測符号化フレームは、
時間的に前後の双方に存在するフレームとの差分に基づいて符号化された第１フレーム間予測符号化フレームと、
時間的に前に存在するフレームとの差分に基づいて符号化された第２フレーム間予測符号化フレームとを含み、
前記動き情報推定過程において、
１つの前記フレーム内符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する２つの前記第１フレーム間予測符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する１つの前記第２フレーム間予測符号化フレームとのうち、
前記２つの第１フレーム間予測符号化フレームの動き情報を、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
前記第２フレーム間予測符号化フレームの動き情報を、前記２つの第１フレーム間予測符号化フレームのうち時間的に後に存在する第１フレーム間予測符号化フレームに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
その変換によって得られた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定する
ことを特徴とする請求項１記載のトランスコーディング方法。 - 前記フレーム間予測符号化フレームは、
時間的に前後の双方に存在するフレームとの差分に基づいて符号化された第１フレーム間予測符号化フレームと、
時間的に前に存在するフレームとの差分に基づいて符号化された第２フレーム間予測符号化フレームとを含み、
前記動き情報推定過程において、
１つの前記フレーム内符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する２つの前記第１フレーム間予測符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する１つの前記第２フレーム間予測符号化フレームとのうち、
前記２つの第１フレーム間予測符号化フレームのうち時間的に前に存在する第１フレーム間予測符号化フレームの動き情報を、前記フレーム内符号化フレームに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
前記２つの第１フレーム間予測符号化フレームのうち時間的に後に存在する第１フレーム間予測符号化フレームの動き情報を間引き、
前記第２フレーム間予測符号化フレームの動き情報を、前記２つの第１フレーム間予測符号化フレームのうち時間的に前に存在する第１フレーム間予測符号化フレームに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
これらの変換によって得られた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定する
ことを特徴とする請求項１記載のトランスコーディング方法。 - 前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化された複数のフレーム間予測符号化フレームとを含み、
前記動き情報推定過程において、
前記複数のフレーム間予測符号化フレームのうちのいずれかに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を間引き、
前記複数のフレーム間予測符号化フレームのうちの残りのフレーム間予測符号化フレームの動き情報を、前記第２符号化アルゴリズムに対応した符号化データにおいて時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
これらの変換によって得られた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定する
ことを特徴とする請求項１記載のトランスコーディング方法。 - フレーム内符号化アルゴリズムと動き補償を伴ったフレーム間予測符号化アルゴリズムとを含む第１符号化アルゴリズムにより動画像を表す複数のフレームから生成された符号化データを、第２符号化アルゴリズムに対応した符号化データに変換するトランスコーディング装置において、
前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前後に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化されたフレーム間予測符号化フレームとを含み、
且つ、それぞれの前記フレームは複数のブロックから構成されており、
前記フレーム間予測符号化フレームのブロックの各々に対応する前記動き補償のための動き情報から、前記動画像を縮小したときの動き情報を生成する縮小画像用動き情報算出手段と、
前記縮小画像用動き情報算出手段により得られた動き情報から、前記第２符号化アルゴリズムに対応した動き情報を推定する動き情報推定手段であって、
前記フレーム間予測符号化フレームにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されたブロックに対応する動き情報に基づいて、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定し、
前記フレーム間予測符号化フレームにおいて、時間的に後に存在する第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報から、当該第１参照フレームにおいて当該ブロックに対応する第１参照ブロックを求め、当該第１参照フレームにおける各ブロックのうち、前記第１参照ブロックに重複している部分の面積が最も大きいブロックであって、且つ、時間的に前に存在する第２参照フレームとの差分に基づいて符号化されるブロックに対応する動き情報を求め、求めた動き情報と、前記フレーム間予測符号化フレームにおいて前記第１参照フレームとの差分に基づいて符号化されたブロックに対応する動き情報との和を、前記第２符号化アルゴリズムに対応した動き情報として推定する動き情報推定手段と、
前記縮小画像用動き情報算出手段において算出された縮小画像に対応した動き情報を用いて、前記フレーム間予測符号化アルゴリズムにより生成された符号化データから当該符号化データに対応した画像の縮小画像の画像データを生成する縮小画像データ算出手段と、
前記縮小画像データ算出手段において得られた画像データから前記第２符号化アルゴリズムに対応した符号化データを生成する手段であって、前記動き情報推定手段において算出された動き情報を用いて動き補償を行い、フレーム間予測符号化による符号化データを生成する再符号化手段と
を具備することを特徴とするトランスコーディング装置。 - 前記フレーム間予測符号化フレームは、
時間的に前後の双方に存在するフレームとの差分に基づいて符号化された第１フレーム間予測符号化フレームと、
時間的に前に存在するフレームとの差分に基づいて符号化された第２フレーム間予測符号化フレームとを含み、
前記動き情報推定手段は、
１つの前記フレーム内符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する２つの前記第１フレーム間予測符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する１つの前記第２フレーム間予測符号化フレームとのうち、
前記２つの第１フレーム間予測符号化フレームの動き情報を、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
前記第２フレーム間予測符号化フレームの動き情報を、前記２つの第１フレーム間予測符号化フレームのうち時間的に後に存在する第１フレーム間予測符号化フレームに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
その変換によって得られた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定する
ことを特徴とする請求項５記載のトランスコーディング装置。 - 前記フレーム間予測符号化フレームは、
時間的に前後の双方に存在するフレームとの差分に基づいて符号化された第１フレーム間予測符号化フレームと、
時間的に前に存在するフレームとの差分に基づいて符号化された第２フレーム間予測符号化フレームとを含み、
前記動き情報推定手段は、
１つの前記フレーム内符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する２つの前記第１フレーム間予測符号化フレームと、当該フレーム内符号化フレームよりも時間的に後に存在する１つの前記第２フレーム間予測符号化フレームとのうち、
前記２つの第１フレーム間予測符号化フレームのうち時間的に前に存在する第１フレーム間予測符号化フレームの動き情報を、前記フレーム内符号化フレームに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
前記２つの第１フレーム間予測符号化フレームのうち時間的に後に存在する第１フレーム間予測符号化フレームの動き情報を間引き、
前記第２フレーム間予測符号化フレームの動き情報を、前記２つの第１フレーム間予測符号化フレームのうち時間的に前に存在する第１フレーム間予測符号化フレームに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて、時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
これらの変換によって得られた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定する
ことを特徴とする請求項５記載のトランスコーディング装置。 - 前記複数のフレームは、
フレーム内符号化アルゴリズムによって符号化されたフレーム内符号化フレームと、
時間的に前に存在するフレームとの差分に基づきフレーム間予測符号化アルゴリズムによって符号化された複数のフレーム間予測符号化フレームとを含み、
前記動き情報推定手段は、
前記複数のフレーム間予測符号化フレームのうちのいずれかに対応し、且つ、前記第２符号化アルゴリズムに対応した符号化データにおいて時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報を間引き、
前記複数のフレーム間予測符号化フレームのうちの残りのフレーム間予測符号化フレームの動き情報を、前記第２符号化アルゴリズムに対応した符号化データにおいて時間的に前に存在するフレームとの差分に基づいて符号化されるブロックに対応する動き情報に変換し、
これらの変換によって得られた動き情報を、前記第２符号化アルゴリズムに対応した動き情報として推定する
ことを特徴とする請求項５記載のトランスコーディング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000178964A JP4361665B2 (ja) | 2000-06-14 | 2000-06-14 | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000178964A JP4361665B2 (ja) | 2000-06-14 | 2000-06-14 | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001359104A JP2001359104A (ja) | 2001-12-26 |
| JP4361665B2 true JP4361665B2 (ja) | 2009-11-11 |
Family
ID=18680305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000178964A Expired - Fee Related JP4361665B2 (ja) | 2000-06-14 | 2000-06-14 | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4361665B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007288446A (ja) * | 2006-04-14 | 2007-11-01 | Toshiba Corp | 動画像復号装置 |
| WO2015033510A1 (ja) | 2013-09-09 | 2015-03-12 | 日本電気株式会社 | 映像符号化装置、映像符号化方法及びプログラム |
-
2000
- 2000-06-14 JP JP2000178964A patent/JP4361665B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001359104A (ja) | 2001-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3720875B2 (ja) | トランスコーディング方法及び装置 | |
| JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
| JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
| JP3132456B2 (ja) | 階層的画像符号化方式、及び階層的画像復号方式 | |
| KR101608426B1 (ko) | 영상의 인트라 예측 부호화/복호화 방법 및 그 장치 | |
| KR100763179B1 (ko) | 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치 | |
| US20050002458A1 (en) | Spatial scalable compression | |
| US7903731B2 (en) | Methods and transcoders that estimate an output macroblock and motion vector for video transcoding | |
| JPH11275592A (ja) | 動画像符号列変換装置及びその方法 | |
| KR101431543B1 (ko) | 영상 부호화/복호화 장치 및 방법 | |
| KR101375667B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| JP4494803B2 (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| JP4153150B2 (ja) | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 | |
| JP4361665B2 (ja) | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 | |
| KR100744435B1 (ko) | 고속 동영상 압축을 위한 ｄｃｔ 및 양자화 과정 생략 방법 | |
| JP4169767B2 (ja) | 符号化方法 | |
| JP2005151167A (ja) | 動き補償予測符号化装置及び動き補償予測符号化プログラム | |
| JP4164903B2 (ja) | 動画像符号列変換装置及びその方法 | |
| JP2007516639A (ja) | 符号化方法及び符号化装置 | |
| JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP4390009B2 (ja) | 符号化装置及び方法、画像処理システム | |
| KR100657714B1 (ko) | 3차원 스캐닝을 이용한 영상데이터 부호화 방법 | |
| KR0174444B1 (ko) | 초저속 전송을 위한 움직임 보상장치 | |
| JPH09200747A (ja) | 画像符号化方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040607 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090813 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |