JP4909592B2 - 動画像再生方法及び装置並びにプログラム - Google Patents

Description

本発明は、符号化された動画データを伝送路を通して配信するとき、特に、帯域の狭いモバイルネットワークやインターネットを通して伝送する場合に、受信側で動画像の再生品質を高めるために好適な方法と装置並びにプログラムに関する。

動画像信号を圧縮符号化して少ない帯域で効率良く伝送するための手法として、例えばＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）勧告Ｈ．２６３及びＨ．２６４、あるいは、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｏｆ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）にて国際標準化されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４等が知られている。

なお、フレームを間引き処理し、一部の画像データのみを表示する場合にも、本来動画像データが有していた動きについての情報を伝達し、動き感のある表示ができるようにした方法、装置が知られている（例えば特許文献１参照）。特許文献１では、動き生成部が、画像データを構成する画素ごとに画像データに対応する動きベクトルに基づいて、複数の画素の有する画素値を用いた重み付け加算を行って動き生成・付与処理のなされた画像データを生成している。また通信回線の伝送速度や圧縮動画像データのデータ量が大きいことで１画面分の画像の復号化に時間が長くかかる場合であっても、再現動画像の動きのぎこちなさを解消する動画像復号化方式も知られている（例えば特許文献２参照）。特許文献２では、動き補償回路が、各マクロブロックの動きベクトルをｎ等分した基準動きベクトルデータをｍ倍した動き補間ベクトルデータを生成し、フレームメモリから読み出した画像データを１フレームごとに、各動き補間ベクトルデータにしたがって順次変移させながら表示メモリに書き込む構成とされている。さらに受信側で欠落したフレームを正確に再生することができる動画像圧縮装置も知られている（例えば特許文献３参照）。特許文献３では、動画内挿部が、隣接伝送フレームから求めた動きベクトルから動き曲線に近似し、隣接伝送フレーム間の距離の比から内挿すべき補間フレームを再構成している。さらに、欠落した画素ブロックの動きベクトルを推定し、その画素ブロックを前フレームの動き補償された画素ブロックで置き換えることにより、入力信号のエラーによる画質劣化を目立たなくする構成も知られている（例えば特許文献４参照）。同様に、伝送路において、伝送誤りが生じた場合の復号化画像の劣化を低減するために、復号化画像又は動きベクトルの一部を、前フレーム又は同一フレームの周囲から補間するようにした構成も知られている（例えば特許文献５参照）。また、動きベクトルから隣接伝送フレーム間に適切な補間フレームを再構成し、フレーム内挿処理を行うことで、受信側で欠落したフレームを正確に再構成することができるようにした構成も知られている（例えば特許文献６参照）。

特開２０００−３３３１３１号公報（第６頁、第１図） 特開平０７−６７１１４号公報（第３頁、第１図） 特開平０７−１７７５１４号公報（第３、５頁、第１図） 特開平０８−９３８６号公報（第３頁、第１図） 特開平０８−７９７４２号公報（第３頁、第１図） 特開平１０−２７１５０８号公報（第２、３頁、第１図）

Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−４等の圧縮方式は、圧縮率が高いことで知られている。しかしながら、帯域の狭いモバイル伝送路（例えばＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）携帯電話での２８．８ｋｂｐｓや、第三世代（３ＧＰＰ）携帯電話などでの６４ｋｂｐｓ伝送路）や、インターネットなどを通して、動画コンテンツの配信などを行なう場合、伝送路の帯域が狭いために、１秒あたりの動画のフレーム数（ｆｐｓ：１秒あたりの画面数）を大幅に低減化させる必要がある（例えばＰＤＣでは２ｆｐｓ、第三世代（３ＧＰＰ）では、５ｆｐｓなど）。

このために、受信側では、特に動きの比較的大きなコンテンツにおいて、情報の欠落が大きく、充分な動きを再現することが困難となり、再生品質が大幅に低下する、という問題がある。

したがって、本発明の第１の目的は、例えばモバイル伝送路やインターネットなどで、伝送速度が遅く、充分なｆｐｓ（１秒あたりの動画のフレーム数）が確保できない場合でも、受信側でｆｐｓを増大させ、動きを充分に表現することを可能とし、動画像の品質を改善する動画像再生方法と装置並びにプログラムを提供することである。

また、本発明の第２の目的は、受信側のみの処理で、送信側には何も手を加えずに、これまでにあるエンコーダや、圧縮符号化ストリームをそのまま使用できる動画像再生方法と装置並びにプログラムを提供することである。

さらに、本発明の第３の目的は、受信側でのわずかな機能の追加ですみ、受信側の処理量が少ない動画像再生方法と装置並びにプログラムを提供することである。

上記目的を達成するため、本願に開示される発明は、概略、以下の構成とされる。

本発明の１つのアスペクト（側面）に係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するデコーダ部と、前記復元された画面から特徴パラメータを抽出する特徴パラメータ抽出部と、時間的に過去の特徴パラメータまたは未来の特徴パラメータのいずれかまたは両者を用いて、予め定められた処理を施すことにより、受信していない画面を復元する画像復元部と、を有する。

本発明の第２のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するデコーダ部と、時間的に過去の特徴パラメータまたは未来の特徴パラメータのいずれかまたは両者を用いて予め定められた処理を施すことにより、受信していない画面を復元する画像復元部とを有する。

本発明の第３のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するデコーダ部と、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し時間的に過去の特徴パラメータまたは未来の特徴パラメータのいずれかまたは両者を用いて予め定められた処理を施すか否かを決定した上で受信していない画面を復元する画像復元部とを有する。

本発明の第４のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するデコーダ部と、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータまたは未来の特徴パラメータのいずれかまたは両者を用いて予め定められた処理を施すか否かを決定した上で受信していない画面を復元する画像復元部とを有する。

本発明の第５のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するデコーダ部と、前記復元された画像から特徴パラメータを抽出する特徴パラメータ抽出部と、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて時間方向に補間した上で受信していない画面を復元する画像復元部とを有する。

本発明の第６のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するデコーダ部と、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて時間方向に補間した上で受信していない画面を復元する画像復元部とを有する。

本発明の第７のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するデコーダ部と、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて時間方向に補間するか否かを決定した上で受信していない画面を復元する画像復元部とを有する。

本発明の第８のアスペクトに係る装置は、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するデコーダ部と、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて時間方向に補間するか否かを決定した上で受信していない画面を復元する画像復元部とを有する。

本発明の１つのアスペクトに係る方法は、
デコーダ部が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するステップと、
特徴パラメータ抽出部が、前記デコーダ部で復元された画面から特徴パラメータを抽出するステップと、
画像復元部が、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すことにより、受信していない画面を復元するステップと、
を含む。

本発明によれば、上記第２乃至第８のアスペクトに係る装置発明に対応して、第２乃至第８のアスペクトに係る方法発明が提供される。また本発明によれば、上記各アスペクトに係る方法発明に対応して、該処理ステップをコンピュータ又はプロセッサで機能させるコンピュータプログラムが提供される。
本発明によれば、圧縮符号化された画像情報を受けて復号し画面を復元し、前記復元された画面から、又は、前記復号の過程での画像情報から、所定の特徴パラメータを抽出し、前記特徴パラメータと前記復元された画面とから、前記復元された画面とは別の画面を復元することで、受信していない画面の復元を可能としている。

本発明によれば、受信側で、所定の特徴パラメータを用いて、受信していない画像を復元することにより、例えばモバイル伝送路やインターネットなどで、伝送速度が遅く、充分なフレーム枚数が確保できない場合でも、受信側で画像フレーム数を増大させ、動きを充分に表現することを可能としている。このため、動画像の品質を改善することができる。

また、本発明によれば、受信側のみの処理で上記目的を達成することができるため、送信側には何も手を加えなくてよい。このため、本発明によれば、既存のエンコーダや、圧縮符号化ストリームをそのまま用いることができる。

さらに、本発明によれば、受信側にわずかな機能を追加するだけですみ、コストの増大を抑止しており、受信側の処理量も少ない。

本発明の第１の実施の形態の構成を示す図である。 本発明の第２の実施の形態の構成を示す図である。 本発明の第３の実施の形態の構成を示す図である。 本発明の第４の実施の形態の構成を示す図である。 本発明の第５の実施の形態の構成を示す図である。 本発明の第６の実施の形態の構成を示す図である。 本発明の第７の実施の形態の構成を示す図である。 本発明の第８の実施の形態の構成を示す図である。

符号の説明

２００ デコーダ
２０１ 受信バッファ
２０２ 可変長復号化器
２０３ 逆量子化器
２０４ 逆変換器
２０５ フレームメモリ
２０６ 動き補償予測器
２０７ 加算器
２１０ 特徴パラメータ抽出器
２１１ フレームメモリ
２１２、２２２、２３１ 動画像復元器
２１５、２３０ 補間器
２２０ 小区間分割器
２２１ 特徴パラメータ抽出＆判別器
２２５ 小区間分割＆判別器

本発明をさらに詳細に説述すべく添付図面を参照してこれを説明する。図１は、本発明の第１の実施の形態の動画像再生装置の構成を示す図である。図１を参照すると、デコーダ２００と、特徴パラメータ抽出器２１０と、フレームメモリ２１１と、動画像復元器２１２を備えている。

デコーダ２００は、受信バッファ２０１と、可変長復号化器２０２と、逆量子化器２０３と、逆変換器２０４と、フレームメモリ２０５と、動き補償予測器２０６と、加算器２０７を備えている。

受信バッファ２０１は、動画像を圧縮符号化されたビットストリームを受信して一旦蓄積し、その後、蓄積した受信符号化ビットストリームを、可変長復号化器２０２に出力する。ここで、動画像の圧縮符号化は、送信側（不図示）で実行されるが、圧縮符号化に必要なエンコーダとして、例えば、ＩＴＵ−Ｔ勧告であるＨ．２６１、Ｈ．２６３、Ｈ．２６４、あるいはＩＳＯ／ＩＥＣ勧告であるＭＰＥＧ−４や、これら以外の動画像圧縮符号化方式が用いられる。

可変長復号化器２０２は、受信バッファ２０１から出力された受信符号化ビットストリームに対して可変長復号化を行い、復号化された量子化変換係数を逆量子化器２０３に出力する。

逆量子化器２０３は、可変長復号化器２０２から出力された量子化変換係数に対して逆量子化の演算を行い、逆量子化された変換係数を、逆変換器２０４に出力する。

逆変換器２０４は、逆量子化器２０３から出力された変換係数に対して、一例として、逆離散コサイン変換（Ｉ−ＤＣＴ；Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）の演算を行い、変換された動画像信号を、加算器２０７に出力する。

本実施の形態では、逆変換器２０４おける逆変換として、逆離散コサイン変換を用いているが、他の変換（たとえばＨ．２６４の場合には、逆整数変換）を用いてもよいことは勿論である。

フレームメモリ２０５は、加算器２０７から出力された動画像信号を一旦格納する。

動き補償予測器２０６は、可変長復号化器２０２から出力された特徴パラメータを使用して、フレームメモリ２０５に格納されている動画像信号に対して、動き補償予測を行う。動き補償予測器２０６は、動き補償予測を行った結果として得られた動画像信号を、加算器２０７に出力する。

加算器２０７は、逆変換器２０４から出力された動画像信号と、動き補償予測器２０６から出力された動画像信号とを加算する。加算器２０７で加算された動画像信号は、デコーダ出力信号として、フレームメモリ２０５、フレームメモリ２１１、特徴パラメータ抽出器２１０に出力される。

特徴パラメータ抽出器２１０は、デコーダから出力された動画像信号から少なくとも一つの特徴パラメータを抽出し、動画像復元器２１２に出力する。ここで、特徴パラメータとしては、例えば動きベクトルを用いることができる。

動画像復元器２１２は、時間的に過去の特徴パラメータまたは未来の特徴パラメータのいずれか、または両者を入力し、さらに、フレームメモリ２１１から、時間的に過去の画像または未来の画像（復号画像）のいずれか、または両者を入力して、前記特徴パラメータと組み合わせて、予め定められた処理を施すことにより、受信されなかった動画像フレームを再生した上で出力する。なお、予め定められた処理として、例えば、動きベクトルを用いた動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）フレーム間予測の処理を用いることができる。

本発明の第１の実施の形態に係る方法は、処理手順として、以下のステップを有する。なお、ステップ１、２、３という順序のシーケンスからなるため、流れ図としては図示されない（後の実施の形態でも同様である）。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、該ビットストリームから画面を復元する。

ステップ２：特徴パラメータ抽出器２１０が、デコーダ２００で復元された画面から特徴パラメータを抽出する。

ステップ３：動画像復元器２１２が、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理（例えば動きベクトルを用いた動き補償フレーム間予測）を施すことにより、受信していない画面を復元する。

上記各ステップは、動画像再生装置を構成するコンピュータ（ＤＳＰ（デジタル信号プロセッサ）等のプロセッサ）上でプログラムを実行することにより、その処理を実現する構成としてもよい。後述する他の実施の形態についても同様である。

次に、本発明の第２の実施の形態について説明する。図２は、本発明の第２の実施の形態の構成を示す図である。図２において、図１と同一又は同等の要素には、同一の参照番号が付されている。図２を参照すると、本実施の形態では、特徴パラメータ抽出器２１０が省かれている。以下では、図１に示した前記第１の実施の形態との相違点について説明する。

図２を参照すると、本実施の形態では、可変長復号化器２０２の出力から特徴パラメータを取り出して、動画像復元器２１２に入力している。このため、前記第１の実施の形態で設けられていた特徴パラメータ抽出器２１０は不要とされている。

本発明の第２の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元する。

ステップ２：動画像復元器２１２が、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理（例えば動きベクトルを用いた動き補償フレーム間予測）を施すことにより、受信していない画面を復元する。

次に、本発明の第３の実施の形態について説明する。図３は、本発明の第３の実施の形態の構成を示す図である。図３において、図１と同一又は同等の要素には、同一の参照番号が付されている。本実施の形態では、デコーダ２００（図１の前記第１の実施の形態と同一）と、動画像復元器２２２との間に、小区間分割器２２０と、特徴パラメータ抽出＆判別器２２１とを備えている。以下では、図１に示した前記第１の実施の形態との同一部分の説明は適宜省略し、相違点について説明する。

小区間分割器２２０は、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力する。小区間のサイズとしては、例えば、マクロブロック（ＭＢ）やマクロブロックの整数倍のサイズを用いることができる。

特徴パラメータ抽出＆判別器２２１は、少なくとも一つの小区間において、特徴パラメータを抽出して、動画像復元器２２２に出力する。特徴パラメータの一例として、動きベクトルを用いることができる。

さらに、特徴パラメータ抽出＆判別器２２１は、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元器２２２での処理を行なうか否かを判別し、判別信号を出力する。一例として、特徴パラメータ抽出＆判別器２２１は、小区間が、動領域か静領域であるかを判別し、判別結果を判別信号として出力する。

動画像復元器２２２は、小区間分割の区切りと、少なくとも一つの小区間での判別信号と、少なくとも一つの小区間での特徴パラメータとを入力し、さらに、フレームメモリ２１１から、過去の画面または未来の画面のいずれか、または両者を入力して、入力された判別信号に従い、少なくとも一つの小区間で、予め定められた処理を行ない、受信していない画面を復元する。ここで、予め定められた処理としては、一例として、動きベクトルを用いた動き補償フレーム間予測を用いることができる。

本発明の第３の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、該ビットストリームから画面を復元する。

ステップ２：小区間分割器２２０が、画面を予め定められたサイズの小区間に分割する。

ステップ３：特徴パラメータ抽出＆判別器２２１が、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出して動画像復元器２２２に出力し、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、動画像復元器２２２で予め定められた処理（例えば動きベクトルを用いた動き補償フレーム間予測）を施すか否かを決定した上で、受信していない画面を復元する。

次に、本発明の第４の実施の形態について説明する。図４は、本発明の第４の実施の形態の構成を示す図である。図４において、図１と同一又は同等の要素には、同一の参照番号が付されている。本実施の形態では、デコーダ２００（図１に示した前記第１の実施の形態と同一）と動画像復元器２２２との間に、小区間分割＆判別器２２５を備えている。以下では、図１、図３に示した前記第１、第３の実施の形態との同一部分の説明は適宜省略し、相違点について説明する。

小区間分割＆判別器２２５は、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力する。小区間のサイズとしては、例えば、マクロブロック（ＭＢ）やマクロブロックの整数倍のサイズが用いられる。

さらに、小区間分割＆判別器２２５は、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元器２２２での処理を行なうか否かを判別し、判別信号を出力する。一例として、小区間分割＆判別器２２５は、小区間が動領域か静領域であるかを判別し、判別結果を判別信号として出力する。

本発明の第４の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元する。

ステップ２：小区間分割＆判別器２２５が、画面を、予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、動画像復元器２２２で、予め定められた処理（例えば動きベクトルを用いた動き補償フレーム間予測）を施すか否かを決定する。

ステップ３：動画像復元器２２２は、小区間分割の区切りと、少なくとも一つの小区間での判別信号と、少なくとも一つの小区間での特徴パラメータ、フレームメモリ２１１から過去の画面または未来の画面のいずれか、または両者を入力して、受信していない画面を復元する。

次に、本発明の第５の実施の形態について説明する。図５は、本発明の第５の実施の形態の構成を示す図である。図５において、図１と同一又は同等の要素には、同一の参照番号が付されている。本実施の形態では、図１に示した前記第１の実施の形態の特徴パラメータ抽出器２１０と動画像復元器２１２との間に補間器２１５を備えている。以下では、図１に示した前記第１の実施の形態との同一部分の説明は適宜省略し、相違点について説明する。

補間器２１５は、特徴パラメータ抽出器２１０の出力を入力し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間し、補間後の特徴パラメータを動画像復元器２１２に出力する。特徴パラメータとしては、一例として、動きベクトルを用いることができる。動画像復元器２１２は、補間器２１５からの特徴パラメータとして動きベクトルを用い、動き補償フレーム間予測を行うことで、フレームメモリ２１１の過去、及び／又は、未来の画面から動画像を復元する。

本発明の第５の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、該ビットストリームから画面を復元する。

ステップ２：特徴パラメータ抽出器２１０が、デコーダ２００で復元された画像から特徴パラメータを抽出する。

ステップ３：補間器２１５が、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間し、補間後の特徴パラメータを動画像復元器２１２に出力する。

ステップ４：動画像復元器２１２は、補間器２１５の出力（補間された特徴ベクトル）を入力し、さらに、フレームメモリ２１１から過去の画面または未来の画面のいずれか、または両者を入力して、受信していない画面を復元する。

次に、本発明の第６の実施の形態について説明する。図６は、本発明の第６の実施の形態の構成を示す図である。図６において、図１と同一又は同等の要素には、同一の参照番号が付されている。本実施の形態では、図１に示した前記第１の実施の形態のデコーダ２００の可変長復号化器２０２と、動画像復元器２１２との間に、補間器２１５を備えている。以下では、図１、図５に示した前記第１、第５の実施の形態との同一部分の説明は適宜省略し、相違点について説明する。

本実施の形態において、補間器２１５は、可変長復号化器２０２の出力から特徴パラメータを入力している。このため、本実施の形態において、図５に示した特徴パラメータ抽出器２１０は不要とされている。

本発明の第６の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元する。

ステップ２：補間器２１５が、デコーダ２００から、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを取得して、特徴パラメータを用いて、時間方向に補間し、動画像復元器２１２は、補間器２１５から出力される時間方向に補間された特徴パラメータに基づき、受信していない画面を復元する。

次に、本発明の第７の実施の形態について説明する。図７は、本発明の第７の実施の形態の構成を示す図である。図７において、図１と同一又は同等の要素には、同一の参照番号が付されている。本実施の形態では、デコーダ２００と、動画像復元器２３１との間に、小区間分割器２２０と、特徴パラメータ抽出＆判別器２２１と、補間器２３０を備えている。以下では、図１、図３に示した前記第１、第３の実施の形態との同一部分の説明は適宜省略し、相違点について説明する。

小区間分割器２２０は、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力する。小区間のサイズとしては、例えば、マクロブロック（ＭＢ）やマクロブロックの整数倍のサイズを用いることができる。

特徴パラメータ抽出＆判別器２２１は、少なくとも一つの小区間において、特徴パラメータを抽出して、動画像復元器２３１に出力する。特徴パラメータの一例として、動きベクトルを用いることができる。

さらに、特徴パラメータ抽出＆判別器２２１は、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元器２３１での処理を行なうか否かを判別し、判別信号を出力する。一例として、特徴パラメータ抽出＆判別器２２１は、小区間が、動領域か静領域であるかを判別し、判別結果を判別信号として出力する。

補間器２３０は、少なくとも一つの小区間において、小区間の区切りと、特徴パラメータと判別信号を入力し、判別信号に従って、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて時間方向に補間する。

動画像復元器２３１は、小区間分割の区切りと、少なくとも一つの小区間での判別信号と、少なくとも一つの小区間での補間器２３０の出力を入力し、さらに、フレームメモリ２１１から過去の画面または未来の画面のいずれか、または両者を入力して、判別信号に従い、少なくとも一つの小区間で、予め定められた処理を行い、受信していない画面を復元する。予め定められた処理としては、一例として、動き補償フレーム間予測を用いることができる。

本発明の第７の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、該ビットストリームから画面を復元する。

ステップ２：小区間分割器２２０が、画面を予め定められたサイズの小区間に分割する。

ステップ３：特徴パラメータ抽出＆判別器２２１は、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定する。

ステップ４：動画像復元器２３１は、小区間分割の区切りと、少なくとも一つの小区間での判別信号と、少なくとも一つの小区間での補間器２３０の出力を入力し、受信していない画面を復元する。

次に、本発明の第８の実施の形態について説明する。図８は、本発明の第８の実施の形態の構成を示す図である。図８において、図７と同一又は同等の要素には、同一の参照番号が付されている。本実施の形態では、デコーダ２００と、動画像復元器２３１との間に、小区間分割＆判別器２２５と、補間器２３０を備えている。以下では、図１、図７に示した前記第１、第７の実施の形態との同一部分の説明は適宜省略し、相違点について説明する。

小区間分割＆判別器２２５は、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力する。小区間のサイズとしては、例えば、マクロブロック（ＭＢ）やマクロブロックの整数倍のサイズが用いられる。

さらに、小区間分割＆判別器２２５は、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元器２３１での処理を行なうか否かを判別し、判別信号を出力する。判別の、一例として、小区間が動領域か静領域であるかを判別し、判別結果を判別信号として出力する。

補間器２３０は、可変長復号化器２０２の出力から特徴パラメータを入力しているので、図７に示した第７の実施の形態の特徴パラメータ抽出＆判別器２２１は不要とされている。

本発明の第８の実施の形態に係る方法は、処理手順として、以下のステップを有する。

ステップ１：デコーダ２００が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元する。

ステップ２：小区間分割＆判別器２２５が、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定する。

ステップ３：動画像復元器２３１は、小区間分割の区切りと、少なくとも一つの小区間での判別信号と、デコーダ２００からの時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて受信していない画面を復元する。

以上、本発明を上記各実施の形態に即して説明したが、本発明は上記各実施の形態の構成にのみ限定されるものでなく、本発明の原理に準ずる各種変形、修正を含むことは勿論である。

Claims (17)

1. 動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するデコーダ部と、
   画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すか否かを決定した上で、受信していない画面を復元する画像復元部と、
   を含む、ことを特徴とする動画像再生装置。
2. 動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するデコーダ部と、
   画面を、予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すか否かを決定した上で、受信していない画面を復元する画像復元部と、
   を含む、ことを特徴とする動画像再生装置。
3. 動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するデコーダ部と、
   画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定した上で、受信していない画面を復元する画像復元部と、
   を含む、ことを特徴とする動画像再生装置。
4. 動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するデコーダ部と、
   画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定した上で、受信していない画面を復元する画像復元部と、
   を含む、ことを特徴とする動画像再生装置。
5. 動画像を圧縮符号化したビットストリームを受け取って復号化し量子化変換係数を出力する復号化器と、
   前記復号化器から出力される量子化変換係数に対して逆量子化の演算を行う逆量子化器と、
   前記逆量子化器で逆量子化された変換係数を符号化側の変換と逆変換する逆変換器と、
   前記逆変換器で変換された動画像信号と一の入力端に入力する加算器と、
   前記加算器から出力された動画像信号に対して、前記復号化器から出力された特徴パラメータを用いて動き補償予測を行い、得られた動画像信号を、前記加算器の他の入力端に供給する動き補償予測器と、
   を含み、前記逆変換器から出力された動画像信号と、前記動き補償予測器から出力された動画像信号とを前記加算器で加算した動画像信号を、デコーダ出力信号として出力するデコーダと、
   前記デコーダから出力される動画像信号を格納するフレームメモリと、
   前記デコーダからの出力を受け、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力する小区間分割器と、
   少なくとも一つの小区間において、特徴パラメータを抽出して出力し、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元処理を行なうか否かを判別し、判別信号を出力する特徴パラメータ抽出・判別器と、
   前記特徴パラメータ抽出器・判別器から特徴パラメータ、判別結果、小区間の情報を入力し、前記フレームメモリから、時間的に過去及び／又は未来の画像を入力し、前記特徴パラメータを用いて動画像フレームを再生し、再生した動画像フレームを出力する動画像復元器と、
   を備えている、ことを特徴とする動画像再生装置。
6. 動画像を圧縮符号化したビットストリームを受け取って復号化し量子化変換係数を出力する復号化器と、
   前記復号化器から出力される量子化変換係数に対して逆量子化の演算を行う逆量子化器と、
   前記逆量子化器で逆量子化された変換係数を符号化側の変換と逆変換する逆変換器と、
   前記逆変換器で変換された動画像信号と一の入力端に入力する加算器と、
   前記加算器から出力された動画像信号に対して、前記復号化器から出力された特徴パラメータを用いて動き補償予測を行い、得られた動画像信号を、前記加算器の他の入力端に供給する動き補償予測器と、
   を含み、前記逆変換器から出力された動画像信号と、前記動き補償予測器から出力された動画像信号とを前記加算器で加算した動画像信号を、デコーダ出力信号として出力するデコーダと、
   前記デコーダから出力される動画像信号を格納するフレームメモリと、
   前記デコーダからの出力を受け、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力し、少なくとも一つの小区間において、特徴パラメータを抽出して出力し、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元処理を行なうか否かを判別し、判別信号を出力する小区間分割・判別器と、
   前記復号化器からの特徴パラメータ、前記小区間分割・判別器から判別結果、小区間の情報を入力し、前記フレームメモリから、時間的に過去及び／又は未来の画像を入力し、前記特徴パラメータを用いて動画像フレームを再生し、再生した動画像フレームを出力する動画像復元器と、
   を備えている、ことを特徴とする動画像再生装置。
7. 動画像を圧縮符号化したビットストリームを受け取って復号化し量子化変換係数を出力する復号化器と、
   前記復号化器から出力される量子化変換係数に対して逆量子化の演算を行う逆量子化器と、
   前記逆量子化器で逆量子化された変換係数を符号化側の変換と逆変換する逆変換器と、
   前記逆変換器で変換された動画像信号と一の入力端に入力する加算器と、
   前記加算器から出力された動画像信号に対して、前記復号化器から出力された特徴パラメータを用いて動き補償予測を行い、得られた動画像信号を、前記加算器の他の入力端に供給する動き補償予測器と、
   を含み、前記逆変換器から出力された動画像信号と、前記動き補償予測器から出力された動画像信号とを前記加算器で加算した動画像信号を、デコーダ出力信号として出力するデコーダと、
   前記デコーダから出力される動画像信号を格納するフレームメモリと、
   前記デコーダからの出力を受け、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力する小区間分割器と、
   前記小区間分割器からの小区間の分割情報を入力し、少なくとも一つの小区間において、特徴パラメータを抽出して出力し、さらに、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元処理を行なうか否かを判別し、判別信号を出力する特徴パラメータ抽出・判別器と、
   前記特徴パラメータ抽出・判別器からの特徴パラメータを入力し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間する補間器と、
   前記補間器で補間された特徴パラメータ、前記判別結果、小区間の情報を入力し、前記フレームメモリから、時間的に過去及び／又は未来の画像を入力し、前記特徴パラメータを用いて動画像フレームを再生し、再生した動画像フレームを出力する動画像復元器と、
   を備えている、ことを特徴とする動画像再生装置。
8. 動画像を圧縮符号化したビットストリームを受け取って復号化し量子化変換係数を出力する復号化器と、
   前記復号化器から出力される量子化変換係数に対して逆量子化の演算を行う逆量子化器と、
   前記逆量子化器で逆量子化された変換係数を符号化側の変換と逆変換する逆変換器と、
   前記逆変換器で変換された動画像信号と一の入力端に入力する加算器と、
   前記加算器から出力された動画像信号に対して、前記復号化器から出力された特徴パラメータを用いて動き補償予測を行い、得られた動画像信号を、前記加算器の他の入力端に供給する動き補償予測器と、
   を含み、前記逆変換器から出力された動画像信号と、前記動き補償予測器から出力された動画像信号とを前記加算器で加算した動画像信号を、デコーダ出力信号として出力するデコーダと、
   前記デコーダから出力される動画像信号を格納するフレームメモリと、
   前記デコーダからの出力を受け、復元された画面を予め定められた小区間に分割し、小区間の区切りを出力し、さらに、少なくとも一つの小区間において、特徴パラメータを抽出して出力し、少なくとも一つの小区間において、特徴パラメータを用いて、動画像復元処理を行なうか否かを判別する小区間分割・判別器と、
   前記復号化器からの特徴パラメータを入力し、前記小区間分割・判別器での判別結果、及び小区間の分割情報を入力し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間する補間器と、
   前記補間器で補間された特徴パラメータを入力し、さらに、前記判別結果、小区間の分割情報を入力し、前記フレームメモリから、時間的に過去及び／又は未来の画像を入力し、前記特徴パラメータを用いて、動画像フレームを再生し、再生した動画像フレームを出力する動画像復元器と、
   を備えている、ことを特徴とする動画像再生装置。
9. 前記特徴パラメータは動きベクトルであり、
   前記動画像復元器は、フレーム間予測として、動きベクトルを用いた動き補償フレーム間予測を行うことで動画像フレームを再生する、ことを特徴とする請求項５乃至８のいずれか一に記載の動画像再生装置。
10. デコーダ部が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するステップと、
    画像復元部が、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すか否かを決定し、受信していない画面を復元するステップと、
    を含む、ことを特徴とする動画像再生方法。
11. デコーダ部が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するステップと、
    画像復元部が、画面を、予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すか否かを決定し、受信していない画面を復元するステップと、
    を含む、ことを特徴とする動画像再生方法。
12. デコーダ部が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから画面を復元するステップと、
    画像復元部が、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定し、受信していない画面を復元するステップと、
    を含む、ことを特徴とする動画像再生方法。
13. デコーダ部が、動画像を圧縮符号化したビットストリームを受信し、前記ビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元するステップと、
    画像復元部が、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定し、受信していない画面を復元するステップと、
    を含む、ことを特徴とする動画像再生方法。
14. 動画像を圧縮符号化したビットストリームを受信し動画像を再生する装置を構成するコンピュータに、
    前記圧縮符号化したビットストリームから画面を復元する処理と、
    画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すか否かを決定し、受信していない画面を復元する処理と、
    を実行させるプログラム。
15. 動画像を圧縮符号化したビットストリームを受信し動画像を再生する装置を構成するコンピュータに、
    前記圧縮符号化したビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元する処理と、
    画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び／又は未来の特徴パラメータを用いて、予め定められた処理を施すか否かを決定し、受信していない画面を復元する処理と、
    を実行させるプログラム。
16. 動画像を圧縮符号化したビットストリームを受信し動画像を再生する装置を構成するコンピュータに、
    前記圧縮符号化したビットストリームから画面を復元する処理と、
    画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、前記復元された画面から特徴パラメータを抽出し、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定し、受信していない画面を復元する処理と、
    を実行させるプログラム。
17. 動画像を圧縮符号化したビットストリームを受信し動画像を再生する装置を構成するコンピュータに、
    前記圧縮符号化したビットストリームから少なくとも一つの特徴パラメータを復号して出力し、前記復号化された特徴パラメータを用いて画面を復元する処理と、
    画像復元部が、画面を予め定められたサイズの小区間に分割し、少なくとも一つの小区間で、時間的に過去の特徴パラメータ及び未来の特徴パラメータの少なくとも一つを用いて、時間方向に補間するか否かを決定し、受信していない画面を復元する処理と、
    を実行させるプログラム。

Images