WO2007026536A1

WO2007026536A1 - 動画受信装置

Info

Publication number: WO2007026536A1
Application number: PCT/JP2006/316026
Authority: WO
Inventors: Daisaku Komiya; Yoshimasa Honda
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-08-31
Filing date: 2006-08-14
Publication date: 2007-03-08
Also published as: US20120063741A1; US20090103819A1; JP4406623B2; US8073273B2; JP2007067790A; US8280178B2; CN101253773A; CN101253773B

Abstract

　動画受信装置は、受信した動画データを復号する動画復号装置（３０３）を備える。動画復号装置（３０３）は、動画データを記憶するメディアバッファ（４０１）と、動画データのインターフレームに含まれるイントラブロックの位置を示すイントラマップを記憶するイントラマップメモリ（４０２）と、イントラマップメモリ（４０２）に記憶されたイントラマップに基づいて、メディアバッファ（４０１）に蓄積された最新のインターフレームから順に、インターフレームに含まれるイントラブロックの画像を抽出し、複数のインターフレームから抽出したイントラブロックの画像を組み合わせて擬似イントラフレームを生成する擬似イントラフレーム生成部（４０４）と、擬似イントラフレームを用いて動画データの復号を開始するデコーダ（４０６）とを備える。これにより、動画受信装置は、受信した動画データを任意のフレームから復号できる。

Description

明細書

動画受信装置

関連する出願

[0001] 本出願では、 2005年 8月 31日に日本国に出願された特許出願番号 2005— 2507 58の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。

技術分野

[0002] 本発明は、符号化された動画の復号化技術に関する。具体的には、時間的な相関に基づ!/、て符号化されたフレーム間圧縮動画を、任意のフレーム力復号する高速動画復号化技術に関する。

背景技術

[0003] 近年、パーソナルコンピュータが一般家庭にも広く浸透し、動画伝送によるテレビ電話や撮影したムービー映像の編集などが簡単に行えるようになってきた。地上波デジタル放送の開始、 DVD (Digital Versatile Disk)レコーダやハードディスクレコーダの普及により、デジタル動画がますます身近なものとなつてきて、る。

[0004] デジタル動画は、一般に膨大な情報量のデジタル情報を有するので、圧縮されるのが普通である。上述した地上波デジタル放送や DVDレコーダには、 MPEG-2(ISO /IEC 13818-2 International Standard MPEG- 2 Video)という動画圧縮規格が用いられている。テレビ電話には ITU-T H.263という動画圧縮規格がよく用いられている

[0005] MPEG規格を始めとする多くの動画圧縮規格は、連続する画像フレームの時間方向での冗長性を利用したフレーム間圧縮技術を取り入れている。これは、 30フレーム毎秒といった短時間では、連続するフレームは相関が高いことに着目したものである。具体的には、ある特定のフレームをフレーム内の情報のみを利用して符号ィ匕する。その後続フレームは、直前のフレームとの差分である差分フレームを取得して符号ィ匕する。フレーム内の情報のみを利用して符号ィ匕されるフレームは、フレーム内符号ィ匕フレームもしくはイントラフレームと呼ばれる。後続フレームを符号ィ匕したものは、先行するフレームを利用して符号ィ匕されるため、フレーム間符号化フレームもしくはインタ一フレームと呼ばれる。

[0006] 復号時には、最初にイントラフレームをフレーム内復号した後、後続のインターフレームを順次復号していく。インターフレームの復号は、まず差分フレームを復号し、復号された差分フレームを直前フレームと加算することによって復号する。

[0007] 実際のフレーム間圧縮符号化においては、フレームをいくつかのブロックに分割し、ブロック単位でフレーム内符号化、フレーム間符号ィ匕が選択される。フレーム内符号化が行われたブロックをイントラブロック、フレーム間符号ィ匕が行われたブロックをインターブロックと呼ぶ。イントラフレームはイントラブロックのみ力なるフレームであり、ィンターフレームは、インターブロックを含むフレームである。

[0008] インターブロックの符号化においては、単純にブロック間の差分を求めるだけでなぐ動きベクトルを導入している。これにより、符号ィ匕対象のブロックと最も相関が高いブロックとの差分を求めることで、圧縮率の向上を図っている。

[0009] イントラフレームは、直ちに復号可能である。インターフレームは、インターブロックを含むために、すでに復号された直前フレーム内のブロックと加算することによって初めて復号可能になる。インターフレームは、直前のフレームが復号された後でなければ復号することはできない。つまり、インターフレームは、前方にある直近のイントラフレーム力順番に復号をしてきた後でなければ復号できない。これは、時間方向での冗長性を利用するフレーム間圧縮の共通の問題点である。従って、 DVDレコーダで録画した映像のランダムアクセス再生にぉ、ても、任意の位置から開始することはできず、再生開始位置は、イントラフレームの挿入位置に限られる。この問題点は、一見イントラフレームを頻繁に挿入することで回避可能に思える。しかし、イントラフレームは圧縮率が低いため、イントラフレームを数多く挿入すると動画の圧縮率が著しく低下する。

[0010] フレーム間圧縮動画をインターフレームカも復号できな、ことに起因する不都合の一例として、多地点 TV会議への参加が挙げられる。多地点 TV会議の実現方法には二つある。一つの方法は、各端末で撮影した動画を MCUと呼ばれる多地点会議装置に集め、 MCUがすべての動画を合成したのち各端末に送り返す方法である。もう一つの方法は、送信側の端末が端末で撮影した動画を全ての端末に向けて同報送信し、受信側の端末が送られた動画を合成する方法である。いずれの方法においても、動画圧縮にフレーム間圧縮技術が用いられていると、会議の途中で新たに参カロする端末は、インターフレームカも復号することができないため、次のイントラフレームの到着を待って再生を開始する。これにより、会議に参加したにも拘らず、しばらく画像が表示されな、状態となる。

[0011] フレーム間圧縮動画をインターフレーム力復号することができないことに起因する不都合の別な一例として、デジタル動画放送サービスの再生開始もしくはチャンネル切替えが挙げられる。放送サービスとして、地上波デジタル放送や衛星を使ったモバィル放送などが開始されている。デジタルテレビ等の端末に用いられる復号器は、放送の受信を開始した場合やチャンネルを切り替えた場合に、当該受信チャンネルにぉ、て次のイントラフレームの到着を待って再生を開始して、る。

[0012] 多地点 TV会議において、新たな端末の参加時に即座に画像を復号して表示するための技術が、特開平 7— 298231号公報に開示されている。特開平 7— 298231号公報によれば、参加端末が第一の TV会議実現方法では MCUに、第二の TV会議実現方法では会議に既に参加している全ての端末に参加の通知を行う。その通知によって、 MCUもしくは全ての会議参加端末は、端末で撮影された動画を一定時間フレーム内符号ィ匕してイントラフレームを送出する。これにより、新たな参加端末は即座にフレームを復号して表示することができる。

発明の開示

発明が解決しょうとする課題

[0013] しかしながら、特開平 7— 298231号公報においては、会議参加通知後一定時間はイントラフレームが送信され続けるのでネットワーク帯域を圧迫する。通信相手に動的に符号化モードの変更を要求するので、リアルタイム符号ィ匕を行っているシステムにしか適応できな、と!/、つた問題が残されて、る。

[0014] デジタル動画放送サービスの再生開始もしくはチャンネル切替えの場合に動画を復号し表示する技術においては、次のイントラフレームの到着を待って当該チャンネルの再生を開始するため、画面上にしばらく画像が表示されないという問題が生じる。 [0015] 本発明は、力かる従来のフレーム間圧縮動画の復号ィ匕の問題に鑑みてなされたものであって、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、任意のフレーム力フレーム間圧縮動画を復号することを可能とし、遅滞なく画面表示がなされる動画受信装置を提供する。

課題を解決するための手段

[0016] 本発明の動画受信装置は、複数のイントラフレームおよびインターフレーム力なる動画データを受信する動画データ受信部と、前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、前記動画データのそれぞれのインターフレームに含まれるイントラブロックの位置を示すイントラマップを記憶するイントラマップ記憶部と、前記イントラマップ記憶部に記憶されたイントラマップに基づいて、前記メディアバッファに蓄積された最新のインターフレーム力順に、インターフレームに含まれるイントラブロックの画像を抽出し、複数のインターフレーム力抽出したイントラブロックの画像を組み合わせて擬似イントラフレームを生成する擬似イントラフレーム生成部と、前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用 V、て、前記動画データ受信部にて受信する動画データの復号を開始するデコーダとを備える。

[0017] このようにインターフレームに含まれるイントラブロックを抽出し、イントラブロックを組み合わせて擬似のイントラフレームを生成することにより、動画復号の指示があってから、次のイントラフレームを受信するまで待つことなぐ擬似イントラフレームを用いて復号を開始することができる。

[0018] 上記動画受信装置において、前記擬似イントラフレーム生成部は、擬似イントラフレームを構成するブロックとして適用可能なイントラブロックが複数のインターフレーム力も抽出された場合は、新しい方のインターフレーム力も抽出したイントラブロックの画像を用いてもよい。

[0019] このように新し、方のインターフレーム力も抽出したイントラブロックを用いることにより、現在受信中のフレームの画像に近い擬似イントラフレームを生成することができる

[0020] 上記動画受信装置は、前記動画データ受信部にて受信した動画データから、前記動画データのイントラマップを生成するイントラマップ生成部を備え、前記イントラマツプ生成部にて生成されたイントラマップを前記イントラマップ記憶部に記憶してもよヽ

[0021] このようにイントラマップを生成することにより、イントラマップのデータを受信せずに擬似イントラフレームを生成することができる。また、イントラマップを生成してイントラマツプ記憶部に記憶しておくことにより、動画復号の指示があってから、イントラマップを生成する処理を行う必要がなぐ迅速に復号処理を開始できる。

[0022] 上記動画受信装置は、前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部を備え、前記擬似イントラフレーム生成部は、複数のインターフレーム力も抽出したイントラブロックの画像を、動きベクトルマップに基づ、て決まる位置に移動して組み合わせて、擬似イントラフレームを生成してもよい。

[0023] このように動きベクトルマップを用いることにより、動きの大きい動画の場合にも適切な擬似イントラフレームを生成することができる。

[0024] 上記動画受信装置は、前記動画データ受信部にて受信した動画データから、前記動画データの動きベクトルマップを生成する動きベクトルマップ生成部を備え、前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きベクトルマツプ記憶部に記憶してもよい。

[0025] このように動きベクトルマップを生成することにより、動きベクトルマップのデータを受信せずに擬似イントラフレームを生成することができる。また、動きベクトルマップを生成して動きベクトルマップ記憶部に記憶しておくことにより、動画復号の指示があってから、動きベクトルマップを生成する処理を行う必要がなぐ迅速に復号処理を開始できる。

[0026] 本発明の別の態様の動画受信装置は、複数のイントラフレームおよびインターフレームからなる動画データを受信する動画データ受信部と、前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部と、前記動きベクトルマップ記憶部に記憶された動きベクトルマップに基づ、て、最新のインターフレーム力遡って、前記最新のインターフレームを構成する各プロックに相当するイントラフレーム中のイントラブロックを特定し、前記特定されたイントラブロックの画像を用いて擬似イントラフレームを生成する擬似イントラフレーム生成部と、前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダとを備える。

[0027] このように動きベクトルマップに基づ!/、て最新のインターフレームからイントラフレームに遡り、イントラフレームの各ブロックの画像に基づいて擬似イントラフレームを生成することができる。これにより、動画復号の指示があってから、次のイントラフレームを受信するまで待つことなぐ擬似イントラフレームを用いて復号を開始することができる。

[0028] 上記動画受信装置は、前記動画データ受信部にて受信した動画データから、前記動画データの動きベクトルマップを生成する動きベクトルマップ生成部を備え、前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きベクトルマツプ記憶部に記憶してもよい。

[0029] このように動きベクトルマップを生成することにより、動きベクトルマップのデータを受信せずに擬似イントラフレームを生成することができる。また、動きベクトルマップを生成して動きベクトルマップ記憶部に記憶しておくことにより、動画復号の指示があってから、動きベクトルマップを生成する処理を行う必要がなぐ迅速に復号処理を開始できる。

[0030] 本発明の動画再生装置は、複数のイントラフレームおよびインターフレームからなる動画データを再生する動画データ再生部と、前記動画データ再生部にて再生中の動画に基づ、て、前記動画に含まれるインターフレームのそれぞれのイントラブロックの位置を示すイントラマップを生成するイントラマップ生成部と、前記イントラマップ生成部にて生成されたイントラマップを前記動画データと共に送信する動画データ送信部とを備える。

[0031] このように動画の再生中にイントラマップを生成し、動画データを送信するときにイントラマップを送信することにより、動画を受信した装置において、イントラフレームを待たずに、任意のタイミングでイントラマップに基づ、て動画の復号を開始することができる。

[0032] 上記動画再生装置は、前記動画データ再生部にて再生中の動画に基づいて、前記動画のフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを生成する動きベクトルマップ生成部を備えてもよ、。

[0033] このように動画の再生中に動きベクトルマップを生成し、動画データを送信するときにイントラマップと共に動きベクトルマップを送信することにより、動画を受信した装置において、イントラフレームを待たずに、任意のタイミングで動画の復号を開始することができる。

[0034] 本発明によれば、動画復号の指示があってから、次のイントラフレームを受信するまで待つことなぐ擬似イントラフレームを用いて復号を開始することができる。テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、遅延なく画面表示がなされるというすぐれた効果を有する。

[0035] 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図面の簡単な説明

[0036] [図 1]図 1は、第 1の実施の形態の動画復号装置の構成を示すブロック図

[図 2]図 2は、第 1の実施の形態の動画復号装置に係る動画送受信システムの構成を示すブロック図

[図 3A]図 3Aは、イントラマップの一例を示す図

[図 3B]図 3Bは、動きベクトルマップの一例を示す図

[図 4]図 4は、第 1の実施の形態における動画送受信システムの動画受信装置の内部構成を示すブロック図

[図 5]図 5は、第 1の実施の形態の動画復号装置の動作の流れを示す流れ図

[図 6]図 6は、第 1の実施の形態の擬似イントラフレーム生成器によるイントラマップのみを使う擬似イントラフレーム生成方法の一例を示す流れ図

[図 7]図 7は、第 1の実施の形態の擬似イントラフレーム生成器によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法の一例を示す流れ図

[図 8]図 8は、第 1の実施の形態の擬似イントラフレーム生成器によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法を説明する図

[図 9]図 9は、第 1の実施の形態の擬似イントラフレーム生成器による動きベクトルマツプのみを使う擬似イントラフレーム生成方法を説明する図

[図 10]図 10は、第 1の実施の形態の擬似イントラフレーム生成器による動きベクトルマップのみを使う擬似イントラフレーム生成方法の一例を示す流れ図

[図 11]図 11は、第 2の実施の形態の擬似イントラフレーム生成器によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法を説明する図

[図 12]図 12は、第 3の実施の形態の動画復号装置に係る動画送受信システムの構成を示すブロック図

[図 13]図 13は、第 4の実施の形態の動画復号装置に係る動画送受信システムの構成を示すブロック図

[図 14]図 14は、第 4の実施の形態における動画送受信システムの動画受信装置の内部構成を示すブロック図

[図 15]図 15は、第 4の実施の形態の動画復号装置の内部構成を示すブロック図発明を実施するための最良の形態

[0037] 以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であることが理解され、本発明が様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、請求の範囲を限定するものではない。

[0038] (第 1の実施の形態）図 1は、第 1の実施の形態の動画受信装置が備える動画復号装置の構成を示す図である。図 1を用いて動画復号のための構成について説明する前に、第 1の実施の形態の動画受信装置が適用される動画送受信システムについて説明する。

[0039] 図 2は、第 1の実施の形態の動画受信装置が適用される動画送受信システムの構成を示す図である。動画送受信システムは、フレーム間圧縮動画を送信するための動画送信装置 101と、データの伝送媒体となる放送通信中継装置 102と、送信されたフレーム間圧縮動画を受信し、復号ィ匕した後ディスプレイなどの出力装置に表示する動画受信装置 103とを備えている。本実施の形態の動画復号装置は、動画受信装置 103の内部に設置されている。

[0040] 動画送信装置 101は、動画をフレーム間圧縮するエンコーダ 104を備え、図示しない送出部を用いて生成したフレーム間圧縮動画を送出することが可能である。動画送信装置 101は、例えば放送局におけるデジタル放送を行うための動画放送サーバに相当し、ある、はテレビ会議システムにおける MCUに相当する。

[0041] 放送通信中継装置 102は、動画送信装置 101から送信されたデータを動画受信装置 103まで伝送する媒体の全てを包含するものである。放送においては放送衛星や送受信アンテナなどが放送通信中継装置 102の一部であり、通信においては光ファィバゃルータなどが放送通信中継装置 102の一部である。放送通信中継装置 102 は、動画送信装置 101から送信されたデータを放送や通信に限ることなく動画受信装置 103まで伝送する。

[0042] 動画受信装置 103は、本発明の第 1の実施の形態である動画復号装置（図 1参照）を備え、受信したフレーム間圧縮動画を高速に復号し表示するものである。動画受信装置 103は、例えばデジタルテレビに相当し、あるいはテレビ会議端末に相当するものである。

[0043] 次に、動画送信装置 101のエンコーダ 104について説明する。エンコーダ 104は、ィントラマップ作成部 105と動きベクトルマップ作成部 106を備え、動画の各フレームを符号化する際に、フレーム毎にイントラマップと動きベクトルマップを生成する。イントラマップとは、フレームに含まれるイントラ符号ィ匕されたブロックの位置を示すマップである。動きベクトルマップとは、フレームに含まれるインター符号化されたブロックの位置と動きベクトルの関係を示すマップである。

[0044] 図 3Aは、イントラマップの例を示す図である。外枠は一枚のフレームを、フレーム内に敷き詰められた小さい長方形はフレームを構成するブロックを示す。図 3Aにおいて、イントラブロックは「I」と表示する。イントラマップにより、当該フレームにおけるイントラブロックの位置を知ることができる。

[0045] 図 3Bは、動きベクトルマップの例を示す図である。外枠は一枚のフレームを、フレーム内に敷き詰められた小さい長方形はフレームを構成するブロックを示す。図 3Bにおいて、各インターブロックの中心に動きベクトルを表示する。イントラマップおよび動きベクトルマップにより、当該フレームにおけるインターブロックの位置およびそのブロックの動きベクトルを知ることができる。

[0046] なお、図 3Aに示すイントラマップおよび図 3Bに示す動きベクトルマップは一例である。必要な情報であるイントラブロックの位置、インターブロックの位置および動きべタトルが得られる限り、配列、ビット列などマップとしての形態は、図 3Aおよび図 3Bに示す態様に捉われるものではない。ここではエンコーダ 104は、イントラマップ作成部 1 05と動きベクトルマップ作成部 106を備えるとしている力どちらか一方しか備えないものであってもよい。

[0047] 動画送信装置 101は、フレーム間圧縮動画を送信する際に、エンコーダ 104が有するイントラマップ作成部 105がイントラマップを生成するときはイントラマップを併せて送信する。また、動画送信装置 101は、フレーム間圧縮動画を送信する際に、ェンコーダ 104が有する動きベクトルマップ作成部 106が動きベクトルマップを生成するときは動きベクトルマップを併せて送信する。この結果として、動画像受信装置 103は、フレーム間圧縮動画に同期して、イントラマップ、動きベクトルマップを受信する。動画像受信装置 103は、イントラマップ、動きベクトルマップを利用することにより、インターフレーム力即時に復号できる。

[0048] 図 4は、動画受信装置 103の構成を示す図である。動画受信装置 103は、フレーム間圧縮動画を受信するメディア受信部 301と、イントラマップや動きベクトルマップを受信するマップ情報受信部 302と、マップ情報受信部 302にて受信したイントラマツプゃ動きベクトルマップを用いてメディア受信部 301にて受信したフレーム間圧縮動画を任意のフレーム力も即時に復号する動画復号装置 303と、動画復号装置 303が復号した非圧縮動画を外部に出力するための表示部 304とから構成される。

[0049] メディア受信部 301は、伝送されたデータの中からフレーム間圧縮画像のみを抽出する。メディア受信部 301は、デジタル放送においては受信機やチューナの機能に相当し、通信にぉ、てはソケットインターフェイスやパケット再構築機能に相当する。メディア受信部 301は、 1ストリームに限らず複数のストリームを同時に受信し、動画復号装置 303に送る。マップ情報受信部 302は、伝送されたデータの中からイントラマップと動きベクトルマップを抽出し、抽出したマップを動画復号装置 303に送る。

[0050] 表示部 304は、動画復号装置 303によって復号された非圧縮画像を表示する。表示部 304は、例えばディスプレイに相当する。動画受信装置 103は、以上の構成を有することにより、受信したフレーム間圧縮動画を、インターフレームを含む任意のフレ一ムカも即時に復号することができる。

[0051] 図 1は、第 1の実施の形態の動画復号装置 303の構成を示す図である。動画復号装置 303は、メディア受信部 301が抽出したフレーム間圧縮動画の中から直近の複数フレーム分のフレーム間圧縮画像を蓄積するメディアバッファ 401と、マップ情報受信部 302にて抽出した最新の複数フレーム分のイントラマップおよび動きベクトルをそれぞれ格納するイントラマップメモリ 402および動きベクトルマップメモリ 403を備えている。

[0052] 動画復号装置 303は、メディアバッファ 401に蓄積されたフレーム間圧縮画像力擬似イントラフレームを生成する擬似イントラフレーム生成器 404と、フレーム間圧縮画像を復号するデコーダ 406と、デコーダ 406が出力した再構築画像を次のフレーム間圧縮画像の復号のために格納する再構築画像バッファ 407と、デコーダ 406への入力を切り替えるスィッチ 405とを備えて、る。

[0053] 擬似イントラフレーム生成器 404が生成する擬似イントラフレームとは、動画復号装置 303に入力された最新のフレーム間圧縮画像を復号するための画像である。擬似イントラフレームは、当該最新のフレーム間圧縮画像より 1フレーム前のフレーム間圧縮画像を復号した画像に相当する。擬似イントラフレーム生成器 404は、イントラマツプメモリ 402および動きベクトルマップメモリ 403に格納されたイントラマップや動きべタトルマップに基づいて、フレーム間圧縮画像から擬似イントラフレームを生成する。

[0054] メディアバッファ 401、イントラマップメモリ 402、動きベクトルマップメモリ 403は、各データをフレーム毎に格納しており、フレーム単位でデータを取り出すことができる。再構築画像バッファ 407は 1フレーム分の非圧縮再構築画像を保持する。再構築画像ノッファ 407の再構築画像データは、新しいデータが入力されると上書きされる。

[0055] デコーダ 406は、フレーム間圧縮動画をイントラフレーム力復号する通常のデコーダである。デコーダ 406には、フレーム間圧縮画像とその復号に用いられる画像が入力される。

[0056] なお、動画送信装置 101からイントラマップもしくは動きベクトルマップのどちらかが送信されない場合は、送信されないマップに対応するメモリには何も蓄積されない。その場合は、イントラマップメモリ 402と動きベクトルマップメモリ 403の双方を具備する必要はなぐ送信されるデータに対応するメモリを備えておくだけでよい。本実施の形態の以降の説明では、特に断らない限りイントラマップと動きベクトルマップの双方が送信され、動画復号装置 303がイントラマップメモリ 402と動きベクトルマップメモリ 40 3の双方を具備して、るものとする。

[0057] 図 5は、動画復号装置 303の内部の動作を示す図である。まず、動画復号装置 303 は、メディア受信部 301にて受信したメディアデータを読み込んでメディアバッファ 40 1に格納すると共に、マップ情報受信部 302にて受信したイントラマップおよび動きべタトルマップを読み込んで、イントラマップメモリ 402および動きベクトルマップメモリ 4 03のそれぞれに格納する（S501)。

[0058] この状態で、動画復号装置 303は、デコード開始命令が入力されたか否かを判定する（S502)。デコード開始命令が入力されない場合には（S502で NO)、動画復号装置 303は、メディアバッファ 401に読み込まれたフレームがイントラフレームか否かを判定する（S503)。読み込まれたフレームがイントラフレームである場合には（S503 で YES)、動画復号装置 303は、メディアバッファ 401、イントラマップメモリ 402、動きベクトルマップメモリ 403にリセット通知を送り、それぞれのメモリに格納されているデータをすベて消去する（S504)。その後、再度データを読み込む（S501)。読み込まれたフレームがイントラフレームでない場合には（S503で NO)、メモリに格納されて、るデータを消去しな、で、再度データを読み込む（S501)。

[0059] 次に、データ読み込み中に（S501)にデコード開始命令が入力された場合（S502で YES)の動作について説明する。デコード開始が入力された場合には、動画復号装置 303の擬似イントラフレーム生成器 404は、メディアバッファ 401、イントラマップメモリ 402、動きベクトルマップメモリ 403から最も新しく入力されたフレームに係るフレーム間圧縮画像、イントラマップ、動きベクトルマップの各データを読み出す (S505) [0060] 擬似イントラフレーム生成器 404は、読み出したフレーム間圧縮画像、イントラマップ、動きベクトルマップの各データを用いて、擬似イントラフレームを生成する。動画復号装置 303は、擬似イントラフレーム生成器 404による擬似イントラフレームの生成が完了した力否かを判定する（S506)。擬似イントラフレームの生成が完了しない場合には（S506)、メディアノッファ 401、イントラマップメモリ 402、動きベクトルマップメモリ 403から、次に新しく入力されたフレームに係るデータを読み出し (S505)、そのデータを用いて擬似イントラフレームを生成する。すなわち、動画復号装置 303は、擬似イントラフレームを生成できるまで、新しい方力順にデータを読み出して擬似イントラフレームの生成を行う。

[0061] 擬似イントラフレーム生成器 404が擬似イントラフレームの生成を完了した場合には、動画復号装置 303はスィッチ 405を擬似イントラフレーム生成器 404の出力（接点 A 、図 1参照）と接続する（S507)。これにより、擬似イントラフレーム生成器 404が生成した擬似イントラフレームがデコーダ 406に入力される。

[0062] 動画復号装置 303のデコーダ 406は、入力された擬似イントラフレームを用いて、受信部 301から入力される最新のフレーム間圧縮画像を復号し、復号した再構築画像を動画復号装置 303の外部および再構築画像バッファ 407に出力する（S508)。

[0063] 動画復号装置 303は、デコードが終了した力否かを判定する（S509)。デコードが終了した場合には（S509で YES)、デコーダ 406は動作を終了し、データ読込みのステツプに移行する（S501)。動画復号装置 303は、スィッチ 405を切断状態とする。

[0064] デコードが終了していない場合には（S509で NO)、スィッチ 405を再構築画像バッファ 407の出力（接点 B、図 1参照）と接続する。これにより、再構築画像バッファ 407 に保持された再構築画像が、デコーダ 406に出力され (S510)、デコードを継続する (S508)。

[0065] 以上のようにして、動画復号装置 303は、フレーム間圧縮動画をイントラフレームとィンターフレームにかかわらず受信した最新のフレーム力即時に復号することができる。

[0066] 次に、擬似イントラフレーム生成器 404による擬似イントラフレームの生成の動作（S5 06)についてさらに詳細に説明する。図 5のフローチャートですでに説明したように、擬似イントラフレーム生成器 404には最新のフレームに係るフレーム間圧縮画像、ィントラマップ、動きベクトルマップが入力され、それらを用いて擬似イントラフレームを生成する。擬似イントラフレームの生成が完了しない場合は、擬似イントラフレーム生成器 404は、入力されたフレームより時間的に一つ前のフレームに係るフレーム間圧縮画像、イントラマップ、動きベクトルマップを繰り返し入力し、擬似イントラフレームを生成する。擬似イントラフレーム生成器 404におけるイントラマップと動きベクトルマツプを使った擬似イントラフレームの生成方法は複数考えられる。ここでは、複数の擬似イントラフレームの生成方法の中から (i)イントラマップのみを使う例（図 6参照）、 (ii )イントラマップと動きベクトルマップを使う例（図 7参照）、 (iii)動きベクトルマップのみを使う例（図 10参照）について説明する。

[0067] 図 6は、擬似イントラフレーム生成器 404におけるイントラマップのみを使う擬似イントラフレーム生成方法の一例を示す図である。説明の都合上、メディアバッファ 401、ィントラマップメモリ 402に蓄積されているフレーム間圧縮画像およびイントラマップに番号を付ける。イントラフレームをフレーム 0、フレーム 0に係るイントラマップをイントラマップ 0とし、後続のフレームをフレーム n (nは自然数）、フレーム nに係るイントラマツプをイントラマップ n (nは自然数）とし、蓄積されて!、る最新のフレーム及びイントラマップをそれぞれフレーム N、イントラマップ Nとする。擬似イントラフレーム生成器 404 は、擬似イントラフレームを生成するための画像メモリを有して、るものとする。

[0068] 擬似イントラフレーム生成器 404は、画像メモリを初期化し、データ番号 nを Nにリセットする（S601)。擬似イントラフレーム生成器 404は、イントラマップメモリ 402からイントラマップ nを読込み（S602)、イントラマップ nに基づいてフレーム nに含まれるイントラブロックをフレーム n力も抽出する（S603)。フレーム n内にイントラブロックが全く存在しない場合は、次のフレームへ処理を進めるために nをデクリメントし（S607)、次のフレームのイントラマップを読込み、同じ処理を繰り返す（S602)。

[0069] インターフレーム nからイントラブロックが抽出された場合には（S603で YES)、擬似イントラフレーム生成器 404は、フレーム nから抽出したイントラブロックを画像メモリに貼り付ける。擬似イントラフレーム生成器 404は、抽出したイントラブロックの貼り付け位置にすでにイントラブロックが貼り付けられている力否かを判定する（S604)。該当する貼り付け位置にイントラブロックがまだ貼り付けられて、な、場合は（S604で NO )、抽出したイントラブロックを貼り付ける。イントラブロックがすでに貼り付けられている場合には（S604で YES)、イントラブロックの貼り付けを行わない。以上の動作を（S6 04、 S605)を、 1フレーム分から抽出したイントラブロックに対して行う。

[0070] 擬似イントラフレーム生成器 404は、画像メモリをチェックし、擬似イントラフレームの生成が完了しているかどうか、すなわち全てのブロックが貼付け済みであるかどうか判定する（S606)。擬似イントラフレームの生成が完了して、な、場合は（S606で N 0)、次のフレームに係るデータへ処理を行うために nをデクリメントし（S607)、次のフレームのイントラマップを読込み、同じ処理を繰り返す (S602)。擬似イントラフレームの生成が完了した場合は (S606で YES)、画像メモリ内に保持された擬似イントラフレームを擬似イントラフレーム生成器 404の外部へ出力する。

[0071] 以上が、擬似イントラフレーム生成器 404によるイントラマップのみを使う擬似イントラフレーム生成方法の動作である。メディアバッファ 401に蓄積された複数のフレーム間圧縮画像の中に含まれるイントラブロックを貼り合わせることにより擬似イントラフレームを生成する。時間的に新、フレーム間圧縮画像に含まれるイントラブロックを優先して利用することにより、実際の画像に近い擬似イントラフレームを生成することができる。

[0072] 図 7は、擬似イントラフレーム生成器 404におけるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法の動作を示す図である。説明の都合上、メディアバッファ 401、イントラマップメモリ 402、動きベクトルマップメモリ 403に蓄積されているフレーム間圧縮画像、イントラマップおよび動きベクトルマップに番号を付ける。番号の付け方は図 6の説明の場合と同様とする。

[0073] 擬似イントラフレーム生成器 404は、画像メモリを初期化すると共に、データ番号 nを Nにリセットする（S701)。擬似イントラフレーム生成器 404は、イントラマップメモリ 40 2からイントラマップ Nを読込み（S702)、イントラマップ Nに基づいてフレーム Nに含まれるイントラブロックをフレーム N力も抽出する。フレーム内にイントラブロックが存在する場合には（S703で YES)、擬似イントラフレーム生成器 404は、フレーム Nから抽出したイントラブロックを画像メモリに貼り付け (S704)、次のフレームへ処理を進めるために nをデクリメントする（S705)。フレーム N内にイントラブロックが全く存在しない場合は（S703で NO)、イントラブロックの貼り付けのステップを行わないで、次のフレームへ処理を進めるために nをデクリメントする（S705)。

[0074] 擬似イントラフレーム生成器 404は、イントラマップ nと動きベクトルマップ（n+ 1)をイントラマップメモリ 402と動きベクトルマップメモリ 403からそれぞれ読込む。動きべクトルマップ（n+ 1)に基づいて、フレーム（n+ 1)のインターブロック毎に、フレーム n 内で動きベクトルの起点ブロックを確定する。起点ブロックとは、フレーム nの探索エリァの中で当該インターブロックと最も相関が高い位置にあるブロックである。

[0075] 図 8は、インターブロック、動きベクトル、起点ブロック、起点ブロックと重なるイントラブロック、シフトしたイントラブロックの関係を示す図である。図 8には、フレーム nとフレーム n+ 1を示す。フレーム nよりフレーム n+ 1の方が時間的に新しいフレーム、すなわちフレーム n+ 1はフレーム nの後続フレームである。フレーム n+ 1内のインターブロックの一つをインターブロック 801とし、インターブロック 801の動きベクトルを動きべク卜ル 802とする。

[0076] インターブロック 801のフレーム n+ 1内での位置と動きベクトル 802から、フレーム n 内で対応するブロックが確定する。フレーム n+ 1内のインターブロックに対応するブロックを起点ブロック 803と呼ぶ。起点ブロックは、フレーム n内のインターブロック 80 1の画像と最も相関が画像を示すブロックである。インターブロック 801の動きベクトルにより、起点ブロックの位置の画像ブロック力フレーム n力もフレーム n+ 1の時間にインターブロック 801の位置へ移動したことが示される。

[0077] 本例では、起点ブロック 803はフレーム n内の 4つのブロックと重なっている。イントラマップ n力もフレーム nに含まれるイントラブロックの位置がわかるので、起点ブロックと重なるイントラブロック 804を特定することができる。本例では、イントラブロック 804以外の 3つのブロックはイントラブロックではな!/、。起点ブロックが複数のイントラブロックと重なる場合には、例えば、重なり面積の最も大きいもの選択する等とすればよい。

[0078] 図 7に戻って、擬似イントラフレーム生成の動作の説明を続ける。擬似イントラフレーム生成器 404は、フレーム nにおいて、起点ブロックと重なるイントラブロックがあるか否かを判定する（S708)。イントラブロックと重なる力否かの判定には、イントラマップ nを用いる。起点ブロックがイントラブロックと重なり合う場合には（S708で YES)、重なり合ったフレーム n内のイントラブロックをフレーム（n+ 1)のインターブロックと同じ位置へシフトする（S709)。

[0079] 図 8に示されるように、イントラブロック 804をフレーム n内でインターブロック 801の位置にシフトしたもの力シフトしたイントラブロック 805である。シフトしたイントラブロック 805は、フレーム n内の同じ位置のブロックに何ら影響を与えるものではない。

[0080] 図 7に戻って、擬似イントラフレーム生成器 404は、シフトした位置の画像メモリに画像が貼り付けられている力否かを判定する（S710)。そのブロック位置にまだ画像が貼り付けられていない場合は（S710で NO)、シフトしたイントラブロックを貼り付ける（ S711)。そのブロック位置にすでに画像が貼り付けられている場合には（S710で YE

5)、画像の貼り付けは行わない。イントラブロックと重なる力否かの判定において、起点ブロックがフレーム _nに含まれるイントラブロックと重なり合わな、場合には（S708 で NO)、何も行わない。この動作（S707〜S711)をフレーム（n+ 1)の中で動きべクトルを有するすべてのブロックに対して行う。

[0081] 擬似イントラフレーム生成器 404は、画像メモリをチェックし、擬似イントラフレームの生成が完了しているかどうか、すなわち全てのブロックが貼付け済みであるかどうか判定する（S712)。擬似イントラフレームの生成が完了していない場合は（S712で N 0)、次のフレームに係るデータへ処理を進めるために nをデクリメントし（S705)、次のフレームのイントラマップ、動きベクトルマップを読込み、同じ処理を繰り返す（S70

6)。擬似イントラフレームの生成が完了している場合には（S712で YES)、画像メモリ内に保持された擬似イントラフレームを擬似イントラフレーム生成器 404の外部へ出力する（S713)。

[0082] 以上が、擬似イントラフレーム生成器 404によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法の一例である。メディアバッファ 401に蓄積された複数のフレーム間圧縮画像の中力も動きベクトルを用いてイントラブロックをシフトした後に貼り合わせ、擬似イントラフレームを生成する。時間的に新しいフレーム間圧縮画像に含まれるイントラブロックを優先して利用することにより、実際の画像に近い擬似イントラフレームを生成することができる。 [0083] 次に、擬似イントラフレーム生成器 404における動きベクトルマップのみを使う擬似ィントラフレーム生成方法の一例を図 9および図 10を用いて説明する。説明の都合上、動きベクトルマップメモリ 403に蓄積されている動きベクトルマップおよび対応するフレーム間圧縮画像に番号を付ける。ただし、動きベクトルマップのみを使う擬似イントラフレーム生成方法では、イントラフレーム以外のフレーム間圧縮画像は使用しないので、メディアバッファ 401にはイントラフレームのみが蓄積されている。番号の付け方は図 6の説明の場合と同様に、イントラフレームをフレーム 0とし、後続のフレームをフレーム n (nは自然数）、フレーム nに係る動きベクトルマップを動きベクトルマップ n ( nは自然数）とし、動きベクトルマップメモリ 403に蓄積されている最新の動きベクトルマップを動きベクトルマップ Nとする。

[0084] 図 9は、動きベクトルマップのみを使う擬似イントラフレーム生成方法について説明する図である。図 9では、説明を簡単にするために蓄積されている最新の動きベクトルマップを動きベクトルマップ 3 (n= 3)とし、フレーム 3内のインターブロック 1301に着目し、動きベクトルマップのみを使う擬似イントラフレーム生成方法について説明する。インターブロック 1301の動きベクトル 1302を用いて、フレーム 2内の起点ブロック 2 を確定する。ここで、起点ブロックとは、図 8で説明した起点ブロックと同じである。続いて、フレーム 2内で、起点ブロックに重なったインターブロックを選択する。起点ブロックが複数のブロックと重なっている場合には、その中から一つのブロックを選択する。インターブロックの選び方は、例えば、起点ブロックとの重なり面積の最も大きいブロック等とすればよい。本例では、次のインターブロックとして、起点ブロックと重なり面積が最も大きいインターブロック 1303が選ばれる。

[0085] 次に、当該インターブロック 1303の動きベクトル 1304からフレーム 1内の起点ブロック 1を確定する。続いて、フレーム 1内で次のインターブロックを選択する。このとき、起点ブロックと重なるすベてのブロック力 Sイントラブロックである場合が考えられる。その場合には、起点ブロックそれ自体を動きベクトル (0, 0)を有するインターブロックとみなし、動きベクトル (0, 0)の始点は当該起点ブロックとする。本例では、起点ブロック 1と重なるブロックは、すべてイントラブロックであるので、次のインターブロックを起点ブロック 1とする。次に、インターブロックとみなされた当該起点ブロック 1の動きべクトル 1305からフレーム 0内の起点ブロック 0を確定する。フレーム 0はイントラフレームであるので、インターブロックを選択するかわりに、イントラブロックを選択する。ブロックの選び方は、起点ブロックとの重なり面積の最も大きいブロック等とすればよい。本例では、起点ブロック 0と重なり面積が最も大きいイントラブロック 1306が選ばれる。

[0086] 動きベクトルマップのみを使う擬似イントラフレーム生成方法では、選択したイントラブロック 1306を、擬似イントラブロックを生成するためのイントラブロックとして利用する。このイントラブロックは、インターフレーム 3の対応する位置に貼り付ける。そして、ィンターフレーム 3内の全てのブロックについて同様の処理を行うことによりフレーム 3 の擬似イントラフレームを生成する。

[0087] 図 10は、擬似イントラフレーム生成器 404の動作の流れを説明する図である。図 10 を参照して、擬似イントラフレーム生成器 404の動作について説明する。擬似イントラフレーム生成器 404は、画像メモリを初期化し、データ番号 nを Nにリセットする（S 14 04)。擬似イントラフレーム生成器 404は、動きベクトルマップメモリ 403から動きべクトルマップ nを読込み、フレーム n内のすべてのブロックに対してそれぞれ以下の処理 (S1403〜S1405)を行う。なお、フレーム n内のブロックにはそれぞれ IDが付与されているものとする。

[0088] 擬似イントラフレーム生成器 404は、フレーム n内のブロックがインターブロックである場合には、インターブロックの有する動きベクトルからフレーム n— 1内の起点ブロック n- 1を確定する。ブロックが動きベクトルを有しないイントラブロック等である場合には、動きベクトル (0, 0)を有するものとみなして起点ブロック n— 1を確定する。起点ブロック n— 1は、フレーム nのインターブロックの IDを継承する。

[0089] 擬似イントラフレーム生成器 404は、 n= 1であるか否か、すなわちフレームがイントラフレームであるか否かを判定する（S 1404)。 n= 1でな!/、場合には（S 1404で NO)、当該起点ブロック n— 1と重なるインターブロックを決定する（S1405)。インターブロックの選び方は、起点ブロックとの重なり面積の最も大きいインターブロック等とすればよい。起点ブロックと重なるすベてのブロックがイントラブロックである場合には、起点ブロック自体を動きベクトル（0, 0)のインターブロックとみなす。決定されたインターブロックは、起点ブロック n—1の IDを継承する。擬似イントラフレーム生成器 404は、フレーム n内の全てのブロックにつ!/、て処理を終えると、次のフレームへ処理を進めるために nをデクリメントする（S 1406)。

[0090] n= 1である場合（S 1404で YES)、すなわちフレームがイントラフレームである場合、当該起点ブロック n— 1と重なるイントラブロックを決定する。イントラブロックの選び方は、起点ブロックとの重なり面積の最も大きいイントラブロック等とすればよい。決定されたイントラブロックは、起点ブロック n— 1の IDを継承する。

[0091] 擬似イントラフレーム生成器 404は、擬似イントラフレームを生成するために決定したイントラフレーム（フレーム 0)内の各イントラブロックを、各イントラブロックが継承した I Dに基づいて、図示しない内部の画像メモリの中のフレーム n内の同じ IDを有するブロックと同じ位置に貼り付ける（S1408)。擬似イントラフレーム生成器 404は、画像メモリ内に保持された擬似イントラフレームを擬似イントラフレーム生成器 404の外部へ出力する（S1409)。

[0092] 以上が、擬似イントラフレーム生成器 404による動きベクトルマップのみ使う擬似イントラフレーム生成方法の一例である。動きベクトルマップを用いて、ブロック毎に、各フレームで選択した動きベクトルを繋ぎ合せることにより、メディアノッファ 401に蓄積されているイントラフレームに対して最新のフレームが有する動きベクトルを作成することができ、それを利用することにより擬似イントラフレームを生成することができる。

[0093] 第 1の実施の形態の動画復号装置 303は、イントラマップメモリ 402と動きベクトルマップメモリ 403に格納されたイントラマップや動きベクトルマップを用いてメディアバッファ 401に格納されたフレーム間圧縮画像力も擬似イントラフレームを生成し、動画の復号に擬似イントラフレームを用いることにより、任意のタイミングで復号することが可能である。

[0094] また、動画受信装置 103が動画復号装置 303を備えることにより、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、フレーム間圧縮動画をインターフレーム力即時に復号することができ、遅滞なく画面表示を実現することができる。

[0095] 本実施の形態では、擬似イントラフレーム生成器 404による擬似イントラフレーム生成方法を 3つ示した力イントラマップや動きベクトルマップを用いた擬似イントラフレーム生成方法はこれらに限定するものではなぐその他さまざまなノリエーシヨンが考えられる。

[0096] (第 2の実施の形態）次に、第 2の実施の形態について説明する。第 2の実施の形態は、第 1の実施の形態で説明したイントラマップ及び動きベクトルマップを用いた擬似イントラフレーム生成方法 (以下、「基本方法」と呼ぶ）に基づいて改変するものである。

[0097] 第 2の実施の形態では、擬似イントラフレーム生成器 404の内部の画像メモリに貼り付ける画像をブロックより細カゝ、部分ブロック単位で行う。第 1の実施の形態で説明した基本方法では、起点ブロックと重なるイントラブロック 804をそのまま内部の画像メモリに貼り付ける力第 2の実施の形態では、起点ブロックと重なるイントラブロック 80 4が起点ブロックと実際に重なっている部分のみを貼り付ける。

[0098] 図 11は、第 2の実施の形態における擬似イントラフレーム生成方法について説明する図である。図 11の上段には、各フレームと動きベクトル、起点ブロック、起点ブロックと重なるイントラブロックを示す。フレーム番号の付け方は、図 8の場合と同様である。図 11の下段には、各フレームを処理した後の擬似イントラフレーム生成器 404の内部の画像メモリの状態を部分的に示す。ここでは、説明を容易にするためフレーム n + 1の中のインターブロック 1501に着目し、インターブロック 1501のブロック位置に相当する内部メモリ 1512に貼り付ける画像がどのように生成されるかにっ、て説明する。

[0099] インターブロック 1501の動きベクトル 1502より、フレーム n内で起点ブロック 1503が確定する。起点ブロック 1503と重なるイントラブロックは、イントラブロック 1504のみであるので、起点ブロック 1503とイントラブロック 1504の重なる部分ブロック 1513をイントラブロック 1504から切り出し、内部メモリ 1512に貼り付ける。このとき、部分プロック 1513を、起点ブロック 1503の中で部分ブロック 1513が占める位置と同じ位置に貼り付ける。

[0100] フレーム n—lの処理に移行するに際して、フレーム n内で起点ブロック 1503と重なる面積が最大であるインターブロックの動きベクトル 1505を利用する。動きベクトル 15 05より、フレーム n—1内で起点ブロック 1506が確定する。起点ブロック 1506と重なるイントラブロックは、イントラブロック 1507のみであるので、起点ブロック 1506とイントラブロック 1507の重なる部分ブロックをイントラブロック 1507から切り出す。切り出した部分ブロックを内部メモリ 1512に貼り付けるに際して、すでに貼り付けられた部分ブロック 1513を上書きしないように、内部メモリ 1512内の空いている部分にのみ貝占り付ける。結果として当該部分ブロック力も部分ブロック 1513を差し引、た L字型の部分ブロック 1514を貼り付けることになる。

[0101] フレーム n— 2の処理に移行するに際して、フレーム n—l内で起点ブロック 1506と重なる面積が最大であるインターブロックの動きベクトル 1508を利用する。動きベクトル 1508より、フレーム n— 2内で起点ブロック 1509が確定する。起点ブロック 1509と重なるイントラブロックは、イントラブロック 1510とイントラブロック 1511であるので、起点ブロック 1509とイントラブロック 1510、イントラブロック 1511の重なる部分ブロックをィントラブロック 1510、イントラブロック 1511から切り出す。切り出した部分ブロックを内部メモリ 1512に貼り付けるに際して、すでに貼り付けられた部分ブロック 1513、部分ブロック 1514を上書きしないように、内部メモリ 1512内の空いている部分にのみ貝占り付ける。結果として、 L字型の部分ブロック 1515を貼り付けることとなる。このとき、部分ブロック 1515の貼付けにより、インターブロック 1501のブロック位置に相当する内部メモリ 1512内の空いているスペースはすべて埋まる。インターブロック 1501のスぺースがすべて埋まった時点で、インターブロック 1501に対する擬似イントラブロックの生成処理は終了する。

[0102] 第 2の実施の形態の擬似イントラフレーム生成器 404は、フレーム n+ 1内のインターブロック毎に、イントラブロックを部分ブロック単位でシフトしたのち貼り合わせることにより擬似イントラフレームを生成する。起点ブロックの位置の画像をそのまま利用できる。また、時間的に新しいフレーム間圧縮画像に含まれるイントラブロックを優先して利用することにより、実際の画像により近い擬似イントラフレームを生成することができる。

[0103] 第 2の実施の形態の変形例として、擬似イントラフレーム生成器 404の内部の画像メモリに貼り付ける画像をブロックより細かい部分ブロック単位で処理してもよい。図 11 において、フレーム n—lの処理に移行するに際して、フレーム n内で起点ブロック 15 03と重なる面積が最大であるインターブロックの動きベクトル 1505を利用した力変形例では、起点ブロック 1503と重なるイントラブロック 1504を除いた 3つのインターブロックの有する動きベクトルの平均動きベクトルを利用する。その際に、動きべタトルの始点は、起点ブロック 1503とする。それ以外の処理については、第 2の実施の形態の擬似イントラフレーム生成方法と全く同じである。

[0104] 第 2の実施の形態の変形例において、次フレームの処理に移行する際の動きべタトルの選択方法が、起点ブロック 1503と重なるイントラブロック 1504を除いた 3つのィンターブロックの有する動きベクトルの起点ブロック 1503と重なる面積に応じた加重平均動きベクトルを利用してもよい。その際に、動きベクトルの始点は、起点ブロック 1 503とする。それ以外の処理については、第 2の実施の形態の擬似イントラフレーム生成方法と全く同じである。

[0105] 以上、イントラマップと動きベクトルマップを用いる擬似イントラフレーム生成方法 (基本方法)を第 2の実施の形態とその変形例を挙げて説明したが、本発明は、上記方法に限定されるものではなくその他の様々な態様において実施し得る。

[0106] (第 3の実施の形態）図 12は、本発明の第 3の実施の形態の動画復号装置に係る動画送受信システムの構成を示す図である。第 3の実施の形態の動画送受信システムは、フレーム間圧縮動画を送信するための動画送信装置 901と、データの伝送媒体となる放送通信中継装置 102と、送信されたフレーム間圧縮動画を受信し、デイスプレイなどの出力装置に表示する動画受信装置 103とから構成される。放送通信中継装置 102と動画受信装置 103は、第 1の実施の形態で説明したものと同じである。第 3の実施の形態の動画送信装置 901の構成および動作が異なる。

[0107] 第 1の実施の形態では、動画送信装置 101がエンコーダを具備し、フレーム間圧縮画像の符号ィ匕の際にイントラマップや動きベクトルマップを生成していたのに対し、本実施の形態の動画送信装置 901はデコーダを具備し、フレーム間圧縮画像の復号化の際にイントラマップや動きベクトルマップを生成する。本実施の形態の動画送信装置 901を用いると、動画送信装置 901に蓄積されたフレーム間圧縮動画を動画受信装置 103に送信する場合や、第三者が送信したフレーム間圧縮動画を動画送信装置 901がー且受信し、動画受信装置 103に転送する場合においてもイントラマツプゃ動きベクトルマップを生成し、フレーム間圧縮動画とともに送信することが可能である。これにより、例えば放送通信中継装置 102を近距離無線によるパーソナルエリァネットワーク（PAN)であるとすると、インターネット上の動画サーノくから送信されたフレーム間圧縮動画を動画送信装置 901に相当するモバイルビユーヮが受信復号し、当該モバイルビユーヮのディスプレイに表示すると同時に、モバイルビユーヮは PA Nを経由して動画受信装置 103に相当する近くのデジタルテレビにフレーム間圧縮動画とともにイントラマップや動きベクトルマップを転送し即座に再生することが可能である。

[0108] 続いて、本実施の形態の動画送信装置 901の構成および動作について説明する。

動画送信装置 901は、フレーム間圧縮動画を復号するためのデコーダ 902を備えている。デコーダ 902は、イントラマップ作成部 903と動きベクトルマップ作成部 904を備えている。イントラマップ作成部 903および動きベクトルマップ作成部 904は、フレーム間圧縮動画の各フレームを復号ィ匕する際に、フレーム毎にイントラマップと動きベクトルマップを生成する。この際生成されるイントラマップと動きベクトルマップは、第 1の実施の形態で説明したイントラマップおよびベクトルマップと同じである。動画送信装置 901は、デコーダ 902にフレーム間圧縮動画を提供するハードディスク、 D VDなどの蓄積部 905、もしくはメディア受信部 906を備える。

[0109] 動画送信装置 901は、蓄積部 905に蓄積されたフレーム間圧縮動画、もしくは外部より送られてメディア受信部 906が受信したフレーム間圧縮動画を、デコーダ 902で復号し、図示しない表示部で再生する。デコーダ 902内部のイントラマップ作成部 90 3と動きベクトルマップ作成部 904は、フレーム間圧縮動画の各フレームを復号化する際に、フレーム毎にイントラマップと動きベクトルマップを生成する。動画送信装置 9 01は、図示しないネットワーク送信部を備え、蓄積部 905もしくはメディア受信部 906 力取得したフレーム間圧縮動画を動画受信装置 103へ送出する。フレーム間圧縮動画を送信する際に、イントラマップ作成部 903が生成するイントラマップや、動きべタトルマップ作成部 904が生成する動きベクトルマップを併せて送信する。これにより、動画像受信装置 103は、フレーム間圧縮動画に同期して、イントラマップ、動きべクトルマップを受信し、それらを利用することによりインターフレームカゝら即時に復号することがでさる。

[0110] 以上説明したように、本実施の形態の動画送信装置 901はデコーダ 902を備え、デコード時にイントラマップ、動きベクトルマップを生成して送信する。動画受信装置 10 3は、第 1の実施の形態と同様の動画復号装置 303を備えることにより、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、フレーム間圧縮動画をインターフレーム力即時に復号することができ、遅滞なく画面表示をすることができる。

[0111] (第 4の実施の形態）図 13は、第 4の実施の形態の動画復号装置に係る動画送受信システムの構成を示す図である。第 4の実施の形態の動画送受信システムは、フレーム間圧縮動画を送信するための動画送信装置 1001と、データの伝送媒体となる放送通信中継装置 102と、送信されたフレーム間圧縮動画を受信し、ディスプレイなどの出力装置に表示する動画受信装置 1003とから構成される。放送通信中継装置 102は、第 1の実施の形態のものと同じであり、動画送信装置 1001と動画受信装置 1003の構成および動作が異なる。

[0112] 第 1の実施の形態の動画送信装置 101がイントラマップ作成部 105および動きべタトルマップ作成部 106を含むエンコーダ 104を具備し、フレーム間圧縮画像の符号ィ匕の際にイントラマップや動きベクトルマップを生成していたのに対し、本実施の形態の動画送信装置 1001は、イントラマップ作成部および動きベクトルマップ作成部を含まないエンコーダ 1002を備える。

[0113] エンコーダ 1002は、動画符号化の際にイントラマップや動きベクトルマップを生成せず、本実施の形態の動画送信装置 1001は、動画受信装置 1003に対してフレーム間圧縮動画とともにイントラマップや動きベクトルマップを送信しない。イントラマツプゃ動きベクトルマップが送信されないことに鑑み、本実施の形態の動画受信装置 1 003は、図示しな、イントラマップ作成部および動きベクトルマップ作成部を具備し、受信したフレーム間圧縮動画からイントラマップおよび動きベクトルマップを作成する

[0114] 図 14は、動画受信装置 1003の構成を示す図である。動画受信装置 1003は、フレーム間圧縮動画を受信するメディア受信部 301と、イントラマップや動きベクトルマツプを生成し、それらを用いてメディア受信部 301の受信したフレーム間圧縮動画をィンターフレーム力も即時に復号する動画復号装置 1101と、動画復号装置 1101が復号した非圧縮動画を外部に出力する表示部 304とから構成される。メディア受信部 3 01は第 1の実施の形態のものと同じであり、伝送されたデータの中力フレーム間圧縮画像のみを抽出するものである。メディア受信部 301は、デジタル放送においては受信機やチューナの機能に相当し、通信においてはソケットインターフェイスゃパケット再構築機能に相当する。メディア受信部 301は、 1ストリームに限らず複数のストリームを同時に受信し、動画復号装置 1101に送ることができる。表示部 304も第 1の実施の形態と同じであり、動画復号装置 1101によって復号された非圧縮画像を表示する。表示部 304は、例えばディスプレイである。動画受信装置 1003は、以上の構成を有することにより、受信したフレーム間圧縮動画をインターフレーム力即時に復号することができる。

[0115] 図 15は、第 4の実施の形態の動画復号装置 1101の構成を示す図である。動画復号装置 1101は、メディア受信部 301が抽出したフレーム間圧縮動画の中から直近の複数フレーム分のフレーム間圧縮画像を蓄積しておくためのメディアバッファ 401と、フレーム間縮圧動画からイントラブロックと動きベクトルを抽出し、イントラマップと動きベクトルマップをそれぞれ生成するイントラマップ生成部 1201と動きベクトルマップ生成部 1202と、イントラマップ生成部 1201と動きベクトルマップ生成部 1202が生成したイントラマップと動きベクトルマップをそれぞれ格納するためのイントラマップメモリ 4 02と動きベクトルマップメモリ 403とを備える。

[0116] また、動画復号装置 1101は、イントラマップメモリ 402と動きベクトルマップメモリ 403 に格納されたイントラマップや動きベクトルマップに基づ、てメディアバッファ 401に格納されたフレーム間圧縮画像力擬似イントラフレームを生成する擬似イントラフレーム生成器 404と、フレーム間圧縮画像を復号するデコーダ 406と、デコーダ 406力 S 出力した再構築画像を次のフレーム間圧縮画像の復号のために格納する再構築画像バッファ 407と、デコーダ 406への入力を切り替えるスィッチ 405とを備えている。

[0117] 擬似イントラフレーム生成器 404が生成する擬似イントラフレームとは、動画復号装置 1101に入力された最新のフレーム間圧縮画像を復号するために必要不可欠な画像である。擬似イントラフレームは、当該最新のフレーム間圧縮画像より 1フレーム前のフレーム間圧縮画像を復号したものに相当する。メディアバッファ 401、イントラマツプメモリ 402、動きベクトルマップメモリ 403は、各データをフレーム毎に格納し、各データにフレーム単位でアクセスして取り出すことができるものである。再構築画像バッファ 407は、 1フレーム分の非圧縮再構築画像を保持し、新しいデータが入力されると上書きされる。デコーダ 406は、フレーム間圧縮動画をイントラフレームカも復号することができる通常のデコーダである。

[0118] 動画復号装置 1101は、イントラマップ作成部 1201および動きベクトルマップ作成部 1202を具備することにより、受信したフレーム間圧縮画像力も擬似イントラフレームを生成するために必要なイントラマップや動きベクトルマップを生成することができる。生成されたイントラマップおよび動きベクトルマップは、それぞれイントラマップメモリ 4 02および動きベクトルマップメモリ 403に格納される。それ以外の動作については、第 1の実施の形態の動画復号装置 303と同じである。

[0119] 以上説明したように、本実施の形態の動画受信装置 1003は、イントラマップや動きベクトルマップが動画送信装置 1001から送信されない場合においても、動画復号装置 1101がイントラマップ作成部 1201および動きベクトルマップ作成部 1202を具備することにより、擬似イントラフレームを生成するために必要なイントラマップや動きべタトルマップを生成することができ、インターフレーム力も即時に復号することが可能である。

[0120] 以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

産業上の利用可能性

[0121] 以上説明したように、本発明は、擬似イントラフレームを用いて任意のタイミングで復号を開始することができると、うすぐれた効果を有し、テレビ会議端末やデジタルテレビ等に適用される動画復号装置として有用である。

Claims

請求の範囲

[1] 複数のイントラフレームおよびインターフレーム力なる動画データを受信する動画データ受信部と、

前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、前記動画データのそれぞれのインターフレームに含まれるイントラブロックの位置を示すイントラマップを記憶するイントラマップ記憶部と、

前記イントラマップ記憶部に記憶されたイントラマップに基づ、て、前記メディアバッファに蓄積された最新のインターフレーム力順に、インターフレームに含まれるイントラブロックの画像を抽出し、複数のインターフレームから抽出したイントラブロックの画像を組み合わせて擬似イントラフレームを生成する擬似イントラフレーム生成部と、前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダと、を備える動画受信装置。

[2] 前記擬似イントラフレーム生成部は、擬似イントラフレームを構成するブロックとして適用可能なイントラブロックが複数のインターフレーム力も抽出された場合は、新しい方のインターフレーム力も抽出したイントラブロックの画像を用いる請求項 1に記載の動画受信装置。

[3] 前記動画データ受信部にて受信した動画データから、前記動画データのイントラマップを生成するイントラマップ生成部を備え、

前記イントラマップ生成部にて生成されたイントラマップを前記イントラマップ記憶部に記憶する請求項 1に記載の動画受信装置。

[4] 前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部を備え、

前記擬似イントラフレーム生成部は、複数のインターフレーム力抽出したイントラブロックの画像を、動きベクトルマップに基づ、て決まる位置に移動して組み合わせて、擬似イントラフレームを生成する請求項 1に記載の動画受信装置。

[5] 前記動画データ受信部にて受信した動画データから、前記動画データの動きべクトルマップを生成する動きベクトルマップ生成部を備え、前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きべタトルマップ記憶部に記憶する請求項 4に記載の動画受信装置。

[6] 複数のイントラフレームおよびインターフレーム力もなる動画データを受信する動画データ受信部と、

前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部と、

前記動きベクトルマップ記憶部に記憶された動きベクトルマップに基づ、て、最新のインターフレームから遡って前記最新のインターフレームを構成する各ブロックに相当するイントラフレーム中のイントラブロックを特定し、前記特定されたイントラブロックの画像を用いて擬似イントラフレームを生成する擬似イントラフレーム生成部と、前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダと、を備える動画受信装置。

[7] 前記動画データ受信部にて受信した動画データから、前記動画データの動きべクトルマップを生成する動きベクトルマップ生成部を備え、

前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きべタトルマップ記憶部に記憶する請求項 6に記載の動画受信装置。

[8] 複数のイントラフレームおよびインターフレーム力もなる動画データを再生する動画データ再生部と、

前記動画データ再生部にて再生中の動画に基づいて、前記動画に含まれるインタ一フレームのそれぞれのイントラブロックの位置を示すイントラマップを生成するイントラマップ生成部と、

前記イントラマップ生成部にて生成されたイントラマップを前記動画データと共に送信する動画データ送信部と、

を備える動画再生装置。

[9] 前記動画データ再生部にて再生中の動画に基づいて、前記動画のフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを生成する動きベクトルマップ生成部を備える請求項 8に記載の動画再生装置。