JP4808161B2 - 動画像通信エラー処理の方法とその装置 - Google Patents

Description

本発明は、概して、電気通信信号を処理する方法に関する。

通信ネットワークをまたがって音声信号や動画像信号を符号化する規格にはいくつかのものが存在する。これらの規格は、ある端末（ハンドセット、デスクトップ、ゲートウェイ、等）と、同じ規格に準拠する他の端末との相互運用を可能にする。共通の規格に準拠しない端末どうしは、符号変換ゲートウェイ等の機器を端末間に追加することで、はじめて相互運用が可能になる。符号変換ゲートウェイは、符号化信号をある規格から別の規格へと変換する。マルチメディアゲートウェイは符号変換の他に、異なるネットワーク（移動体通信用、地上通信のパケット用、等）の端末間のコール信号の仲介をしたり、端末の利用しているプロトコル間の命令や制御情報を変換したり、といった機能を有する符号変換ゲートウェイである。いくつかの適用においては、端末は、サーバアプリケーションであってもよい（例えば、ビデオメールの留守番サービス等）。マルチメディアゲートウェイは物理的に独立した装置であっても、サーバシステム内のモジュールであってもよい。符号変換ゲートウェイは単にマルチメディアゲートウェイとも呼ばれる。

異なるネットワークの端末どうしは、同じメディア（音声、動画像）コーデックを用いている場合もある。しかし、通信チャネル越しに送信されるフレームとして符号化されたビットをパッキングする方法は異なることもある。例えば、音声や動画像ビットストリームは、そのビットフレームを通常リアルタイムプロトコル（ＲＴＰ）パケットとしてカプセル化されてパケットネットワーク越しに送信される。ＲＴＰパケットには、タイムスタンプや連続番号などの情報を有するヘッダ情報が含まれる。圧縮されたビットストリームのグループから構成されるメディア（音声、動画像、データ）ビットが、このようなＲＴＰパケットのペイロードを形成する。

一方、Ｈ．３２４Ｍ／３Ｇ−３２４Ｍ規格に基づいた３Ｇ動画像電話技術においては、メディアビットのチャンク（塊）は、回線交換ビットストリームとして、多重化される。

メディアビットチャンク（ペイロード）は、メディアグループがコーデックによって生成されるサイズや境界、または、RTPパケットとして送信されるため、あるいは回線交換チャネル上に多重化されて送信されるための、サイズや境界を規定する、異なる規則をネットワークやその基盤に用いられる通信プロトコルに応じて有することが可能である。

したがって、マルチメディアゲートウェイは、端末間の異なる符号化基準の変換を行うだけでなく、ビットグループのサイズや境界を有効化したり、調整を行ったりして、それらのネットワークが利用しているプロトコルのフレーム要求を満たす必要がある。よって、端末どうしが同じコーデックを用いている場合は、符号変換は不要であるかもしれないが、ペイロードサイズやペイロード境界の観点からみてこれらが準拠するように、音声・動画像ビットストリームをゲートウェイが加工する必要がある。

特に興味深いのは、移動体ビデオ電話端末（例えば、Ｈ．３２４Ｍ／３Ｇ−３２４Ｍ端末）を有する環境の例である。移動体端末は無線通信を行うが、多くの場合干渉や送受信の状態によって、ビットストリームにエラーが生じる。音声・動画像の損傷は容易にユーザに気づかれる。過度の音声・動画像の損傷は、ユーザの使用体感を極めて悪いものにする。

ここで、いくつかの動画像圧縮方式を復習する。

動画像データは連続した画像データから構成されている。各独立した画像はフレームと呼ばれる。

ハイブリッド動画像コーデックが、フレーム情報を符号化（圧縮）する方法としては、いくつかのものが存在する。本発明に関連する、符号化フレームの種類としては、以下のものがある：
・Ｉフレームは静止画として符号化され、他のフレームとは独立して復号化することができる。
・Ｐフレームはフレーム間の類似点を活用し、直前のＩ、またはＰフレームとの差分として符号化されたものである。
・Ｂフレームはフレーム間の類似点を活用し、直前の、または直後の、ＩまたはＰフレームとの差分として符号化されたものである。

動画像の予測符号化（ＰおよびＢフレームとして符号化されたフレーム）は、直前のフレーム情報を活用して動画像フレームを圧縮することによって、連続した動画像に含まれる一時的な冗長性をエンコーダが取り除くことを可能にした、近代の動画像圧縮における重要技術である。

符号化されるフレームは、まずマクロブロックに分割される。マクロブロックは、元のフレームの長方形部分の輝度、および色度成分を有している。Ｈ．２６１、Ｈ．２６３、そしてＭＰＥＧ動画像圧縮規格では、元の動画像フレームは、１６×１６の輝度画像要素（ピクセル）を有するマクロブロックと、関連する色度ピクセル（元の動画像が４：２：０形式のものに関しては８×８）とに分割される。

マクロブロックは次いで、さらにブロックに分割される。輝度と色度ピクセルは異なるブロックに記録される。ブロックの数やサイズはコーデックに依存する。Ｈ．２６１、Ｈ．２６３、そしてＭＰＥＧ−４規格準拠の動画像コーデックはマクロブロックを６つ（輝度が４ブロック、そして色度が２ブロック）の８×８のピクセルブロックに分割する。

各ブロックはまず空間的冗長性を取り除くための変換を行った後に、変換係数を量子化することで符号化される。この段階を”変換符号化”と呼ぶ。量子化された変換係数のうち、非ゼロのものは、さらにランレングスと可変長符号化を用いて符号化される。この２つ目の段階を”ＶＬＣ符号化”と呼ぶ。逆の処理は、それぞれ、”ＶＬＣ復号化”、そして”変換復号化”と呼ぶ。Ｈ．２６１、Ｈ．２６３、そしてＭＰＥＧ−４の動画像圧縮規格は、離散コサイン変換（ＤＣＴ）を用いてブロック内に存在する空間的冗長性を取り除く。

マクロブロックは３つの方法で符号化される：
・”イントラ符号化”マクロブロックは、符号化される元のフレームから直接ピクセル値をコピーする。
・”インター符号化”マクロブロックは、符号化される元のフレーム列の一時的な冗長性を活用する。インター符号化マクロブロックは現在注目している元(source)のフレームのピクセル値と参照フレームのピクセル値との差分から得られたピクセル値を有する。参照フレームとは、直前に復号化されたフレームである。差分を算出するのに利用される参照フレーム内の範囲は、動きベクトル、すなわち、現在注目しているフレーム内のマクロブロックと最も合致する参照フレーム内のマクロブロックとの変位を表すベクトル、によって制御される。
・”非符号化”マクロブロックは、直前のフレームと大きく変化していないマクロブロックであり、これらのマクロブロックに関しては、動きや係数データは送信されない。

あるフレームに含まれるマクロブロックの種類は、フレームの種類に依存する。本アルゴリズムに関わるフレームの種類については、次のようなマクロブロックの種類が含まれる：
・Ｉフレームにはイントラ符号化マクロブロックのみ含まれる。
・Ｐフレームには、イントラ、インター、そして非符号化マクロブロックが含まれる。

いくつかの動画像コーデックでは、マクロブロックは、”ブロックのグループ（group of blocks)”、またはＧＯＢの単位にグループ化される。

Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、そしてＭＰＥＧ−４動画像などの動画像符号化規格は、圧縮された動画像ビットストリームの構文や意味を記すものである。送信機と受信機の間の通信エラーがあると、通常受信機側の動画像デコーダにて受信ビットストリームの構文エラーが検出される。動画像フレームのビットストリームの損傷は、現在処理されている画像の他に、予測符号化を用いて符号化されるそれ以降の動画像フレーム（ＰまたはＢフレーム）に影響を与える可能性もある。殆どの動画像通信プロトコルは、” 高速動画像更新(video-fast update)”リクエストと呼ばれるリクエストに基づくエラー回復の仕組みを有する命令・制御プロトコルを利用している。このリクエストは動画像を送信する側に次の動画像フレームをＩフレーム（現在注目している動画像フレームの内容のみを利用して、符号化したもの）として送信するように通知する。高速動画像更新の手法は、損傷をわずかな時間、望ましくは、ユーザが気づかない程度、に抑え、動画像の質を早く回復することを可能にする。

従来のマルチメディアゲートウェイの構成では、ゲートウェイが、一方の端末から発される高速動画像更新を、もう一方の端末（端末がハンドセットであっても、ビデオメール留守番サービス等のサーバアプリケーションであっても）へと中継する。この処理は図１に示される。送信端末１０１は動画像データをマルチメディアゲートウェイ１０２へと送信し、マルチメディアゲートウェイ１０２はビットストリームを処理し受信端末１０３へと送信する。先行技術におけるビットストリーム処理では、両方の端末で同じ符号化規格が利用されている場合は、実際の符号変換やフォーマット処理が含まれることもある。受信端末１０３がビットストリーム内にエラーを検出すると、マルチメディアゲートウェイ１０２に対して、高速動画像更新リクエストを送信し、マルチメディアゲートウェイ１０２は、この要求を、送信元の端末１０１へと再送信する。この方法は特定の場合（例えば、テレビ会議などにおいて、二つの端末が活発に動画像ストリームの符号化／復号化を行っており、端末が損傷を検出したときに、または、そのように要求されたときに、高速動画像更新要求を送ることが可能な場合）については、うまくいく。

従来のビットストリームエラー処理が十分でない例について、以下に説明する。

メッセージサーバやストリーミングサーバ等の動画像端末機器のいくつかは、受信する動画像ビットストリームのエラーを検出できないことや（これらはビットストリームを復号化せずに、圧縮されたまま単に保存を行う場合がある）、あるいは高速動画像更新要求に対応することができないことがある。その理由は、これらはすでに符号化（圧縮）されたビットストリームを送信している場合があるからである。したがって、符号化を活発に行っていないため、その符号化モードを、Ｉフレームの符号化・送信を行うモードに変更できない。例えば、圧縮された形式でビデオメールを単にメールボックスに保存し、後にその圧縮された動画像ビットストリームを再生するようなビデオ留守番サービスなどのメッセージサーバは、ビットストリームエラーも検出できない上、高速動画像更新要求にも対応することはできない。このような場合、マルチメディアゲートウェイがエラー状況に対応する必要がある。さもなければ、ユーザはメッセージビットストリーム中に次のＩフレームが送信するまで損傷のある動画像を見続けることになる。損傷は数秒から、圧縮されたビットストリームにおけるＩフレームの頻度に応じて、１０秒程度続くおそれがあるため、ユーザの使用体感を極めて悪いものにする。ＩフレームはＰフレームよりもビットレートのバンド幅を要するため、より多くのＩフレームをビットストリームに挿入することは、動画像の実際のフレームレートに影響を及ぼすおそれがあり、問題を軽減するとは限らない。

ビデオメールをビデオ留守番サービスに預ける場合においては、移動体端通信末動画像ビットストリームを送信している間に無線インタフェースでエラーが生じる可能性がある。マルチメディアゲートウェイがエラーをチェックせずに単にビットストリームを中継し、ビデオ留守番サービスがビットストリームをチェックせずにそれを保存した場合、損傷した動画像が記録されることになる。

移動体通信端末によって送受信される動画像ビットストリームに生じるエラーをマルチメディアゲートウェイが取り扱うことを可能にするための方法が必要とされている。

本発明によると、マルチメディアゲートウェイ部において、動画像ビットストリームデータエラーを取り扱う方法が提供されており、ゲートウェイ部は、終端部におけるエラー検出に依存せずに、入力される動画像ビットストリーム内のエラーを検出し、ビットストリームをリフレッシュするために、送信元に信号を送信する。終端部が動画像ビットストリームをリフレッシュするよう通知すると、ゲートウェイはローカルで、適切なリフレッシュフレームを生成し、送信する。マルチメディアゲートウェイが効率的に動画像ビットストリームエラーを取り扱えるようにすることを目的として、動画像はマルチメディアゲートウェイにおいて、任意の接続プロトコルを利用した任意のハイブリッドビデオコーデック対の間で処理される。

マルチメディアゲートウェイに入力される動画像ビットストリームがビットエラーを有する可能性が高いものについて、本装置は、損傷を検出し、送信端末に損傷を復旧するよう通知するモジュールを備える。メディアとは独立した層において（例えば、チェックサムエラーや、逆多重化における連番の不整合等）データを初めて受信し処理する際に、損傷を検出してもよい。あるいは、マルチメディアゲートウェイを通過する動画像ビットストリーム内のエラーを検出できる入力コーデック用の復号化モジュールにて損傷を検出してもよい。メディアとは独立した層においてエラーが検出され、トランスポートプロトコルがデータ再送に対応している場合、データを再送するように送信端末に要求することができる。再送要求が要求できない場合、あるいは望ましくない場合で（再送手続は遅延を生じるため、音声および動画像ストリームの同期が取れなくなる場合がある）、エラーが動画像ビットストリーム構文エラーとして検出されるとき、ゲートウェイが送信端末へと、高速動画像更新要求を送信する。

ビデオメールサーバは、受信する動画像ビットストリームをチェックするために、動画像デコーダを必要とする。ビデオメールサーバは、Ｉフレームを送信するように送信元ハンドセットに高速動画像更新要求を送るために、動画像復号化機能に接続された命令および制御機能が必要となる。本発明は、ゲートウェイの両側において同じ動画像符号化規格が用いられている場合でも、動画像ビットストリームをチェックしエラーを検出する機能、および送信元に対し高速動画像更新を通知する機能をマルチメディアゲートウェイに配置することを開示する。これによりいくつかの利点が得られる。ゲートウェイはサーバよりもリアルタイム処理能力を通常有しており、また、ゲートウェイは送信元に最も近いネットワーク要素であるため、ビデオメールサーバにエラーが到達し処理されるまでの時間に比べエラー処理を行う時間を極めて短くできるためである。さらに、マルチメディアゲートウェイは符号変換を行うことで、符号変換器に、エラー処理を組み込むことも可能となる。

本装置は、ゲートウェイから送信される動画像に、マルチメディアゲートウェイと受信側の間のチャネルでビットエラーが生じる可能性がある場合、入力コーデック用の復号化モジュール、及び出力コーデック用の符号化モジュールを備える。マルチメディアゲートウェイが高速動画像更新要求を受信すると、符号化モジュールは復号化モジュールの出力を、その出力のフレーム符号化タイプによらず、Ｉフレームへと変換することができる。

本発明は、動画像の損傷を最小に抑え、よりよいユーザ使用体感を得られるように、ゲートウェイが「高速動画像更新」要求をローカルにて処理することを可能とする。「高速動画像更新」をローカルで処理するためには、ゲートウェイにおける動画像処理は、高速動画像更新要求に応えてＩフレームを送信できなくてはならない。このローカルな処理は色々な方法で行うことができる。
ａ）動画像処理が復号化および再符号化を行う場合（タンデム型符号変換器において）、ゲートウェイの動画像プロセッサは容易に高速動画像更新要求を処理することができる。
ｂ）その他の高速動画像更新処理では、スマート動画像符号変化モジュール(smart video transcoding module)に、動画像処理を組み込む。このような符号変換器はマクロブロック単位、あるいはフレーム単位で処理を行うことができる。動画像符号変化モジュールは、次のような場合に符号変換を行うことが可能である。
ｉ）両方の端末（例えば、ユーザ端末(user-end point)、あるいはメッセージサーバやコンテンツサーバ）の使用している符号化規格が同じである場合。例えば、符号変換器は入力ビットストリームを復号化しなくてはならないが、エラーがない場合、入力ビットストリームを変更することなく再利用してもよく、高速動画像更新要求を処理するためにＩフレームを生成する必要がある場合に復号化された動画像フレームを再符号化するコストのみが生じる。
ｉｉ）端末が利用している符号化規格は異なるが、類似点がスマート符号変換を可能にする場合。例えば、符号変換器は、各フレームを復号化し、再符号化してもよいが、この際、符号化段階における動きベクトルやマクロブロック符号化タイプなどの情報を再利用してもよい。この場合の符号変換器は、高速動画像更新要求に応えて任意のフレームをＩフレームとして再符号化するよう、わずかに拡張するだけで済む。

動画像ゲートウェイによってエラーをローカルに検出することは、ビデオメールサーバ（３Ｇ−３２４Ｍに定められているようなリアルタイムでのビットストリーム処理に通常適していない）の機能を簡素化するだけでなく、動画像損傷の継続期間を最小にすることができる。もし、高速動画像更新要求がビデオメールサーバまで往復した場合、その分往復時間は長くなる。ゲートウェイにおける、ローカルなエラーの検出と高速動画像更新の生成は、ビデオメールサーバから取得された動画像の損傷にメールボックス加入者をさらす時間を大きく削減する。さらに、ビデオメールサーバに動画像デコーダを組み込む必要も排除できる。

本発明は、添付図面に基づいた後述の詳細な説明において、より詳しく説明される。

特定の実施形態を参照して本発明を説明する。Ｈ．３２４Ｍ／３Ｇ−３２４Ｍ（以降３Ｇ−３２４Ｍと呼ぶ）をＨ．３２３プロトコルへの変換、およびマルチメディア符号変換を行うマルチメディアゲートウェイの特有の場合において、Ｈ．３２３端末はＨ．３２３プロトコルを用いて、マルチメディアゲートウェイ、あるいはその他のサーバ、またはエンドユーザ端末と通信をする、ビデオメール留守番サービスであってもよい。ここで、３Ｇ−３２４ＭおよびＨ．３２３プロトコルは、例示目的として用いるのみに過ぎない。ここに記載されている手法は一般的なものであり、ほぼ全ての接続プロトコル上のほぼ全てのハイブリッド動画像コーデック間マルチメディアゲートウェイにおける動画像処理に適用できる。本発明の精神と範囲から外れることなく、他の手順、構成、配置の利用が可能であることについて当業者は認識することと思われる。

３Ｇ−３２４Ｍのハンドセットがその動画像を無線インタフェース越しに送信した場合、元に戻すことができないほどの、情報のペイロードの損傷に繋がるビットエラーが生じる可能性がある。本発明の装置はエラーを検出し、瞬時に、そしてもう一方の受信端末（すなわち、ビデオメールサーバ）の関与なしに、「高速動画像更新」を実施し、エラー状況から回復する処理を支援するように送信端末に要求する。装置は帯域外で（ＩＴＵ−Ｔ Ｈ．２４５メッセージによって）、あるいは、帯域外または逆の帯域内チャネルを利用する同等の手法によって、このような要求を送信する。Ｈ．２４５は３Ｇ−３２４ＭおよびＨ．３２３の一部であり、このようなメッセージの送信に必要な設備を提供しているため、３Ｇ−３２４ＭおよびＨ．３２３で、純粋なＨ．２４５メッセージングを用いることができる。

図２は、ゲートウェイで受信されるビットストリームデータにエラーが含まれている可能性がある場合における、符号変換ゲートウェイの好ましい実施形態のエラー検出処理のフローチャートである。データは送信端末から受信され（ステップＡ）受信されたデータからメディアビットストリームが抽出される（ステップＢ）。データに含まれるメディアは複数の動画像および／または音声ビットストリームから構成されていてもよい。図では、単純化のため、一つの動画像ビットストリームのみ図示されている。ビットストリーム抽出時にエラーが検出され（ステップＣ）、再送信要求の処理が可能であって、ゲートウェイが高速動画像更新よりも再送信に好ましい(prefer)構成となっている場合（ステップＤ）、ゲートウェイはデータを再送信するように要求する（ステップＪ）。再送信がサポートされていないか、あるいは再送信が望ましくない場合、ゲートウェイは高速動画像更新を要求する（ステップＨ）。ビットストリーム抽出時にエラーが検出されない場合は動画像ビットストリームのエラーがチェックされる（ステップＥ）。エラーがビットストリーム中に検出されると、（ステップＦ）、ゲートウェイは高速動画像更新を要求する（ステップＨ）。そうでなければ、ビットストリームを通常通り符号変換を行う（ステップＧ）。

図３は、ゲートウェイ１４で受信する動画像ビットストリームがビットエラーを含む可能性がある場合における、符号変換ゲートウェイシステムの特定の実施形態を示すブロック図である。図は、３Ｇ−３２４端末１３から、Ｈ．３２３端末１５に送信される前にゲートウェイ１４を通る動画像ビットストリームを示す。

チャネル１６を通じて入力された動画像ビットストリームはトランスポート層インタフェース１７によって復号化される。トランスポート層の処理が受信ビットストリーム中にエラーを検出し、再送要求の送信が可能な場合は、トランスポート層は送信端末１３に再送要求を送ってもよい。

受信された動画像ビットストリームは構文復号化(syntax decoding)モジュール１８へと送られる。構文復号化モジュール１８はビットストリームの構文的な正しさのチェックを行う責任を担い、動画像ビットストリームを完全に復号化する必要はない。

構文復号化モジュール１８によってビットストリームエラーが検出されると、エラーが制御モジュール２０に通知される。制御モジュールは高速動画像更新要求を生成し、生成された高速動画像更新要求は適切な制御プロトコルを用いて３Ｇ−３２４端末へと送信される。時間窓内で、複数のエラーが高速に連続して検出された場合、制御モジュールは一つのみ高速動画像更新要求をおくるように選択してもよい。検出モジュール１８は、動画像フレームを再構成せずに、動画像ビットストリームを調べる、単純化された動画像デコーダモジュールであってもよい。これを構文復号化と呼ぶこともできる。エラーを検出するために、ビットストリームをスキャンし、エラーは制御モジュール２０へと通知されるためである。エラー検出モジュールは当業者によって実装可能である。

入力された動画像ビットストリームは処理モジュール１９へも送られる。このモジュール１９は、例えば、入力されたビットストリームを異なる動画像規格および／あるいはビットストリームのビットレートを変更するなどの、一般的な符号変換を実施する。入力側と出力側の動画像規格が同じであれば、処理モジュール１９は単純に入力を出力側へ流し、必要であればパケット境界の変更を行う。処理が、タンデム型符号変換器のように、入力されたビットストリームの復号化を必要とする場合は、処理モジュール１９および、構文復号化モジュール１８を組み合わせることもできる。符号変換が必要な場合、処理モジュール１９の最も一般的なデザインはタンデム型符号変換器である。このようなモジュールは、入力される動画像と同規格のデコーダを備え、デコーダの出力（無圧縮の動画像フレーム）は、出力側の動画像と同規格のエンコーダへの入力として利用される。動画像のデコーダおよびエンコーダの実装は、関連する企画団体の発行するエンコーダデコーダの規格に基づいて実装を行う信号処理技術者によって通常行われる。例えばＨ．２６３は国際電気通信連盟（ＩＴＵ）によって規格化されている。ＭＰＥＧ４動画像コーデックは国際標準化機構（ＩＳＯ）によって規格化されている。エンコーダやデコーダ、およびタンデム型符号変換器の実装は、当業者であれば可能である。

処理モジュール１９からの動画像データはトランスポート層モジュール２１へと送られ、制御や他のメディアビットストリームと合成される。次いで、データはチャネル２２を通じて受信端末１５へと送られる。

３Ｇ−３２４Ｍ端末が無線インタフェースを通じて動画像を受信した場合、元に戻すことができないほどの、情報のペイロードの損傷に繋がるビットエラーが生じる可能性がある。このメッセージ取得中の局面に起きるビットエラーをうまく取り扱う必要がある。取得時には、保存された無傷の圧縮動画像ビットストリームが、ビデオメール、またはコンテンツサーバから、マルチメディアゲートウェイ、ＭＳＣを通じて、端末へと送信される。ＭＳＣから（無線インタフェースを通じて）の送信はビットエラーを生じることがある。ビデオメールサーバの記録メッセージの動画像ビットストリームは多くの場合、圧縮された形式で保存される。

無圧縮の動画像を保存するためには非常に大きな保存領域が必要であり、リアルタイムに近い圧縮処理をビデオメールサーバ上で実施するためには計算資源が高くつく。端末の動画像デコーダが、無線インタフェース状況に起因したエラーを検出した場合、「高速動画像更新」要求を送信側に送信する。ビデオメールサーバは、前もって保存された圧縮ビットストリームを送信するため、リアルタイムでの無圧縮動画像コンテンツの符号化／応答が必要な「高速動画像更新」要求を取り扱うことができない可能性がある。

ゲートウェイは、「高速動画像更新」要求を取り扱うために適切な段階である。本発明は、動画像の損傷を最小に抑え、よりよいユーザ使用体感を得られるように、ゲートウェイが「高速動画像更新」要求をローカルにて処理することを可能とする。

図４はゲートウェイの送信した動画像データにビットエラーが存在しうる場合における、符号変換ゲートウェイの特定の実施形態に関するブロック図である。図は、Ｈ．３２３端末２３からの動画像ビットストリームが、３Ｇ−３２４Ｍ端末２５に到達するまえに、ゲートウェイ２４を通過する様子をしめす。

入力側のチャネル２６を通じて入力されるデータはトランスポート層インタフェース２７によって復号化される。データ中に存在するメディアは複数の動画像、および／または音声ビットストリームにより構成されていてもよい。図では、簡易化のため、単一の動画像ビットストリームのみ示されている。

動画像ビットストリームは復号化モジュール２８によって復号化される。出力ビットストリームは符号化モジュール２９によって生成される。高速動画像更新が要求されない場合は、符号化モジュール２９は復号化モジュールからの出力、および／または中間結果を利用して、符号化変換されたビットストリームを生成してもよい。入力と出力側の動画像規格が同じであれば、エンコーダ２９は入力を単に出力へと流してもよく、場合によってはビットストリームを出力側のトランスポート層に適切な大きさと配列のパケットに分割する。

ゲートウェイ２４の制御モジュール３０が、３Ｇ−３２４端末から高速動画像更新を受信すると、次のフレームをＩフレームとして符号化するように符号化モジュール２９に通知する。この場合、エンコーダ２９はデコーダ２８からの出力を入力として利用する。

動画像エンコーダ２９からのデータはトランスポート層モジュール３１へと送られ、そこで制御や他のメディアビットストリームと合成される。次いで、データは受信端末２５へと、チャネル３２越しに送信される。

「高速動画像更新」をローカルで処理するためには、ゲートウェイにおける動画像処理が、高速動画像更新要求に応えてＩフレームを送信できなくてはならない。このローカルな処理は色々な方法で行うことができる。
ａ）動画像処理が復号化および再符号化を行う場合（タンデム型符号変換器において）、ゲートウェイの動画像プロセッサは容易に高速動画像更新要求を処理することができる。タンデム型符号変換器の動画像デコーダは、復号化モジュール２８として、そしてエンコーダは符号化モジュール２９として機能する。制御モジュール３０は動画像符号化モジュール２９に次のフレームをＩフレームとして符号化するように通知する。復号化／再符号化を全て実施することは、例えば、かなりの処理能力を必要とするため、ローカルでの高速動画更新の処理を実装するための最適な方法ではない。
ｂ）その他の高速動画像更新処理では、スマート動画像符号変化モジュール(smart video transcoding module)に、動画像処理を組み込む。このような符号変換器はマクロブロック単位、あるいはフレーム単位で処理を行うことができる。動画像符号変化モジュールは、次のような場合に符号変換を行うことが可能である。
ｉ）両方の端末（例えば、ユーザ端末(user-end point)、あるいはメッセージサーバやコンテンツサーバ）の使用している符号化規格が同じである場合。例えば、符号変換器は入力ビットストリームを復号化しなくてはならないが、エラーがない場合、入力ビットストリームを変更することなく再利用してもよく、高速動画像更新要求を処理するためにＩフレームを生成する必要がある場合に復号化された動画像フレームを再符号化するコストのみが生じる。Ｉフレームを生成する必要がある場合、符号変化器は復号化されたフレームデータを、Ｉフレームのイントラマクロブロックとして再符号化するように、エンコーダへと送る。
ｉｉ）端末が利用している符号化規格は異なるが、類似点がスマートな符号変換を可能にする場合。例えば、符号変換器は、各フレームを復号化し、再符号化してもよいが、この際、符号化段階における動きベクトルやマクロブロック符号化タイプなどの情報を再利用してもよい。前の場合と同様に、Ｉフレームを生成する必要がある場合、符号変化器は復号化されたフレームデータを、Ｉフレームのイントラマクロブロックとして再符号化するように、エンコーダへと送る。

特定の実施の形態を参照して本発明を説明してきた。他の実施の形態も当業者にとっては明らかであると思われる。したがって、本発明は、付随する請求項に示される場合を除いて、限定されるものではない。

従来の先行技術マルチメディアゲートウェイが高速動画像更新要求を処理する様子を示すブロック図である。 受信ビットストリームデータにエラーが含まれている可能性がある場合における、本発明に基づくマルチメディアゲートウェイのエラー検出処理を示すフローチャートである。 ゲートウェイの受信した動画像データにビットエラーが存在しうる場合における、本発明に基づく、第一のハイブリッド動画像コーデックから第二のハイブリッド動画像コーデックまでのマルチメディアゲートウェイのブロック図である。 ゲートウェイが高速動画像更新要求を受け取る可能性のある場合における、本発明に基づく、第一のハイブリッド動画像コーデックから第二のハイブリッド動画像コーデックまでのマルチメディアゲートウェイのブロック図である。

Claims (14)

1. 保存された動画像ビットストリームデータを送信するサーバから受信して第一のハイブリッドビデオコーデックを用いて符号化された動画像ビットストリームデータを、第二のハイブリッドビデオコーデックを用いて符号化された第二のビットストリームデータへと変換する装置であって、
   データ端末の先のデータパスに配置され、受信した前記動画像ビットストリームデータを復号化するのに利用される、動画像ビットストリームデコーダと、
   前記動画像ビットストリームデコーダに接続され、高速動画像更新要求を受信するとフレームをＩフレームとして再符号化するエンコーダと、
   前記エンコーダに接続され、前記高速動画像更新要求を受信して前記エンコーダに対し次のフレームをＩフレームとして符号化するように通知する制御モジュールと、
   を備える装置。
2. 各ブロックのグループとマクロブロックは、前記高速動画像更新要求を受信した際に、イントラマクロブロックを使って再符号化される、ことを特徴とする請求項１に記載の装置。
3. 前記サーバから受信された前記動画像ビットストリームデータの規格が前記第二のビットストリームデータと一致する、ことを特徴とする請求項１に記載の装置。
4. 前記動画像ビットストリームデコーダは、各フレームを符号化する前に、各フレームを完全に復号化するために利用されるタンデム型の符号変換器である、ことを特徴とする請求項１に記載の装置。
5. 前記動画像ビットストリームデコーダは選択されたマクロブロックのみ再符号化する、ことを特徴とする請求項１に記載の装置。
6. 前記動画像ビットストリームデコーダはデータを離散コサイン変換領域で操作するために利用される、ことを特徴とする請求項１に記載の装置。
7. 保存された動画像ビットストリームデータを送信するサーバから受信して第一のハイブリッドビデオコーデックを用いて符号化された動画像ビットストリームデータを、第二のハイブリッドビデオコーデックを用いてマルチメディアゲートウェイ部で符号化された第二のビットストリームデータへと変換する方法であって、
   データ端末の先のデータパスに配置された動画像ビットストリームデコーダで、受信した前記動画像ビットストリームデータを復号化するステップと、
   前記マルチメディアゲートウェイ部で次のフレームをＩフレームとして符号化するための高速動画像更新要求をデータ端末から受信するステップと、
   前記高速動画像更新要求を受信すると前記マルチメディアゲートウェイ部でフレームをＩフレームとして再符号化するステップと、
   を備える方法。
8. 各ブロックのグループとマクロブロックは、前記高速動画像更新要求を受信した際に、イントラマクロブロックを使って再符号化される、ことを特徴とする請求項７に記載の方法。
9. 前記サーバから受信された前記動画像ビットストリームデータの規格が前記第二のビットストリームデータと一致する、ことを特徴とする請求項７に記載の方法。
10. 前記動画像ビットストリームデコーダは、各フレームを符号化する前に、各フレームを完全に復号化するために利用されるタンデム型の符号変換器である、ことを特徴とする請求項７に記載の方法。
11. 前記動画像ビットストリームデコーダは選択されたマクロブロックのみ再符号化する、ことを特徴とする請求項７に記載の方法。
12. 前記動画像ビットストリームデコーダはデータを離散コサイン変換領域で操作するために利用される、ことを特徴とする請求項７に記載の方法。
13. 前記サーバは、前記高速動画像更新要求を取り扱う能力を有さない、ことを特徴とする請求項７に記載の方法。
14. 前記サーバから受信された前記動画像ビットストリームデータは、適切な大きさと配列のパケットに分割され、出力側のトランスポート層の規格に合った前記第２のビットストリームデータに変換されることを特徴とする請求項９に記載の方法。

Images