JP3666047B2 - 情報の伝送方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、ディジタル情報の伝送または記録方式に関するものである。
【０００２】
【従来の技術】
電子デバイス技術の進歩などにより、映像や音声をディジタル化して伝送・蓄積することが一般的に行われるようになりつつある。映像や音声などの情報は原情報のままでは情報量がきわめて多いため、情報圧縮技術を用いて圧縮（符号化）した後に符号化ビットストリームとして伝送あるいは蓄積される場合が多い。こうして生成された符号化ビットストリームが担っている情報を再生するためには、再生側で復号化の処理が必要となる。このとき、通信を正しく行うためには符号化側と再生側が共通の画像符号化方式を採用する必要がある。このため、現在国際標準としてＨ．２６１、ＭＰＥＧ１、ＭＰＥＧ２などの標準画像符号化方式が定められている。
【０００３】
符号化と復号化の処理は一般的に複雑であるため、現状の装置においてはこれらの処理を専用に行う専用チップが使用されることが多い。しかし、従来の専用チップを用いた画像の符号化・復号化装置に代わる新しい実装形態として、最近汎用プロセッサを用いたソフトウェアによる符号化・復号化装置（ソフトウェアコーデック）が注目を集めている。ソフトウェアコーデックは装置の開発にかかる労力が少ないことや、機能や性能の変更に柔軟に対応できること等の特徴を持っている。もちろん高速の汎用プロセッサを必要とする欠点もあるが、汎用プロセッサの高速化が進むにつれてその数が増えることが予想されている。図１と２に動画像用のソフトウェア符号化器１００と復号化器２００の構成例をそれぞれ示す。ソフトウェア符号化器１００では、まず入力画像１０１は入力フレームメモリ１０２に蓄えられ、汎用プロセッサ１０３はここから情報を読み込んで符号化の処理を行う。この汎用プロセッサを駆動するためのプログラムはプログラム用メモリ１０４に蓄えられる。また、汎用プロセッサは処理用メモリ１０５を活用して符号化の処理を行う。汎用プロセッサが出力する符号化情報は一旦出力バッファ１０６に蓄えられた後に符号化ビットストリーム１０７として出力される。
【０００４】
一方、ソフトウェア復号化器２００では、入力された符号化ビットストリーム２０１は一旦入力バッファ２０２に蓄えられた後に汎用プロセッサ２０３に読み込まれる。汎用プロセッサはプログラム用メモリ２０４と処理用メモリ２０５を活用して復号化処理を行う。この結果得られた復号化画像は一旦出力フレームメモリ２０６に蓄えられた後に出力画像２０７として出力される。
【０００５】
上で述べた通り、ソフトウェアコーデックは符号化方式に柔軟に対応できる特徴を持っている。これを利用し、符号化ビットストリームの伝送に先立ってそのビットストリームを復号化するためのプログラムを伝送する手法がＭＰＥＧ４などの標準化委員会で検討されている。この手法の例を図３に示す。簡単のため通信路における伝送遅延時間および復号化遅延時間は０であるとする。時刻ｔｂに伝送が開始される符号化ビットストリーム３０２を再生するために、これより前に時刻ｔａからｔｂの間に伝送された復号化ソフトウェア３０１が使用される。この場合、再生側ではまず受信したソフトウェアをコンパイルし、このコンパイルが時刻ｔｃに終了した後に符号化ビットストリームが担っている情報を再生すれば良い。こうすることによって、符号側では標準符号化方式に強く拘束されることなく、要求される機能（情報圧縮率、通信路の誤り特性、許容される復号化遅延時間など）や、画像符号化技術の進歩に応じて最適な符号化方式を選ぶことが可能となる。
【０００６】
【発明が解決しようとする課題】
再生側装置に予め備えられていない符号化復号化方式によ符号号化ビットストリームを伝送する前にこれを復号するためのソフトウェアを送信側装置に伝送する場合、再生側装置で受信を開始してから再生画像を得るまでに時間がかかる問題が発生する。すなわち、一方で復号化ソフトウェアの受信中およびコンパイル中は再生側では再生画像を見ることが出来ないため、再生の開始が遅れ、利用者に心理的な負担をかけてしまう欠点がある。
【０００７】
特に、双方向通信サービスにおけるＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍｏｎｄ）では伝送との制約のためソフトウェアの受信時間短縮は難しく、利用者の心理的案を解消することができなかった。
【０００８】
本発明の目的は、再生側装置に予め備えられていない符号化復号化方式で情報を受信する際にも再生画像が得られ、かつ、送信情報の再生までの待ち時間を短縮し、利用者に対する心理的負担を軽減するような情報の送受信方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明では、再生側又は受信側の装置にとって既知である符号化復号化方式に従って符号化されたビットストリームを、再生側装置にとって未知の符号化復号化方式によって符号化されたビットストリームの復号化のために必要なソフトウェア情報を伝送する際に、そのソフトウェア情報に多重化して伝送する。
【００１０】
伝送情報を画像情報とした場合には、ユーザが利用する受信端末は、予め副画像情報の復号化ソフトウェアを有する。送信側は主画像情報を復号化するための主画像復号化ソフトウェアを送信される情報の先頭に送信する。主画像復号化ソフトウェアには副画像情報が多重化されて共に送信される。ユーザ受信端末では画像情報が表示される前に、予め有する副画像情報の復号化ソフトウェアを用いて即座に副画像情報を画面上に表示する。
【００１１】
【作用】
再生側では復号化のためのソフトウェアの受信を完了しかつ、完全にコンパイルが完了する前に、利用者に情報の提供を開始することができる。
【００１２】
【実施例】
以下では画像情報の伝送を行う場合を例に説明を行う。受信側にとって既知の符号化方式をＨ．２６１とし、受信側にとって未知の符号化復号化方式を新方式とよぶこととする。また、場合によっては符号化復号化方式を単に符号化方式と呼ぶこととする。
【００１３】
図４に新方式の復号化ソフトウェアに、Ｈ．２６１の符号化ビットストリームを多重化して伝送する方式と、これを再生する方式の例を示す。なお、以下では簡単のため通信路における伝送遅延時間および復号化遅延時間は０であるとする。時刻ｔｄに送信が開始され、まずは復号化ソフトウェア４０１とＨ．２６１符号化ビットストリーム４０２が多重化されて伝送される。受信側では受信が開始されると同時に符号化ソフトウェアのコンパイルとＨ．２６１符号化ビットストリームの復号化を開始する。したがって、端末利用者は受信が開始されてから短い時間でＨ．２６１の再生画像を見ることができ、早く情報の入手を開始できると同時に待たされることによる心理的負担も軽減することができる。時刻ｔｅには復号化ソフトウェアの伝送が終了するが、まだ受信したソフトウェアのコンパイルは継続されている。送信したソフトウェアのコンパイルが終了する頃を見計らって送信側は時刻ｔｇに送信している符号化ビットストリームの符号化方式をＨ．２６１から新方式に切り換える。もしｔｇ以前に受信側においてコンパイルが終了していれば（図では時刻ｔｇ以前の時刻ｔｆにコンパイルが終了している場合を示している）、受信側は時刻ｔｇから新方式の復号化ソフトウェアを稼働させ、新方式によって符号化された情報の再生を開始する。通信路が固定レート場合、新方式はＨ．２６１と比較して符号化特性が優れている上に通信路の伝送容量全体を利用できるため、再生している符号化ビットストリームの符号化方式が切り換わった時点から再生画像の画質は向上する。時刻ｔｇ以前に画質が悪くなることを防ぐためには、ｔｇ以前には細かい画像や動きの速い画像などの符号化の困難な画像を伝送せず、静止画や字幕などの符号化の容易な画像を伝送する方法もある。通信路が可変レートの場合、時刻ｔｇ以前（特にｔｅ以前）は時刻ｔｇ以降と比較して伝送レートを高くすれば再生画像の画質を維持でき、符号化方式の切り換えに伴う画質の変化を抑えることができる。なお、以上の方式は情報を記録した後、これを読み出す蓄積系においても実現できることは明らかである。蓄積系において読み出し側で読み出す情報を選択できる場合には、上記のビットストリーム切り換えのタイミングは読み出し側で決定することができる。あらかじめＨ．２６１符号化ビットストリームを長めに記録しておけば、読み出し側で新方式の復号化ソフトウェアのコンパイルが終了した時点でＨ．２６１符号化ビットストリームの再生を中止し、読み出すビットストリームをＨ．２６１から新方式に切り換えることができる。
【００１４】
図４の方式では、時刻ｔ２以前にソフトウェアのコンパイルが終了しない場合は画像の再生がとぎれるため、送信側は符号化方式の切り換えのタイミングを早くし過ぎないように注意する必要がある。しかし、逆にこれを遅らせ過ぎると今度は再生画像の画質が改善される時刻が遅れる問題が発生する（固定レートの場合）。この問題を解決するためには、双方向通信の際には受信側はソフトウェアのコンパイルが終了した時点で（あるいは終了する直前に）これを送信側に知らせる方法がある。この様子を図５に示す。図の中の時刻に用いられている記号は図４に対応している。受信側における復号化ソフトウェアのコンパイルが時刻ｔｆに終了すると、受信側は送信側にこのことを合図５０１で送信側に連絡する。これをを受けてから送信側は、ｔｆ以後の最初のフレーム分割点ｔｇ’で送信情報をＨ．２６１符号化ビットストリーム５０２から新方式符号化ビットストリーム５０３に切り換える。フレーム分割点ｔｇ’でビットストリームを切り換える理由は、符号化器で符号化方式の切り換えがこのタイミングで行い易いためである。こうすることによって上記の問題を解決し、送信側における符号化方式の切り換えのタイミングを最適化することができる。
【００１５】
図６に、図４に示した方式と似た機能を実現する方式を蓄積系の例を用いて示す。情報蓄積装置には、時間ｔｋ−ｔｈ分のＨ．２６１符号化ビットストリームと、新方式によって符号化された符号化ビットストリームと、新方式の復号化ソフトウェアが記録されているとする。時刻ｔｈに蓄積された情報の読み出しが開始されるとまずＨ．２６１符号化ビットストリーム６０１が読み出されて再生が開始される。Ｈ．２６１符号化ビットストリームは時刻ｔｉまで読み出されるが、この間に時間ｔｋ−ｔｈ（＞ｔｉ−ｔｈ）分のビットストリームが読み出され、再生装置内のバッファに蓄えられる。したがって、再生装置はこのｔｉ−ｔｈの時間で読み出された情報をｔｋ−ｔｈの時間をかけて再生する。Ｈ．２６１符号化ビットストリームの読み出しが終了する時刻ｔｉには、新方式の復号化ソフトウェア６０２の読み出しとコンパイルが開始される。この間もバッファに蓄えられているＨ．２６１の符号化ビットストリームの再生は続けられている。ソフトウェアの読み出しとコンパイルはそれぞれ時刻ｔｊとｔｋに終了する。時刻ｔｋには新方式の復号化プログラムが稼働され、新方式に基づく符号化ビットストリーム６０３の読み出しと再生が開始される。この方式は複数のビットストリームを同時に読み出さない分だけ図４の方式より簡単であるが、ソフトウェアのコンパイルがソフトウェアの受信が開始される時刻ｔｉ以前に行えない点で不利である。また、Ｈ．２６１符号化ビットストリームを読み出す際にはｔｉ−ｔｈの時間で読み出された情報をｔｋ−ｔｈの時間をかけて再生するため、読み出し速度を速くしない限り画質の劣化を招く結果となるので注意が必要である。この問題を解決するための１つの方法として、短い時間分のＨ．２６１符号化ビットストリームしか用意せず、新方式符号化ビットストリームを読み出す前はこれを繰り返し再生する方法がある。利用者は新方式符号化ビットストリームを読み出す前は同じ画像を繰り返し見せられることとなるが、短い時間分の情報しか含まないために図５の例と同じ読み出し速度でＨ．２６１の再生画像の品質を良くすることができる。図５の例では、Ｈ．２６１符号化ビットストリームの再生が終わるまで新方式符号化ビットストリームは読み出さない例を挙げたが、もちろんコンパイルが終了した時点でＨ．２６１符号化ビットストリームの再生を中止し、すぐに新方式符号化ビットストリームの再生を開始する方法もある。Ｈ．２６１符号化ビットストリームの繰り返し再生を行う場合も同様である。なお、図６の例に関し、ここまで蓄積系を例に説明を行ったが、通信系においても同様な方式が適用できることは明らかである。
【００１６】
本明細書では、ここまでは画像情報を伝送する場合について説明してきたが、これが画像以外の情報（例えば音声）である場合や、複数の情報（例えば画像と音声）である場合にも適用できることは明らかである。
例えば、ネットワークに接続され予め第１の復号化アルゴリズムが備えられている端末への情報の伝送方法であって、上記端末に備えられていない第２の復号化アルゴリズムに対応した符号化方式によって符号化された第２の符号化ビットストリームの伝送に先立ち、上記第１の復号化アルゴリズムに対応する第１の符号化ビットストリームと上記第２の復号化アルゴリズムを示すソフトウェアとを上記端末に伝送する方法で、上記第１と第２の符号化ビットストリームは画像情報を示すこととしても良いし、上記第１の符号化ビットストリームは画像情報を示し、上記第２の符号化ビットストリームは音響情報を示すものとすることもできる。
特に複数の情報を同時に伝送する場合には、ソフトウェアを伝送している間は多重化して伝送できる情報量が制限されるため、一部の情報を伝送しないようにする方法がある。例えば音声（または音響）と画像とを同時に伝送する場合、図７の例では時刻ｔｌからｔｍの間は音声（または音響）符号化ビットストリーム７０４と新方式の復号化ソフトウェア７０１を多重化して伝送し、時刻ｔｍからｔｎの間は音声符号化ビットストリームとＨ．２６１符号化ビットストリーム７０２を多重化して伝送し、時刻ｔｎ以降は音声符号化ビットストリームと新方式符号化ビットストリーム７０３とを多重化して伝送する（この場合、音声の符号化方式については受信側で既知であるとする）。こうすることにより、時刻ｔｍ以前は無理をして品質の悪い画像を伝送せずに、十分な品質の音声情報を伝送するだけの通信容量を確保することができる。なお、この例においても同様の方法が蓄積系に対しても適用できることは明らかである。
【００１７】
【発明の効果】
本発明により、復号化のためのソフトウェアを受信およびコンパイルする時間も受信した情報を再生することが可能となり、受信開始から画像の再生の開始までの時間を短縮し、利用者の心理的負担を解消することができる。
【００１８】
主画像の復号化を待つ間に他の画像が画面に表示されるため、ユーザの不安の解消には有効である。さらに、通常では画像表示が不可の時間を有効に利用でき、例えば画像広告、主画像固有のタイムリーな情報等を表示することができる。
【図面の簡単な説明】
【図１】ソフトウェア画像符号化器の構成例を示した図である。
【図２】ソフトウェア画像復号化器の構成例を示した図である。
【図３】符号化ビットストリームを伝送する前にこれを復号するためのソフトウェアを伝送する方式の例を示した図である。
【図４】新方式符号化ビットストリームを復号化するソフトウェア伝送する際に、Ｈ．２６１符号化されたビットストリームをこれに多重化して伝送する方式の例を示した図である。
【図５】新方式の復号化ソフトウェアのコンパイルが終了したことを送信側に連絡することにより、最適なタイミングで符号化ビットストリームを切り換える方式の例を示した図である。
【図６】新方式に基づく符号化ビットストリームを復号化するソフトウェア伝送する前に、Ｈ．２６１符号化されたビットストリームを伝送する方式の例を示した図である。
【図７】新方式の復号化ソフトウェアおよびＨ．２６１符号化ビットストリームおよびお新方式符号化ビットストリームを伝送する際に、音声符号化ビットストリームを多重化して伝送する方式の例を示した図である。
【符号の説明】
１００…ソフトウェア画像符号化器、１０２…入力フレームメモリ、１０３、２０３…汎用プロセッサ、１０４、２０４…プログラム用メモリ、１０５、２０５…処理用メモリ、１０６…出力バッファ、１０７、２０１…符号化ビットストリーム、２００…ソフトウェア画像復号化器、２０２…入力バッファ、２０６…出力フレームメモリ、３０１…復号化ソフトウェア、３０２…符号化ビットストリーム、４０１、６０２、７０１…新方式符号化ソフトウェア、４０２、５０２、６０１、７０２…Ｈ．２６１符号化ビットストリーム、４０３、５０３、６０３、７０３…新方式符号化ビットストリーム、５０１…送信側へのコンパイルの終了に関する連絡、７０４…音声符号化ビットストリーム。

Claims (3)

1. ネットワークに接続され予め第１の復号化方法が備えられている端末への情報の伝送方法であって、
   上記端末に備えられていない第２の符号化方法によって符号化された第２の符号化ビットストリームの伝送に先立ち、
   上記第１の復号化方法にて復号化することが可能である第１の符号化ビットストリームと上記第２の復号化方法のソフトウェアとを読み出して多重化して、上記端末に同時に伝送することを特徴とする情報の伝送方法。
2. 請求項１において、上記第１と第２の符号化ビットストリームは画像情報に関するものであることを特徴とする情報の伝送方法。
3. 請求項１において、上記第１の符号化ビットストリームは画像情報に関し、上記第２の符号化ビットストリームは音響情報に関するものであることを特徴とする情報の伝送方法。

Images