JPH08256332A

JPH08256332A - 情報の伝送方法

Info

Publication number: JPH08256332A
Application number: JP5849495A
Authority: JP
Inventors: Yuichiro Nakaya; 雄一郎中屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-03-17
Filing date: 1995-03-17
Publication date: 1996-10-01
Anticipated expiration: 2020-06-29
Also published as: JP3666047B2; US5771009A

Abstract

(57)【要約】【目的】符号化ビットストリームを伝送する前にこれ
を復号化するためのソフトウェアを伝送する場合、再生
側で受信を開始してから再生情報を得るまでに時間がか
かる問題を解決する。【構成】上記方式に従って復号化のためのソフトウェ
ア情報を伝送する際に、再生側にとって既知である符号
化方式に従って符号化されたビットストリームをソフト
ウェア情報に多重化して伝送する。【効果】復号化のためのソフトウェアを受信およびコ
ンパイルする時間も受信した符号化ビットストリームを
再生することが可能となり、受信の開始から再生の開始
までの時間を短縮することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル情報の伝送
または記録方式に関するものである。

【０００２】

【従来の技術】電子デバイス技術の進歩などにより、映
像や音声をディジタル化して伝送・蓄積することが一般
的に行われるようになりつつある。映像や音声などの情
報は原情報のままでは情報量がきわめて多いため、情報
圧縮技術を用いて圧縮（符号化）した後に符号化ビット
ストリームとして伝送あるいは蓄積される場合が多い。
こうして生成された符号化ビットストリームが担ってい
る情報を再生するためには、再生側で復号化の処理が必
要となる。このとき、通信を正しく行うためには符号化
側と再生側が共通の画像符号化方式を採用する必要があ
る。このため、現在国際標準としてＨ．２６１、ＭＰＥ
Ｇ１、ＭＰＥＧ２などの標準画像符号化方式が定められ
ている。

【０００３】符号化と復号化の処理は一般的に複雑であ
るため、現状の装置においてはこれらの処理を専用に行
う専用チップが使用されることが多い。しかし、従来の
専用チップを用いた画像の符号化・復号化装置に代わる
新しい実装形態として、最近汎用プロセッサを用いたソ
フトウェアによる符号化・復号化装置（ソフトウェアコ
ーデック）が注目を集めている。ソフトウェアコーデッ
クは装置の開発にかかる労力が少ないことや、機能や性
能の変更に柔軟に対応できること等の特徴を持ってい
る。もちろん高速の汎用プロセッサを必要とする欠点も
あるが、汎用プロセッサの高速化が進むにつれてその数
が増えることが予想されている。図１と２に動画像用の
ソフトウェア符号化器１００と復号化器２００の構成例
をそれぞれ示す。ソフトウェア符号化器１００では、ま
ず入力画像１０１は入力フレームメモリ１０２に蓄えら
れ、汎用プロセッサ１０３はここから情報を読み込んで
符号化の処理を行う。この汎用プロセッサを駆動するた
めのプログラムはプログラム用メモリ１０４に蓄えられ
る。また、汎用プロセッサは処理用メモリ１０５を活用
して符号化の処理を行う。汎用プロセッサが出力する符
号化情報は一旦出力バッファ１０６に蓄えられた後に符
号化ビットストリーム１０７として出力される。

【０００４】一方、ソフトウェア復号化器２００では、
入力された符号化ビットストリーム２０１は一旦入力バ
ッファ２０２に蓄えられた後に汎用プロセッサ２０３に
読み込まれる。汎用プロセッサはプログラム用メモリ２
０４と処理用メモリ２０５を活用して復号化処理を行
う。この結果得られた復号化画像は一旦出力フレームメ
モリ２０６に蓄えられた後に出力画像２０７として出力
される。

【０００５】上で述べた通り、ソフトウェアコーデック
は符号化方式に柔軟に対応できる特徴を持っている。こ
れを利用し、符号化ビットストリームの伝送に先立って
そのビットストリームを復号化するためのプログラムを
伝送する手法がＭＰＥＧ４などの標準化委員会で検討さ
れている。この手法の例を図３に示す。簡単のため通信
路における伝送遅延時間および復号化遅延時間は０であ
るとする。時刻ｔｂに伝送が開始される符号化ビットス
トリーム３０２を再生するために、これより前に時刻ｔ
ａからｔｂの間に伝送された復号化ソフトウェア３０１
が使用される。この場合、再生側ではまず受信したソフ
トウェアをコンパイルし、このコンパイルが時刻ｔｃに
終了した後に符号化ビットストリームが担っている情報
を再生すれば良い。こうすることによって、符号側では
標準符号化方式に強く拘束されることなく、要求される
機能（情報圧縮率、通信路の誤り特性、許容される復号
化遅延時間など）や、画像符号化技術の進歩に応じて最
適な符号化方式を選ぶことが可能となる。

【０００６】

【発明が解決しようとする課題】再生側装置に予め備え
られていない符号化復号化方式によ符号号化ビットスト
リームを伝送する前にこれを復号するためのソフトウェ
アを送信側装置に伝送する場合、再生側装置で受信を開
始してから再生画像を得るまでに時間がかかる問題が発
生する。すなわち、一方で復号化ソフトウェアの受信中
およびコンパイル中は再生側では再生画像を見ることが
出来ないため、再生の開始が遅れ、利用者に心理的な負
担をかけてしまう欠点がある。

【０００７】特に、双方向通信サービスにおけるＶＯＤ
（ＶｉｄｅｏＯｎＤｅｍｏｎｄ）では伝送との制約
のためソフトウェアの受信時間短縮は難しく、利用者の
心理的案を解消することができなかった。

【０００８】本発明の目的は、再生側装置に予め備えら
れていない符号化復号化方式で情報を受信する際にも再
生画像が得られ、かつ、送信情報の再生までの待ち時間
を短縮し、利用者に対する心理的負担を軽減するような
情報の送受信方法を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明では、再生側又は受信側の装置にとって既知で
ある符号化復号化方式に従って符号化されたビットスト
リームを、再生側装置にとって未知の符号化復号化方式
によって符号化されたビットストリームの復号化のため
に必要なソフトウェア情報を伝送する際に、そのソフト
ウェア情報に多重化して伝送する。

【００１０】伝送情報を画像情報とした場合には、ユー
ザが利用する受信端末は、予め副画像情報の復号化ソフ
トウェアを有する。送信側は主画像情報を復号化するた
めの主画像復号化ソフトウェアを送信される情報の先頭
に送信する。主画像復号化ソフトウェアには副画像情報
が多重化されて共に送信される。ユーザ受信端末では画
像情報が表示される前に、予め有する副画像情報の復号
化ソフトウェアを用いて即座に副画像情報を画面上に表
示する。

【００１１】

【作用】再生側では復号化のためのソフトウェアの受信
を完了しかつ、完全にコンパイルが完了する前に、利用
者に情報の提供を開始することができる。

【００１２】

【実施例】以下では画像情報の伝送を行う場合を例に説
明を行う。受信側にとって既知の符号化方式をＨ．２６
１とし、受信側にとって未知の符号化復号化方式を新方
式とよぶこととする。また、場合によっては符号化復号
化方式を単に符号化方式と呼ぶこととする。

【００１３】図４に新方式の復号化ソフトウェアに、
Ｈ．２６１の符号化ビットストリームを多重化して伝送
する方式と、これを再生する方式の例を示す。なお、以
下では簡単のため通信路における伝送遅延時間および復
号化遅延時間は０であるとする。時刻ｔｄに送信が開始
され、まずは復号化ソフトウェア４０１とＨ．２６１符
号化ビットストリーム４０２が多重化されて伝送され
る。受信側では受信が開始されると同時に符号化ソフト
ウェアのコンパイルとＨ．２６１符号化ビットストリー
ムの復号化を開始する。したがって、端末利用者は受信
が開始されてから短い時間でＨ．２６１の再生画像を見
ることができ、早く情報の入手を開始できると同時に待
たされることによる心理的負担も軽減することができ
る。時刻ｔｅには復号化ソフトウェアの伝送が終了する
が、まだ受信したソフトウェアのコンパイルは継続され
ている。送信したソフトウェアのコンパイルが終了する
頃を見計らって送信側は時刻ｔｇに送信している符号化
ビットストリームの符号化方式をＨ．２６１から新方式
に切り換える。もしｔｇ以前に受信側においてコンパイ
ルが終了していれば（図では時刻ｔｇ以前の時刻ｔｆに
コンパイルが終了している場合を示している）、受信側
は時刻ｔｇから新方式の復号化ソフトウェアを稼働さ
せ、新方式によって符号化された情報の再生を開始す
る。通信路が固定レート場合、新方式はＨ．２６１と比
較して符号化特性が優れている上に通信路の伝送容量全
体を利用できるため、再生している符号化ビットストリ
ームの符号化方式が切り換わった時点から再生画像の画
質は向上する。時刻ｔｇ以前に画質が悪くなることを防
ぐためには、ｔｇ以前には細かい画像や動きの速い画像
などの符号化の困難な画像を伝送せず、静止画や字幕な
どの符号化の容易な画像を伝送する方法もある。通信路
が可変レートの場合、時刻ｔｇ以前（特にｔｅ以前）は
時刻ｔｇ以降と比較して伝送レートを高くすれば再生画
像の画質を維持でき、符号化方式の切り換えに伴う画質
の変化を抑えることができる。なお、以上の方式は情報
を記録した後、これを読み出す蓄積系においても実現で
きることは明らかである。蓄積系において読み出し側で
読み出す情報を選択できる場合には、上記のビットスト
リーム切り換えのタイミングは読み出し側で決定するこ
とができる。あらかじめＨ．２６１符号化ビットストリ
ームを長めに記録しておけば、読み出し側で新方式の復
号化ソフトウェアのコンパイルが終了した時点でＨ．２
６１符号化ビットストリームの再生を中止し、読み出す
ビットストリームをＨ．２６１から新方式に切り換える
ことができる。

【００１４】図４の方式では、時刻ｔ２以前にソフトウ
ェアのコンパイルが終了しない場合は画像の再生がとぎ
れるため、送信側は符号化方式の切り換えのタイミング
を早くし過ぎないように注意する必要がある。しかし、
逆にこれを遅らせ過ぎると今度は再生画像の画質が改善
される時刻が遅れる問題が発生する（固定レートの場
合）。この問題を解決するためには、双方向通信の際に
は受信側はソフトウェアのコンパイルが終了した時点で
（あるいは終了する直前に）これを送信側に知らせる方
法がある。この様子を図５に示す。図の中の時刻に用い
られている記号は図４に対応している。受信側における
復号化ソフトウェアのコンパイルが時刻ｔｆに終了する
と、受信側は送信側にこのことを合図５０１で送信側に
連絡する。これをを受けてから送信側は、ｔｆ以後の最
初のフレーム分割点ｔｇ’で送信情報をＨ．２６１符号
化ビットストリーム５０２から新方式符号化ビットスト
リーム５０３に切り換える。フレーム分割点ｔｇ’でビ
ットストリームを切り換える理由は、符号化器で符号化
方式の切り換えがこのタイミングで行い易いためであ
る。こうすることによって上記の問題を解決し、送信側
における符号化方式の切り換えのタイミングを最適化す
ることができる。

【００１５】図６に、図４に示した方式と似た機能を実
現する方式を蓄積系の例を用いて示す。情報蓄積装置に
は、時間ｔｋ−ｔｈ分のＨ．２６１符号化ビットストリ
ームと、新方式によって符号化された符号化ビットスト
リームと、新方式の復号化ソフトウェアが記録されてい
るとする。時刻ｔｈに蓄積された情報の読み出しが開始
されるとまずＨ．２６１符号化ビットストリーム６０１
が読み出されて再生が開始される。Ｈ．２６１符号化ビ
ットストリームは時刻ｔｉまで読み出されるが、この間
に時間ｔｋ−ｔｈ（＞ｔｉ−ｔｈ）分のビットストリー
ムが読み出され、再生装置内のバッファに蓄えられる。
したがって、再生装置はこのｔｉ−ｔｈの時間で読み出
された情報をｔｋ−ｔｈの時間をかけて再生する。Ｈ．
２６１符号化ビットストリームの読み出しが終了する時
刻ｔｉには、新方式の復号化ソフトウェア６０２の読み
出しとコンパイルが開始される。この間もバッファに蓄
えられているＨ．２６１の符号化ビットストリームの再
生は続けられている。ソフトウェアの読み出しとコンパ
イルはそれぞれ時刻ｔｊとｔｋに終了する。時刻ｔｋに
は新方式の復号化プログラムが稼働され、新方式に基づ
く符号化ビットストリーム６０３の読み出しと再生が開
始される。この方式は複数のビットストリームを同時に
読み出さない分だけ図４の方式より簡単であるが、ソフ
トウェアのコンパイルがソフトウェアの受信が開始され
る時刻ｔｉ以前に行えない点で不利である。また、Ｈ．
２６１符号化ビットストリームを読み出す際にはｔｉ−
ｔｈの時間で読み出された情報をｔｋ−ｔｈの時間をか
けて再生するため、読み出し速度を速くしない限り画質
の劣化を招く結果となるので注意が必要である。この問
題を解決するための１つの方法として、短い時間分の
Ｈ．２６１符号化ビットストリームしか用意せず、新方
式符号化ビットストリームを読み出す前はこれを繰り返
し再生する方法がある。利用者は新方式符号化ビットス
トリームを読み出す前は同じ画像を繰り返し見せられる
こととなるが、短い時間分の情報しか含まないために図
５の例と同じ読み出し速度でＨ．２６１の再生画像の品
質を良くすることができる。図５の例では、Ｈ．２６１
符号化ビットストリームの再生が終わるまで新方式符号
化ビットストリームは読み出さない例を挙げたが、もち
ろんコンパイルが終了した時点でＨ．２６１符号化ビッ
トストリームの再生を中止し、すぐに新方式符号化ビッ
トストリームの再生を開始する方法もある。Ｈ．２６１
符号化ビットストリームの繰り返し再生を行う場合も同
様である。なお、図６の例に関し、ここまで蓄積系を例
に説明を行ったが、通信系においても同様な方式が適用
できることは明らかである。

【００１６】本明細書では、ここまでは画像情報を伝送
する場合について説明してきたが、これが画像以外の情
報（例えば音声）である場合や、複数の情報（例えば画
像と音声）である場合にも適用できることは明らかであ
る。特に複数の情報を同時に伝送する場合には、ソフト
ウェアを伝送している間は多重化して伝送できる情報量
が制限されるため、一部の情報を伝送しないようにする
方法がある。例えば音声（または音響）と画像とを同時
に伝送する場合、図７の例では時刻ｔｌからｔｍの間は
音声（または音響）符号化ビットストリーム７０４と新
方式の復号化ソフトウェア７０１を多重化して伝送し、
時刻ｔｍからｔｎの間は音声符号化ビットストリームと
Ｈ．２６１符号化ビットストリーム７０２を多重化して
伝送し、時刻ｔｎ以降は音声符号化ビットストリームと
新方式符号化ビットストリーム７０３とを多重化して伝
送する（この場合、音声の符号化方式については受信側
で既知であるとする）。こうすることにより、時刻ｔｍ
以前は無理をして品質の悪い画像を伝送せずに、十分な
品質の音声情報を伝送するだけの通信容量を確保するこ
とができる。なお、この例においても同様の方法が蓄積
系に対しても適用できることは明らかである。

【００１７】

【発明の効果】本発明により、復号化のためのソフトウ
ェアを受信およびコンパイルする時間も受信した情報を
再生することが可能となり、受信開始から画像の再生の
開始までの時間を短縮し、利用者の心理的負担を解消す
ることができる。

【００１８】主画像の復号化を待つ間に他の画像が画面
に表示されるため、ユーザの不安の解消には有効であ
る。さらに、通常では画像表示が不可の時間を有効に利
用でき、例えば画像広告、主画像固有のタイムリーな情
報等を表示することができる。

【図面の簡単な説明】

【図１】ソフトウェア画像符号化器の構成例を示した図
である。

【図２】ソフトウェア画像復号化器の構成例を示した図
である。

【図３】符号化ビットストリームを伝送する前にこれを
復号するためのソフトウェアを伝送する方式の例を示し
た図である。

【図４】新方式符号化ビットストリームを復号化するソ
フトウェア伝送する際に、Ｈ．２６１符号化されたビッ
トストリームをこれに多重化して伝送する方式の例を示
した図である。

【図５】新方式の復号化ソフトウェアのコンパイルが終
了したことを送信側に連絡することにより、最適なタイ
ミングで符号化ビットストリームを切り換える方式の例
を示した図である。

【図６】新方式に基づく符号化ビットストリームを復号
化するソフトウェア伝送する前に、Ｈ．２６１符号化さ
れたビットストリームを伝送する方式の例を示した図で
ある。

【図７】新方式の復号化ソフトウェアおよびＨ．２６１
符号化ビットストリームおよびお新方式符号化ビットス
トリームを伝送する際に、音声符号化ビットストリーム
を多重化して伝送する方式の例を示した図である。

【符号の説明】

１００…ソフトウェア画像符号化器、１０２…入力フレ
ームメモリ、１０３、２０３…汎用プロセッサ、１０
４、２０４…プログラム用メモリ、１０５、２０５…処
理用メモリ、１０６…出力バッファ、１０７、２０１…
符号化ビットストリーム、２００…ソフトウェア画像復
号化器、２０２…入力バッファ、２０６…出力フレーム
メモリ、３０１…復号化ソフトウェア、３０２…符号化
ビットストリーム、４０１、６０２、７０１…新方式符
号化ソフトウェア、４０２、５０２、６０１、７０２…
Ｈ．２６１符号化ビットストリーム、４０３、５０３、
６０３、７０３…新方式符号化ビットストリーム、５０
１…送信側へのコンパイルの終了に関する連絡、７０４
…音声符号化ビットストリーム。

Claims

【特許請求の範囲】

【請求項１】ネットワークに接続され予め第１の復号化
アルゴリズムが備えられている端末への情報の伝送方法
であって、上記端末に備えられていない第２の復号化ア
ルゴリズムに対応した符号化方式によって符号化された
第２の符号化ビットストリームの伝送に先立ち、上記第
１の復号化アルゴリズムに対応する第１の符号化ビット
ストリームと上記第２の復号化アルゴリズムを示すソフ
トウェアとを上記端末に伝送することを特徴とする情報
の伝送方法。
【請求項２】請求項１において、上記端末に伝送された
情報を、上記端末内の記憶部に伝送された順に記憶する
ことを特徴とする情報の伝送方法。
【請求項３】請求項１又は２において上記第１の符号化
ビットストリームは上記ソフトウェアよりも先に伝送さ
れることを特徴とする情報の伝送方法。
【請求項４】請求項１又は２において上記第１の符号化
ビットストリームと上記ソフトウェアはだ銃かされて伝
送されることを特徴とする情報の伝送方法。
【請求項５】請求項１から４のいずれかにおいて、伝送
された上記第１のビットストリームの再生と上記ソフト
ウェアのコンパイルとを同じに行なうことを特徴とする
情報の伝送方法。
【請求項６】請求項１から４のいずれかにおいて上記ソ
フトウェアのコンパイルが終了した後に上記第２の符号
化ビットストリームの読み出しと再生とを開始すること
を特徴とする情報の伝送方法。
【請求項７】請求項１から６において、上記第２の符号
化ビットストリームの再生が開始される前に、上記第１
の符号化ビットストリームを繰り返し再生することを特
徴とする情報の伝送方法。
【請求項８】請求項１から４において、上記第２の符号
化ビットストリームの受信または読み出しと再生を行う
際に、上記第２の符号化ビットストリームの続きの受信
または読み出しと再生を並行して行うことを特徴とする
情報の伝送方法。
【請求項９】上記第１と第２の符号化ビットストリーム
が画像情報を示すことを特徴とする請求項１から８のい
ずれかに記載の情報の伝送方法。
【請求項１０】上記第１の符号化ビットストリームが画
像情報を示し、かつ、上記第２の符号化ビットストリー
ムが音声情報を示すことを特徴とする請求項１から８の
いずれかに記載の情報の伝送方法。
【請求項１１】ネットワークに接続された受信端末上
に、予め、第１の符号化方式で符号化された情報を復号
するための第１のソフトウェアを備え、上記ネットワークから第２の符号化方式で符号化された
主画像情報に先立って、上記主画像情報を復号化するための第２のソフトウェア
と上記第１の符号化方式で符号化された副画像情報とを
受信し、上記第２のソフトウェアのコンパイルと並行して上記副
画像情報を上記第１のソフトウェアで復号化して表示画
面に出力しておき、上記主画像情報が受信された後に上記第２のソフトウェ
アによって符号化された上記主画像情報を上記表示画面
に出力することを特徴とする通信端末における画像情報
出力方法。