JPH08102908A - 再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 符号化された画像と音声のデータを復号して
再生する場合に、両者の同期が乱れないようにするこ
と。 【構成】 画像、音声の符号化データは判定部１０６に
加えられると共に画像、音声復号部１０３、１０１で各
々復号された後、画像音声表示処理部１０４、１０２で
再生処理、Ｄ／Ａ変換されてモニタ１０５で表示され
る。判定部１０６は画像と音声の同期再生が間に合うか
否かを判定し、間に合わない場合は、制御部１０７はそ
のフレームの画像復号をスキップし、次のフレームの復
号を行うと共に、前のフレームの復号データを用いて表
示を行う。 【効果】 画像と音声とを常に同期させながら表示する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばワークステーシ
ョンなどのコンピュータを使ってビデオファイルと音声
を再生する機能を持つ画像通信システムで用いられる再
生装置に関するものである。

【０００２】

【従来の技術】従来からよく知られている低ビットレー
トの画像通信方式にはＴＶ電話などがある。ＴＶ電話シ
ステムは、実時間のデータのやりとりが基本であり、専
用端末や専用拡張ボードなどのハードウェアが必要とさ
れていた。

【０００３】また、通信・蓄積の時にデジタル動画像の
データ量を削減するために、デジタル動画像の圧縮符号
化が使われている。圧縮符号化方式としては１フレーム
を制止画として扱い符号化した場合をフレーム内符号化
（ＩＮＴＲＡ）、前フレームとの差分をとって符号化し
た場合をフレーム間符号化（ＩＮＴＥＲ）と呼ぶ。圧縮
方式は、従来からよく知られているＤＰＣＭや離散コサ
イン変換（ＤＣＴ）を使った方式が用いられる。

【０００４】上記フレーム内符号化は、フレーム間符号
化に比べて圧縮率が大きくとれないが、その符号のみで
フレーム単位で復号できる特徴を持つ。フレーム間符号
化は、フレーム内符号化に比べて圧縮率が大きくとれる
特徴を持つが、この符号のみではフレームは復号でき
ず、１フレーム前のフレームのデータと加算することに
よって現在のフレームが復号できるものである。従って
圧縮率を上げるためにはフレーム間符号化を多く使った
方が効果的である。

【０００５】動画表示においてはソフトウェアで処理す
る場合、画像の再生は音声と同期をとることが必要であ
る。しかし、ＣＰＵが動画再生表示処理時に （１）マルチタスクで他の処理が行われている場合 （２）ＣＰＵの能力が送信側で期待していたより劣る場
合 等の場合は、全部のフレーム画像を表示しながら画像と
音声とを同期再生することが困難になり、このため画像
のフレームをスキップしながら再生表示する方法がとら
れている。

【０００６】

【発明が解決しようとする課題】従来技術では、フレー
ム間符号化で圧縮符号化したデータに対してフレームス
キップを行うとしても、先ず、符号化データからフレー
ム間差分の画像データを復号し、この復号データと前の
フレームの画像データとを加算することにより、フレー
ム画像を再構成する必要がある。このため、復号処理時
間がかかり、表示予定時間内に間に合わなくなり、画像
と音声との同期再生が乱れるという問題があった。

【０００７】発明は上記のような問題を解決するために
なされたもので、画像と音声との同期再生を乱れなく行
うことのできる再生装置を得ることを目的とする。

【０００８】

【課題を解決するための手段】本発明においては、入力
された音声符号化データを復号して出力する音声復号部
と、入力された画像符号化データを変換する画像変換部
と、上記画像変換部で変換された画像データに所定処理
を施し、復号された再生画像信号を出力する画像処理部
と、上記音声符号化データと画像符号化データとの同期
再生をすべく上記画像処理部の所定処理を制御する制御
部とを設けている。

【０００９】

【作用】同期再生が間に合わない場合は、画像処理部で
復号化のみ行い次のフレームの処理にスキップし、同期
再生に間に合う場合は、画像処理部による表示処理まで
を行うように制御部で制御するように動作することによ
り、復号処理を軽くし、画像と音声との同期再生の忠実
性を向上させることができる。

【００１０】

【実施例】

（第１の実施例）本発明が前提とするビデオファイル通
信システムは、１台のサーバマシンと複数のワークステ
ーションとがネットワーク上に接続されて構成されるも
のである。図３はサーバマシンとワークステーションと
が１台づつある場合を示す。サーバマシン２０には大容
量ディスク２１が接続されており、この中にビデオファ
イルが保管されている。またワークステーション２２は
ネットワーク３０を介してサーバマシン２０と接続され
ている代表的な１台のマシンである。２３はワークステ
ーション２２のコンソール画面を示しており、Ｘウイン
ドウシステムなどのウインドウシステムが動作している
状態を示している。

【００１１】ウインドウ２４は、サーバマシン２０のデ
ィスク２１内にあるビデオファイルのインデックスａ、
ｂ、ｃを複数表示しているウインドウを示している。ユ
ーザはａ、ｂ、ｃの中から１つ選び、表示されているＧ
ＥＴボタン２５を押すことにより、ビデオファイルをサ
ーバマシン２０からネットワーク３０を通じてワークス
テション２２へ転送する。ワークステーション２２側に
ある転送済みのビデオファイルは、ファイルボックスウ
インドウ２９のウインドウ内に表示される。この中から
１つのファイルを選択するとプレーヤウインドウ２６に
最初のフレームの画像が静止画表示される。次にＰＬＹ
ボタン２７を押すと、音声と動画の再生が行われる。ま
た、ＰＡＵＳＥボタン２８を押すと、音声と動画の再生
を一時停止させることができる。

【００１２】図４はビデオ通信の手順を示すフローチャ
ートである。ステップＳ１では、サーバマシン２０側の
ビデオファイルのインデックス画像を表示させる。ステ
ップＳ２では、インデックス画像の中からワークステー
ション２２側に転送するビデオファイルデータを１つ選
ぶ。ステップＳ３では、選ばれたビデオファイルデータ
をサーバマシン２０からワークステーション２２へ転送
する。ステップＳ４では、ビデオファイルデータの中の
動画圧縮データを復号処理する。ステップＳ５では、圧
縮系の色空間（ＹＵＶ）から表示系の色空間（ＲＧＢ）
に色変換する。ステップＳ６では、表示系の２５６色に
合せるためにカラーディザ処理を行う。ステップＳ７で
は、ウインドウ内への動画表示を行う。

【００１３】図５はビデオファイルを生成するためのビ
デオ入力システムのブロック図である。ビデオカメラや
ＶＴＲからの画像信号１００はＡＤ変換器３１でディジ
タル化され、次にＮＴＳＣデコーダ３２で輝度・色差信
号（ＹＵＶ）が生成される。Ｙ信号はディザ回路４４で
８ビットのルックアップテーブル番号データに変換され
た後、フレームメモリ３７のメモリ領域Ａ−３８に書き
込まれる。またＹＵＶ信号は色変換回路３３でＲＧＢ信
号に変換された後、ディザ回路３６で８ビットルックア
ップテーブル番号に変換された後、フレームメモリ３７
の領域Ｂ−３９に書き込まれる。

【００１４】フレームメモリ３７の内容は２５６色のル
ックアップテーブル４０を通して表示器４１に送られ、
それぞれ画面Ａ−４２、画面Ｂ−４３の部分に、白黒画
像とカラーディザ画像が表示されることになる。また、
ＹＵＶ信号はＩ／Ｆ回路３４を通してハードディスク３
５に書き込まれる。

【００１５】図６はビデオファイルをサーバマシン２０
に登録する手順を示すフローチャートである。ステップ
Ｓ８では、ハードディスクに記録した生画像データを読
み出す。次に、ステップＳ９では、動画像データの圧縮
符号化を行う。ステップＳ１０では、サーバマシン２０
のディスク２１にビデオファイルを転送する。

【００１６】図７は図５の色変換回路３３に関するカラ
ー変換方式を示すブロック図であり、従来の変換方式が
用いられる。ＹＵＶ信号は色変換回路３３により下式
（１）に従ってＲＧＢ信号に変換される。 Ｒ＝Ｙ＋（Ｖ−１２８）／０．７１３ Ｂ＝Ｙ＋（Ｕ−１２８）／０．５６４ Ｇ＝（Ｙ−０．２９９ｘＲ−０．１１４ｘＢ）／０．５８７ ………（１） 次に各ＲＧＢ信号は４値ディザ回路３６ａ、３６ｂ、３
６ｃにより２ビットの信号に変換され、３色で６ビット
の信号に変換された後、変換回路３６ｄでルックアップ
テーブル番号に変換される。

【００１７】図８は、２５６色のルックアップテーブル
の一例を示すもので、テーブル番号に対応したＲＧＢ各
８ｂｉｔ（０−２５５）の値が用意されたものである。
テーブル番号０から１２７までは白黒７ｂｉｔの１２８
色を表す。またテーブル番号１２８から１９１まではカ
ラーディザの６４色を示す。１９２から２５５までは、
未使用もしくは他のアプリケーションが使っている。

【００１８】図９は図６のステップＳ９の処理で用いら
れる符号化器のブロック図である。ディスク５０から得
られるフレーム毎の非圧縮のデジタル画像データは、減
算器５１でフレームメモリ５８からの前フレームデータ
と減算処理され、フレーム間差分画像データを生成す
る。次にＤＣＴ回路５２で離散コサイン変換（ＤＣＴ）
され、各周波数の大きさを示すＤＣＴ係数値が生成され
る。次に量子化回路５３で、線形量子化されてデータ量
が抑圧され、さらにこれを可変長符号化回路５４で符号
化し、この符号化データを前記ディスク２１等のメモリ
５５に記録する。

【００１９】一方、上記量子化されたデータは逆量子化
回路５６、逆ＤＣＴ回路５７により、復号側で生成する
画像データと同じものを生成し、フレームメモリ５８に
記憶した後、減算器５１に送る。

【００２０】図１０は画像部分の符号化データの構成図
である。各フレームの画像データの前部には、圧縮方
式、フレーム内符号化かフレーム間符号化かを示す識別
コードとフレーム１枚の符号の長さが書いてある固定長
のヘッダ部を設ける。このヘッダ部と符号化データとを
全フレーム分繰り返すことにより、画像部分の符号化デ
ータが構成される。

【００２１】再生表示処理が音声に間に合わなくて、フ
レームスキップをする場合は、上記ヘッダ部を読むこと
により、フレーム間符号化のデータをスキップすること
が可能になる。

【００２２】図１１はビデオファイルの構成図である。
ＴＶ電話などのデジタルデータは単位時間毎の画像デー
タと音声データとをパッケットにして交互に通信してい
るが、ファイル通信の場合は、音声と画像とを独立に通
信することができる。

【００２３】尚、音声の符号化については特に記述しな
いが、本発明では、一般的によく知られている音声符号
化方式を用いることができる。一般に音声データの方が
画像データより小さいので、音声データを先に送り、こ
の部分の転送が終わった時点で音声のみ再生を行うよう
な階層的な使い方も可能となる。

【００２４】図１は本発明による再生装置の実施例の概
念的な構成を示すブロック図である。図１において、１
０１は入力された音声符号化データの復号処理を行う音
声復号部、１０２は音声復号部１０１で復号した音声デ
ータの再生処理及びアナログ信号への変換処理等を含む
表示処理を行う音声表示処理部である。

【００２５】１０３は入力された画像符号化データを復
号する画像復号部で、後述する図１４の復号部の構成を
有している。１０４は復号された画像データの再生処理
及びアナログ信号への変換処理等含む表示処理を行う画
像表示処理部、１０５は音声表示処理部１０２及び画像
表示処理部１０４で処理されたアナログの音声信号及び
画像信号をスピーカ、ＣＲＴ等で表示するモニタであ
る。

【００２６】１０６は上記入力された音声符号化データ
と画像符号化データとに基づいて、モニタ１０５での画
像の再生が音声の再生に間に合うか否かを判定する判定
部、１０７は判定部１０６の判定結果に応じて画像復号
部１０３及び画像表示処理部１０４の処理を制御すると
共に全体を制御する制御部で、判定部１０６と共にＣＰ
Ｕ等で構成される。尚、音声復号部１０１及び音声表示
処理部１０２は前述したように従来方式のものが用いら
れる。

【００２７】図２は図１の構成において画像と音声との
同期再生を制御するための手順を示すフローチャートで
ある。ここでは、Ｔ秒間隔で、フレーム表示する場合を
例にとって説明する。まず、ステップＳ１１では、制御
部１０７は現時刻がｎ番目のフレームの表示予定時刻
（（ｎ−１）＊Ｔ＞現時刻）になるまでウエイトし、予
定時刻を過ぎた場合はステップＳ１２に進む。ステップ
Ｓ１２では画像符号化データをディスクから読みだす。
ステップＳ１３では画像復号部１０３により可変長符号
化データを符号化し、さらに逆量子化し、差分のＤＣＴ
係数値に戻す。次のステップＳ１４では、前フレームの
ＤＣＴ係数値と復号したＤＣＴ係数値とを加算して現在
のフレームのＤＣＴ係数を算出する。ステップＳ１５で
は、フレーム表示が予定表示時刻の（例えば（ｎ＋１）
＊Ｔ＜現時刻）に入っているか否かを判定部１０６で判
定し、予定時刻の誤差範囲を越えていた場合は、以降の
処理を省略してステップＳ１１に戻る。これにより、処
理時間が非常にかかるステップＳ１６、１７、１８によ
る逆ＤＣＴ、色変換、画像表示処理部１０４による表示
処理を省略できるので、復号処理が音声との同期再生時
刻に追いつくことが可能になる。

【００２８】一方、予定時刻に入っている場合は、ステ
ップＳ１６の逆ＤＣＴ処理で、画像データに戻した後、
ステップＳ１７でＲＧＢ色変換を行い、ステップＳ１８
で表示処理をする。以上の処理を最終フレームまで繰り
返す。

【００２９】（第２の実施例）上記第１の実施例では、
ＣＰＵの能力によっては、可変長符号化データの復号処
理でも時間がかかり、画像と音声との同期再生が間に合
わない場合がある。この問題は、周期的にフレーム内符
号化データのフレームを入れておき、遅れが設定値以上
発生する様な場合は、次のフレーム内符号化データのフ
レームまでスキップする方法をとることにより解決でき
る。

【００３０】図１２は、第２の実施例の同期制御のフロ
ーチャートである。ステップＳ１１（図２のＳ１１と同
じ）で表示予定時刻を過ぎた場合は、ステップＳ３１で
フレーム表示が次の予定表示時刻（例えば（ｎ＋１）＊
Ｔ＞現時刻）を越えているかを判定し、越えている場合
は、ステップＳ３３でフレームスキップをする。尚、ス
テップＳ１５は図２と同じ、ステップＳ３０は図２のス
テップＳ１２、１３、１４、１９をまとめたもの、ステ
ップＳ３２はステップＳ１６、１７、１８をまとめたも
のである。

【００３１】図１３は従来方式、第１の実施例及び第２
の実施例の動作のタイミングチャートを示す。同図
（Ａ）は従来方式、（Ｂ）は第１の実施例、（Ｃ）は第
２の実施例の代表的な例であり、ＶＬＤは復号処理を示
す。（Ｂ）では表示＃３の処理が省略され、その間にＶ
ＤＬ＃４の処理が行われている。また（Ｃ）では表示＃
２、表示＃４の処理がスキップされている。上記のよう
に省略又はスキップされた表示処理期間は前回の表示が
保持されているものとする。上記のように（Ｂ）と
（Ｃ）とは画像と音声との同期制御がかかり、２フレー
ム遅れ以内に表示可能になり、（Ａ）の従来方式のよう
に時刻と共に再生される音声に対して画像の表示がどん
どん遅れていくことはない。

【００３２】図１４は圧縮符号化部・復号部のブロック
図である。圧縮符号化部においては、画像データはフレ
ームメモリ８４で１フレーム分遅延されたものと減算器
８１でディスク８０からの現フレームのデータとの差分
をとるかとらないかの間隔は圧縮効率とフレームスキッ
プとの間隔を考慮してあらかじめ決めておき、スイッチ
８２で切り替える。尚、符号化部８３は、図９に示した
ものと同様に構成する。符号化されたデータはディスク
８５に格納される。

【００３３】一方、復号部では可変長符号化データの復
号および逆量子化をＶＬＤ８６で行う。次にフレーム内
符号の場合は、スイッチ８７を切り替えてそのままＤＣ
Ｔ係数データを出力する。また、フレーム間符号化の場
合は、フレームメモリ８９に入っている１フレーム前の
フレームデータと現フレームデータとが加算器８８で加
算処理され、ＤＣＴ係数データを算出する。その後復号
器９０で復号処理して表示部９１で表示する。尚、スイ
ッチ８２、８７の切り替えコードはフレームヘッダ部に
記述されている。

【００３４】図１５は、２フレーム毎にＩＮＴＲＡとＩ
ＮＴＥＲとの切り替えが起こるように構成されたシーケ
ンスの説明図であり、４枚のフレームで１秒を構成して
いる例である。これにより、遅れが設定値以上発生する
様な場合は、２フレーム先のフレーム内符号のフレーム
までスキップすることが可能になる。

【００３５】（第３の実施例）第１の実施例による図２
のステップＳ１１の処理では、表示予定時刻まで待機す
ることになるが、この時間を使って、ＤＣＴ係数値まで
の復号処理を進めておくことも可能である。図１６は、
上記待機時間に、可変長符号化データの復号及び逆量子
化を行い、フレームメモリ群に記憶させておく方式を示
している。

【００３６】ステップＳ２１では、現時刻がｎ番目のフ
レームの表示予定時刻（ｎ＊Ｔ）になるまでステップＳ
２２以降の復号処理を行い、予定時刻をすぎた場合はス
テップＳ２６に進む。ステップＳ２２では符号データを
ディスクから読みだす。ステップＳ２３では可変長符号
化データを復号し、さらに逆量子化し、差分のＤＣＴ係
数値に戻す。ステップＳ２４では、前フレームのＤＣＴ
係数値と復号したＤＣＴ係数値とを加算し、現在のフレ
ームのＤＣＴ係数を算出する。ステップＳ２５では、こ
のＤＣＴ係数値をフレームメモリ群に記憶する。

【００３７】一方、ステップＳ２６では、フレームメモ
リ群から表示時刻に対応するＤＣＴ係数値を読み出す。
次に、ステップＳ２７では、逆ＤＣＴ処理で画像データ
に戻し、ステップＳ２８でＲＧＢ色変換を行い、ステッ
プＳ２９で表示処理をする。以上の処理を最終フレーム
まで繰り返す。これにより、待機時間を有効に利用した
同期再生が可能になる。

【００３８】

【発明の効果】以上説明したように本発明によれば、画
像と音声との同期再生に応じて、画像符号化データの画
像表示処理を制御するようにしたことにより、画像と音
声との同期再生を乱れなく行って表示の忠実性を向上さ
せることができると共に、画像の復号処理を軽減できる
効果がある。

【図面の簡単な説明】

【図１】本発明の実施例を概念的に示すブロック図であ
る。

【図２】図１の動作を示すフローチャートである。

【図３】本発明に用いられるビデオファイル通信システ
ムのブロック図である。

【図４】ビデオ通信の手順を示すフローチャートであ
る。

【図５】ビデオ入力システムのブロック図である。

【図６】ビデオファイルを登録する順を示すフローチャ
ートである。

【図７】カラー変換部のブロック図である。

【図８】白黒とカラーディザのルックアップテーブルの
構成図を示す構成図である。

【図９】符号器のブロック図である。

【図１０】画像符号化データの構成図である。

【図１１】ビデオファイルの構成図である。

【図１２】本発明の第２の実施例による同期制御の手順
を示すフローチャートである。

【図１３】従来方式と第１、第２の実施例の処理を示す
タイミングチャートである。

【図１４】第２の実施例を示すブロック図である。

【図１５】ＩＮＴＲＡ符号とＩＮＴＥＲ符号の構成の説
明図である。

【図１６】第３の実施例の手順を示すフローチャートで
ある。

【符号の説明】

１０１ 音声復号部 １０２ 音声表示処理部 １０３ 画像復号部 １０４ 画像表示処理部 １０６ 判定部 １０７ 制御部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力された音声符号化データを復号して
   出力する音声復号部と、 入力された画像符号化データを変換する画像変換部と、 上記画像変換部で変換された画像データに所定処理を施
   し、復号された再生画像信号を出力する画像処理部と、 上記音声符号化データと画像符号化データとの同期再生
   をすべく上記画像処理部の所定処理を制御する制御部と
   を備えた再生装置。
2. 【請求項２】 上記画像変換部は、符号化データをＤＣ
   Ｔ係数に変換する変換手段と、該ＤＣＴ係数値に前フレ
   ームのＤＣＴ係数値を加算する加算器と、上記加算した
   ＤＣＴ係数値を記憶する記憶手段と、ＤＣＴ係数値を逆
   ＤＣＴ変換する逆変換器とで構成され、 同期再生に間に合わない場合は、上記ＤＣＴ係数値の記
   憶処理まで行い、次のフレームの処理にスキップし、同
   期再生に間に合う場合は、上記逆ＤＣＴ変換処理及び上
   記画像表示処理までを行うことを特徴とする請求項１記
   載の再生装置。
3. 【請求項３】 上記同期再生が間に合わない場合は、次
   のフレーム内符号化データの処理までスキップすること
   を特徴とする請求項１記載の再生装置。