JP3295204B2 - 動画再生方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画データを再生処理
する動画再生方法に関するものである。

【０００２】更に詳述すると、本発明は、例えば汎用コ
ンピュータを用いてビデオファイルを再生する画像通信
システムに適用可能な動画再生方法に関するものであ
る。

【０００３】

【従来の技術】従来から知られている画像通信システム
のひとつとして、低ビットレートで画像通信を行うＴＶ
電話がある。このＴＶ電話システムは実時間でデータの
授受を行うため、専用端末や専用拡張ボードなどの専用
ハードウェアが必要とされている。

【０００４】他方、ワークステーションなどの汎用コン
ピュータを用いてビデオファイルを交換する画像通信シ
ステムも知られている。この種のシステムでは、ＣＰＵ
の処理速度が向上することに伴って、画像の通信・再生
表示などの処理をソフトウェアで処理することが可能と
なってきた。

【０００５】このような画像通信システムのうち、まず
表示系についてみると、汎用のワークステーションのフ
レームメモリは８ビットものが主流であり、色数にして
１６４０万色中の２５６色を使っているものが一般であ
る。この色指定は、ルックアップテーブルを用いて選択
することが行われている。そして、８ビットモニタ上で
白黒画像とカラー画像を共存させるために、白黒画像を
１２８色（グレースケール）で表わし、カラー画像につ
いてはディザ処理で各色を２ビットで表して６４色を表
現することが通常行われている。

【０００６】また通信・蓄積系におけるデジタル動画像
のデータ量を削減するために、デジタル動画像の圧縮が
使われている。符号化方式についてみると、１フレーム
を静止画として扱い符号化した場合はフレーム内（ＩＮ
ＴＲＡフレーム）符号化と呼ばれ、前フレームとの差分
をとって符号化した場合はフレーム間（ＩＮＴＥＲフレ
ーム）符号化と呼ばれている。そして圧縮方式として
は、従来からよく知られているＤＰＣＭやＤＣＴを使っ
た方式が用いられている。

【０００７】ここで、フレーム内符号化はフレーム間符
号化に比べて圧縮率を上げることができない反面、１フ
レームの符号のみで復号できる利点を持っている。他
方、フレーム間符号化はフレーム内符号化に比べて圧縮
率を大きくできる利点を持つが、１フレームぶんのデー
タのみではフレームは復号できず、１フレーム前のフレ
ームのデータと加算することによって初めて現在のフレ
ームが復号できるものである。

【０００８】圧縮率をあげるためにはフレーム間符号化
を多く使った方が効果的である。そして、動画面を再生
・表示する際には、音声と同期をとることが必要であ
る。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た画像通信システムにおいて、ＣＰＵが動画再生表示処
理時に、 マルチタスクで他の処理が行われている場合、 ＣＰＵの能力が送信側で期待していたより劣る場合 などのときには、全部のフレームを表示しながら同期再
生することが困難になるという欠点がある。

【００１０】すなわち、汎用コンピューターでは複数の
プロセスが同時に実行できるマルチタスク機能を備える
ものが多く、動画像再生のプロセスに使用可能となるメ
モリ容量やＣＰＵ処理能力などの計算機資源が刻一刻と
変化するため、従来の専用ハードウェアによる処理を前
提とした同期再生のためのアルゴリズムでは、適切な同
期調整を行うことができず、同期再生が不能になり得る
という問題が生じる。

【００１１】よって、本発明の目的は上述の点に鑑み、
動画データの受信側の処理能力にかかわりなく、適切か
つ現実的な同期再生処理を可能とした動画再生方法を提
供することにある。

【００１２】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る動画再生方法は、イントラ符号化とイ
ンター符号化とを用いて符号化された動画データを復号
再生処理する動画再生方法であって、前記動画データの
再生タイミングと再生すべきタイミングとを比較する比
較工程と、前記比較工程の結果により前記動画データの
再生タイミングが再生すべきタイミングより遅延してい
る場合には、当該遅延時間に応じてインター符号化され
ている動画データの復号処理をスキップする第１の処理
工程と、前記比較工程の結果により前記動画データの再
生タイミングが再生すべきタイミングより先行している
場合には、当該先行時間に応じて画像表示を遅延する第
２の処理工程とを有するものである。

【００１３】

【００１４】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１５】図１は、本発明の一実施例によるビデオフ
ァイル通信システムを示す。このビデオファイル通信シ
ステムは、１台のサーバマシンと複数のワークステーシ
ョンがネットワークを介して接続されるものである。但
し図１では、サーバマシン２０とワークステーション２
２が１台ずつある場合を例に挙げて説明する。

【００１６】サーバマシン２０には大容量ディスク２１
が接続されており、この中にビデオファイルが保管され
ている。ワークステーション２２は、ネットワーク３０
を介してサーバマシン２０と接続されている代表的な１
台のマシンである。２３はワークステーション２２のコ
ンソールを示しており、あるウインドウシステムが動作
している状態を表している。

【００１７】ウインドウ２４は、サーバマシン２０のデ
ィスク２１内にあるビデオファイルのインデックスを複
数表示している。そこで、ユーザはこのインデックスの
中から１つを選びＧＥＴボタン２５を押すことにより、
ビデオファイルをサーバマシン２０からワークステーシ
ョン２２へ転送することができる。

【００１８】ワークステーション２２側において、転送
済みのビデオファイルはファイルボックスウインドウ２
９のウインドウ内に表示される。そこで、ユーザはこの
中から１つのファイルを選択すると、プレーヤウインド
ウ２６に最初のフレームの画像が静止画表示される。次
に、プレイボタン２７を押すと、音声と動画の再生が行
われる。また、ポーズボタン２８を押すと、音と動画を
一時停止させることができる。

【００１９】図２は、ビデオ通信の手順を示したフロー
チャートである。

【００２０】ステップ１では、サーバ側のビデオファイ
ルのインデックス画像を表示させる。

【００２１】ステップ２では、インデックス画像の中か
らワークステーション側に転送するビデオファイルデー
タを１つ選ぶ。

【００２２】ステップ３では、選ばれたビデオファイル
データをサーバーマシン側からワークステーション側へ
転送する。

【００２３】ステップ４では、ビデオファイルデータの
中の動画圧縮データを復号処理する。

【００２４】ステップ５では、圧縮系の色空間（輝度・
色差信号）から表示系の色空間（Ｒ・Ｇ・Ｂ信号）に色
変換する。

【００２５】ステップ６では、表示系の２５６色に合わ
せるためのカラーディザ処理を行う。

【００２６】ステップ７では、ウインドウ内への表示処
理を行う。

【００２７】図３は、ビデオファイルを生成する為のビ
デオ入力システムのブロック図である。

【００２８】ビデオカメラやＶＴＲからのビデオ信号１
００はＡＤ変換器３１でデジタル化され、次にＮＴＳＣ
デコーダ３２で輝度（Ｙ）・色差信号（Ｕ／Ｖ）信号が
生成される。輝度信号はディザ処理回路で８ビットのル
ックアップテーブル番号に変換された後、フレームメモ
リ３７の領域３８に書き込まれる。

【００２９】また、色差信号は色変換回路３３でＲＧＢ
信号に変換された後、ディザ処理回路３６で６ビットの
ルックアップテーブル番号に変換された後、フレームメ
モリ３７の領域３９に書き込まれる。

【００３０】フレームメモリ３７の内容は２５６色のル
ックアップテーブル４０を通して表示器４１に送られ、
それぞれ画面４２，画面４３の部分に、白黒画像とカラ
ーディザ画像が表示される。

【００３１】また、輝度信号（Ｙ）および色差信号（Ｕ
／Ｖ）は、インタフェース回路３４を介してハードディ
スク３５に書き込まれる。

【００３２】図４は、ビデオファイルをサーバーマシン
に登録する手順について説明するフローチャートであ
る。

【００３３】ステップ８では、ハードディスクに記録し
た生画像データを読み出す。

【００３４】ステップ９では、動画像データ圧縮を行
う。

【００３５】ステップ１０では、サーバマシンのディス
ク２１にビデオファイルを転送する。

【００３６】図５はカラー変換処理を行うためのブロッ
ク図である。輝度信号（Ｙ）および色差信号（Ｕ／Ｖ）
は、色変換器５０により下式に従ってＲＧＢ信号に変換
される。

【００３７】

【数１】 Ｒ＝Ｙ＋（Ｖ−１２８）／０．７１３ Ｂ＝Ｙ＋（Ｕ−１２８）／０．５６４ ・・・（１） Ｇ＝（Ｙ−０．２９９ｘＲ−０．１１４ｘＢ）／０．５８７ 次に、各ＲＧＢ信号は４値ディザ回路５１ａ，５１ｂ，
５１ｃにより２ビットの信号に変換され、３色で６ビッ
トの信号に変換される。

【００３８】図６は、２５６色のルックアップテーブル
の一例である。これは、テーブル番号に対応したＲＧＢ
各８ビット（０〜２５５）の値が用意されたものであ
る。本図において、テーブル番号０から１２７までは白
黒７ビットの１２８色を表す。また、テーブル番号１２
８から１９１までは、カラーディザの６４色を表す。さ
らに１９２から２５５までは、未使用もしくは他のアプ
リケーションによる使用とする。

【００３９】図７は、本システムで用いる圧縮・復号回
路を示すブロック図である。本図において、現画像デー
タは、フレームメモリ６０に入力されて１フレーム分遅
延されたものと、加算器６１で差分がとられる。この差
分信号は符号化回路６２でデータ圧縮され、符号が出力
される。ここで用いる圧縮方式としては、従来からよく
知られているＤＰＣＭやＤＣＴを使った方式を用いる。

【００４０】また、差分をとらずに符号化した場合をフ
レーム内符号化（ＩＮＴＲＡ）と呼び、差分をとって符
号化した場合をフレーム間符号化（ＩＮＴＥＲ）と呼ぶ
ことは既述の通りである。ここで、フレーム内符号化
は、フレーム間に比べて圧縮率が大きくとれないが、こ
の符号のみでフレームが復号できる。他方、フレーム間
符号化は、フレーム内に比べて圧縮率が大きくとれる
が、この符号のみではフレームは復号できず、１フレー
ム前のフレームのデータと加算することによって現在の
フレームが復号できる。圧縮率を上げるためにフレーム
間符号化（ＩＮＴＥＲ）を多く使った方がよいが、フレ
ームを飛ばすような機能を使うためには、特定の間隔で
フレーム内符号化（ＩＮＴＲＡ）を入れておく必要があ
る。差分を取るか取らないかの間隔は、圧縮効率とフレ
ームスキップの間隔を考慮して予め決めておき、スイッ
チ６６で切り替える。

【００４１】つぎに、伝送されてきた符号は復号回路６
３で復号処理を行い、フレーム内符号化の場合はスイッ
チ６７を切り替えて０を加算するようにして、そのまま
画像データを出力する。他方、フレーム間符号化の場合
は、フレームメモリ６５に入っている１フレーム前のフ
レームデータと加算器６４で加算処理され、画像データ
が復号される。この切り替え信号は、後述するようにフ
レームヘッダに記述されている。

【００４２】図８は、１フレーム毎にフレーム内符号化
（ＩＮＴＲＡ）とフレーム間符号化（ＩＮＴＥＲ）の切
り替えが起こるように構成されたシーケンスの説明図で
ある。ここでは、４枚のフレームで１秒を構成している
例を示してある。従って、再生表示処理が間に合わなく
て、フレームスキップをする場合は、フレーム間符号化
のデータをスキップしてフレーム内符号化のフレームを
探し、そのフレームから再生表示することにより、同期
再生が可能になる。

【００４３】図９は、映像の部分の符号の構成図であ
る。各フレームの画像データの前には、圧縮方式と、フ
レーム内符号化かフレーム間符号化かの識別コードと、
フレーム１枚の符号の長さが書いてある固定長のヘッダ
部を付ける。このヘッダと符号データを全フレーム分繰
り返すことにより、映像部分の符号が構成される。従っ
て、再生表示処理が間に合わなくて、フレームスキップ
をする場合は、このヘッダ部読むことにより、フレーム
間符号化のデータをスキップすることが可能になる。

【００４４】図１０は、ビデオファイルの構成図であ
る。ＴＶ電話などのデジタルデータは単位時間毎の映像
データと音声データをパッケットにして交互に通信して
いるが、ファイル通信の場合は、音声と映像を独立に通
信することができる。本実施例では、音声の符号化につ
いては特に説明しないが、一般的によく知られている音
声符号化方式を用いることができる。なお、一般に音声
データの方が映像データより小さいので、音声データを
先に送り、その部分の転送が終わった時点で音声のみの
再生を行うような、階層的な使い方も可能である。

【００４５】図１１は、本実施例における同期制御を示
すフローチャートである。ここでは、時刻ｔ₀ からΔｔ
間隔でフレーム表示する場合を例にとって説明する。ま
た、図中でｔは、内部時計の参照により得られる現在時
刻とする。

【００４６】まずステップ２０１で、変数ｔ₀ に現在時
刻ｔを代入する。また変数ｎは“０”に初期化してお
く。

【００４７】ステップ２０２でファイルからの圧縮デー
タの読み出し、伸張・色変換・ディザ処理など既に説明
してきた処理を行い、メモリ内に表示可能な形式の画像
データを展開する。

【００４８】ステップ２０４で、現在時刻ｔからｔ１を
引いた値を変数Ｓに代入する。このＳは、ステップ２０
２の実行に要した時間を示す。

【００４９】ステップ２０５で、現在時刻が第ｎ番目の
フレームの表示予定時刻を過ぎたか否かの判断を行う。
過ぎた場合は次のステップ２０６に進む。そうでなけれ
ば再度ステップ２０５を実行する。このループによっ
て、表示が早く進みすぎることによる同期のずれを防い
でいる。

【００５０】ステップ２０６で、前記メモリ内の画像デ
ータを表示する。

【００５１】ステップ２０７で、フレーム番号ｎをイン
クリメントする。

【００５２】ステップ２０８では、ステップ２０６の実
行に要する時間（Ｓ）を考慮に入れたうえで、次に表示
されるべきフレームの番号を計算し（小数点以下は、切
り上げる）、変数ｍに代入する。

【００５３】ステップ２０９で、ｍとｎの大小比較を行
う。もしｍがｎよりも大きくなければ、ステップ２１２
に飛ぶ。そうでなければ、ステップ２１０に進む。

【００５４】ステップ２１０では（ｍ−ｎ）枚分のデー
タをスキップする。具体的には、その時点におけるデー
タファイルへのシークポインタの位置から、次のフレー
ムの符号データ量を読み出し、その値だけシークポイン
タを進めることにより１枚分のデータをスキップするこ
とができる。これを（ｍ−ｎ）回繰り返す。

【００５５】ステップ２１１で、フレーム番号ｎにｍを
代入する。すなわち、データスキップによるフレーム番
号とファイルへのシークポインタのずれを修正する。

【００５６】以上のステップ２０８から２１１までの処
理によって、表示が間に合わない場合の同期のずれを防
いでいる。

【００５７】ステップ２１２では、動画再生を終了する
か否かを判断を行う。判断基準としては、ファイルへの
シークポインタが終端に達した場合、すなわち動画像を
最後まで再生し終った場合や、ストップボタン・ポーズ
ボタンなどのクリックによって操作者が再生を中断しよ
うとする場合、などが挙げられる。終了する場合には
“エンド”に進んで本サブルーチンを終了する。そうで
なければステップ２０２に戻り、以上説明してきた処理
を繰り返す。

【００５８】

【発明の効果】以上説明してきたように本発明によれ
ば、動画像再生プロセスを実行する計算機資源などが時
間的に変動する場合にも、適切な同期調整が可能とな
る。また、再生タイミング合わせのためにインター符号
化の動画データをスキップするようにしたので、再生タ
イミング調整後の画像再生復帰が早くなるという効果も
奏する。

【図面の簡単な説明】

【図１】本発明を適用したビデオファイル通信システム
の全体ブロック図である。

【図２】ビデオ通信の手順を示すフローチャートであ
る。

【図３】ビデオ入力システムを示すブロック図である。

【図４】ビデオファイルを登録する手順について説明す
るフローチャートである。

【図５】カラー変換処理を行うためのブロック図であ
る。

【図６】白黒ルックアップテーブルとカラーディザのル
ックアップテーブルの一例を示す図である。

【図７】符号化処理および復号処理を示すブロック図で
ある。

【図８】フレーム内符号化（ＩＮＴＲＡ）とフレーム間
符号化（ＩＮＴＥＲ）による符号の構成の説明図であ
る。

【図９】映像符号の構成図である。

【図１０】ビデオファイルの構成図である。

【図１１】本実施例における同期再生の手順を示すフロ
ーチャートである。

【符号の説明】

２０ サーバマシン ２１ ディスク ２２ ワークステーション ２３ コンソール ２４ インデックス表示用ウインドウ ２５ ＧＥＴボタン ２６ フレーヤウインドウ ２７ プレイボタン ２８ ポーズボタン ２９ ファイルボックスウインドウ ３０ ネットワーク

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−167970（ＪＰ，Ａ) 特開 平７−23323（ＪＰ，Ａ) 安田浩，マルチメディア符号化の国際 標準，日本，丸善株式会社，1991年 ６ 月30日，Ｐ．155 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 H04N 7/24 - 7/68

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 イントラ符号化とインター符号化とを用
   いて符号化された動画データを復号再生処理する動画再
   生方法であって、 前記動画データの再生タイミングと同期再生のための再
   生すべきタイミングとを比較する比較工程と、 前記比較工程の結果により前記動画データの再生タイミ
   ングが再生すべきタイミングより遅延している場合に
   は、当該遅延時間に応じてインター符号化されている動
   画データの復号処理をスキップする第１の処理工程と、 前記比較工程の結果により前記動画データの再生タイミ
   ングが再生すべきタイミングより先行している場合に
   は、当該先行時間に応じて画像表示を遅延する第２の処
   理工程とを有することを特徴とする動画再生方法。