JP3501514B2 - 画像再生方法 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、画面間符号化された画
像データを所定のタイミングで再生する画像再生方法に
関するものである。 【０００２】 【従来の技術】従来からよく知られている低ビットレー
トの画像通信方式にはＴＶ電話などがある。ＴＶ電話シ
ステムは、実時間のデータのやりとりが基本であり、専
用端末や専用拡張ボードなどのハードウェアが必要とさ
れていた。 【０００３】また、通信・蓄積の時にデジタル動画像の
データ量を削減するために、デジタル動画像の圧縮符号
化が使われている。圧縮符号化方式としては１フレーム
を制止画として扱い符号化した場合をフレーム内符号化
（ＩＮＴＲＡ）、前フレームとの差分をとって符号化し
た場合をフレーム間符号化（ＩＮＴＥＲ）と呼ぶ。圧縮
方式は、従来からよく知られているＤＰＣＭや離散コサ
イン変換（ＤＣＴ）を使った方式が用いられる。 【０００４】上記フレーム内符号化は、フレーム間符号
化に比べて圧縮率が大きくとれないが、その符号のみで
フレーム単位で復号できる特徴を持つ。フレーム間符号
化は、フレーム内符号化に比べて圧縮率が大きくとれる
特徴を持つが、この符号のみではフレームは復号でき
ず、１フレーム前のフレームのデータと加算することに
よって現在のフレームが復号できるものである。従って
圧縮率を上げるためにはフレーム間符号化を多く使った
方が効果的である。 【０００５】動画表示においてはソフトウェアで処理す
る場合、画像の再生は音声と同期をとることが必要であ
る。しかし、ＣＰＵが動画再生表示処理時に （１）マルチタスクで他の処理が行われている場合 （２）ＣＰＵの能力が送信側で期待していたより劣る場
合 等の場合は、全部のフレーム画像を表示しながら画像と
音声とを同期再生することが困難になり、このため画像
のフレームをスキップしながら再生表示する方法がとら
れている。 【０００６】 【発明が解決しようとする課題】従来技術では、フレー
ム間符号化で圧縮符号化したデータに対してフレームス
キップを行うとしても、先ず、符号化データからフレー
ム間差分の画像データを復号し、この復号データと前の
フレームの画像データとを加算することにより、フレー
ム画像を再構成する必要がある。このため、復号処理時
間がかかり、表示予定時間内に間に合わなくなり、画像
と音声との同期再生が乱れるという問題があった。 【０００７】本発明は、上記のような問題を解決するた
めになされたもので、画像の同期再生を乱れなく行うこ
とができる画像再生方法を提供することを目的とする。 【０００８】 【課題を解決するための手段】本発明にかかる画像再生
方法は、画素データを周波数成分データに変換して画面
間符号化された画像データを入力する入力手順と、前記
入力手順で入力された画面間符号化された画像データを
周波数成分データに復号化する復号化手順と、前記復号
化手順で復号化された周波数成分データに前に復号され
た画面の周波数成分データを加算する加算手順と、前記
加算手順で加算された周波数成分データを記憶する記憶
手順と、前記加算手順で加算された周波数成分データを
画素データに変換して出力する変換手順と、前記入力手
順で入力された画像データのフレームが所定の再生タイ
ミングに間に合っているか否かを判定する判定手順とを
含み、前記判定手順で間に合っていないと判定された場
合は前記記憶手順まで実行し、前記変換手順を実行せず
に次の画面の処理にスキップし、それ以外の場合は前記
記憶手順及び前記変換手順まで実行することを特徴とす
る。 【０００９】 【００１０】 【実施例】 （第１の実施例）本発明が前提とするビデオファイル通
信システムは、１台のサーバマシンと複数のワークステ
ーションとがネットワーク上に接続されて構成されるも
のである。図３はサーバマシンとワークステーションと
が１台づつある場合を示す。サーバマシン２０には大容
量ディスク２１が接続されており、この中にビデオファ
イルが保管されている。またワークステーション２２は
ネットワーク３０を介してサーバマシン２０と接続され
ている代表的な１台のマシンである。２３はワークステ
ーション２２のコンソール画面を示しており、Ｘウイン
ドウシステムなどのウインドウシステムが動作している
状態を示している。 【００１１】ウインドウ２４は、サーバマシン２０のデ
ィスク２１内にあるビデオファイルのインデックスａ、
ｂ、ｃを複数表示しているウインドウを示している。ユ
ーザはａ、ｂ、ｃの中から１つ選び、表示されているＧ
ＥＴボタン２５を押すことにより、ビデオファイルをサ
ーバマシン２０からネットワーク３０を通じてワークス
テション２２へ転送する。ワークステーション２２側に
ある転送済みのビデオファイルは、ファイルボックスウ
インドウ２９のウインドウ内に表示される。この中から
１つのファイルを選択するとプレーヤウインドウ２６に
最初のフレームの画像が静止画表示される。次にＰＬＹ
ボタン２７を押すと、音声と動画の再生が行われる。ま
た、ＰＡＵＳＥボタン２８を押すと、音声と動画の再生
を一時停止させることができる。 【００１２】図４はビデオ通信の手順を示すフローチャ
ートである。ステップＳ１では、サーバマシン２０側の
ビデオファイルのインデックス画像を表示させる。ステ
ップＳ２では、インデックス画像の中からワークステー
ション２２側に転送するビデオファイルデータを１つ選
ぶ。ステップＳ３では、選ばれたビデオファイルデータ
をサーバマシン２０からワークステーション２２へ転送
する。ステップＳ４では、ビデオファイルデータの中の
動画圧縮データを復号処理する。ステップＳ５では、圧
縮系の色空間（ＹＵＶ）から表示系の色空間（ＲＧＢ）
に色変換する。ステップＳ６では、表示系の２５６色に
合せるためにカラーディザ処理を行う。ステップＳ７で
は、ウインドウ内への動画表示を行う。 【００１３】図５はビデオファイルを生成するためのビ
デオ入力システムのブロック図である。ビデオカメラや
ＶＴＲからの画像信号１００はＡＤ変換器３１でディジ
タル化され、次にＮＴＳＣデコーダ３２で輝度・色差信
号（ＹＵＶ）が生成される。Ｙ信号はディザ回路４４で
８ビットのルックアップテーブル番号データに変換され
た後、フレームメモリ３７のメモリ領域Ａ−３８に書き
込まれる。またＹＵＶ信号は色変換回路３３でＲＧＢ信
号に変換された後、ディザ回路３６で８ビットルックア
ップテーブル番号に変換された後、フレームメモリ３７
の領域Ｂ−３９に書き込まれる。 【００１４】フレームメモリ３７の内容は２５６色のル
ックアップテーブル４０を通して表示器４１に送られ、
それぞれ画面Ａ−４２、画面Ｂ−４３の部分に、白黒画
像とカラーディザ画像が表示されることになる。また、
ＹＵＶ信号はＩ／Ｆ回路３４を通してハードディスク３
５に書き込まれる。 【００１５】図６はビデオファイルをサーバマシン２０
に登録する手順を示すフローチャートである。ステップ
Ｓ８では、ハードディスクに記録した生画像データを読
み出す。次に、ステップＳ９では、動画像データの圧縮
符号化を行う。ステップＳ１０では、サーバマシン２０
のディスク２１にビデオファイルを転送する。 【００１６】図７は図５の色変換回路３３に関するカラ
ー変換方式を示すブロック図であり、従来の変換方式が
用いられる。ＹＵＶ信号は色変換回路３３により下式
（１）に従ってＲＧＢ信号に変換される。 Ｒ＝Ｙ＋（Ｖ−１２８）／０．７１３ Ｂ＝Ｙ＋（Ｕ−１２８）／０．５６４ Ｇ＝（Ｙ−０．２９９ｘＲ−０．１１４ｘＢ）／０．５８７ ………（１） 次に各ＲＧＢ信号は４値ディザ回路３６ａ、３６ｂ、３
６ｃにより２ビットの信号に変換され、３色で６ビット
の信号に変換された後、変換回路３６ｄでルックアップ
テーブル番号に変換される。 【００１７】図８は、２５６色のルックアップテーブル
の一例を示すもので、テーブル番号に対応したＲＧＢ各
８ｂｉｔ（０−２５５）の値が用意されたものである。
テーブル番号０から１２７までは白黒７ｂｉｔの１２８
色を表す。またテーブル番号１２８から１９１まではカ
ラーディザの６４色を示す。１９２から２５５までは、
未使用もしくは他のアプリケーションが使っている。 【００１８】図９は図６のステップＳ９の処理で用いら
れる符号化器のブロック図である。ディスク５０から得
られるフレーム毎の非圧縮のデジタル画像データは、減
算器５１でフレームメモリ５８からの前フレームデータ
と減算処理され、フレーム間差分画像データを生成す
る。次にＤＣＴ回路５２で離散コサイン変換（ＤＣＴ）
され、各周波数の大きさを示すＤＣＴ係数値が生成され
る。次に量子化回路５３で、線形量子化されてデータ量
が抑圧され、さらにこれを可変長符号化回路５４で符号
化し、この符号化データを前記ディスク２１等のメモリ
５５に記録する。 【００１９】一方、上記量子化されたデータは逆量子化
回路５６、逆ＤＣＴ回路５７により、復号側で生成する
画像データと同じものを生成し、フレームメモリ５８に
記憶した後、減算器５１に送る。 【００２０】図１０は画像部分の符号化データの構成図
である。各フレームの画像データの前部には、圧縮方
式、フレーム内符号化かフレーム間符号化かを示す識別
コードとフレーム１枚の符号の長さが書いてある固定長
のヘッダ部を設ける。このヘッダ部と符号化データとを
全フレーム分繰り返すことにより、画像部分の符号化デ
ータが構成される。 【００２１】再生表示処理が音声に間に合わなくて、フ
レームスキップをする場合は、上記ヘッダ部を読むこと
により、フレーム間符号化のデータをスキップすること
が可能になる。 【００２２】図１１はビデオファイルの構成図である。
ＴＶ電話などのデジタルデータは単位時間毎の画像デー
タと音声データとをパッケットにして交互に通信してい
るが、ファイル通信の場合は、音声と画像とを独立に通
信することができる。 【００２３】尚、音声の符号化については特に記述しな
いが、本発明では、一般的によく知られている音声符号
化方式を用いることができる。一般に音声データの方が
画像データより小さいので、音声データを先に送り、こ
の部分の転送が終わった時点で音声のみ再生を行うよう
な階層的な使い方も可能となる。 【００２４】図１は本発明による再生装置の実施例の概
念的な構成を示すブロック図である。図１において、１
０１は入力された音声符号化データの復号処理を行う音
声復号部、１０２は音声復号部１０１で復号した音声デ
ータの再生処理及びアナログ信号への変換処理等を含む
表示処理を行う音声表示処理部である。 【００２５】１０３は入力された画像符号化データを復
号する画像復号部で、後述する図１４の復号部の構成を
有している。１０４は復号された画像データの再生処理
及びアナログ信号への変換処理等含む表示処理を行う画
像表示処理部、１０５は音声表示処理部１０２及び画像
表示処理部１０４で処理されたアナログの音声信号及び
画像信号をスピーカ、ＣＲＴ等で表示するモニタであ
る。 【００２６】１０６は上記入力された音声符号化データ
と画像符号化データとに基づいて、モニタ１０５での画
像の再生が音声の再生に間に合うか否かを判定する判定
部、１０７は判定部１０６の判定結果に応じて画像復号
部１０３及び画像表示処理部１０４の処理を制御すると
共に全体を制御する制御部で、判定部１０６と共にＣＰ
Ｕ等で構成される。尚、音声復号部１０１及び音声表示
処理部１０２は前述したように従来方式のものが用いら
れる。 【００２７】図２は図１の構成において画像と音声との
同期再生を制御するための手順を示すフローチャートで
ある。ここでは、Ｔ秒間隔で、フレーム表示する場合を
例にとって説明する。まず、ステップＳ１１では、制御
部１０７は現時刻がｎ番目のフレームの表示予定時刻
（（ｎ−１）＊Ｔ＞現時刻）になるまでウエイトし、予
定時刻を過ぎた場合はステップＳ１２に進む。ステップ
Ｓ１２では画像符号化データをディスクから読みだす。
ステップＳ１３では画像復号部１０３により可変長符号
化データを符号化し、さらに逆量子化し、差分のＤＣＴ
係数値に戻す。次のステップＳ１４では、前フレームの
ＤＣＴ係数値と復号したＤＣＴ係数値とを加算して現在
のフレームのＤＣＴ係数を算出する。ステップＳ１５で
は、フレーム表示が予定表示時刻の（例えば（ｎ＋１）
＊Ｔ＜現時刻）に入っているか否かを判定部１０６で判
定し、予定時刻の誤差範囲を越えていた場合は、以降の
処理を省略してステップＳ１１に戻る。これにより、処
理時間が非常にかかるステップＳ１６、１７、１８によ
る逆ＤＣＴ、色変換、画像表示処理部１０４による表示
処理を省略できるので、復号処理が音声との同期再生時
刻に追いつくことが可能になる。 【００２８】一方、予定時刻に入っている場合は、ステ
ップＳ１６の逆ＤＣＴ処理で、画像データに戻した後、
ステップＳ１７でＲＧＢ色変換を行い、ステップＳ１８
で表示処理をする。以上の処理を最終フレームまで繰り
返す。 【００２９】（第２の実施例）上記第１の実施例では、
ＣＰＵの能力によっては、可変長符号化データの復号処
理でも時間がかかり、画像と音声との同期再生が間に合
わない場合がある。この問題は、周期的にフレーム内符
号化データのフレームを入れておき、遅れが設定値以上
発生する様な場合は、次のフレーム内符号化データのフ
レームまでスキップする方法をとることにより解決でき
る。 【００３０】図１２は、第２の実施例の同期制御のフロ
ーチャートである。ステップＳ１１（図２のＳ１１と同
じ）で表示予定時刻を過ぎた場合は、ステップＳ３１で
フレーム表示が次の予定表示時刻（例えば（ｎ＋１）＊
Ｔ＞現時刻）を越えているかを判定し、越えている場合
は、ステップＳ３３でフレームスキップをする。尚、ス
テップＳ１５は図２と同じ、ステップＳ３０は図２のス
テップＳ１２、１３、１４、１９をまとめたもの、ステ
ップＳ３２はステップＳ１６、１７、１８をまとめたも
のである。 【００３１】図１３は従来方式、第１の実施例及び第２
の実施例の動作のタイミングチャートを示す。同図
（Ａ）は従来方式、（Ｂ）は第１の実施例、（Ｃ）は第
２の実施例の代表的な例であり、ＶＬＤは復号処理を示
す。（Ｂ）では表示＃３の処理が省略され、その間にＶ
ＤＬ＃４の処理が行われている。また（Ｃ）では表示＃
２、表示＃４の処理がスキップされている。上記のよう
に省略又はスキップされた表示処理期間は前回の表示が
保持されているものとする。上記のように（Ｂ）と
（Ｃ）とは画像と音声との同期制御がかかり、２フレー
ム遅れ以内に表示可能になり、（Ａ）の従来方式のよう
に時刻と共に再生される音声に対して画像の表示がどん
どん遅れていくことはない。 【００３２】図１４は圧縮符号化部・復号部のブロック
図である。圧縮符号化部においては、画像データはフレ
ームメモリ８４で１フレーム分遅延されたものと減算器
８１でディスク８０からの現フレームのデータとの差分
をとるかとらないかの間隔は圧縮効率とフレームスキッ
プとの間隔を考慮してあらかじめ決めておき、スイッチ
８２で切り替える。尚、符号化部８３は、図９に示した
ものと同様に構成する。符号化されたデータはディスク
８５に格納される。 【００３３】一方、復号部では可変長符号化データの復
号および逆量子化をＶＬＤ８６で行う。次にフレーム内
符号の場合は、スイッチ８７を切り替えてそのままＤＣ
Ｔ係数データを出力する。また、フレーム間符号化の場
合は、フレームメモリ８９に入っている１フレーム前の
フレームデータと現フレームデータとが加算器８８で加
算処理され、ＤＣＴ係数データを算出する。その後復号
器９０で復号処理して表示部９１で表示する。尚、スイ
ッチ８２、８７の切り替えコードはフレームヘッダ部に
記述されている。 【００３４】図１５は、２フレーム毎にＩＮＴＲＡとＩ
ＮＴＥＲとの切り替えが起こるように構成されたシーケ
ンスの説明図であり、４枚のフレームで１秒を構成して
いる例である。これにより、遅れが設定値以上発生する
様な場合は、２フレーム先のフレーム内符号のフレーム
までスキップすることが可能になる。 【００３５】（第３の実施例）第１の実施例による図２
のステップＳ１１の処理では、表示予定時刻まで待機す
ることになるが、この時間を使って、ＤＣＴ係数値まで
の復号処理を進めておくことも可能である。図１６は、
上記待機時間に、可変長符号化データの復号及び逆量子
化を行い、フレームメモリ群に記憶させておく方式を示
している。 【００３６】ステップＳ２１では、現時刻がｎ番目のフ
レームの表示予定時刻（ｎ＊Ｔ）になるまでステップＳ
２２以降の復号処理を行い、予定時刻をすぎた場合はス
テップＳ２６に進む。ステップＳ２２では符号データを
ディスクから読みだす。ステップＳ２３では可変長符号
化データを復号し、さらに逆量子化し、差分のＤＣＴ係
数値に戻す。ステップＳ２４では、前フレームのＤＣＴ
係数値と復号したＤＣＴ係数値とを加算し、現在のフレ
ームのＤＣＴ係数を算出する。ステップＳ２５では、こ
のＤＣＴ係数値をフレームメモリ群に記憶する。 【００３７】一方、ステップＳ２６では、フレームメモ
リ群から表示時刻に対応するＤＣＴ係数値を読み出す。
次に、ステップＳ２７では、逆ＤＣＴ処理で画像データ
に戻し、ステップＳ２８でＲＧＢ色変換を行い、ステッ
プＳ２９で表示処理をする。以上の処理を最終フレーム
まで繰り返す。これにより、待機時間を有効に利用した
同期再生が可能になる。 【００３８】 【発明の効果】以上説明したように本発明によれば、画
面間符号化された画像データに対して同期再生を乱れる
ことなく実行でき、画像再現性を向上させることができ
ると共に画像の再生処理を軽減できる効果がある。

【図面の簡単な説明】 【図１】本発明の実施例を概念的に示すブロック図であ
る。 【図２】図１の動作を示すフローチャートである。 【図３】本発明に用いられるビデオファイル通信システ
ムのブロック図である。 【図４】ビデオ通信の手順を示すフローチャートであ
る。 【図５】ビデオ入力システムのブロック図である。 【図６】ビデオファイルを登録する順を示すフローチャ
ートである。 【図７】カラー変換部のブロック図である。 【図８】白黒とカラーディザのルックアップテーブルの
構成図を示す構成図である。 【図９】符号器のブロック図である。 【図１０】画像符号化データの構成図である。 【図１１】ビデオファイルの構成図である。 【図１２】本発明の第２の実施例による同期制御の手順
を示すフローチャートである。 【図１３】従来方式と第１、第２の実施例の処理を示す
タイミングチャートである。 【図１４】第２の実施例を示すブロック図である。 【図１５】ＩＮＴＲＡ符号とＩＮＴＥＲ符号の構成の説
明図である。 【図１６】第３の実施例の手順を示すフローチャートで
ある。 【符号の説明】 １０１ 音声復号部 １０２ 音声表示処理部 １０３ 画像復号部 １０４ 画像表示処理部 １０６ 判定部 １０７ 制御部

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 画素データを周波数成分データに変換し
   て画面間符号化された画像データを入力する入力手順
   と、 前記入力手順で入力された画面間符号化された画像デー
   タを周波数成分データに復号化する復号化手順と、 前記復号化手順で復号化された周波数成分データに前に
   復号された画面の周波数成分データを加算する加算手順
   と、 前記加算手順で加算された周波数成分データを記憶する
   記憶手順と、 前記加算手順で加算された周波数成分データを画素デー
   タに変換して出力する変換手順と、 前記入力手順で入力された画像データのフレームが所定
   の再生タイミングに間に合っているか否かを判定する判
   定手順とを含み、 前記判定手順で間に合っていないと判定された場合は前
   記記憶手順まで実行し、前記変換手順を実行せずに次の
   画面の処理にスキップし、それ以外の場合は前記記憶手
   順及び前記変換手順まで実行することを特徴とする画像
   再生方法。