JPH05260521A - 圧縮動画像データ再生処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像情報の処理をする際に動画像データを間
引き圧縮処理により圧縮して記録媒体に記録されたもの
を効率よく再生し、高品質動画像を低速コンピュータで
処理する。 【構成】 記録媒体２には予め間引き圧縮及び通常圧縮
処理しデータ数を減縮して動画像データが記録されてい
る。かかる動画像データを読取装置２１で読取ってバッ
ファメモリ２２に記憶し、これに通常圧縮処理と反対の
伸長処理を加え、さらにこれらデータをメモリ転送部２
９により転送する際に市松模様状のデータ配列となるよ
うにビデオフレームメモリ２３へ転送し、転送されなか
った部分はマスク部分としてこれを原画像データとし、
Ｄ／Ａコンバータ２４によりアナログ信号に変換した後
表示装置であるＲＧＢモニタ３で再生する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の圧縮方法で記
録媒体に圧縮記録された動画像データの再生処理方法に
関する。

【０００２】

【従来の技術】テレビカメラやビデオカメラ等の撮像装
置で得られる画像情報を電気信号に変え、これを例えば
ＣＤ−ＲＯＭ等の記録媒体に記録する場合、大量の情報
を高速処理するため一般にディジタル信号として記録媒
体に伝送される。記録媒体に記録する以外にも、画像信
号を通信経路により、あるいは電波によって遠隔に伝送
する場合もある。

【０００３】上記いずれの場合も画像情報を伝送する際
に、ディジタルデータ配列（画像）には多く冗長成分が
含まれているため、一般に情報源符号器によって情報圧
縮が図られる。かかる画像情報に含まれる冗長成分を圧
縮する方法として、画像情報が静止画であるか動画であ
るかに応じて種々の符号化方式が採用されている。代表
的な符号化方式として、動き補償を含むフレーム間予測
符号化、離散コサイン変換などのデータ変換符号化など
がある。

【０００４】動画情報をディジタルで自然な画像として
高階調でマルチメディアパーソナルコンピュータを介し
てコンピュータ内に設けられた通常のメモリと呼ばれる
記録媒体や、あるいはＣＤ−ＲＯＭ等に記録する場合、
動画像情報をビデオディジタイズ装置によりビデオ処理
してそのまま画像処理をすると情報量が膨大になり、上
記記録媒体等の限られた記録容量は限界がある。又、そ
れぞれのメディアのデータ転送速度も限られており、一
定時間内に利用できるデータの総量には限界がある。

【０００５】このような膨大な量の動画像情報を処理す
る方法として、ディジタルシグナルプロセッサ（以下Ｄ
ＳＰと略記する）等の演算専用装置を用いて圧縮処理す
るハードウェア動画の場合は、一定時間内に収まる処理
で多階調ディジタル画像をカラー分解し、上述した離散
コサイン変換などのデータ変換法や動き補償フレーム間
予測符号化など各種の技術を用いて元画像のデータ量を
１０分の１から３０分の１以下に圧縮し、再生時にもか
かる信号処理専用回路を利用して復元している。

【０００６】一方、パーソナルコンピュータ等を用いた
プログラム制御によるソフトウェア動画の場合は、フレ
ームコマ落しや画像の面積を予め小さくしたり、画像コ
ントラストを変えるなどして予めデータ量を減らした後
ランレングス法や通常のフレーム間予測法、最適カラー
ルックアップテーブルを作成し色情報を圧縮する方法な
どによりデータ圧縮を行なっている。

【０００７】上記いずれの画像情報圧縮処理であれ、こ
の圧縮されたデータを再生する場合は一般にそれぞれの
圧縮処理方法と逆にデータを伸長する方法により再生す
るが、その場合は通常失われた動画像データを再生する
ために補間法によりデータの補間をして原画像と同じ画
像データを復元する方法が採用される。

【０００８】

【発明が解決しようとする課題】ところで、パーソナル
コンピュータを用いて動画像情報を処理し記録媒体にデ
ータを記録する場合、上述した各種圧縮法を用いると共
にソフトプログラム上の工夫を加えて動画像を圧縮処理
したとしても、リアルタイムで所望の画像圧縮をするこ
とは極めて困難であり、処理の重さによる時間の遅れな
どが生じ、画像が不安定となるなどの不安定要素が大き
かった。

【０００９】このような不安定は画像処理に、例えば動
き補償に離散コサイン法を組み合せたＭＰＥＧの１．５
Ｍｂ／Ｓの符号化法を用いて対処したとすると、動き予
測のための処理をＲＧＢカラーの信号をＹ、Ｃｒ、Ｃｂ
信号に変換する処理、離散コサインの演算処理などの複
雑な処理が要求され、リアルタイムで処理する場合は処
理速度の点から結局ＤＳＰなどの専用演算装置を必要と
する。そして、この問題はかかる圧縮処理法により記録
された動画像データを再生する際も同様に生じる。

【００１０】又、前記ソフトウエア動画の場合、復元を
簡単な処理にしたために再生能力が格段に低下し、ＣＤ
−ＲＯＭ等のデータ転送レート、記録容量では、動画の
枚数が少なくなる。画像の大きさが小さい、絵と音声の
同期などがうまく出来ないなど、動画の質の点で高品質
な表現が不可能であるなどの問題があった。

【００１１】この発明は、上述した従来の動画像データ
の処理方法の現状に留意して、予め間引き圧縮により減
縮された状態で記録媒体に記録された動画像データを間
引き圧縮と反対に伸長させて高品質動画像を低速なＣＰ
Ｕを用いたプログラム制御によるパーソナルコンピュー
タ等の画像処理装置により実現する再生処理方法を提供
するにある。

【００１２】

【課題を解決するための手段】上記課題を解決する手段
としてこの発明は、連続する表示画面各フレーム毎の多
階調ディジタルの動画像情報を転送時に市松模様状にデ
ータを選択することにより画素データを間引き圧縮して
記録媒体に記録された圧縮動画像データを読出してバッ
ファメモリに一時記憶し、記憶された画素データを上記
圧縮時と反対に市松模様状に配してフレームメモリに転
送し、間引き圧縮により欠落したデータはマスク部分と
し、これらをアナログ信号に変換して表示装置上に動画
像を再生することから成る圧縮動画像データ再生処理方
法としたのである。

【００１３】上記方法において、前記間引き圧縮と共に
減色処理、動き差分圧縮、ランレングス圧縮、辞書法の
いずれか又はそのいくつかを含む通常圧縮処理を加えて
圧縮された圧縮動画像データを、転送時に上記通常圧縮
処理と反対の伸長処理を加えて転送するのが好ましい。

【００１４】

【実施例】以下この発明の実施例について図面を参照し
て説明する。図１はこの発明の方法を実施する装置とし
てパーソナルコンピュータを用いて処理装置を構成した
一例を示すブロック図である。２は記録媒体、３はＲＧ
Ｂモニタ、４はＲＧＢＮＴＳＣ変換装置、５はＮＴＳＣ
モニタ、２０はパーソナルコンピュータである。

【００１５】記録媒体２として、この実施例でＣＤ−Ｒ
ＯＭを用いているが、他にも光ディスク等のハードディ
スクを用いてもよい。ＲＧＢモニタ３はカラーのＣＲＴ
ブラウン管あるいは液晶表示等再生された画像データを
直接表示し得る表示装置が用いられる。ＲＧＢＮＴＳＣ
変換装置４は、カラーテレビジョンをＮＴＳＣモニタ５
として使用する場合に画像データをテレビジョン方式に
変換する装置である（ＮＴＳＣ：カラーテレビ放送標準
方式）。パーソナルコンピュータ２０内には、その構成
の一部を利用して図示のような圧縮動画像データ再生処
理装置が構成される。記録媒体２に記録されている画像
データは、後で説明するように所定の圧縮処理を加えた
状態で記録されたものであり、ＣＤ−ＲＯＭの記録媒体
２であれば読取装置２１によりレーザ光を照射して画像
データを読取りそのデータをバッファメモリ２２へ送
る。

【００１６】上記画像データはバッファメモリ２２に一
時記憶され、これを転送してビデオフレームメモリ２３
に送り、さらにＤ／Ａコンバータ２４により赤（Ｒ）、
緑（Ｇ）、青（Ｂ）の各原色信号ごとにアナログ信号に
変換した後ＲＧＢ信号発生装置２５でＲ、Ｇ、Ｂの各原
色信号を発生させ、これらをＲＧＢモニタ３又はＮＴＳ
Ｃモニタへ出力する。かかる画像データの転送、変換操
作の制御は中央処理装置（ＣＰＵ）２６の指令により行
なわれる。

【００１７】バッファメモリ２２からビデオフレームメ
モリ２３へデータ転送する間に各種データ処理をする転
送・処理部２７が設けられており、この転送・処理部２
７はこの実施例ではＲＯＭのプログラムメモリにより構
成されている。圧縮データ伸長処理部２８は、記録媒体
２に圧縮して画像データを記録する際に減色処理、動き
差分圧縮処理、ランレングス圧縮処理、辞書法圧縮処理
を含む通常圧縮処理をして記録されているため、これら
を元の状態に再生するため上記それぞれの処理と逆の伸
長処理を行なうように構成されている。この処理部２８
のそれぞれの処理プログラムは既に公知のものであり、
そのいくつかだけで構成してもよい。

【００１８】メモリ転送部２９は、バッファメモリ２２
に記憶された画像データを記憶媒体に記録する際に原画
像データの配列から市松模様状の間引き圧縮して減縮し
たデータを機構されているものを原画像データの配列に
復元するためにビデオフレームメモリ２３への転送時に
上記間引き圧縮と反対にデータ間隔を伸長させるように
データを転送する転送部として構成されるものである。
なお、時計装置３０は中央処理装置２６により行なわれ
る上記圧縮データ伸長処理、転送による間引き伸長処理
等のプログラムを制御する際に割込み処理をする必要が
ある際に割込みタイミングを発生させるのに用いられ
る。

【００１９】以上のように構成した実施例の圧縮データ
再生処理処置により圧縮データ再生処理方法を次のよう
に実施する。上記再生処理方法を説明する前に、まず記
録媒体２に圧縮データを記録する方法の一例を説明す
る。図６は動画像情報を圧縮処理する装置であり、この
装置により動画像情報を圧縮処理して記録媒体２に記録
する。１１はＲＧＢ変換装置、１２はＡ／Ｄコンバー
タ、１３はビデオフレームメモリ、１４はバッファメモ
リ、１５はデータ記録装置、１６は中央処理装置、１７
ａは転送・処理部、１７ｂは判定・制御部、１８ａは平
滑処理部、１８ｂはメモリ転送部、１８ｃは通常圧縮処
理部、１９ａは圧縮量判定部、１９ｂはコマ送り制御部
である。

【００２０】ビデオ装置１からアナログのビデオ信号を
Ａ／Ｄコンバータにより変換した多階調のディジタル信
号は、説明の都合上バッファメモリ１４上では８ビット
を１単位とし、この１単位で１画素を構成するものとす
る。従って１画素で２５６段階の多階調画像データを表
わすことができる。カラー画像では、画素１単位２４ビ
ットとし、赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれにつ
いて同様の構成とすることができる。

【００２１】ビデオ装置１からのビデオ信号を取り込む
際に、連続するビデオ装置１の各フレーム毎の動画像情
報を適当なコマ落し間隔でコマ送りをしながら１コマず
つ静止させ、その１コマ分の静止画像情報をＡ／Ｄコン
バータ１２でディジタル信号に変換する。なお、コマ落
し間隔の制御については後で詳しく説明する。上記ディ
ジタル信号はビデオフレームメモリ１３に書き込まれて
一時記憶されている間に平滑化処理部１８ａにより画像
強調処理、平滑化処理した後メモリ転送部１８ｂを介し
て転送される。この転送は次のようにして行なわれる。

【００２２】図７にメモリ転送部１８ｂの転送プログラ
ムのフローチャートを示す。図中の記号の意味は次の通
りである。 ｒｐｔｒ 読出データのポインタ（レジスタ） ｗｐｔｒ 書込データのポインタ（レジスタ） ｘ 書込データのＸ軸座標 ｙ 書込データのＹ軸座標 ｘｃ 書込側のＸ軸の画素数 ｙｃ 書込側のＹ軸の画素数 ＸＤ 読出画面のＸ軸側の画素数 ＹＤ 読出画面のＹ軸側の画素数 ｄｘ 読出画面の表示位置のＸ座標 ｄｙ 読出画面の表示位置のＹ座標 ｒｅｇ 転送用レジスタ ｄ 書込みオフセット 又、図８にｘ、ｙ、ｘｃ、ｙｃ……等の記号の取り方を
示す。但し、読出しとはビデオフレームメモリ１３から
のデータ読出し、書込みとはバッファメモリ１４へのデ
ータの書込みを意味する。

【００２３】上記フローチャートの動作が開始される
と、まずステップＳ₁ で書込みデータのｙ軸座標の初期
化をｙ←０とし、ステップＳ₂ で読出データのポインタ
ｒｐｔｒ、書込みデータのポインタｗｐｔｒのアドレス
計算をする。後で説明するように、ｙ座標が奇数行であ
ればポインタのアドレスが１ずれる。ステップＳ₃ でｘ
軸座標の初期化をする。

【００２４】ステップＳ₄ ではポインタが指し示すデー
タの転送が行なわれる。この場合、ポインタからポイン
タへの直接転送ができないため、一旦読出側の転送用レ
ジスタｒｅｇにそのデータ内容を書き移し、このレジス
タｒｅｇから書込み側の転送用レジスタへ転送し、これ
を書込み側ポインタへ移す。

【００２５】上記操作は、ステップＳ₅ で書込み側の現
在のｘ座標値で表わされる画素数をそのｘ座標の最大画
素数ｘｃと比較し、最大画素数ｘｃを越えない限り、次
のステップＳ₆ へ進む。ステップＳ₆ ではｒｐｔｒ座標
アドレスを２ずつ、ｗｐｔｒを１ずつ、ｘ座標の画素数
を１ずつインクリメントし、これを繰り返す。

【００２６】ｘ座標の画素数がｘｃを越えると、ステッ
プＳ₇ へ進み、ｙ座標値を書込み側のｙ座標の最大画素
数ｙｃと比較し、ｙｃを越えない限り、ステップＳ₈ で
ｙ座標値を１ずつインクリメントする。ステップＳ₉ で
ｙ座標値が奇数か偶数かを判別し、奇数であれば書込み
オフセット値をｄ←１とし（Ｓ₁₀）、偶数であればｄ←
０とする（Ｓ₁₁）。

【００２７】上記制御動作において、ステップＳ₆ では
読出側のｒｐｔｒを２ずつ、書込み側のｗｐｔｒを１ず
つインクリメントしているから、読出側では原画面の画
素データは１つおきに読み出され、これを転送すること
によりデータの間引き圧縮が行われる。

【００２８】又、ステップＳ₂ においてｙ座標が奇数か
偶数であるかによって読出データのポインタのアドレス
計算中にオフセット値ｄが０と１に変わるから、各行の
データは例えば１行目では１、３、５…番目のデータ
が、２行目では１２、１４、１６…番目のデータが読出
され、これらが順次転送されて書込み側へ送られる。従
って、読出されるデータは市松模様状の位置のデータで
あり、これを転送することによりデータ量は１／２に間
引き圧縮されるのである。

【００２９】間引き圧縮されて転送されたデータは、バ
ッファメモリ１４において通常圧縮処理部１８ｃにより
通常圧縮処理として各種の公知の圧縮処理が行なわれて
いることは前述した通りである。従って、通常圧縮処理
によって例えば５分の１に圧縮するとができるとする
と、上記間引き圧縮処理による１／２の圧縮効果を乗じ
ると元画像データに対して１／１０に圧縮することがで
きる。このことは逆に言えば、間引き圧縮を行なう場合
でも同じデータ量を記録媒体に記録するものとすれば、
原画像のデータを２倍送り込むことができるから、ビデ
オ装置１でのコマ数を２倍にすることができる。

【００３０】実際の制御では、動画像データのコマ数を
全て２倍にする必要はないから、動きの激しい部分では
コマ数をなるべく増加させるように制御される。このた
め、データ記録装置１５から圧縮されたデータを圧縮量
判定部１９ａへ送り、記録媒体２へなお記録し得る残量
を判別しながらコマ送り制御部１９ｂからの指令により
ビデオ装置１のコマ送り間隔が最適に制御される。

【００３１】このようにしてコマ送り間隔を制御しなが
ら画像データを圧縮して記録媒体に記録することによっ
て、結果的に記録される動画像データ量は完全に１／２
になる分けではないが、相当量の圧縮で図ることができ
る。しかも、この圧縮方法では通常のパーソナルコンピ
ュータのような低速のＣＰＵで駆動される装置で処理が
できる。

【００３２】なお、上記実施例ではディジタルの動画像
データはビデオ装置１から各コマ毎の画像を静止させた
静止画像データから作成しているが、かかるディジタル
の動画像データを得る方法として、既に他の画像装置等
によりディジタル化された画像データをビデオルームメ
モリ１３に記憶するようにしてもよい。

【００３３】あるいは、カラースキャナにより原画像を
１枚１枚色分解し、これをディジタル化して得る方法と
してもよいことは当業者であれば自明であろう。

【００３４】以上のようにして間引き圧縮法により記録
媒体２に記録された画像データを再生処理する場合、そ
の再生処理方法は原則として前記間引き圧縮法により圧
縮処理する方法と全く逆な方法で画像データを伸長処理
する。従って、以下では再生操作に対応する部分につい
てのみ説明し、他は上述したように圧縮、転送の際の作
用と原則として逆の作用により再生処理するものとして
詳細な説明は省略する。

【００３５】さて、バッファメモリ２２に一時記憶され
た圧縮画像データは図２の転送プログラムのフローチャ
ートに従って転送される。図中の記号の意味は次の通り
である。 ｘ 読出データのｘ軸座標 ｙ 読出データのｙ軸座標 ｘｃ 読出側のｘ軸画素数 ｙｃ 読出側のｙ軸画素数 ＸＤ 書込側のｘ軸画素数 ＹＤ 書込側のｙ軸画素数 ｄｘ 書込側の表示装置のｘ座標 ｄｙ 書込側の表示装置のｙ座標 ｒｅｇ 転送用レジスタ ｄ 書込みオフセット 図３にｘ、ｙ、ｘｃ、ｙｃ……等の記号の取り方を示
す。但し、読出しとはバッファメモリ２２からのデータ
の読出し、書込みとはビデオメモリ２３へのデータの書
込みを意味する（圧縮処理の場合と反対）。図２のフロ
ーチャートによる制御動作も読出しと書込みが間引き圧
縮の際と方向が逆であるだけで転送によるデータ伸長は
圧縮の場合と原則的に同じである。

【００３６】但し、ステップＳ₂ におけるｒｐｔｒ、ｗ
ｐｔｒによるアドレス計算は演算式が間引き圧縮の時と
反対である。又、ステップＳ₆ においてもｒｐｔｒ、ｗ
ｐｔｒに対するインクリメントが反対にｒｐｔｒに対し
て１ずつ、ｗｐｔｒに対して２ずつである点も異なって
いる。

【００３７】従って、ステップＳ₆ の制御によって書込
み側では圧縮データは１つおきに書込まれ、これを転送
することによりデータが市松模様の間引き状に配置され
データ伸長が行なわれる。この転送によるデータ伸長の
方法を図４に示す。（ａ）では奇数行への転送、（ｂ）
では偶数行への転送が行なわれる。ステップＳ₂ ではｙ
座標が奇数か偶数であるかによって書込みデータのポイ
ンタのアドレス計算中にオフセット値ｄが０と１に変わ
るから、各行のデータは例えば１行目であ１、３、５…
…番目のデータが、２行目では１２、１４、１６……番
目のデータがバッファメモリ２２から転送されてビデオ
フレームメモリ２３へ書込まれる。従って、ビデオフレ
ームメモリ２３には市松模様状に画像データが記憶さ
れ、転送されなかった記憶部分はマスクされた状態とな
る。

【００３８】図５に（ａ）原画像の画素並び、（ｂ）圧
縮画素の並び、（ｃ）再生された画素とマスクの並びに
ついて示す。間引き圧縮処理により消滅した画素データ
については、従来であれば補間法により再生して圧縮デ
ータの間に補間され完全な原画像の画素データを復元し
ているが、上記実施例で圧縮処理により消滅した画素に
対しては補間法を用いずに欠落したままとし、図５の
（ｃ）に示すように市松模様状に配列したマスクの並び
としている。これは、市松模様状のマスク配列を動画像
として見るときは、失われた画素の隙間が上下左右の画
素から人の視覚上補完されたような状態で感じられるた
め解像度の劣化も少なく、黒マスク効果により色のにじ
みや画像のくすみ、異常な類似輪郭線の出現を感じさせ
なくなるからである。

【００３９】

【効果】以上詳細に説明したように、この発明の画像デ
ータ再生処理方法はバッファメモリに記憶された動画像
データを転送する際に間引き圧縮と反対の作用で市松模
様状に間引きされた状態にビデオフレームメモリに転送
し、かつ転送されなかったデータ部分は欠落したままで
マスク部分として記憶し、これをアナログ信号に変換し
て表示画面上に表示するようにしたから、かかる動画像
データによる動画像は失われた画素データがあっても上
下左右の画素から人の視覚上補完されたような状態で感
じられるため解像度の劣化が少なく、黒マスク効果によ
り色のにじみや画像のくすみ、異常な類似輪郭線を感じ
させず、十分な動画像が低速なＣＰＵによるパーソナル
コンピュータ等の処理装置により再生できるという極め
て汎用的な効果が得られる。

【図面の簡単な説明】

【図１】実施例のパーソナルコンピュータを用いた画像
処理装置の概略ブロック図

【図２】メモリ転送部による転送プログラムのフローチ
ャート

【図３】転送によるデータ伸長方法の説明図

【図４】データ伸長をする転送方法の説明図

【図５】原画像の画素並び、圧縮画素の並び、再生され
た画素とマスクの並びを示す図

【図６】間引き圧縮を行なうパーソナルコンピュータを
用いた画像処理装置の一例の概略ブロック図

【図７】間引き圧縮の転送プログラムのフローチャート

【図８】間引き圧縮方法の説明図

【符号の説明】

２ 記録媒体 ３ ＲＧＢモニタ ４ ＲＧＢＮＴＳＣ変換装置 ５ ＮＴＳＣモニタ ２０ パーソナルコンピュータ ２１ 読取装置 ２２ バッファメモリ ２３ ビデオフレームメモリ ２４ Ｄ／Ａコンバータ ２５ ＲＧＢ信号発生装置 ２６ 中央処理装置 ２７ 転送・処理部 ２８ 圧縮データ伸長処理部 ２９ メモリ転送部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 連続する表示画面各フレーム毎の多階調
   ディジタルの動画像情報を転送時に市松模様状にデータ
   を選択することにより画素データを間引き圧縮して記録
   媒体に記録された圧縮動画像データを読出してバッファ
   メモリに一時記憶し、記憶された画素データを上記圧縮
   時と反対に市松模様状に配してフレームメモリに転送
   し、間引き圧縮により欠落したデータはマスク部分と
   し、これらをアナログ信号に変換して表示装置上に動画
   像を再生することから成る圧縮動画像データ再生処理方
   法。
2. 【請求項２】 前記間引き圧縮と共に減色処理、動き差
   分圧縮、ランレングス圧縮、辞書法のいずれか又はその
   いくつかを含む通常圧縮処理を加えて圧縮された圧縮動
   画像データを、転送時に上記通常圧縮処理と反対の伸長
   処理を加えて転送するようにしたことを特徴とする請求
   項１に記載の圧縮動画像データ再生処理方法。