JP3560946B2 - 動画像情報の圧縮方法およびそのシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報の予測符号が可能なデータを高い圧縮率で且つ高速で圧縮処理できると同時に、画質の向上をも図ることのできる動画像情報の圧縮方法およびそのシステムに関するものである。
【０００２】
【従来の技術】
従来においては、画像信号を一旦別の信号に変換し、次にその変換された信号の統計的な性質を利用して、適当な符号を割り当てて符号化伝送を行なうのが通例である。この場合、１フレーム内の冗長度、例えば規則正しい模様の画像や平坦な画像では、隣接する画素の間の相関が強いので既に符号化された画素の値から次に符号化すべき画素の値をある程度予測でき、予測できなかった成分だけを抽出して符号化することにより大幅な情報圧縮を行なわせる、所謂予測符号化が行なわれている。
【０００３】
また、例えばテレビ電話等の動画像では、相続くフレームの画像が非常に似ており時間的な変化が限られていることが多く、このような時間的な冗長度はフレームにまたがる予測を用いたフレーム間予測符号化により除去できるものとされている。このとき、一般的には１個のシンボルに１個の符号語を割り当てるブロック符号を採用し、１フレームをそれより小さな画素ブロックに分割し、それぞれのブロック内では輝度の差が小さくなる性質を利用して情報圧縮に利用する、所謂ブロック符号化処理を採用している。
【０００４】
さらに、変換信号に効率の良い符号を割り当ててデータ圧縮を実現させる、所謂エントロピー符号化と、効率的な符号作成方法としてハフマン符号化法が知られている。その代表的なものとして算術符号があり、これはシンボル系列の出現確率に応じて確率数直線を区分分割し、分割された区間内の位置を示す２進小数値をその系列に対する符号とするものであり、符号語を算術演算により逐次的に構成していくものである。
【０００５】
加えて、従来においては、画像信号を効率的にコード化する３ステップのブロックコード化システムは、サンプリング、変換および定量化よりなっている。このときの画像信号の平面的な解像度および高周波成分を保持するためには、通常その周波数の最も高い周波数成分の２倍の速度でサンプリングする必要がある。
【０００６】
一方、ＭＰＥＧにおいては、情報量の多い動画像を圧縮するために、できるだけ符号化効率を高くすることが好ましい。このため、従来においては、符号化済みの時間的に過去の画像信号のみを予測信号として用いる前方向予測（Ｐフレームによる処理）と、過去の画像信号に加えて時間的に未来の画像信号をも予測信号として用いる双方向予測（Ｂフレームによる処理）が存在する。また、従来のフレーム間予測符号化は、入力画像信号と予測画像信号との差分信号が伝送され、復元側では伝送されてきた差分信号と、既に復元されている予測画像信号とを加えることで原画像を復元する。このように復元側では、予測画像信号が用意されていなければフレーム間の復元が不可能となる。このため、過去と未来の画像信号を予測信号として使用せずに、フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）をフレーム間の予測画像として採用し、これを一定周期毎にフレーム列に挿入することで、画像の途中からの再生やデータエラーに対応させている。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の画像信号情報圧縮方式では、煩雑なブロック符号化法を使用しているため、画像情報、音声情報等の予測符号が可能なデータを高い圧縮率で且つ高速で圧縮処理を行なうことが困難であった。また、動画像圧縮処理において、差分情報を圧縮する場合、すなわち、Ａ１とＡ２とが近い値と予想され且つＡ２の情報以前にＡ１の値を知り得る場合において、Ａ２−Ａ１を０近傍の生起確率が高いと見なして従来のハフマン符号や算術符号等を使い圧縮する方法がとられているため、Ａ１、Ａ２の取り得る値が０〜ｎとすると、差分Ａ２−Ａ１の取り得る範囲は２ｎ＋１通りとなり、２ｎ＋１通りのハフマン符号語を準備しなければならない。しかし、実際にＡ２の取り得る値はｎ通りであり、ｎ通りの符号は局所的に見ると使用されず、そのためそれだけ冗長な符号となる。さらに、フレーム間の差分が大きくなると画質の劣化が激しくなり、良質な画像が得られない等の問題点を有していた。
【０００８】
この他、ブロックサイズを大きくした場合には、圧縮率は向上するが、原画のディテールが失われ、画質が劣化する。特に、一定色の背景と、大きく輝度が異なる細い線で構成されるような原画の場合、細い線が全く失われてしまうような現象が発生していた。
【０００９】
さらに、ＭＰＥＧにおいて、フレーム列に定期的に挿入されるＩフレームは、フレーム内符号化で処理されるため、フレーム間の差分をとって符号化されるフレーム間符号化に比べて符号化効率が悪く、発生情報量が多くなることから、例えば高速通信回線が使用できない場合には、Ｉフレームの挿入頻度に制限がある。また、Ｉフレームのデータ量は他の差分フレームに比べて２〜１０倍と大きいため、通信において要求される一定ビットレート性に反する方式である。すなわち、従来においては、定期的にＩフレームをフレーム列に挿入しているため、処理時間がかなり長くなり、復元画像の表示が大幅に遅延している。しかも、それ自身のデータ量が大きいため、回復不可能なデータエラーがＩフレームに生じる確率が高くなる。また、そのエラーの結果「基準」であるＩフレームの再生（デコード）が不可能になった場合に、特別の工夫を行なっていなければ次のＩフレームまで再生が中断してしまう。例えば、画像の再生において、何らかの原因でデータエラーが発生した場合、その小さな影響が拡大して多数のフレーム全体に影響を及ぼし、最悪の場合は再生が中断してしまう。さらに、Ｉフレームを一定間隔で挿入する従来の方式においては、任意の時間的位置のフレームから再生を開始させる場合に、先ず直近のＩフレームを何らかの手段によってサーチし、そこから画像を再生し、目的の時間的位置のフレームに達してから再生画面を表示する必要があり、このＩフレームのサーチが非常に手間の掛かるものであった。一方、上述した種々の弊害に対応する特別の工夫を行なえば、デコード処理系の負荷は当然増大する。加えて、再生処理においてもＩフレームの再生は負荷が高く、Ｉフレームの処理能力を満たすための機能が処理系に要求されてしまう。
【００１０】
そこで本発明は、叙上のような従来存した問題点に鑑み創出されたもので、画像情報、音声情報等の予測符号が可能なデータを、高い圧縮率で且つ高速で圧縮処理できると同時に、画質の向上をも図ることのできる動画像情報の圧縮方法およびそのシステムを提供することを第１の目的とする。
【００１１】
また、ブロックサイズを大きくして圧縮率を向上させた場合であっても、原画のディテールが失われず、画質が劣化することのない動画像情報の圧縮方法およびそのシステムを提供することを第２の目的とする。
【００１２】
さらに、再生時でのデータエラーの発生による影響がフレーム全体に及んだり、これによって再生が中断することを防止し、しかも任意の時間的位置のフレームから再生を開始させる場合に、従来の如くまず直近のＩフレームを何らかの手段によってサーチし、そこから画像を再生するというような手間の掛かる処理操作を省いて、任意の時間的位置の再生画面を容易に表示することのできる動画像情報の圧縮方法およびそのシステムを提供することを第３の目的とする。
【００１３】
【課題を解決するための手段】
このため、本発明の第１の態様である動画像情報の圧縮方法においては、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の３つの要素によって定義される単一の平面として近似（置換）させたことで、上述した課題を解決した。
【００１４】
一方、本発明の第１の態様である動画像情報の圧縮システムにおいては、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存するビット・マップ情報記録手段と、該ビット・マップ情報記録手段によって保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する情報圧縮手段とを含む動画像情報の圧縮システムであって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の３つの要素によって定義される単一の平面として近似（置換）させるブロック近似手段を有することで、同じく上述した課題を解決した。
【００１５】
本発明の第２の態様である動画像情報の圧縮方法においては、フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返すことで、同じく上述した課題を解決した。
【００１６】
一方、本発明の第２の態様である動画像情報の圧縮システムにおいては、ブロック近似手段において、フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックを適用する操作を、指定された最小ブロック単位まで繰り返すことで、同じく上述した課題を解決した。
【００１７】
本発明の第３の態様である動画像情報の圧縮方法においては、フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しないことで、同じく上述した課題を解決した。
【００１８】
一方、本発明の第３の態様である動画像情報の圧縮システムにおいては、フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させるＩブロック挿入手段を有し、このＩブロック挿入手段は、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されるフレーム内のブロック位置には、Ｉブロックを挿入しないことで、同じく上述した課題を解決した。
【００１９】
本発明の第１の態様である動画像情報の圧縮方法およびそのシステムの基本構造は、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義された単一の平面として近似（置換）させて、フレーム内圧縮処理を効率良く行なうものである。
【００２０】
また、本発明の第２の態様である動画像情報の圧縮方法およびそのシステムの基本構造は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返すことで、ブロックサイズを大きくして圧縮率を向上させた場合であっても、原画のディテールが失われず、画質が劣化することを防止するものである。
【００２１】
さらに、本発明の第３の態様である動画像情報の圧縮方法およびそのシステムの基本構造は、予めＩフレームを空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分がパラメー タよりも大きい状態が発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しないので、画像の再生に際し、１画面が完全に完成する予め定められたフレーム数の前から再生を開始し、目的の時間的位置のフレームに達してから再生画面を表示すれば良く、手間の掛かるＩフレームのサーチ処理を行なわなくても、任意の時間的位置の再生画面を容易に表示できるものである。
【００２２】
加えて、動画配信に際し、配信サーバ並びにデータ通信経路において、配信データ量が時間的に均一化するため、従来の技術を用いたコンテンツを配信する場合よりも高い配信性能が得られる。また、受信・再生側においては、単位時間当たりの受信量変動が小さくなるため、バッファリングに必要なメモリ量を削減でき、再生負荷も一定化することから、能力の低いシステムであっても安定した再生が可能となる。加えて、データエラーの再生に対する影響が小さいので、データエラーを無視して再生を続行することが可能となり、これによって配信側のシステムにおけるデータの再送を不要とし、且つ配信側の負荷を低減できる。さらに、マルチキャスト配信等による動画像放送が容易に実現できるものである。
【００２３】
【発明の実施の形態】
まず、本発明の第１の態様である動画像情報の圧縮方法について説明する。
【００２４】
すなわち、本発明は、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータＰよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータＰよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の３つの要素によって定義される単一の平面として近似（置換）させるものである。
【００２５】
さらに、ビット・マップへ保存されたパラメータＰよりも大きくない部分の情報は、変化の無い画素として処理（削除）するものである。
【００２６】
また、画素の３つの要素によって定義される単一の平面を構成するための近似方法として、平均又は最小二乗法を用いるものである。
【００２７】
加えて、フレーム内圧縮処理において、平面は、ブロック内の画素のピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義されるものである。
【００２８】
また、ビット・マップに保存された情報は、ランレングス、修正ＲＥＡＤ（ＭＲ、ＭＭＲ）、修正ハフマン（ＭＨ）及びＪＢＩＧ方式からなる群から選択される少なくとも１つの２値画像符号化方法によって情報圧縮されるものである。
【００２９】
この他、パラメータＰよりも大きい部分の情報は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理によって情報圧縮されるものである。
【００３０】
また、エントロピー符号化によって、フレーム間について冗長な情報をさらに削減するものである。
【００３１】
このエントロピー符号化は、予測情報数のハフマンテーブルを有し、その中から予測情報に基づいて選択された１つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルを有し、その中から予測情報に基づいて選択された１つのテーブルを使用して符号化する適応算術符号化処理によって行なわれるものである。
【００３２】
そして、ピクセル要素の差分情報を用いるものである。
【００３３】
また、差分情報は、フレーム間における画素ｔと画素ｔ−１とを比較して出力された差分である。
【００３４】
さらに、フレーム間におけるｎ×ｍ画素（ｎ、ｍは２以上の整数）を１ブロックとして取り扱ったそれぞれの画素同士を比較して出力された差分情報を用いるものである。
【００３５】
また、フレーム内におけるｎ×ｍ画素（ｎ、ｍは２以上の整数）を１ブロックとして取り扱い、前記フレーム間における画素ｔと画素ｔ−１とを比較して出力された差分の情報を用いるものである。
【００３６】
加えて、フレーム間におけるｎ×ｍ画素において、ｎは２のＫ乗（Ｋは自然数）、ｍは２のＫ’乗（Ｋ’は自然数）である。
【００３７】
また、フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なうものである。
【００３８】
この他、フレーム内圧縮処理は、分割ブロックサイズを変化させながら、各ブロックの画素同士を互いに比較してピクセル要素の差分情報を出力させ、この差分情報がパラメータよりも大きいときは、そのピクセル要素を含む部分に、より小さいブロックサイズを適用するものである。
【００３９】
また、ピクセル要素の差分情報がパラメータよりも大きいとき、より小さいブロックサイズの適用を繰り返すものである。
【００４０】
さらに、フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを 適用する操作を、指定された最小ブロック単位まで繰り返すものである。
【００４１】
また、フレーム内圧縮処理をした結果、ブロックサイズに変化が無い場合は、フレーム間圧縮処理を行なうものである。
【００４２】
加えて、ブロックサイズが大きくなる方向に変化する場合は、該ブロックのデータを差分をとらずにそのまま出力するものである。
【００４３】
また、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮するものである。
【００４４】
次に、本発明の第１の態様である動画像情報の圧縮システムについて説明する。
【００４５】
すなわち、本発明は、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータＰよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存するビット・マップ情報記録手段４と、該ビット・マップ情報記録手段４によって保存されたパラメータＰよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する情報圧縮手段５とを含む動画像情報の圧縮システムであって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の３つの要素によって定義される単一の平面として近似（置換）させるブロック近似手段を有するものである。
【００４６】
また、情報圧縮手段５は、ビット・マップ情報記録手段４で保存されたパラメータＰよりも大きくない部分の情報を変化の無い画素として処理（削除）するものである。
【００４７】
さらに、ブロック近似手段において、画素の３つの要素によって定義される単一の平面を構成するための近似処理として、平均又は最小二乗法を用いるものである。
【００４８】
また、ブロック近似手段において、平面は、ブロック内の画素のピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義されるものである。
【００４９】
加えて、ビット・マップ情報記録手段４により保存される情報は、ランレングス、修正ＲＥＡＤ（ＭＲ、ＭＭＲ）、修正ハフマン（ＭＨ）及びＪＢＩＧ方式からなる群から選択される少なくとも１つの２値画像符号化処理によって情報圧縮されるものである。
【００５０】
また、パラメータＰよりも大きい部分の情報の圧縮処理を行なう情報圧縮手段５は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理を行なうものである。
【００５１】
この他、フレーム間の冗長な情報を削減するエントロピー符号化手段６を備え、このエントロピー符号化手段６は、予測情報数のハフマンテーブルの中から予測情報に基づいて選択された１つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルの中から予測情報に基づいて選択された１つのテーブルを使用して符号化する適応算術符号化処理を行なうものである。
【００５２】
また、ビット・マップ情報記録手段４において保存される差分情報は、フレーム内におけるｎ×ｍ画素（ｎ、ｍは２以上の整数）を１ブロックとして取り扱い、前記フレーム間における画素ｔと画素ｔ−１とを比較して出力された差分である。
【００５３】
以下に、本発明の第１の態様である動画像情報の圧縮方法およびそのシステムについての一実施の形態を説明する。
【００５４】
図１は、動画像情報の圧縮経路の概略を示すブロック図である。例えば、ビデオカメラ、ディスクプレーヤあるいはビデオカセットプレーヤーのようなＮＴＳＣ方式の装置から出力されたコンポジットのアナログ信号がアナログ・デジタル変換機１でデジタル信号に変換され、ビデオフレームの１本のラインを表わすものとしてデジタル出力され、バッファ２に蓄積される。尚、映像信号として、ＮＴＳＣ方式の装置から出力されたアナログ信号がアナログ・デジタル変換機１でデジタル信号に変換され、デジタル出力されてバッファ２に蓄積される旨が記載されているが、本発明はこれに何等限定されるものではない。すなわち、本発明は、所定の装置から出力される一般的な映像信号を含む全ての映像信号を、効率良く圧縮するものである。
【００５５】
また、図１に示すように、エンコーダ圧縮器３は、フレーム間における画素ｔと、画素ｔ−１とを順次比較し、その差分が与えられた閾値であるパラメータＰよりも大きい部分であるか又はそれ以外の部分であるかの情報を１ビットのビット・マップへ保存するためのビット・マップ情報記録手段４を備えている。この画素ｔと、画素ｔ−１との比較は、ピクセル要素（輝度又は色素等）によって行なう。ここで、ｔは時間を意味しており、現在ｔのフレームの画素（画素ｔ）と、これに（フレーム内の位置において）対応する時間的に直前のｔ−１のフレームの画素（画素ｔ−１）とを比較するものである。しかも、ビット・マップ情報記録手段４により保存された両画素ｔ，ｔ−１の差分がパラメータＰよりも大きい部分の情報は圧縮処理を行ない、それ以外の部分の情報はフレーム間で変化の無い画素として処理（削除）する。パラメータＰよりも大きい部分の情報は、例えば予測情報数のハフマンテーブルを有する適応ハフマン符号化処理による情報圧縮手段５によって圧縮処理される。そして、エンコーダ圧縮器３は、空間的、時間的に隣接した画素を比較し、差分情報を出力させることでフレーム間について冗長な情報を削減するための、例えば予測情報数の算術テーブルから予測情報をもとに選択される一つの算術テーブルを用いて符号化する適応算術符号化処理を行なうエントロピー符号化手段６を備えている。尚、画素ｔと画素ｔ−１との差分は、これが与えられたパラメータＰよりも大きくない差分であるときは、絶対値としてとらえることができる。また、パラメータＰよりも大きいかそうでないかに拘わらず、この差分を絶対値としてとらえることもできる。
【００５６】
そして、図２に示すように、符号化（エンコーディング）の後、フレーム毎のブロックデータはビット・マップ情報記録手段４のメモリ１０に送られ、ここで１フレーム時間遅延されて直前のフレームとして存在し、次いで、時間変数インパルス応答フィルタであるテンポラルフィルタ１１でフィルタされる。フィルタの後、現在のフレームデータ１３と直前のフレームデータ１４とは、圧縮器によりフレーム間の冗長性について調べられその差が計算される。すなわち、比較手段１２により符号化された各ブロックは、直前のフレームの対応するブロックと比較される。各ブロックはそれが変化のあるブロックであるか、それとも直前のブロックに対して変化の無いブロックであるかを定義する単一ビットのマークを付される。この過程によりブロック当たり１ビットのフレーム・ビットマップが作られる。このとき、フレーム毎のビット・マップは、フレーム間の比較により区別される。
【００５７】
本実施の形態においては、図５に示すように、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさｚ、ブロックのｘ方向の傾き、ブロックのｙ方向の傾きの３つのデータで定義された単一の平面で近似（置換）させている。すなわち、フレーム内圧縮において、画像をまずブロック分割して、これらの分割ブロックを近似するための単一の平面に置き換える。この平面は、各ブロックのピクセル要素、例えばｚ：輝度の大きさ（輝度値）、ｘ：輝度のｘ方向の傾き、ｙ：輝度のｙ方向の傾きの３つの要素で定義することもできる。また、ブロックのピクセル要素の大きさｚ、ブロックのピクセル要素のｘ方向の傾き、ブロックのピクセル要素のｙ方向の傾きでも定義できる。さらに、ブロック内の画素のピクセル要素の大きさｚ、ブロック間のピクセル要素のｘ方向の傾き、ブロック間のピクセル要素のｙ方向の傾きでも定義できる。近似方法としては、例えば平均又は最小二乗法等を適用する。このように削減（圧縮）されたデータは、平面を規定するもので、伸張するとグラデーションを示す平面となる。このとき、ブロックを構成する画素数がｓとすれば、フレーム内の圧縮率は３／ｓとなり、ｓの増大に伴い圧縮率は向上するが、画質は低下する。尚、ブロックのサイズと形状はｎ×ｍ画素でｎ、ｍは２以上の整数であれば任意である。また、フレーム間におけるｎ×ｍ画素において、ｎは２のＫ乗（Ｋは自然数）、ｍは２のＫ’乗（Ｋ’は自然数）としても良い。
【００５８】
次に、本実施の形態におけるフレーム間圧縮の基本原理について説明する。
【００５９】
すなわち、フレーム間圧縮の第１の方法としては、現フレームｔの次のフレーム（ｔ＋１）の同一位置のブロックに対し上記フレーム内圧縮を行ない、ｚ：ピクセル要素の輝度値、ｘ：ブロックのｘ方向の輝度の傾き、ｙ：ブロックのｙ方向の輝度の傾きの３つの要素において、ｚ（ｔ＋１）、ｘ（ｔ＋１）、ｙ（ｔ＋１）を得る。そして、ｚ（ｔ）、ｘ（ｔ）、ｙ（ｔ）と、ｚ（ｔ＋１）、ｘ（ｔ＋１）、ｙ（ｔ＋１）との二乗平均誤差を算出し、閾値ｋと比較する。その結果、閾値ｋを越える場合は、差分ありと判定する。あるいは、ｚ（ｔ）、ｘ（ｔ）、ｙ（ｔ）と、ｚ（ｔ＋１）、ｘ（ｔ＋１）、ｙ（ｔ＋１）に対し、それぞれの閾値ｋｚ、ｋｘ、ｋｙと比較し、差分が閾値ｋを越えている場合は、差分ありと判定する。差分ありと判定された場合には、フレーム内のブロックの位置を示すビット・マップにそれをマーキングする。このビット・マップは、前者の場合は１つ、後者の場合は３つ得られる。このビット・マップは０と１の羅列（バイナリデータ）であり、ランレングス圧縮等を使用して圧縮される。また、差分データΔｚ（ｔ）＝ｚ（ｔ＋１）−ｚ（ｔ）、Δｘ（ｔ）＝ｘ（ｔ＋１）−ｘ（ｔ）、Δｙ（ｔ）＝ｙ（ｔ＋１）−ｙ（ｔ）は、エントロピー圧縮される。尚、第１の方法は、伸張を行なわないため、演算は軽いが、演算誤差が蓄積する場合がある。
【００６０】
フレーム間圧縮の第２の方法としては、上記フレーム内圧縮の基本原理で圧縮したデータを伸張し、ブロックを構成するそれぞれのピクセル要素のデータを復元する。そして、次のフレーム（ｔ＋１）の同一位置のブロックを構成するブロック内の同一位置のピクセル要素のデータと、上記の復元されたピクセル要素のデータの二乗平均誤差を算出し、閾値ｋと比較する。その結果、閾値ｋを越える場合は、差分ありと判定する。差分ありと判定された場合には、フレーム内のブロックの位置を示すビット・マップにそれをマーキングする。このビット・マップは０と１の羅列（バイナリデータ）であり、ランレングス圧縮等を使用して圧縮される。また、差分データΔｚ（ｔ）＝ｚ（ｔ＋１）−ｚ（ｔ）、Δｘ（ｔ）＝ｘ（ｔ＋１）−ｘ（ｔ）、Δｙ（ｔ）＝ｙ（ｔ＋１）−ｙ（ｔ）は、エントロピー圧縮される。尚、第２の方法は、伸張を行なうため、演算は重いが、演算誤差は蓄積しない。
【００６１】
フレーム間圧縮の第３の方法としては、現フレーム（ｔ）と次のフレーム（ｔ＋１）の同一位置のブロックを構成するブロック内の同一位置のピクセル要素のデータの二乗平均誤差を算出し、閾値ｋと比較する。その結果、閾値ｋを越える場合は、差分ありと判定する。差分ありと判定された場合には、次のフレーム（ｔ＋１）の同一位置のブロックを構成するブロック内の同一位置のピクセル要素のデータとの差分ΔＰを求め、これに対して前記フレーム内圧縮を行なう。そして、フレーム内のブロックの位置を示すビット・マップにそれをマーキングする。このビット・マップは０と１の羅列（バイナリデータ）であり、ランレングス圧縮等を使用して圧縮される。また、差分データΔＰは、エントロピー圧縮される。尚、第３の方法は、差分判定を行なってから圧縮が行なわれるため、最も演算量が少なく、演算誤差も蓄積されない。
【００６２】
また、前記ビット・マップ情報記録手段４により保存された１ビットのビット・マップ情報は、２値画像符号化として、ランレングス、修正ＲＥＡＤ（ＭＲ、ＭＭＲ）、修正ハフマン（ＭＨ）、ＪＢＩＧ等の方式をもって情報圧縮される。具体的には、ランレングス符号化の場合には、一般にファクシミリ等で取り扱う２値の文書画像は白画素あるいは黒画素がある程度固まって出現する場合が多く、１次元方向に白あるいは黒の連続する画素の塊である、所謂ランを符号化の単位とし、その連続した画素数の長さをラン長として符号化するものである。例えば、公衆電話網利用のデジタルファクシミリでは、ランレングスモデルに対して白黒別々に構成した修正ハフマン符号を用いるのが通例である。
【００６３】
さらに、修正ハフマン符号化（ＭＨ）の場合には、これは例えば画像密度８画素／ｍｍで読み取り、１走査線当たり１７２８画素の白黒画素情報を得るファクシミリ伝送用１次元符号化方式として採用されており、ＭＨ符号とはこの連続した白画素の塊（白ラン）又は黒画素の塊（黒ラン）の長さであるランレングスを表現したもので、ある長さの白ラン、黒ランの発生確率には統計的偏りがあることを利用して可変長符号を割り付けることをデータ量圧縮の原理としている。
【００６４】
また、修正ＲＥＡＤ（ＭＲ、ＭＭＲ）の場合には、これは例えば１次元符号化方式に加えて２次元符号化方式の標準として採用されるもので、ＭＲの場合には、１次元符号化した後に、標準解像度で最大１本、高解像度で最大３本までの連続する走査線を２次元符号化するものであり、ＭＭＲの場合では、ＭＲ符号化方式を標準解像度、高解像度共に無限大に設定したものである。
【００６５】
本発明に係る動画像情報の圧縮方法およびそのシステムの基本構造は、空間的、時間的に隣接した画素（ピクセル）を比較し、差分情報を出力させることでフレーム間について冗長な情報を削減することにある。すなわち、図２に示すように、フレーム間における画素ｔと、画素ｔ−１とを順次比較し、その差分が与えられた閾値であるパラメータＰよりも大きい部分であるか又はそれ以外の部分であるかの情報を１ビットのビット・マップ情報として記録させる。そして、エントロピー符号化手段６は、フレーム内、フレーム間の夫々について出現する符号を予測し、予測からの僅かなズレを出力することで冗長な情報を削減する。このとき、符号化割り当てを行なって符号化伝送するときは、１画素当たりの平均符号長は平均情報量（エントロピー）以下にならないことは周知である。
【００６６】
以下に、適応ハフマン符号化法のアルゴリズムについて説明する。適応ハフマン符号化は、差分情報生成とハフマン符号化という一連予測符号化処理を一括して行なうことで、符号語生成の効率化を図るものである。従来のハフマン符号化処理では、通常１つのハフマンテーブルを用いて符号語を生成し、動的ハフマン符号化処理では、１語符号化するたびにハフマンテーブルを更新したりする。これに対し、適応ハフマン符号化では、予測情報数のハフマンテーブル（符号表）を有し、複数のテーブルから予測情報をもとにテーブルセレクタにより１つのテーブルを選択し、これを用いて符号化を行なう。これにより、画像情報、音声情報等の予測符号が可能なデータを効率的に圧縮できるのである。
【００６７】
次に、適応算術符号化法のアルゴリズムについて説明する。適応算術符号化は、差分情報生成と算術符号化という一連予測符号化処理を一括で処理することによって、符号語生成の効率化を図るものである。従来の算術符号化処理では、通常１つの生起確率テーブルを用いて符号語を生成し、動的算術符号では、１語符号化するたびに生起確率テーブルを更新したりする。これに対し、適応算術符号化では、予測情報数の算術テーブル（符号表）を有し、複数のテーブルから予測情報をもとにテーブルセレクタにより１つのテーブルを選択し、これを用いて符号化する。これにより、画像情報の予測符号が可能なデータを効率的に圧縮できるのである。
【００６８】
具体的な予測符号化回路の構成は、図３に示すように、アナログ・デジタル変換された画像入力データは途中で遅延され、前のデータ（最適な遅延をかけられたデータ）の値がテーブルセレクタに送られて符号化されると同時に、画像入力データを直接に符号化器に伝送させたものと比較されて差分がとられる。テーブルセレクタでは画像入力データに応じて、予測情報を基に符号表が選択されて符号化器へ送られ、そこで画像入力データを情報圧縮させることにより、調整された符号語とする。
【００６９】
そして、具体的な予測復号化回路の構成は、図４に示すように、符号語は復号器へ伝送されると同時に、直接に送られた符号語を一旦テーブルセレクタに送り、そこで予測情報をもとに復号表が選択されて前記復号器へ送られ、すでに復号化された画素の値との差分をとることにより、調整された画像出力データとなる。
【００７０】
さらに、本発明の第２の態様である動画像情報の圧縮方法について説明する。
【００７１】
すなわち、本発明は、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータＰよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータＰよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なうものである。
【００７２】
また、フレーム内圧縮処理は、分割ブロックサイズを変化させながら、各ブロックの画素同士を互いに比較してピクセル要素の差分情報を出力させ、この差分情報がパラメータＰよりも大きいときは、そのピクセル要素を含む部分に、より小さいブロックサイズを適用するものである。
【００７３】
さらに、ピクセル要素の差分情報がパラメータＰよりも大きいとき、より小さいブロックサイズの適用を繰り返すものである。
【００７４】
また、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の３つの要素によって定義される単一の平面として近似（置換）させ、該平面をパラメータＰとして用いるものである。
【００７５】
加えて、フレーム内圧縮処理において、平面は、ブロック内の画素のピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義されるものである。
【００７６】
また、フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータＰよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返すものである。
【００７７】
この他、フレーム内圧縮処理をした結果、ブロックサイズに変化が無い場合は、フレーム間圧縮処理を行なうものである。
【００７８】
また、ブロックサイズが大きくなる方向に変化する場合は、該ブロックのデータを差分をとらずにそのまま出力するものである。
【００７９】
さらに、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮するものである。
【００８０】
次に、本発明の第２の態様である動画像情報の圧縮システムについて説明する。
【００８１】
すなわち、本発明は、ブロック近似手段において、フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータＰよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックを適用する操作を、指定された最小ブロック単位まで繰り返すものである。
【００８２】
また、ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズに変化がない場合は、フレーム間圧縮処理を行なうものである。
【００８３】
さらに、ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが大きくなる方向に変化する場合は、当該ブロックのデータを差分をとらずにそのまま出力するものである。
【００８４】
また、ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮するものである。
【００８５】
以下に、本発明の第２の態様である動画像情報の圧縮方法およびそのシステムについて、図６、図７に基づいて説明する。
【００８６】
前述したようにブロックサイズを大きくした場合には、圧縮率は向上するが、原画のディテールが失われ、画質が劣化する。特に一定色の背景と、大きく輝度が異なる細い線で構成されるような原画の場合、細い線が全く失われてしまうような現象が発生する。これを解決するために、以下のような方法を用いる。尚、説明を簡便にするため、１６×１６画素の白黒画像を前提（一例）として説明する。
【００８７】
すなわち、図６に示すように、画像全体を前記したフレーム内圧縮に従い、１６×１６画素のブロックで圧縮（伸張）する。原画像と圧縮後に伸張した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、閾値ｄ１と比較する。比較した結果、閾値ｄ１を超える差分があるピクセル要素が存在した場合には、そのピクセル要素を含む部分を８×８画素のブロックで圧縮（伸張）する（図６の大円部分）。このとき、周囲も８×８画素で圧縮する。次に、原画像と圧縮後に伸張した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、閾値ｄ２と比較する。比較した結果、閾値ｄ２を超える差分があるピクセル要素が存在した場合には、そのピクセル要素を含む部分を４×４画素のブロックで圧縮（伸張）する（図６の中円部分）。このとき、周囲も４×４画素で圧縮する。さらに、原画像と圧縮後に伸張した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、閾値ｄ３と比較する。比較した結果、閾値ｄ３を超える差分があるピクセル要素が存在した場合には、そのピクセル要素を含む部分を２×２画素のブロックで圧縮（伸張）する（図６の小円部分）。このとき、周囲も２×２画素で圧縮する。このような方法により、高圧縮率を維持しつつ、原画像のディテールを失わずに圧縮が可能となる。
【００８８】
次に、上記フレーム内圧縮処理をした結果、フレーム（ｔ）においては図７（イ）、フレーム（ｔ＋１）においては図７（ロ）の圧縮画像が得られたとした場合の、フレーム間圧縮処理の方法について説明する。すなわち、ブロックサイズに変化がない１→１’、２→２’に関しては、前記フレーム間圧縮処理において説明したいずれかの方法で差分をとり、フレーム間圧縮を行なう。解像度が粗くなる方向に変化する４→４’については、４’は前のフレームに依存せず単独で伸張可能なキーブロック（キーフレーム）扱いにする。このとき差分はとらない。すなわち、該ブロック４’のデータを差分をとらずにそのまま出力するのである。解像度が密になる方向に変化する３→３’に関しては、３の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮する。
【００８９】
次に、本発明の第３の態様である動画像情報の圧縮方法について説明する。
【００９０】
すなわち、本発明は、フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させるものである。
【００９１】
また、空間的にブロック分割したそれぞれのＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しないものである。
【００９２】
さらに、予めフレーム内の画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義される単一の平面で近似（置換）させると共に、フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、Ｉフレームをフレーム列に挿入することが可能な動画像情報の圧縮方法であって、
Ｉフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しないものである。
【００９３】
また、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータＰよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータＰよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しないものである。
【００９４】
さらに、本発明の第３の態様である動画像情報の圧縮システムについて説明する。
【００９５】
すなわち、本発明は、フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させるＩブロック挿入手段７を有するものである。
【００９６】
また、Ｉブロック挿入手段７は、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されるフレーム内のブロック位置には、Ｉブロックを挿入しないものである。
【００９７】
加えて、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義された単一の平面で近似（置換）させるブロック近似手段を有する動画像情報の圧縮システムであって、
フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を空間的に分割するＩブロック化手段８と、この分割したＩブロックを各フレーム間の時間軸方向に分散させるに際し、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されたフレーム内のブロック位置以外の箇所にＩブロックを挿入するＩブロック挿入手段７とを備えているものである。
【００９８】
以下に、本発明の第３の態様である動画像情報の圧縮方法およびそのシステムについて、図８、図９に基づいて説明する。
【００９９】
すなわち、途中からの画像再生（デコード）や、再生中に発生したデータエラーに対応するためのエンコード方式である。尚、本方式では、３つ以上のフレーム全体を圧縮対象とする動き予測・補償技術を用いない圧縮アルゴリズムを前提条件とする。まず、フレーム内予測により符号化されたフレームすなわちＩフレームを、空間的に単数もしくは複数のブロックに分割し、これらの分割されたＩブロックを時間軸方向に分散させる（Ｉブロック化）。尚、このようなＩブロック化におけるブロックサイズや分割形状等は任意に変更でき、しかもランダムに選択しても良い。
【０１００】
具体的には、図８に示すように、８×８画素のＩフレームを、２×２画素のブロックに空間的に分割して１６個のＩブロックとし、これらをフレーム列に一定周期毎に挿入させるのであるが、これでは、フレーム間の差分出力が発生した部分（情報量の多い動きのある部分）とＩブロック（このブロック自体の発生情報量が他の差分フレームよりも多い）が重なる場合に無駄なＩブロックを挿入することとなって情報量が極端に増えるため、回復不可能なデータエラーが、挿入されたＩフレームの位置に生じてしまう。これを回避するために、エンコード側の処理速度に問題が無い場合には、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新（差分出力）されたブロックに対しては、Ｉブロックを挿入しないのである。
【０１０１】
具体的なエンコード方式について、図９に基づいて説明する。尚、ここでは１つの例として、８×８画素のＩフレームを、Ｉブロック化手段８により１×２画素のブロックに空間的に分割して、３２個のＩブロックを形成している。一方、画像のフレームは１６×１６画素を最大ブロックとし、このブロックが８×８画素で構成される動画像を１つの例としている。また、図９では、便宜上、第ｎ＋１１から第ｎ＋３２までを省略している。
【０１０２】
まず、図中の黒色部分で示されるＩブロックは、横方向に１×２画素のブロック単位で挿入される。画像右上から最大２×２画素のブロックを更新（差分出力）する必要がある物体（濃灰色部分：物体が背景を進む差分出力ブロック）が、左下に移動して行く。そして、第ｎ＋３フレームまでは、通常のＩブロック挿入処理が行なわれる。これに対し、第ｎ＋３フレームの右上に出現した物体により当該ブロックは更新（差分出力）され、その結果、第ｎ＋４フレームに挿入予定であったＩブロックは挿入されない（斜線部分）。尚、図中の薄灰色部分は物体が移動したため、もとの背景に戻る差分出力ブロックである。前記Ｉブロックが挿入されない処理は、この例の場合では第ｎ＋７フレーム、第ｎ＋８フレームに出現する。すなわち、第ｎ＋５フレームでの物体の移動による、もとの背景に戻る差分出力ブロック（薄灰色部分）が、更新される部分として第ｎ＋７フレームに１ブロック存在すれば、１×２画素のブロック単位のＩブロックのうち、右側の１つのブロックだけがその位置に挿入されない。また、第ｎ＋４フレームと第ｎ＋５フレームでの物体の移動による、もとの背景に戻る差分出力ブロック（薄灰色部分）が、更新される部分として第ｎ＋８フレームに横方向に１×２画素のブロックとなって存在すれば、１×２画素のブロック単位のＩブロックがその位置に挿入されない。この場合、Ｉブロックが挿入されない時間基準（近い過去）は、全てのブロックの位置にＩブロックが挿入されるのに必要なフレーム数（８×８÷２＝３２フレーム）である。つまり、３２フレーム以内に物体の動き等によって更新（差分出力）された位置のブロックには、Ｉブロックが挿入されないのである。一方、任意の時間的位置のフレームから再生を開始させるには、１画面が完全に完成する予め定められたフレーム数前からデコードを開始し、目的の時間的位置のフレームに達してから再生画面を表示すれば良い。
【０１０３】
【発明の効果】
本発明の第１の態様による動画像情報の圧縮方法およびそのシステムによれば、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義された単一の平面として近似（置換）させて、フレーム内圧縮処理を効率良く行なうものである。また、画像情報の予測符号が可能なデータを高い圧縮率で且つ高速で圧縮処理をすることができ、画質・音質の劣化の低減を図っている。特に、従来においては、フレーム間の差分を大きくとると、画質が激しく劣化していたが、本発明の第１の態様によれば、画質の劣化を低減できるのである。すなわち、本発明の第１の態様によれば、ブロック内閾値に対して画質が急激に悪化せず、画質にリニアな変化を与えることができる。これにより、画質を悪化させずに通信ビットレートを容易に調整することができ、しかも、圧縮率も見た目では同様な画質を得ながら、約−２０％〜５０％程度の改善が可能となった。また、適応ハフマン圧縮処理や適応算術圧縮処理は、従来の差分情報生成とハフマン符号化又は差分情報生成と算術符号化という一連予測符号化処理を一括で処理し、符号語の効率化を図ることができ、画像情報の予測符号が可能なデータを効率的に圧縮できる。この他、本発明の第１の態様により削減（圧縮）されたデータは、平面を規定するもので、伸張するとグラデーションを示す平面となる。
【０１０４】
本発明の第２の態様による動画像情報の圧縮方法およびそのシステムによれば、ブロックサイズを大きくして圧縮率を向上させた場合であっても、原画のディテールが失われず、画質の劣化の低減を図ることができる。特に一定色の背景と、大きく輝度が異なる細い線で構成されるような原画の場合であっても、細い線が全く失われてしまうような事態を確実に防止できるのである。
【０１０５】
本発明の第３の態様による動画像情報の圧縮方法およびそのシステムによれば、予めＩフレームを空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しないので、画像の再生に際し、１画面が完全に完成する予め定められたフレーム数の前から再生を開始し、目的の時間的位置のフレームに達してから再生画面を表示すれば良く、手間の掛かるＩフレームのサーチ処理を行なわなくても、任意の時間的位置の再生画面を容易に表示できる。加えて、動画配信に際し、配信サーバ並びにデータ通信経路において、配信データ量が時間的に均一化するため、従来の技術を用いたコンテンツを配信する場合よりも高い配信性能が得られる。また、受信・再生側においては、単位時間当たりの受信量変動が小さくなるため、バッファリングに必要なメモリ量を削減でき、再生負荷も一定化することから、能力の低いシステムであっても安定した再生が可能となる。加えて、データエラーの再生に対する影響が小さいので、データエラーを無視して再生を続行することが可能となり、これによって配信側のシステムにおけるデータの再送を不要とし、且つ配信側の負荷を低減できる。さらに、マルチキャスト配信等による動画像放送が容易に実現できるものである。
【図面の簡単な説明】
【図１】動画像情報の圧縮経路の概略を示したブロック図である。
【図２】ビットマップ情報記録手段に記録されている情報の比較経路の概略を示したブロック図である。
【図３】符号化経路の概略を示した説明図である。
【図４】復号化経路の概略を示した説明図である。
【図５】分割した画像ブロックを近似させるための、ブロックのピクセル要素の輝度値ｚ、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義された平面を示す説明図である。
【図６】パラメータよりも大きい差分が生じるピクセル要素が存在したとき、その部分及び周囲の部分に、より小さいブロックサイズを適用する操作を説明した画像の平面図である。
【図７】フレーム間圧縮を説明するための画像を示しており、（イ）はフレーム（ｔ）の平面図、（ロ）はフレーム（ｔ＋１）の平面図である。
【図８】Ｉフレームを構成する複数のＩブロックを示した平面図である。
【図９】フレーム間におけるＩブロックの挿入状態を示した説明図である。
【符号の説明】
１…アナログ・デジタル変換機 ２…バッファ
３…エンコーダ圧縮器 ４…ビット・マップ情報記録手段
５…情報圧縮手段 ６…エントロピー符号化手段
７…Ｉブロック挿入手段 ８…Ｉブロック化手段
１０…メモリ １１…テンポラルフィルタ
１２…比較手段 １３…現在のフレームデータ
１４…直前のフレームデータ

Claims (34)

1. 空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
   フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素のピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義される単一の平面として近似（置換）させたことを特徴とする動画像情報の圧縮方法。
2. ビット・マップへ保存されたパラメータよりも大きくない部分の情報は、変化の無い画素として処理（削除）する請求項１記載の動画像情報の圧縮方法。
3. 画素の３つの要素によって定義される単一の平面を構成するための近似方法として、平均又は最小二乗法を用いる請求項１又は２記載の動画像情報の圧縮方法。
4. ビット・マップに保存された情報は、ランレングス、修正ＲＥＡＤ（ＭＲ、ＭＭＲ）、修正ハフマン（ＭＨ）及びＪＢＩＧ方式からなる群から選択される少なくとも１つの２値画像符号化方法によって情報圧縮される請求項１乃至３のいずれか記載の動画像情報の圧縮方法。
5. パラメータよりも大きい部分の情報は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理によって情報圧縮される請求項１乃至４のいずれか記載の動画像情報の圧縮方法。
6. エントロピー符号化によって、フレーム間について冗長な情報をさらに削減する請求項１乃至５のいずれか記載の動画像情報の圧縮方法。
7. エントロピー符号化は、予測情報数のハフマンテーブルを有し、その中から予測情報に基づいて選択された１つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルを有し、その中から予測情報に基づいて選択された１つのテーブルを使用して符号化する適応算術符号化処理によって行なわれる請求項６記載の動画像情報の圧縮方法。
8. ピクセル要素の差分情報を用いる請求項１乃至７のいずれか記載の動画像情報の圧縮方法。
9. 差分情報は、フレーム間における画素ｔと画素ｔ−１とを比較して出力された差分である請求項１乃至８のいずれか記載の動画像情報の圧縮方法。
10. フレーム間におけるｎ×ｍ画素（ｎ、ｍは２以上の整数）を１ブロックとして取り扱ったそれぞれの画素同士を比較して出力された差分情報を用いる請求項１乃至９のいずれか記載の動画像情報の圧縮方法。
11. フレーム内におけるｎ×ｍ画素（ｎ、ｍは２以上の整数）を１ブロックとして取り扱い、前記フレーム間における画素ｔと画素ｔ−１とを比較して出力された差分の情報を用いる請求項１乃至１０のいずれか記載の動画像情報の圧縮方法。
12. フレーム間におけるｎ×ｍ画素において、ｎは２のＫ乗（Ｋは自然数）、ｍは２のＫ’乗（Ｋ’は自然数）である請求項１乃至１１のいずれか記載の動画像情報の圧縮方法。
13. フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なう請求項１乃至１２のいずれか記載の動画像情報の圧縮方法。
14. フレーム内圧縮処理は、分割ブロックサイズを変化させながら、各ブロックの画素同士を互いに比較してピクセル要素の差分情報を出力させ、この差分情報がパラメータよりも大きいときは、そのピクセル要素を含む部分に、より小さいブロックサイズを適用する請求項１３記載の動画像情報の圧縮方法。
15. ピクセル要素の差分情報がパラメータよりも大きいとき、より小さいブロックサイズの適用を繰り返す請求項１３又は１４記載の動画像情報の圧縮方法。
16. フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返す請求項１３乃至１５のいずれか記載の動画像情報の圧縮方法。
17. フレーム内圧縮処理をした結果、ブロックサイズに変化が無い場合は、フレーム間圧縮処理を行なう請求項１３乃至１６のいずれか記載の動画像情報の圧縮方法。
18. ブロックサイズが大きくなる方向に変化する場合は、該ブロックのデータを差分をとらずにそのまま出力する請求項１３乃至１６のいずれか記載の動画像情報の圧縮方法。
19. ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮する請求項１３乃至１６のいずれか記載の動画像情報の圧縮方法。
20. フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させる請求項１乃至１９のいずれか記載の動画像情報の圧縮方法。
21. 空間的にブロック分割したそれぞれのＩブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されたフレーム内のブロック位置には、Ｉブロックを挿入しない請求項２０記載の動画像情報の圧縮方法。
22. 空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかの情報を、ビット・マップへ保存するビット・マップ情報記録手段と、該ビット・マップ情報記録手段によって保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する情報圧縮手段とを含む動画像情報の圧縮システムであって、
    フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素のピクセル要素の輝度値、ブロックのｘ方向の輝度の傾き、ブロックのｙ方向の輝度の傾きの３つのデータで定義される単一の平面として近似（置換）させるブロック近似手段を有することを特徴とする動画像情報の圧縮システム。
23. 情報圧縮手段は、ビット・マップ情報記録手段で保存されたパラメータよりも大きくない部分の情報を変化の無い画素として処理（削除）する請求項２２記載の動画像情報の圧縮システム。
24. ブロック近似手段において、画素の３つの要素によって定義される単一の平面を構成するための近似処理として、平均又は最小二乗法を用いる請求項２２又は２３記載の動画像情報の圧縮システム。
25. ビット・マップ情報記録手段により保存される情報は、ランレングス、修正ＲＥＡＤ（ＭＲ、ＭＭＲ）、修正ハフマン（ＭＨ）及びＪＢＩＧ方式からなる群から選択される少なくとも１つの２値画像符号化処理によって情報圧縮される請求項２２乃至２４のいずれか記載の動画像情報の圧縮システム。
26. パラメータよりも大きい部分の情報の圧縮処理を行なう情報圧縮手段は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理を行なう請求項２２乃至２５のいずれか記載の動画像情報の圧縮システム。
27. フレーム間の冗長な情報を削減するエントロピー符号化手段を備え、このエントロピー符号化手段は、予測情報数のハフマンテーブルの中から予測情報に基づいて選択された１つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルの中から予測情報に基づいて選択された１つのテーブルを使用して符号化する適応算術符号化処理を行なう請求項２２乃至２６のいずれか記載の動画像情報の圧縮システム。
28. ビット・マップ情報記録手段において保存される差分情報は、フレーム内におけるｎ×ｍ画素（ｎ、ｍは２以上の整数）を１ブロックとして取り扱い、前記フレーム間における画素ｔと画素ｔ−１とを比較して出力された差分である請求項２２乃至２７のいずれか記載の動画像情報の圧縮システム。
29. ブロック近似手段において、フレーム内圧縮処理は、画像全体をフレーム内圧縮方法に基づき、ｎ×ｍ画素（ｎ、ｍは２以上の整数）のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックを適用する操作を、指定された最小ブロック単位まで繰り返す請求項２２乃至２８のいずれか記載の動画像情報の圧縮システム。
30. ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズに変化がない場合は、フレーム間圧縮処理を行なう請求項２２乃至２９のいずれか記載の動画像情報の圧縮システム。
31. ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが大きくなる方向に変化する場合は、当該ブロックのデータを差分をとらずにそのまま出力する請求項２２乃至３０のいずれか記載の動画像情報の圧縮システム。
32. ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮する請求項２２乃至３０のいずれか記載の動画像情報の圧縮システム。
33. フレーム内符号化で処理されるＩフレーム（フレームだけで画像が完成する基準フレーム）を採用し、このＩフレームを予め空間的にブロック分割し、この分割したＩブロックを各フレーム間の時間軸方向に分散させるＩブロック挿入手段を有する請求項２２乃至３２のいずれか記載の動画像情報の圧縮システム。
34. Ｉブロック挿入手段は、フレーム間の差分がパラメータよりも大きい状態が指定期間内に発生して更新されるフレーム内のブロック位置には、Ｉブロックを挿入しない請求項３３記載の動画像情報の圧縮システム。

Images