JP3902698B2 - 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 - Google Patents
動画像の可逆圧縮符号化装置および可逆伸長復号化装置 Download PDFInfo
- Publication number
- JP3902698B2 JP3902698B2 JP33008297A JP33008297A JP3902698B2 JP 3902698 B2 JP3902698 B2 JP 3902698B2 JP 33008297 A JP33008297 A JP 33008297A JP 33008297 A JP33008297 A JP 33008297A JP 3902698 B2 JP3902698 B2 JP 3902698B2
- Authority
- JP
- Japan
- Prior art keywords
- probability distribution
- conditional probability
- encoding
- distribution table
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像（勿論、動画像中に静止画部分が含まれていてもよい）の圧縮符号化装置およびそれにより符号化された符号化データを復号化する伸長復号化装置に係わり、特に、予測符号化技術を用いた可逆圧縮符号化装置および可逆伸長復号化装置に関する。
【０００２】
【従来の技術】
従来の画像の圧縮符号化としては、標準化された、動画像のためのＭＰＥＧ、ＭＰＥＧ２、静止画像のためのＪＰＥＧ、および静止２値画像のためのＪＢＩＧがある。
動画像の圧縮符号化のためのＭＰＥＧ、ＭＰＥＧ２は、いくつかの要素技術で構成されているが、それらの要素中に２次元離散コサイン変換（ＤＣＴ）のＤＣＴ変換係数の量子化がある。この量子化を行うにあたって、ＭＰＥＧ、ＭＰＥＧ２では８画素（水平）×８画素（垂直）を符号化の最小単位（ブロック）としている。この８画素（水平）×８画素（垂直）に対してＤＣＴを行い、ＤＣＴ変換係数を算出する。この算出されたＤＣＴ変換係数に対して量子化を行う。ここで、量子化とは、ＤＣＴ変換係数全体をある値で割り算し、小さな値に変換することであり、これによりデータの圧縮率を高めることができる。
【０００３】
また、静止画像の圧縮符号化のためのＪＰＥＧでは２種類の符号化が規定されていて、それらのうちの１つはＤＣＴと量子化技術を用いた非可逆符号化、もう１つは予測符号化技術を用いた可逆符号化である。まず、ＪＰＥＧに基づく非可逆符号化では、８画素（水平）×８画素（垂直）を符号化の最小単位（ブロック）としている。この８画素（水平）×８画素（垂直）に対してＤＣＴが行われ、ＤＣＴ変換係数を算出する。この算出されたＤＣＴ変換係数に対して量子化を行う。
【０００４】
次に、ＪＰＥＧに基づく可逆圧縮符号化は、画素値とその予測値との差分値をエントロピー符号化している。この可逆圧縮符号化における画素値の予測方法を、図１および表１を参照して説明する。
図１において、ｘは符号化対象画素、ａ，ｂ，ｃは予測に使用する近傍画素をそれぞれ示している。表１のＰｘは符号化対象画素ｘの予測値、また、Ｒａ，Ｒｂ，Ｒｃはサンプル位置ａ，ｂ，ｃそれぞれのサンプル値を示している。表１に示された７つの予測値Ｐx を求める予測器を予め定められたある一定数の画素を単位として選択して使用し、画素値を予測する。エントロピー符号化の手法は、まず予測値Ｐｘとｘの画素値Ｒｘとの差分値を求め、その発生確率に対応して算術符号化を行う方式、および差分値に対しハフマン符号化を行う方式があり、これらにより符号化されたデータの圧縮を行っている。これらＪＰＥＧの符号化については、例えば、安田浩編著「マルチメディア符号化の国際標準」１９９１年（丸善）の第１章「静止画像符号化標準」に詳しく記載されているので参照されたい。
【０００５】
【表１】
【０００６】
さらに、静止２値画像の符号化のためのＪＢＩＧは、画像縮小方式（ＰＲＥＳ）とマルコフモデルと動的算術符号化とを組み合せた符号化を用いている。図２を参照してＰＲＥＳの基本演算を説明する。
まず、ＰＲＥＳとは高解像度の画像から低解像度の画像を作る一方式のことであり、これにつき説明する。
図２において、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉは高解像度画像の画素、Ｗ，Ｘ，Ｙ，Ｚは低解像度画像の画素を示している。ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，Ｗ，Ｘ，Ｙに対応する画素値がそれぞれＰａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，Ｐｈ，Ｐｉ，Ｐｗ，Ｐｘ，Ｐｙであるとし、そのときの画素Ｚの画素値Ｐｚは、次の（１），（２）および（３）式によって定められる。
【数１】
の計算を行い、その結果
ＳＵＭ≧５の場合 Ｐｚ＝１ (2)
ＳＵＭ＜５の場合 Ｐｚ＝０ (3)
として決定する。以下、同様にして順次低解像度の画像を作っていく。
【０００７】
次に、ＪＢＩＧによる符号化に使用するマルコフモデルの画素配置を図３（ａ）〜（ｄ）に示す。
図３（ａ）〜（ｄ）において、ｘは符号化対象画素、またａ，ｂ，ｃ，ｄ，ｅ，ｆはｘと同じ解像度の画像上の近傍画素を示していて、Ｇ，Ｈ，Ｉ，Ｊは低解像度画像の画素を示している。このｘとＧ，Ｈ，Ｉ，Ｊの位置関係は、それぞれ図３（ａ）〜（ｄ）に示すように４通りの場合があり、それぞれ、位相０、位相１、位相２および位相３と呼ばれている。
【０００８】
このように、ＪＢＩＧでは、マルコフモデルを近傍のｘと同じ高解像度画像上のａ，ｂ，ｃ，ｄ，ｅ，ｆの６画素と低解像度画像上のＧ，Ｈ，Ｉ，Ｊの４画素の画素値、および、符号化対象画素ｘの位置に基づく位相を含めた、２12通りの状態とし、その条件付確率分布テーブルをもとに算術符号化を行い、データの圧縮を行うようにしている。また、ＪＢＩＧの符号化についても、例えば、安田浩編著「マルチメディア符号化の国際標準」１９９１年（丸善）の第２章「２値符号化」に詳しく記載されているので参照されたい。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の動画像圧縮符号化のためのＭＰＥＧ、ＭＰＥＧ２、および、静止画像圧縮符号化のためのＪＰＥＧの非可逆符号化は、圧縮率を高めるために、ＤＣＴ係数の量子化という技術を用いている。しかし、このＤＣＴ係数の量子化技術を用いて符号化をした場合、その符号化データについてデータ復号化を行ったとしても、もとのデータに近似した値に復号化されるだけであり、もとのデータそのものに戻すことは不可能である。従って、これらの技術を画像の符号化に使用した場合は、符号化前の画像と、符号化され、その符号化データが復号化された後の画像とでは異なったものになる。
【００１０】
また、従来の静止画像圧縮符号化のためのＪＰＥＧは、静止画の可逆圧縮を対象とした符号化であるが、フレーム単位に処理するため、例えば、インターレースされた画像で動きがある場合などには適した符号化ではない。また、エントロピー符号化に使用する確率分布テーブルとして、各フレームの符号化に最適なテーブルを使う場合には、そのテーブル自体を符号化データとともに記録、もしくは、伝送する必要があり、データ量を増加させる結果となっている。また、各フレームに最適なテーブルを使用しない場合は、圧縮率が低く抑えられる。
【００１１】
また、静止２値画像圧縮符号化のためのＪＢＩＧは、２値画像の可逆圧縮を対象とした符号化であるが、連続階調の画像にこの符号化方式を適用するには、大きなメモリが必要となり、装置の実装が困難となる。
【００１２】
本発明の目的は、上述した各問題点を除去した動画像の可逆圧縮符号化装置および復号化装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明による動画像の可逆圧縮符号化装置においては、マルコフモデルを複数規定し、それぞれのマルコフモデルに対応して使用される条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化することにより、動画像データを欠落することなく圧縮し、しかも、動画像データの圧縮率を高めるようにしている。
【００１４】
また、本発明においては、エントロピー符号化に使用する上記条件付確率分布テーブルをフレーム単位で更新し、符号化するフレームに適した条件付確率分布テーブルを作り出し、動画像のデータ圧縮率を一層高めるようにしている。
【００１５】
すなわち、本発明による動画像の可逆圧縮符号化装置は、複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される条件付確率分布テーブルとを具え、フレーム内の予め定められた複数の代表点画素を前記複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される少なくとも１つの条件付確率分布テーブルを用いてエントロピー符号化し、該符号化結果のビット総数が最小になったマルコフモデルと対応して使用された条件付確率分布テーブルをフレーム単位で適応的に選択して、フレーム画像内のエントロピー符号化可能な全画素をエントロピー符号化するように構成し、前記条件付確率分布テーブルには、前フレーム画像の符号化に用いた条件付確率分布テーブルと前フレームの画像データに基づいて作成された条件付確率分布テーブルとを重み付け加算して求めた条件付確率分布テーブルが含まれることを特徴とするものである。
【００１６】
また、本発明による動画像の可逆圧縮符号化装置は、前記条件付確率分布テーブルの重み付け加算が、前フレーム画像の符号化データ圧縮率に対応して予め定められた計算式に基づいて計算された重みづけ係数を適応的に選択する重み付け加算であることを特徴とするものである。
【００２３】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明においては、上述したように、マルコフモデルを複数規定し、それぞれのマルコフモデルおよびそれに対応した条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化しているが、以下の実施の形態では、構成を容易にするため、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの３種類の、それも符号化対象画素近傍の２画素を含めた３画素から形成されるマルコフモデルを規定するものとする。
【００２４】
３画素から形成されるマルコフモデルによる符号化とは、まず、符号化する画素のレベルがＸa 、その近傍の２つの画素のレベルがＸb ，Ｘc である場合に、Ｘa の生起確率がＸb ，Ｘc に依存する２重マルコフ情報源であるとし、条件付確率Ｐ（Ｘa ｜Ｘb , Ｘc ）を定める。ここで、Ｘa ，Ｘb ，Ｘc がそれぞれ、０から２５５までの値をとるものとすると、（Ｘb ，Ｘc ）の組み合わせの数は６５，５３６通り存在する。この個々の（Ｘb ，Ｘc ）に対してＸa をパラメータとした時の確率分布を定める。従って、（Ｘb ，Ｘc ）を固定し、Ｘa を０から２５５まで変化させた場合の確率の総計は１となる。この条件付確率分布をもとに、算術符号化、ハフマン符号化等のエントロピー符号化を行う。このエントロピー符号化はデータの欠落がない可逆圧縮符号化である。
【００２５】
以下に、本発明の実施の形態で使用するＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの各マルコフモデルによる符号化について説明する。
図４は、Ｌｉｎｅモデルに使用する３画素の配置を示していて、Ｘｐi は符号化する画素、そしてＸｐi-1 ，Ｘｐi-2 はＸｐi と同一走査線上のそれぞれ１つ、２つ前の画素を示している。
Ｌｉｎｅマルコフモデル符号化とは、マルコフモデル符号化を同一走査線上の画素で行う符号化であり、図４に示す３つの画素、Ｘｐi ，Ｘｐi-1 ，Ｘｐi-2 を用いて行う。符号化する画素Ｘｐi のレベルＸi の生起確率が、画素Ｘｐi-1 のレベルＸi-1 と画素Ｘｐi-2 のレベルＸi-2 に依存している２重マルコフ情報源であるとし、条件付確率分布Ｐ（Ｘi ｜Ｘi-2 ，Ｘi-1 ）を生成し、この確率分布をもとにエントロピー符号化を行う。この符号化では、フレーム内の各走査線上の第１番目、第２番目の画素の符号化は行わない。これらの画素は、近傍の２つの画素が完全に揃わないからである。
【００２６】
図５は、Ｆｒａｍｅモデルに使用する３画素の配置を示していて、Ｘｐi は符号化する画素、Ｘｐi-1 はＸｐi と同一走査線上の１つ前の画素、そしてＸｐi-h はＸｐi の１つ前の走査線上の同じ列にある画素を示している。
Ｆｒａｍｅマルコフモデル符号化とは、図５に示す走査線上の３つの画素、Ｘｐi ，Ｘｐi-1 ，Ｘｐi-h を用いて行うマルコフモデル符号化であり、符号化する画素Ｘｐi のレベルＸi の生起確率が、画素Ｘｐi-h のレベルＸi-h と画素Ｘｐi-1 のレベルＸi-1 に依存する２重マルコフ情報源であるとし、条件付確率分布Ｐ（Ｘi ｜Ｘi-h ，Ｘi-1 ）を生成し、この確率分布をもとにエントロピー符号化を行う。Ｌｉｎｅモデルの場合と同じ理由により、この符号化では、フレーム内の第１走査線上のすべての画素、および、それ以外の走査線上の第１番目の画素の符号化は行わない。
【００２７】
図６は、Ｆｉｅｌｄモデルに使用する３画素の配置を示していて、Ｘｐi は符号化する画素、Ｘｐi-1 はＸｐi と同一走査線上の１つ前の画素、そしてＸｐi-2hはＸｐi の２つ前の走査線上の同じ列にある画素を示している。
Ｆｉｅｌｄマルコフモデル符号化とは、図６に示す走査線上の３つの画素、Ｘｐi ，Ｘｐi-1 ，Ｘｐi-2hを用いたマルコフモデル符号化であり、符号化する画素Ｘｐi のレベルＸi の生起確率が、画素Ｘｐi-2hのレベルＸi-2hと画素Ｘｐi-1 のレベルＸi-1 に依存している２重マルコフ情報源であるとし、条件付確率分布Ｐ（Ｘi ｜Ｘi-2h ,Ｘi-1 ）を生成し、この確率分布をもとにエントロピー符号化を行う。Ｌｉｎｅモデルの場合と同じ理由により、この符号化では、フレーム内の第１走査線、第２走査線上のすべての画素、および、それ以外の走査線上の第１番目の画素の符号化は行わない。
【００２８】
以上で、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの各マルコフモデルによる符号化の説明を終るが、前述したように、本発明は、それらそれぞれのマルコフモデルおよびそれに対応した条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化するもので、そのための２通りの構成例を図７および図８に示し、これにつき説明する。
【００２９】
図７において、１，２および３は、それぞれＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルに従った上記の符号化を行う回路である。これら各回路１，２および３による符号化の結果は、それぞれを１フレーム期間遅延させる、例えばフレームメモリ等によって構成される１フレーム遅延回路４−１，４−２および４−３にそれぞれ供給されるとともに、回路１，２および３による符号化の結果から１フレーム中に数箇所選定した代表点に相当する時間的位置の符号化結果を抽出する代表点選択回路５−１，５−２および５−３（代表点の位置は各同じである）にもそれぞれ供給されて、各モデルごとの符号化のビット数を出力させる。
【００３０】
これにより得られた各モデルごとのビット数を、図中
【外１】
で示す総和器によりフレーム単位でそれぞれ総和をとり、その総和の結果を比較器６にて比較し、最小ビットを生成するモデルを選択するためのモデル選択情報を出力させる。１フレーム遅延回路４−１，４−２および４−３からは、上記３つのモデルに従った符号化結果が１フレーム遅延されて出力され、切り替えスイッチＳＷ１の各接点に供給される。切り替えスイッチＳＷ１の選択位置が上記選択情報で決定されることから、同スイッチＳＷ１の出力側には、上記３つのモデル中最も符号化効率が高いもの（データ圧縮率が最も高いもの）の符号化出力が得られることになる。
【００３１】
なお、比較器６における比較の結果、ビット数が同じになる場合は、例えば、符号化を行わない画素が最小のＬｉｎｅモデルを選択するなど、予め定められたモデルを選択する。また、代表点は事前に定めておくが、代表点の個数はできるだけ多くし、個々の代表点の位置はフレーム内で偏りのないように分散させることが必要である。
【００３２】
また、マルコフモデルおよびそれに対応した条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化する本発明装置の第２の構成例を図８に示し、これにつき説明する。
なお、図８中、図７に示したのと同一の回路要素が使用される箇所には同一の符号を付して示し、それら回路要素の説明は省略する。
【００３３】
本構成例では、まず、画像信号入力を２分岐し、その２分岐された画像信号入力を、代表点に相当する信号を選択的に出力する代表点選択回路５と１フレーム遅延回路４とにそれぞれ供給する。次いで、代表点選択回路５の出力をＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルに従った符号化を行う符号化回路１−１，２−１，３−１に供給し、各モデル（Ｌｉｎｅ，ＦｒａｍｅおよびＦｉｅｌｄの）ごとの代表点における符号化出力を得る。その符号化出力を１フレーム分にわたって〔外１〕で示す総和器で総和をとりさらに比較器６に供給してビット数の大小比較をすることにより、図７の場合と同じ最小ビットを生成するモデルを選択するためのモデル選択情報を得る。
【００３４】
一方、フレーム遅延回路４に供給された画像信号入力は、１フレーム遅れた信号となって切り替えスイッチＳＷ１−１を介して各モデルごとの符号化を行う符号化回路１−２，２−２および３−２に供給される。図示の切り替えスイッチＳＷ１−１およびＳＷ１−２は、比較器６の出力すなわちモデル選択情報によって連動して切り替えられ、その出力側の切り替えスイッチＳＷ１−２から符号化効率が最も高くなるモデルによって符号化された符号化出力が得られる。
【００３５】
以上のようにして符号化された符号化データの記録もしくは伝送をする場合、符号化データ以外に、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルのうちいずれのモデルを用いて符号化を行ったかを示すモデル識別フラグが１フレームあたり２ビット必要となる。また、上述したように、各モデルに符号化を行わない画素が存在することから、それら画素は、画素値をそのまま記録、もしくは伝送することとなる。これらのデータは符号量を増加させ、符号化データの圧縮率を低下させるが、例えば、一般のテレビ画像では、画像データ量が非常に多いため、モデル識別フラグ分のデータ量の増加、および符号化されない画素によるデータ量の増加があったとしても、本発明のモデル切り替え符号化によってデータ圧縮率を大きく劣化させることはない。
【００３６】
次に、以上説明した本発明による動画像の可逆圧縮符号化装置により符号化された符号化データが記録媒体に記録され、もしくは伝送路を介し伝送されて、それぞれ再生時もしくは受信側で復号化する本発明による可逆伸長復号化装置について説明する。
復号化に際しては、まず、符号化時にどのモデルが使われて符号化されているかを示す上述のモデル識別フラグを読み取り、次に、そのフラグに応じて、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルのいずれかの復号化を行う。
【００３７】
各モデルごとの復号化の仕方を説明する。
Ｌｉｎｅモデルでは、まず、符号化されずに記録、もしくは伝送されてきた各走査線上の第１番目、第２番目の画素を基準とし、同一走査線上の第３番目の画素の復号化を行う。次に、第２番目の画素と先に復号化した第３番目の画素とを基準とし、第４番目の画素の復号化を同様に行う。この復号化を繰り返すことにより、すべての画素の復号化が可能となる。
【００３８】
また、Ｆｒａｍｅモデルでは、まず、符号化されずに記録、もしくは伝送されてきた第１走査線上の第２番目の画素と第２走査線上の第１番目の画素とを基準とし、第２走査線上の第２番目の画素を復号化する。次に、第１走査線上の第３番目の画素と先に復号化した第２走査線上の第２番目の画素とを基準とし、第２走査線上の第３番目の画素を同様に復号化する。この復号化を第２走査線上の最後の画素まで行った後、第３走査線上の画素の復号化を同じ手順で行う。同様に、他の走査線上の画素の復号化を繰り返し、フレーム内のすべての画素の復号化が可能となる。
【００３９】
また、Ｆｉｅｌｄモデルでは、まず、符号化されずに記録、もしくは伝送されてきた第１走査線上の第２番目の画素と第３走査線上の第１番目の画素とを基準とし、第３走査線上の第２番目の画素を復号化する。次に、第１走査線上の第３番目の画素と先に復号化した第３走査線上の第２番目の画素とを基準とし、第３走査線上の第３番目の画素を同様に復号化する。この復号化を第３走査線上の最後の画素まで行った後、第５走査線上の画素の復号化を同じ手順で行う。同様に、他の奇数番号の走査線上の画素の復号化を繰り返す。偶数番号の走査線上の画素の復号化は、まず、第２走査線上の第２番目の画素と第４走査線上の第１番目の画素とを基準とし、第４走査線上の第２番目の画素を復号化し、次に、第２走査線上の第３番目の画素と、先に復号化した第４走査線上の第２番目の画素とを基準とし、第４走査線上の第３番目の画素を同様に復号化する。この復号化を第４走査線上の最後の画素まで行った後、第６走査線上の画素の復号化を同じ手順で行う。同様に、他の偶数番号の走査線上の画素の復号化を繰り返す。この作業により、フレーム内のすべての画素の復号化が可能となる。
【００４０】
以上においては、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの３種類のマルコフモデル符号化を行い、その中から最も符号化効率の高いものを選択するようにしたが、本発明による動画像の可逆圧縮符号化装置は、選択対象とするマルコフモデルは上記３つのモデルに限られるものでなく、適当と考えられる任意の複数のマルコフモデルを使用してもよいことは言うまでもない。
【００４１】
次に、本発明においては、符号化側においてマルコフモデルおよび対応する条件付確率テーブルを用いてエントロピー符号化を行うことを前提としているが、符号化、および、復号化の手順は本発明にとって本質的なことではないので、その詳細はたとえば原島博氏著「画像情報圧縮」（オーム社、平成３年８月２５日発行）に譲ることとする。
【００４２】
また、エントロピー符号化に使用する条件付確率分布テーブルは、例えば後述するようなデフォルトテーブル（Default Table ）として予め符号化器、および、復号化器内に１つ具えておくことを基本とするが、１つのマルコフモデルに対して条件付確率分布テーブルを複数準備し、いわゆるシーンチェンジ情報に基づきこれらをフレーム毎に切り替えることにより、圧縮率を高めることが可能となる。この場合、次に述べるように、複数の条件付確率分布テーブルのうちの１つについて、これをフレーム毎に合成するようにするのが効果的である。
【００４３】
この目的のために、エントロピー符号化を行うに際して、複数準備された条件付確率分布テーブルの中から１つを画像のシーンチェンジ情報に対応してテーブルを切り替え選択するように構成した本発明の一実施形態を図９に示している。図９において、７はデフォルトテーブル（Default Table ）、８はユニークテーブル（Unique Table）、９はオールドテーブル（Old Table)、１０はニューテーブル（New Table)および１１は１フレーム遅延回路であり、以下にそれぞれの回路要素および全体的な動作の説明を行う。
【００４４】
デフォルトテーブル（Default Table)７とは、エントロピー符号化に用いる初期確率分布テーブルのことであり、条件付確率Ｐｄ（Ｘa ｜Ｘb ，Ｘc ）（ただし、符号化する画素のレベルをＸa 、その近傍の画素のレベルをＸb ，Ｘc とする）がすべてのＸa ，Ｘb ，Ｘc について規定されている。このテーブルは次の条件１を満足していれば、どのような確率分布であるとしても構わないが、どのような画像の符号化においてもある程度の圧縮率が得られる汎用性のあるテーブルであることが望ましい。例えば、シーンチェンジとシーンチェンジの間の一連の画像ではなく、互いに関連がない２０種類程度の画像から生起分布を求め、その生起分布の生起度数が０の部分を生起度数１に置き換える。こうして次の条件１のもとで、再構成された生起分布をもとに条件付確率Ｐｄ（Ｘa ｜Ｘb ，Ｘc ）を定め、これをDefault Table とすることにより、汎用性のあるテーブルを作ることが可能である。
【数２】
【００４５】
ユニークテーブル（Unique Table) ８とは、現在符号化しようとしているフレーム画像のフレーム番号がｉであるとすると、その一つ前のｉ−１番目のフレーム画像から生起分布を求め、その生起分布をもとに作り出された確率分布テーブルのことであり、これもすべてのＸa , Ｘb ，Ｘc について条件付確率Ｐｕ（Ｘa ｜Ｘb ，Ｘc ）が規定されている。しかし、ｉ−１番目のフレーム画像では、すべてのＸa ，Ｘb ，Ｘc が生起しているとは限らない。従って、このテーブルは次の条件２を満足しているものであり、確率が０となる部分が存在していても差し支えない。
【数３】
【００４６】
オールドテーブル（Old Table)９とは、ｉ−１番目のフレーム画像の符号化に使用したテーブルのことであり、ｉ−１番目のフレーム画像の符号化でDefault Table を使用していた場合には、Default Table と同じTable となり、ｉ−１番目のフレーム画像の符号化に合成されたTable を使用していた場合は、ｉ−１番目のフレーム画像の符号化に使用したTable と同じTable となる。この確率分布テーブルはすべてのＸa ，Ｘb ，Ｘc について条件付確率Ｐｏ（Ｘa ｜Ｘb ，Ｘc ）が規定されており、次の条件３を満足しなければならない。
【数４】
【００４７】
ニューテーブル（New Table ）１０とは、ｉ番目のフレーム画像の符号化に使用する確率分布テーブルのことであり、ｉ番目のフレーム画像の符号化にDefault Teble を使用する場合には、Default Table と同じTable となり、Default Table を使用しない場合には、Old Table とｉ−１番目のフレーム画像から作られたUnique Tableの２つの合成により作り出された新しい確率分布テーブルとなる。この確率分布テーブルは、すべてのＸa ，Ｘb ，Ｘc について条件付確率Ｐｎ（Ｘa ｜Ｘb ，Ｘc ）が規定されていて、次の条件４を満足しなければならない。
【数５】
【００４８】
図９中
【外２】
で示される加算器は合成Table を作る際のUnique TableとOld Table の合成演算を行う。この合成Table の条件付確率分布Ｐｎ（Ｘa ｜Ｘb ，Ｘc ）の作成方法は、
▲１▼ Unique TableのＰｕ（Ｘa ｜Ｘb ，Ｘc ）において、Ｘb ，Ｘc を固定し、
すべてのＸa についてＰｕ（Ｘa ｜Ｘb ，Ｘc ）＝０である場合、
すべてのＸa に対し
Ｐｎ（Ｘa ｜Ｘb ，Ｘc ）＝Ｐｏ（Ｘa ｜Ｘb ，Ｘc ） (12)
▲２▼ Unique TableのＰｕ（Ｘa ｜Ｘb ，Ｘc ）において、Ｘb ，Ｘc を固定し、
あるＸa についてＰｕ（Ｘa ｜Ｘb ，Ｘc ）≠０である場合、
すべてのＸa に対し
とする。なお、この更新を行った場合でも、合成Table は上述の条件１（（４），（５）式）を満足する。
【００４９】
ここに、ｋ1 ，ｋ2 は合成Table を作成する際に用いる乗算係数であり、次の条件５を満たしている。
条件５
ｋ1 ＋ｋ2 ＝１ ０＜ｋ1 ≦１， ０≦ｋ2 ＜１ (14)
ｋ1 ，ｋ2 は条件５を満たしていれば任意の値で構わないが、ｉ番目のフレーム画像の符号化を行う際に符号量が最小になるような設定が望ましい。例えば次の(15), (16), (17)および(18)式の方法により決定する。
【数６】
として、
【数７】
ただし、Ntotalは、第ｉ−１番目のフレーム画像を符号化した際の総符号量、Npｉｘｅｌは１フレーム分の画素数、そしてNbitは符号化前の１画素あたりのビット数である。
【００５０】
また、１フレーム遅延回路１１は、１フレーム分の信号の遅延を行う。切り替えスイッチＳＷ２は、映像編集点のように動画の中で極端に映像が変化し、フレーム間の相関が小さい部分ではDefault Table 側に、また、映像編集点ではなく、フレーム間の相関が非常に大きい部分では合成 Table側に切り替わる。この切り替えは、シーンチェンジを検出することにより切り替えが可能である。
【００５１】
これらの条件付確率分布テーブルにより得られた符号化データを記録、もしくは伝送する場合、合成されたTable を使用しているか、Default Table を使用しているかを示すテーブル識別フラグ、および、合成Table を使用している場合には、合成のためのｋ1 もしくはｋ2 のいずれかの乗算係数データがさらに必要である。しかし、通常の画像データ量は非常に多いため、データ量がこれらテーブル識別フラグと乗算係数データの分だけ増加しても、これらは画像用のデータ量に比較して非常に少なく、この切り替え方式の圧縮率を大きく劣化させることはない。
【００５２】
以上の切り替え方式で符号化された符号化データの復号化では、まず、符号化時に使用している確率分布テーブルを示すテーブル識別フラグを符号化データから読み取り、Default Table を使用しているか、合成Table を使用しているかを調べる。もし、Default Table を使用していることが判明した場合には、そのまま、復号化器に具えられたDefault Table を用いて復号化を行う。もし、合成Table を使用していることが判明した場合には、符号化データから乗算係数データｋ1 もしくはｋ2 を読み取り、復号化用の合成Table を作成し、合成Table を用いて復号化を行う。このとき、合成Table の作成方法は符号化の際の合成Table の作成方法と同じである。
【００５３】
最後に、切り替え方式の他の実施形態の構成を図１０に示している。図１０においては、図９中の回路要素と同一部分には同一符号を付して示している。また、図９中には示されないＳＷ３はフレーム間差分情報によって切り替えが行われる切り替えスイッチである。
この実施形態は、同一画像が連続する静止画部分では、Uniqne Tableをそのまま使用する方が符号化圧縮率が高くなる利点を生かして、フレーム間の差分情報（図１０参照）に基づいて合成（Unique TableとOld Table の）テーブルとUnique Tableを切り替えるようにしたものである。また、この場合、復号化側ではUnique Tableを示すテーブル識別フラグに基づきUniqle Tableを用いて復号化するようにすればよい。
【００５４】
【発明の効果】
以上に説明したように、本発明による動画像の可逆圧縮符号化装置によれば、動画像データを欠落することなく圧縮符号化し、しかも、複数のマルコフモデルを適応的に切り替えて使用し、マルコフモデルに使用する条件付確率分布テーブルをフレームごとに更新することにより、圧縮率を高めることが可能となる。これにより本発明を記録、もしくは伝送に用いた場合、それぞれ記録、もしくは伝送する画像データ量の削減が可能となり、従って、画像記録装置の記録時間を増加させ、画像伝送におけるデータ転送速度を低減させることが可能となる。
【図面の簡単な説明】
【図１】ＪＰＥＧに基づく可逆圧縮符号化における画素値の予測方法を示している。
【図２】ＪＢＩＧに基づく符号化における画像縮小方式（ＰＲＥＳ）を示している。
【図３】ＪＢＩＧによる符号化に使用するマルコフモデルの画素配置を示している。
【図４】本発明の実施の形態で使用するマルコフモデルの１つであるＬｉｎｅモデルに使用する３画素の配置を示している。
【図５】本発明の実施の形態で使用するマルコフモデルの１つであるＦｒａｍｅモデルに使用する３画素の配置を示している。
【図６】本発明の実施の形態で使用するマルコフモデルの１つであるＦｉｅｌｄモデルに使用する３画素の配置を示している。
【図７】本発明による動画像の可逆圧縮符号化装置の実施の形態における構成をブロック図で示している。
【図８】本発明による動画像の可逆圧縮符号化装置の実施の形態における他の構成をブロック図で示している。
【図９】複数準備された条件付確率分布テーブルの中から１つを画像のシーンチェンジ情報に対してテーブルを切り替え選択するように構成した本発明の一実施形態を示している。
【図１０】同じく切り替え方式の他の実施形態の構成を示している。
【符号の説明】
１，１−１，１−２ Ｌｉｎｅモデルに従った符号化回路
２，２−１，２−２ Ｆｒａｍｅモデルに従った符号化回路
３，３−１，３−２ Ｆｉｅｌｄモデルに従った符号化回路
４−１，４−２，４−３，４ １フレーム遅延回路
５−１，５−２，５−３，５ 代表点選択回路
６ 比較器
７ デフォルトテーブル（Default Table)
８ ユニークテーブル（Unique Table)
９ オールドテーブル（Old Table)
10 ニューテーブル（New Table)
11 １フレーム遅延回路
ＳＷ１，ＳＷ１−１，ＳＷ１−２，ＳＷ２，ＳＷ３ 切り替えスイッチ
【発明の属する技術分野】
本発明は、動画像（勿論、動画像中に静止画部分が含まれていてもよい）の圧縮符号化装置およびそれにより符号化された符号化データを復号化する伸長復号化装置に係わり、特に、予測符号化技術を用いた可逆圧縮符号化装置および可逆伸長復号化装置に関する。
【０００２】
【従来の技術】
従来の画像の圧縮符号化としては、標準化された、動画像のためのＭＰＥＧ、ＭＰＥＧ２、静止画像のためのＪＰＥＧ、および静止２値画像のためのＪＢＩＧがある。
動画像の圧縮符号化のためのＭＰＥＧ、ＭＰＥＧ２は、いくつかの要素技術で構成されているが、それらの要素中に２次元離散コサイン変換（ＤＣＴ）のＤＣＴ変換係数の量子化がある。この量子化を行うにあたって、ＭＰＥＧ、ＭＰＥＧ２では８画素（水平）×８画素（垂直）を符号化の最小単位（ブロック）としている。この８画素（水平）×８画素（垂直）に対してＤＣＴを行い、ＤＣＴ変換係数を算出する。この算出されたＤＣＴ変換係数に対して量子化を行う。ここで、量子化とは、ＤＣＴ変換係数全体をある値で割り算し、小さな値に変換することであり、これによりデータの圧縮率を高めることができる。
【０００３】
また、静止画像の圧縮符号化のためのＪＰＥＧでは２種類の符号化が規定されていて、それらのうちの１つはＤＣＴと量子化技術を用いた非可逆符号化、もう１つは予測符号化技術を用いた可逆符号化である。まず、ＪＰＥＧに基づく非可逆符号化では、８画素（水平）×８画素（垂直）を符号化の最小単位（ブロック）としている。この８画素（水平）×８画素（垂直）に対してＤＣＴが行われ、ＤＣＴ変換係数を算出する。この算出されたＤＣＴ変換係数に対して量子化を行う。
【０００４】
次に、ＪＰＥＧに基づく可逆圧縮符号化は、画素値とその予測値との差分値をエントロピー符号化している。この可逆圧縮符号化における画素値の予測方法を、図１および表１を参照して説明する。
図１において、ｘは符号化対象画素、ａ，ｂ，ｃは予測に使用する近傍画素をそれぞれ示している。表１のＰｘは符号化対象画素ｘの予測値、また、Ｒａ，Ｒｂ，Ｒｃはサンプル位置ａ，ｂ，ｃそれぞれのサンプル値を示している。表１に示された７つの予測値Ｐx を求める予測器を予め定められたある一定数の画素を単位として選択して使用し、画素値を予測する。エントロピー符号化の手法は、まず予測値Ｐｘとｘの画素値Ｒｘとの差分値を求め、その発生確率に対応して算術符号化を行う方式、および差分値に対しハフマン符号化を行う方式があり、これらにより符号化されたデータの圧縮を行っている。これらＪＰＥＧの符号化については、例えば、安田浩編著「マルチメディア符号化の国際標準」１９９１年（丸善）の第１章「静止画像符号化標準」に詳しく記載されているので参照されたい。
【０００５】
【表１】
さらに、静止２値画像の符号化のためのＪＢＩＧは、画像縮小方式（ＰＲＥＳ）とマルコフモデルと動的算術符号化とを組み合せた符号化を用いている。図２を参照してＰＲＥＳの基本演算を説明する。
まず、ＰＲＥＳとは高解像度の画像から低解像度の画像を作る一方式のことであり、これにつき説明する。
図２において、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉは高解像度画像の画素、Ｗ，Ｘ，Ｙ，Ｚは低解像度画像の画素を示している。ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，Ｗ，Ｘ，Ｙに対応する画素値がそれぞれＰａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，Ｐｈ，Ｐｉ，Ｐｗ，Ｐｘ，Ｐｙであるとし、そのときの画素Ｚの画素値Ｐｚは、次の（１），（２）および（３）式によって定められる。
【数１】
ＳＵＭ≧５の場合 Ｐｚ＝１ (2)
ＳＵＭ＜５の場合 Ｐｚ＝０ (3)
として決定する。以下、同様にして順次低解像度の画像を作っていく。
【０００７】
次に、ＪＢＩＧによる符号化に使用するマルコフモデルの画素配置を図３（ａ）〜（ｄ）に示す。
図３（ａ）〜（ｄ）において、ｘは符号化対象画素、またａ，ｂ，ｃ，ｄ，ｅ，ｆはｘと同じ解像度の画像上の近傍画素を示していて、Ｇ，Ｈ，Ｉ，Ｊは低解像度画像の画素を示している。このｘとＧ，Ｈ，Ｉ，Ｊの位置関係は、それぞれ図３（ａ）〜（ｄ）に示すように４通りの場合があり、それぞれ、位相０、位相１、位相２および位相３と呼ばれている。
【０００８】
このように、ＪＢＩＧでは、マルコフモデルを近傍のｘと同じ高解像度画像上のａ，ｂ，ｃ，ｄ，ｅ，ｆの６画素と低解像度画像上のＧ，Ｈ，Ｉ，Ｊの４画素の画素値、および、符号化対象画素ｘの位置に基づく位相を含めた、２12通りの状態とし、その条件付確率分布テーブルをもとに算術符号化を行い、データの圧縮を行うようにしている。また、ＪＢＩＧの符号化についても、例えば、安田浩編著「マルチメディア符号化の国際標準」１９９１年（丸善）の第２章「２値符号化」に詳しく記載されているので参照されたい。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の動画像圧縮符号化のためのＭＰＥＧ、ＭＰＥＧ２、および、静止画像圧縮符号化のためのＪＰＥＧの非可逆符号化は、圧縮率を高めるために、ＤＣＴ係数の量子化という技術を用いている。しかし、このＤＣＴ係数の量子化技術を用いて符号化をした場合、その符号化データについてデータ復号化を行ったとしても、もとのデータに近似した値に復号化されるだけであり、もとのデータそのものに戻すことは不可能である。従って、これらの技術を画像の符号化に使用した場合は、符号化前の画像と、符号化され、その符号化データが復号化された後の画像とでは異なったものになる。
【００１０】
また、従来の静止画像圧縮符号化のためのＪＰＥＧは、静止画の可逆圧縮を対象とした符号化であるが、フレーム単位に処理するため、例えば、インターレースされた画像で動きがある場合などには適した符号化ではない。また、エントロピー符号化に使用する確率分布テーブルとして、各フレームの符号化に最適なテーブルを使う場合には、そのテーブル自体を符号化データとともに記録、もしくは、伝送する必要があり、データ量を増加させる結果となっている。また、各フレームに最適なテーブルを使用しない場合は、圧縮率が低く抑えられる。
【００１１】
また、静止２値画像圧縮符号化のためのＪＢＩＧは、２値画像の可逆圧縮を対象とした符号化であるが、連続階調の画像にこの符号化方式を適用するには、大きなメモリが必要となり、装置の実装が困難となる。
【００１２】
本発明の目的は、上述した各問題点を除去した動画像の可逆圧縮符号化装置および復号化装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明による動画像の可逆圧縮符号化装置においては、マルコフモデルを複数規定し、それぞれのマルコフモデルに対応して使用される条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化することにより、動画像データを欠落することなく圧縮し、しかも、動画像データの圧縮率を高めるようにしている。
【００１４】
また、本発明においては、エントロピー符号化に使用する上記条件付確率分布テーブルをフレーム単位で更新し、符号化するフレームに適した条件付確率分布テーブルを作り出し、動画像のデータ圧縮率を一層高めるようにしている。
【００１５】
すなわち、本発明による動画像の可逆圧縮符号化装置は、複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される条件付確率分布テーブルとを具え、フレーム内の予め定められた複数の代表点画素を前記複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される少なくとも１つの条件付確率分布テーブルを用いてエントロピー符号化し、該符号化結果のビット総数が最小になったマルコフモデルと対応して使用された条件付確率分布テーブルをフレーム単位で適応的に選択して、フレーム画像内のエントロピー符号化可能な全画素をエントロピー符号化するように構成し、前記条件付確率分布テーブルには、前フレーム画像の符号化に用いた条件付確率分布テーブルと前フレームの画像データに基づいて作成された条件付確率分布テーブルとを重み付け加算して求めた条件付確率分布テーブルが含まれることを特徴とするものである。
【００１６】
また、本発明による動画像の可逆圧縮符号化装置は、前記条件付確率分布テーブルの重み付け加算が、前フレーム画像の符号化データ圧縮率に対応して予め定められた計算式に基づいて計算された重みづけ係数を適応的に選択する重み付け加算であることを特徴とするものである。
【００２３】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明においては、上述したように、マルコフモデルを複数規定し、それぞれのマルコフモデルおよびそれに対応した条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化しているが、以下の実施の形態では、構成を容易にするため、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの３種類の、それも符号化対象画素近傍の２画素を含めた３画素から形成されるマルコフモデルを規定するものとする。
【００２４】
３画素から形成されるマルコフモデルによる符号化とは、まず、符号化する画素のレベルがＸa 、その近傍の２つの画素のレベルがＸb ，Ｘc である場合に、Ｘa の生起確率がＸb ，Ｘc に依存する２重マルコフ情報源であるとし、条件付確率Ｐ（Ｘa ｜Ｘb , Ｘc ）を定める。ここで、Ｘa ，Ｘb ，Ｘc がそれぞれ、０から２５５までの値をとるものとすると、（Ｘb ，Ｘc ）の組み合わせの数は６５，５３６通り存在する。この個々の（Ｘb ，Ｘc ）に対してＸa をパラメータとした時の確率分布を定める。従って、（Ｘb ，Ｘc ）を固定し、Ｘa を０から２５５まで変化させた場合の確率の総計は１となる。この条件付確率分布をもとに、算術符号化、ハフマン符号化等のエントロピー符号化を行う。このエントロピー符号化はデータの欠落がない可逆圧縮符号化である。
【００２５】
以下に、本発明の実施の形態で使用するＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの各マルコフモデルによる符号化について説明する。
図４は、Ｌｉｎｅモデルに使用する３画素の配置を示していて、Ｘｐi は符号化する画素、そしてＸｐi-1 ，Ｘｐi-2 はＸｐi と同一走査線上のそれぞれ１つ、２つ前の画素を示している。
Ｌｉｎｅマルコフモデル符号化とは、マルコフモデル符号化を同一走査線上の画素で行う符号化であり、図４に示す３つの画素、Ｘｐi ，Ｘｐi-1 ，Ｘｐi-2 を用いて行う。符号化する画素Ｘｐi のレベルＸi の生起確率が、画素Ｘｐi-1 のレベルＸi-1 と画素Ｘｐi-2 のレベルＸi-2 に依存している２重マルコフ情報源であるとし、条件付確率分布Ｐ（Ｘi ｜Ｘi-2 ，Ｘi-1 ）を生成し、この確率分布をもとにエントロピー符号化を行う。この符号化では、フレーム内の各走査線上の第１番目、第２番目の画素の符号化は行わない。これらの画素は、近傍の２つの画素が完全に揃わないからである。
【００２６】
図５は、Ｆｒａｍｅモデルに使用する３画素の配置を示していて、Ｘｐi は符号化する画素、Ｘｐi-1 はＸｐi と同一走査線上の１つ前の画素、そしてＸｐi-h はＸｐi の１つ前の走査線上の同じ列にある画素を示している。
Ｆｒａｍｅマルコフモデル符号化とは、図５に示す走査線上の３つの画素、Ｘｐi ，Ｘｐi-1 ，Ｘｐi-h を用いて行うマルコフモデル符号化であり、符号化する画素Ｘｐi のレベルＸi の生起確率が、画素Ｘｐi-h のレベルＸi-h と画素Ｘｐi-1 のレベルＸi-1 に依存する２重マルコフ情報源であるとし、条件付確率分布Ｐ（Ｘi ｜Ｘi-h ，Ｘi-1 ）を生成し、この確率分布をもとにエントロピー符号化を行う。Ｌｉｎｅモデルの場合と同じ理由により、この符号化では、フレーム内の第１走査線上のすべての画素、および、それ以外の走査線上の第１番目の画素の符号化は行わない。
【００２７】
図６は、Ｆｉｅｌｄモデルに使用する３画素の配置を示していて、Ｘｐi は符号化する画素、Ｘｐi-1 はＸｐi と同一走査線上の１つ前の画素、そしてＸｐi-2hはＸｐi の２つ前の走査線上の同じ列にある画素を示している。
Ｆｉｅｌｄマルコフモデル符号化とは、図６に示す走査線上の３つの画素、Ｘｐi ，Ｘｐi-1 ，Ｘｐi-2hを用いたマルコフモデル符号化であり、符号化する画素Ｘｐi のレベルＸi の生起確率が、画素Ｘｐi-2hのレベルＸi-2hと画素Ｘｐi-1 のレベルＸi-1 に依存している２重マルコフ情報源であるとし、条件付確率分布Ｐ（Ｘi ｜Ｘi-2h ,Ｘi-1 ）を生成し、この確率分布をもとにエントロピー符号化を行う。Ｌｉｎｅモデルの場合と同じ理由により、この符号化では、フレーム内の第１走査線、第２走査線上のすべての画素、および、それ以外の走査線上の第１番目の画素の符号化は行わない。
【００２８】
以上で、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの各マルコフモデルによる符号化の説明を終るが、前述したように、本発明は、それらそれぞれのマルコフモデルおよびそれに対応した条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化するもので、そのための２通りの構成例を図７および図８に示し、これにつき説明する。
【００２９】
図７において、１，２および３は、それぞれＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルに従った上記の符号化を行う回路である。これら各回路１，２および３による符号化の結果は、それぞれを１フレーム期間遅延させる、例えばフレームメモリ等によって構成される１フレーム遅延回路４−１，４−２および４−３にそれぞれ供給されるとともに、回路１，２および３による符号化の結果から１フレーム中に数箇所選定した代表点に相当する時間的位置の符号化結果を抽出する代表点選択回路５−１，５−２および５−３（代表点の位置は各同じである）にもそれぞれ供給されて、各モデルごとの符号化のビット数を出力させる。
【００３０】
これにより得られた各モデルごとのビット数を、図中
【外１】
【００３１】
なお、比較器６における比較の結果、ビット数が同じになる場合は、例えば、符号化を行わない画素が最小のＬｉｎｅモデルを選択するなど、予め定められたモデルを選択する。また、代表点は事前に定めておくが、代表点の個数はできるだけ多くし、個々の代表点の位置はフレーム内で偏りのないように分散させることが必要である。
【００３２】
また、マルコフモデルおよびそれに対応した条件付確率分布テーブルの中から最も符号化効率の高いものをフレーム単位で適応的に選択してエントロピー符号化する本発明装置の第２の構成例を図８に示し、これにつき説明する。
なお、図８中、図７に示したのと同一の回路要素が使用される箇所には同一の符号を付して示し、それら回路要素の説明は省略する。
【００３３】
本構成例では、まず、画像信号入力を２分岐し、その２分岐された画像信号入力を、代表点に相当する信号を選択的に出力する代表点選択回路５と１フレーム遅延回路４とにそれぞれ供給する。次いで、代表点選択回路５の出力をＬｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルに従った符号化を行う符号化回路１−１，２−１，３−１に供給し、各モデル（Ｌｉｎｅ，ＦｒａｍｅおよびＦｉｅｌｄの）ごとの代表点における符号化出力を得る。その符号化出力を１フレーム分にわたって〔外１〕で示す総和器で総和をとりさらに比較器６に供給してビット数の大小比較をすることにより、図７の場合と同じ最小ビットを生成するモデルを選択するためのモデル選択情報を得る。
【００３４】
一方、フレーム遅延回路４に供給された画像信号入力は、１フレーム遅れた信号となって切り替えスイッチＳＷ１−１を介して各モデルごとの符号化を行う符号化回路１−２，２−２および３−２に供給される。図示の切り替えスイッチＳＷ１−１およびＳＷ１−２は、比較器６の出力すなわちモデル選択情報によって連動して切り替えられ、その出力側の切り替えスイッチＳＷ１−２から符号化効率が最も高くなるモデルによって符号化された符号化出力が得られる。
【００３５】
以上のようにして符号化された符号化データの記録もしくは伝送をする場合、符号化データ以外に、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルのうちいずれのモデルを用いて符号化を行ったかを示すモデル識別フラグが１フレームあたり２ビット必要となる。また、上述したように、各モデルに符号化を行わない画素が存在することから、それら画素は、画素値をそのまま記録、もしくは伝送することとなる。これらのデータは符号量を増加させ、符号化データの圧縮率を低下させるが、例えば、一般のテレビ画像では、画像データ量が非常に多いため、モデル識別フラグ分のデータ量の増加、および符号化されない画素によるデータ量の増加があったとしても、本発明のモデル切り替え符号化によってデータ圧縮率を大きく劣化させることはない。
【００３６】
次に、以上説明した本発明による動画像の可逆圧縮符号化装置により符号化された符号化データが記録媒体に記録され、もしくは伝送路を介し伝送されて、それぞれ再生時もしくは受信側で復号化する本発明による可逆伸長復号化装置について説明する。
復号化に際しては、まず、符号化時にどのモデルが使われて符号化されているかを示す上述のモデル識別フラグを読み取り、次に、そのフラグに応じて、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルのいずれかの復号化を行う。
【００３７】
各モデルごとの復号化の仕方を説明する。
Ｌｉｎｅモデルでは、まず、符号化されずに記録、もしくは伝送されてきた各走査線上の第１番目、第２番目の画素を基準とし、同一走査線上の第３番目の画素の復号化を行う。次に、第２番目の画素と先に復号化した第３番目の画素とを基準とし、第４番目の画素の復号化を同様に行う。この復号化を繰り返すことにより、すべての画素の復号化が可能となる。
【００３８】
また、Ｆｒａｍｅモデルでは、まず、符号化されずに記録、もしくは伝送されてきた第１走査線上の第２番目の画素と第２走査線上の第１番目の画素とを基準とし、第２走査線上の第２番目の画素を復号化する。次に、第１走査線上の第３番目の画素と先に復号化した第２走査線上の第２番目の画素とを基準とし、第２走査線上の第３番目の画素を同様に復号化する。この復号化を第２走査線上の最後の画素まで行った後、第３走査線上の画素の復号化を同じ手順で行う。同様に、他の走査線上の画素の復号化を繰り返し、フレーム内のすべての画素の復号化が可能となる。
【００３９】
また、Ｆｉｅｌｄモデルでは、まず、符号化されずに記録、もしくは伝送されてきた第１走査線上の第２番目の画素と第３走査線上の第１番目の画素とを基準とし、第３走査線上の第２番目の画素を復号化する。次に、第１走査線上の第３番目の画素と先に復号化した第３走査線上の第２番目の画素とを基準とし、第３走査線上の第３番目の画素を同様に復号化する。この復号化を第３走査線上の最後の画素まで行った後、第５走査線上の画素の復号化を同じ手順で行う。同様に、他の奇数番号の走査線上の画素の復号化を繰り返す。偶数番号の走査線上の画素の復号化は、まず、第２走査線上の第２番目の画素と第４走査線上の第１番目の画素とを基準とし、第４走査線上の第２番目の画素を復号化し、次に、第２走査線上の第３番目の画素と、先に復号化した第４走査線上の第２番目の画素とを基準とし、第４走査線上の第３番目の画素を同様に復号化する。この復号化を第４走査線上の最後の画素まで行った後、第６走査線上の画素の復号化を同じ手順で行う。同様に、他の偶数番号の走査線上の画素の復号化を繰り返す。この作業により、フレーム内のすべての画素の復号化が可能となる。
【００４０】
以上においては、Ｌｉｎｅモデル、ＦｒａｍｅモデルおよびＦｉｅｌｄモデルの３種類のマルコフモデル符号化を行い、その中から最も符号化効率の高いものを選択するようにしたが、本発明による動画像の可逆圧縮符号化装置は、選択対象とするマルコフモデルは上記３つのモデルに限られるものでなく、適当と考えられる任意の複数のマルコフモデルを使用してもよいことは言うまでもない。
【００４１】
次に、本発明においては、符号化側においてマルコフモデルおよび対応する条件付確率テーブルを用いてエントロピー符号化を行うことを前提としているが、符号化、および、復号化の手順は本発明にとって本質的なことではないので、その詳細はたとえば原島博氏著「画像情報圧縮」（オーム社、平成３年８月２５日発行）に譲ることとする。
【００４２】
また、エントロピー符号化に使用する条件付確率分布テーブルは、例えば後述するようなデフォルトテーブル（Default Table ）として予め符号化器、および、復号化器内に１つ具えておくことを基本とするが、１つのマルコフモデルに対して条件付確率分布テーブルを複数準備し、いわゆるシーンチェンジ情報に基づきこれらをフレーム毎に切り替えることにより、圧縮率を高めることが可能となる。この場合、次に述べるように、複数の条件付確率分布テーブルのうちの１つについて、これをフレーム毎に合成するようにするのが効果的である。
【００４３】
この目的のために、エントロピー符号化を行うに際して、複数準備された条件付確率分布テーブルの中から１つを画像のシーンチェンジ情報に対応してテーブルを切り替え選択するように構成した本発明の一実施形態を図９に示している。図９において、７はデフォルトテーブル（Default Table ）、８はユニークテーブル（Unique Table）、９はオールドテーブル（Old Table)、１０はニューテーブル（New Table)および１１は１フレーム遅延回路であり、以下にそれぞれの回路要素および全体的な動作の説明を行う。
【００４４】
デフォルトテーブル（Default Table)７とは、エントロピー符号化に用いる初期確率分布テーブルのことであり、条件付確率Ｐｄ（Ｘa ｜Ｘb ，Ｘc ）（ただし、符号化する画素のレベルをＸa 、その近傍の画素のレベルをＸb ，Ｘc とする）がすべてのＸa ，Ｘb ，Ｘc について規定されている。このテーブルは次の条件１を満足していれば、どのような確率分布であるとしても構わないが、どのような画像の符号化においてもある程度の圧縮率が得られる汎用性のあるテーブルであることが望ましい。例えば、シーンチェンジとシーンチェンジの間の一連の画像ではなく、互いに関連がない２０種類程度の画像から生起分布を求め、その生起分布の生起度数が０の部分を生起度数１に置き換える。こうして次の条件１のもとで、再構成された生起分布をもとに条件付確率Ｐｄ（Ｘa ｜Ｘb ，Ｘc ）を定め、これをDefault Table とすることにより、汎用性のあるテーブルを作ることが可能である。
【数２】
ユニークテーブル（Unique Table) ８とは、現在符号化しようとしているフレーム画像のフレーム番号がｉであるとすると、その一つ前のｉ−１番目のフレーム画像から生起分布を求め、その生起分布をもとに作り出された確率分布テーブルのことであり、これもすべてのＸa , Ｘb ，Ｘc について条件付確率Ｐｕ（Ｘa ｜Ｘb ，Ｘc ）が規定されている。しかし、ｉ−１番目のフレーム画像では、すべてのＸa ，Ｘb ，Ｘc が生起しているとは限らない。従って、このテーブルは次の条件２を満足しているものであり、確率が０となる部分が存在していても差し支えない。
【数３】
オールドテーブル（Old Table)９とは、ｉ−１番目のフレーム画像の符号化に使用したテーブルのことであり、ｉ−１番目のフレーム画像の符号化でDefault Table を使用していた場合には、Default Table と同じTable となり、ｉ−１番目のフレーム画像の符号化に合成されたTable を使用していた場合は、ｉ−１番目のフレーム画像の符号化に使用したTable と同じTable となる。この確率分布テーブルはすべてのＸa ，Ｘb ，Ｘc について条件付確率Ｐｏ（Ｘa ｜Ｘb ，Ｘc ）が規定されており、次の条件３を満足しなければならない。
【数４】
ニューテーブル（New Table ）１０とは、ｉ番目のフレーム画像の符号化に使用する確率分布テーブルのことであり、ｉ番目のフレーム画像の符号化にDefault Teble を使用する場合には、Default Table と同じTable となり、Default Table を使用しない場合には、Old Table とｉ−１番目のフレーム画像から作られたUnique Tableの２つの合成により作り出された新しい確率分布テーブルとなる。この確率分布テーブルは、すべてのＸa ，Ｘb ，Ｘc について条件付確率Ｐｎ（Ｘa ｜Ｘb ，Ｘc ）が規定されていて、次の条件４を満足しなければならない。
【数５】
図９中
【外２】
▲１▼ Unique TableのＰｕ（Ｘa ｜Ｘb ，Ｘc ）において、Ｘb ，Ｘc を固定し、
すべてのＸa についてＰｕ（Ｘa ｜Ｘb ，Ｘc ）＝０である場合、
すべてのＸa に対し
Ｐｎ（Ｘa ｜Ｘb ，Ｘc ）＝Ｐｏ（Ｘa ｜Ｘb ，Ｘc ） (12)
▲２▼ Unique TableのＰｕ（Ｘa ｜Ｘb ，Ｘc ）において、Ｘb ，Ｘc を固定し、
あるＸa についてＰｕ（Ｘa ｜Ｘb ，Ｘc ）≠０である場合、
すべてのＸa に対し
【００４９】
ここに、ｋ1 ，ｋ2 は合成Table を作成する際に用いる乗算係数であり、次の条件５を満たしている。
条件５
ｋ1 ＋ｋ2 ＝１ ０＜ｋ1 ≦１， ０≦ｋ2 ＜１ (14)
ｋ1 ，ｋ2 は条件５を満たしていれば任意の値で構わないが、ｉ番目のフレーム画像の符号化を行う際に符号量が最小になるような設定が望ましい。例えば次の(15), (16), (17)および(18)式の方法により決定する。
【数６】
【数７】
【００５０】
また、１フレーム遅延回路１１は、１フレーム分の信号の遅延を行う。切り替えスイッチＳＷ２は、映像編集点のように動画の中で極端に映像が変化し、フレーム間の相関が小さい部分ではDefault Table 側に、また、映像編集点ではなく、フレーム間の相関が非常に大きい部分では合成 Table側に切り替わる。この切り替えは、シーンチェンジを検出することにより切り替えが可能である。
【００５１】
これらの条件付確率分布テーブルにより得られた符号化データを記録、もしくは伝送する場合、合成されたTable を使用しているか、Default Table を使用しているかを示すテーブル識別フラグ、および、合成Table を使用している場合には、合成のためのｋ1 もしくはｋ2 のいずれかの乗算係数データがさらに必要である。しかし、通常の画像データ量は非常に多いため、データ量がこれらテーブル識別フラグと乗算係数データの分だけ増加しても、これらは画像用のデータ量に比較して非常に少なく、この切り替え方式の圧縮率を大きく劣化させることはない。
【００５２】
以上の切り替え方式で符号化された符号化データの復号化では、まず、符号化時に使用している確率分布テーブルを示すテーブル識別フラグを符号化データから読み取り、Default Table を使用しているか、合成Table を使用しているかを調べる。もし、Default Table を使用していることが判明した場合には、そのまま、復号化器に具えられたDefault Table を用いて復号化を行う。もし、合成Table を使用していることが判明した場合には、符号化データから乗算係数データｋ1 もしくはｋ2 を読み取り、復号化用の合成Table を作成し、合成Table を用いて復号化を行う。このとき、合成Table の作成方法は符号化の際の合成Table の作成方法と同じである。
【００５３】
最後に、切り替え方式の他の実施形態の構成を図１０に示している。図１０においては、図９中の回路要素と同一部分には同一符号を付して示している。また、図９中には示されないＳＷ３はフレーム間差分情報によって切り替えが行われる切り替えスイッチである。
この実施形態は、同一画像が連続する静止画部分では、Uniqne Tableをそのまま使用する方が符号化圧縮率が高くなる利点を生かして、フレーム間の差分情報（図１０参照）に基づいて合成（Unique TableとOld Table の）テーブルとUnique Tableを切り替えるようにしたものである。また、この場合、復号化側ではUnique Tableを示すテーブル識別フラグに基づきUniqle Tableを用いて復号化するようにすればよい。
【００５４】
【発明の効果】
以上に説明したように、本発明による動画像の可逆圧縮符号化装置によれば、動画像データを欠落することなく圧縮符号化し、しかも、複数のマルコフモデルを適応的に切り替えて使用し、マルコフモデルに使用する条件付確率分布テーブルをフレームごとに更新することにより、圧縮率を高めることが可能となる。これにより本発明を記録、もしくは伝送に用いた場合、それぞれ記録、もしくは伝送する画像データ量の削減が可能となり、従って、画像記録装置の記録時間を増加させ、画像伝送におけるデータ転送速度を低減させることが可能となる。
【図面の簡単な説明】
【図１】ＪＰＥＧに基づく可逆圧縮符号化における画素値の予測方法を示している。
【図２】ＪＢＩＧに基づく符号化における画像縮小方式（ＰＲＥＳ）を示している。
【図３】ＪＢＩＧによる符号化に使用するマルコフモデルの画素配置を示している。
【図４】本発明の実施の形態で使用するマルコフモデルの１つであるＬｉｎｅモデルに使用する３画素の配置を示している。
【図５】本発明の実施の形態で使用するマルコフモデルの１つであるＦｒａｍｅモデルに使用する３画素の配置を示している。
【図６】本発明の実施の形態で使用するマルコフモデルの１つであるＦｉｅｌｄモデルに使用する３画素の配置を示している。
【図７】本発明による動画像の可逆圧縮符号化装置の実施の形態における構成をブロック図で示している。
【図８】本発明による動画像の可逆圧縮符号化装置の実施の形態における他の構成をブロック図で示している。
【図９】複数準備された条件付確率分布テーブルの中から１つを画像のシーンチェンジ情報に対してテーブルを切り替え選択するように構成した本発明の一実施形態を示している。
【図１０】同じく切り替え方式の他の実施形態の構成を示している。
【符号の説明】
１，１−１，１−２ Ｌｉｎｅモデルに従った符号化回路
２，２−１，２−２ Ｆｒａｍｅモデルに従った符号化回路
３，３−１，３−２ Ｆｉｅｌｄモデルに従った符号化回路
４−１，４−２，４−３，４ １フレーム遅延回路
５−１，５−２，５−３，５ 代表点選択回路
６ 比較器
７ デフォルトテーブル（Default Table)
８ ユニークテーブル（Unique Table)
９ オールドテーブル（Old Table)
10 ニューテーブル（New Table)
11 １フレーム遅延回路
ＳＷ１，ＳＷ１−１，ＳＷ１−２，ＳＷ２，ＳＷ３ 切り替えスイッチ
Claims (4)
- 複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される条件付確率分布テーブルとを具え、フレーム内の予め定められた複数の代表点画素を前記複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される少なくとも１つの条件付確率分布テーブルを用いてエントロピー符号化し、該符号化結果のビット総数が最小になったマルコフモデルと対応して使用された条件付確率分布テーブルをフレーム単位で適応的に選択して、フレーム画像内のエントロピー符号化可能な全画素をエントロピー符号化する可逆圧縮符号化装置であって、
前記条件付確率分布テーブルには、前フレーム画像の符号化に用いた条件付確率分布テーブルと前フレームの画像データに基づいて作成された条件付確率分布テーブルとを重み付け加算して求めた条件付確率分布テーブルが含まれることを特徴とする動画像の可逆圧縮符号化装置。 - 請求項1記載の可逆圧縮符号化装置において、重み付け加算後の条件付確率テーブルの条件付確率分布をPn、前フレーム画像に用いた条件付確率テーブルの条件付確率分布をP o、前フレーム画像の画像データから得られる条件付確率分布をPu、符号化する画素のレベルをXn、重み付け加算に用いる重みづけ係数をｋ1 及びｋ2としたとき、前記条件付確率分布テーブルの重み付け加算は、前フレーム画像の符号化データ圧縮率に対応して予め定められた以下の計算式、
全てのXn について、Pu(Xn)＝0である場合、
Pn(Xn) ＝ P o(Xn)
となり、
いずれか1つのXn について、Pu(Xn)≠0である場合、
Pn(Xn) ＝ｋ1 ・Po(Xn) ＋ｋ2・ Pu(Xn)
ここに、ｋ1 及びｋ2は、次の条件を満たす、
ｋ1 ＋ｋ2 ＝1 （0＜ｋ1 ≦1、0≦ｋ2 ＜1 ）
となるように計算された重み付け加算であることを特徴とする動画像の可逆圧縮符号化装置。 - 請求項2記載の可逆圧縮符号化装置において、符号化効率をN’、 符号化された前フレーム画像の総符号量をNtotal、1フレーム分の画素数をNpixel、符号化前の1画素当たりのビット数をNbitとしたとき、
前記N’は、
として規定され、
前記ｋ2は、
N’ ＜ 0.3506の場合、
ｋ2 ＝ 0.999
0.3506 ≦ N’ ＜ 0.95の場合、
0.95 ＜ N’の場合、
ｋ2 ＝ 0.999
として規定される前記重みづけ係数を適応的に選択する重み付け加算であることをことを特徴とする動画像の可逆圧縮符号化装置。 - 複数のマルコフモデルとそれらマルコフモデルのそれぞれに対応して使用される少なくとも１つの条件付確率分布テーブルとを具え、記録側もしくは送信側から符号化データとともに記録もしくは送信され、記録側もしくは送信側でマルコフモデルおよびそれに対応して使用される条件付確率分布テーブルのいずれが選択されて符号化が行われたかを示すモデル識別フラグを再生もしくは受信され、
再生側もしくは受信側において得られた乗算係数に対応して、前フレーム画像の復号化に用いた条件付確率分布テーブルと前フレームの画像データに基づいて作成された条件付確率分布テーブルとを重み付け加算して求めた条件付確率分布テーブルに対応してエントロピー符号化の復号化を行うことを特徴とする動画像の可逆伸長復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33008297A JP3902698B2 (ja) | 1997-12-01 | 1997-12-01 | 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33008297A JP3902698B2 (ja) | 1997-12-01 | 1997-12-01 | 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11164303A JPH11164303A (ja) | 1999-06-18 |
| JP3902698B2 true JP3902698B2 (ja) | 2007-04-11 |
Family
ID=18228591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33008297A Expired - Fee Related JP3902698B2 (ja) | 1997-12-01 | 1997-12-01 | 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3902698B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003319391A (ja) | 2002-04-26 | 2003-11-07 | Sony Corp | 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム |
| JP5851987B2 (ja) * | 2009-07-01 | 2016-02-03 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 算術符号化及び復号化方法 |
-
1997
- 1997-12-01 JP JP33008297A patent/JP3902698B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11164303A (ja) | 1999-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7263125B2 (en) | Method and device for indicating quantizer parameters in a video coding system | |
| JP3888597B2 (ja) | 動き補償符号化装置、及び動き補償符号化復号化方法 | |
| US5485279A (en) | Methods and systems for encoding and decoding picture signals and related picture-signal records | |
| US8532187B2 (en) | Method and apparatus for scalably encoding/decoding video signal | |
| EP1853069B1 (en) | Decoding macroblock type and coded block pattern information | |
| JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
| JP3840895B2 (ja) | 動画像符号化データ変換装置及びその方法 | |
| JP2008536438A (ja) | 基準ピクチャを用いてビデオ信号をデコードする方法及び装置 | |
| KR100987911B1 (ko) | 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍지정 방법 및 장치 | |
| JPH10136376A (ja) | ブロック間予測符号化復号化装置及びその方法 | |
| JPH06284412A (ja) | 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体 | |
| US20060120459A1 (en) | Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information | |
| JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| JP3902698B2 (ja) | 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 | |
| US7426311B1 (en) | Object-based coding and decoding apparatuses and methods for image signals | |
| US6490321B1 (en) | Apparatus and method of encoding/decoding moving picture using second encoder/decoder to transform predictive error signal for each field | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| US20010043653A1 (en) | Method and apparatus for image encoding method and appartus for image decoding and recording medium | |
| JP6523495B2 (ja) | 復号化方法 | |
| JP3480980B2 (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 | |
| JP3394247B1 (ja) | 動画像符号化復号化装置 | |
| JPH11313325A (ja) | 動画像の可逆圧縮符号化装置および可逆伸長復号化装置 | |
| JP2002142225A (ja) | 画像信号符号化装置 | |
| JPH09307507A (ja) | 伝送レート変換装置 | |
| JPH06197326A (ja) | 画像信号符号化方法および復号化方法並びに画像信号符号化装置および復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060324 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |