JP3623056B2 - 動画像圧縮装置 - Google Patents
動画像圧縮装置 Download PDFInfo
- Publication number
- JP3623056B2 JP3623056B2 JP23942196A JP23942196A JP3623056B2 JP 3623056 B2 JP3623056 B2 JP 3623056B2 JP 23942196 A JP23942196 A JP 23942196A JP 23942196 A JP23942196 A JP 23942196A JP 3623056 B2 JP3623056 B2 JP 3623056B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- moving image
- motion
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばディジタルテレビ放送用機器やディジタルビデオディスクなどの、動画像信号を伝送または蓄積するシステムに好適な動画像圧縮装置に関する。
【０００２】
【従来の技術】
ディジタル動画像信号を伝送又は蓄積するシステムでは、例えば動画像信号のフレーム内相関やフレーム間相関を利用して、画像信号を圧縮符号化することにより、伝送路および蓄積媒体の効率的な使用が可能となる。なお、動画像信号の圧縮符号化手法としては、いわゆるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）と呼ばれる蓄積用動画像符号化の検討組織にて標準化された圧縮方式が存在する。
【０００３】
上記フレーム内相関を利用した画像信号の圧縮方法では、ＤＣＴ（離散コサイン変換）などの、符号化すべき係数を集中させる働きのある直交変換が多く用いられている。
【０００４】
また、上記フレーム間相関を利用した方法では、いわゆる動き補償フレーム間予測が多く用いられている。ここで、この動き補償フレーム間予測の原理を図７を用いて説明する。この図７に示すように、時刻ｔ１，ｔ２において、画像Ｐ１，Ｐ２が発生し、既に画像Ｐ１は伝送されているものとし、画像Ｐ２はこれから新規に伝送するものとする。このとき、画像Ｐ２を複数のブロックに分割し、これら各ブロックについて、画像Ｐ１との間の動き量（動きベクトル）を検出する。そして、画像Ｐ１を上記動きベクトルの分だけ並行移動させたものを、そのブロックに対する予測画像とし、当該予測画像と上記画像Ｐ２のブロックとの差分画像を求め、この差分画像と上記動きベクトルとを符号化するものが、上記動き補償フレーム間予測である。
【０００５】
上述のフレーム内相関とフレーム間相関を利用した従来の動画像圧縮装置を図８に示し、従来の動画像伸長装置の構成を図９に示す。
【０００６】
図８に示した従来の動画像圧縮装置は、画像入力端子１０１から入力されたディジタル画像信号を圧縮して、ビットストリーム出力端子１０９から出力するものである。
【０００７】
この図８において、画像入力端子１０１から入力された画像信号は、動きベクトル検出器１１２に送られ、ここで動きベクトルが計算される。当該動きベクトル検出器１１２にて求められた動きベクトル情報は動き補償器１１０に送られ、この動き補償器１１０では上記動きベクトルに基づいてフレームメモリ１１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【０００８】
また、上記画像入力端子１から入力されたディジタル画像信号は差分計算器１０２にも送られる。この差分計算器１０２では、画像入力端子１０１から入力された画像信号と、上記動き補償器１１０で作られた予測画像との差分が計算される。この差分計算器１０２にて求められた差分信号は、直交変換器１０３に送られ、ここで直交変換される。この直交変換器１０３で直交変換が施された信号は、量子化器１０４に送られ、当該量子化器１０４で量子化することによって圧縮される。この量子化されたデータは、多重化器１０８に送られ、ここで上記動きベクトル検出器１１２で計算された動きベクトル情報と多重化されて、ビットストリーム出力端子１０９から出力される。
【０００９】
さらに、量子化器１０４で量子化されたデータは、逆量子化器１０５にも送られ、ここで逆量子化され、さらに逆直交変換器１０６にて逆直交変換される。これにより、上記出力したビットストリームから復元されるものと同じ差分画像が得られる。この差分画像の信号と、上記動き補償器１１０で作られた予測画像の信号を、加算器１０７で加え合わせて得た画像信号は、前述の動き補償のためにフレームメモリ１１１に入れられる。
【００１０】
一方、図９に示す従来の動画像伸長装置は、ビットストリーム入力端子１２１からビットストリームを入力し、それを伸長して、画像出力端子１２６から出力するものである。
【００１１】
この図９において、ビットストリーム入力端子１２１から入力されたビットストリームは、動きベクトル分離器１２２に送られ、ここで当該ビットストリームから動きベクトル情報が分離される。この動きベクトル情報は動き補償器１２７に送られる。この動き補償器１２７では、その動きベクトルに基づいて、フレームメモリ１２８内の画像に対して動き補償を行い、予測画像を構成する。
【００１２】
また、上記動きベクトル分離器１２２にて上記ビットストリームから取り出された量子化されたデータは、逆量子化器１２３に送られて逆量子化され、逆直交変換器１２４にて逆直交変換され、差分画像が生成される。この差分画像の信号と、上記動き補償器１２７で作られた予測画像の信号は、加算器１２５で加え合わされ、得られた画像信号はフレームメモリ１２８に格納されると共に、画像出力端子１２６から出力される。
【００１３】
ところで、上述したような動画像圧縮装置と動画像伸長装置を、例えば図１０に示すように縦続接続して用いることがある。この図１０のような縦続接続を行うことは、圧縮伸長を繰り返し行うことに相当する。
【００１４】
すなわちこの図１０において、画像入力端子２００に供給された画像信号は動画像圧縮装置２０１にて圧縮され、ビットストリーム出力端子２０２から出力される。このビットストリームは例えば放送，通信，記録媒体などを介して、ビットストリーム入力端子２２０に送られ、動画像伸長装置２２１にて伸長されて画像出力端子２２２から出力される。当該画像出力端子２２２から出力された画像信号は例えば編集機などを介して画像入力端子２４０に入力される。この画像入力端子２４０に供給された画像信号は動画像圧縮装置２４１にて圧縮され、ビットストリーム出力端子２４２から出力される。このビットストリームは例えば放送，通信，記録媒体などを介して、ビットストリーム入力端子２６０に送られ、動画像伸長装置２６１にて伸長されて画像出力端子２６２から出力される。当該画像出力端子２２２から出力された画像信号は更に例えば編集機などに送られる。
【００１５】
上記図１０に示した構成によれば、動画像圧縮装置２０１と動画像伸長装置２２１で１回目の圧縮伸長が行われ、動画像圧縮装置２４１と動画像伸長装置２６１で２回目の圧縮伸長が行われている。３回目以降も同様である。
【００１６】
このように、前述の圧縮伸長方式を用いて画像の圧縮伸長を繰り返すと、繰り返しの度に画質が劣化してしまう。
【００１７】
そこで、繰り返し圧縮伸長をしたときの画質の劣化を抑えるために、圧縮のときにピクチャコーディングタイプを合わせることがよいと、一般に言われている。つまり、動き補償を行わないイントラ符号化画面（いわゆるＩピクチャ）、時間的に前のフレームから動き補償を行う順方向予測符号化画面（いわゆるＰピクチャ）、前後両方のフレームから動き補償を行う双方向予測符号化画面（いわゆるＢピクチャ）のうち、どのピクチャとして圧縮するかを、各フレームについて図１０の動画像圧縮装置２０１と動画像圧縮装置２４１とで同じにすると、画質の劣化が抑えられると考えられている。
【００１８】
また、動きべクトルと量子化された直交変換の係数などのすべてのパラメータを保存しておくことも考えられている。図１０で説明すれば、動画像圧縮装置２０１における、動きべクトルと量子化された直交変換の係数などのすべてのパラメータを保存しておき、動画像圧縮装置２４１で同じパラメータを用いるということである。このように、動きべクトルと量子化された直交変換の係数などのすべてのパラメータを保存しておくと、再圧縮のときに、動き予測を実行し直す必要も、再量子化をする必要もなくなるため、圧縮伸長を何度繰り返しても画像が劣化することはなくなる。
【００１９】
【発明が解決しようとする課題】
しかしながら、上述のような繰り返し圧縮伸長を行うときに、ピクチャコーディングタイプを合わせただけでは、依然として劣化は大きく、圧縮伸長を繰り返すたびに画質が劣化することが、実験により確認されている。
【００２０】
また、動きべクトルと量子化された直交変換の係数などをすべて保存する場合については、それらの情報を保存するための記録媒体を別に用意しなければならないという繁雑さがある。更に、保存しておいた値が最適な値であるとは限らないという問題、また、保存を行うには情報の量が多いという問題がある。
【００２１】
以上のように、従来の動き補償フレーム間予測を利用した動画像圧縮伸長方法で、画像の圧縮伸長を繰り返し行うと、繰り返しの度に画質が劣化してしまい、このための根本的な解決の方法は未だ知られていない。
【００２２】
そこで、本発明はこのような状況に鑑みてなされたものであり、繰り返しの圧縮伸長においても劣化を最小限に抑えることが可能な動画像圧縮装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
本発明の動画像圧縮装置は、ビットストリームを伸長することにより得た動画像信号のブランキングに、上記ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信する受信手段と、上記入力動画像信号のブランキングから、量子化された動きベクトルを分離する動きベクトル分離手段と、上記量子化された動きベクトルを逆量子化する逆量子化手段と、上記逆量子化された動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出する動きベクトル検出手段と、上記新たな動きベクトルを用いて上記入力動画像信号を圧縮する圧縮手段と、上記圧縮した入力動画像信号に上記新たな動きベクトルを多重化して出力する多重化手段とを備えることにより、上述した課題を解決する。
【００２５】
すなわち、本発明によれば、ビットストリームを伸長することにより得た動画像信号のブランキングに、ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信し、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出し、この新たな動きベクトルを用いて入力動画像信号を圧縮し、さらに圧縮した入力動画像信号にこの新たな動きベクトルを多重化して出力することで、繰り返しの圧縮伸長のときに不適切な動きベクトルを使用することが防止される。特に、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出することで、量子化により精度の落ちた動きベクトルの精度を上げることができる。
【００２６】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について図面を参照にしながら説明する。
【００２７】
本発明実施例の動画像伸長装置は、図１に示すように、動きベクトルを画像信号のブランキングに多重化して保存するための多重化器２９を備えてなるものであり、また、本発明実施例の動画像圧縮装置は、図２に示すように、図１の動画像伸長装置にて画像信号のブランキングに多重化された動きベクトルを分離するための動きベクトル分離器１３を備えてなるものである。
【００２８】
すなわち、本発明の第１の実施例では、画像伸長のときに、先の画像圧縮のときに求められて供給された動きベクトルの情報を、伸長画像のブランキングの部分の信号に多重化して出力し、後の画像圧縮のときに、そのブランキングに多重化された動きベクトルを分離して使用することを特徴としている。このように、本発明の第１の実施例では、動きベクトルの保存を行いながら、保存のための記録媒体を新たに用意するという繁雑さを解消している。
【００２９】
図１を用いて、本発明の第１の実施例の動画像伸長装置を説明する。
【００３０】
本発明の第１の実施例の動画像伸長装置では、ビットストリーム入力端子２１からビットストリームを入力し、画像出力端子２６から動きベクトルがブランキングに多重化された動画像信号を出力するものである。
【００３１】
この図１において、ビットストリーム入力端子２１へ入力されたビットストリームは、例えばＭＰＥＧ規格のような動画像圧縮符号化のフォーマットにてなるものであり、圧縮動画像信号と共に、その動画像圧縮符号化時に検出された動きベクトルを含むものである。このビットストリームは、動きベクトル分離器２２に送られ、ここで当該ビットストリームから上記動きベクトル情報が分離される。この動きベクトル情報は動き補償器２７に送られる。当該動き補償器２７では、その動きベクトルに基づいて、フレームメモリ２８内の画像に対して動き補償を行い、予測画像を構成する。
【００３２】
また、上記動きベクトル分離器２２にて上記ビットストリームから取り出された量子化されたデータ（圧縮された動画像信号）は、逆量子化器２３に送られて逆量子化され、逆直交変換器２４にて逆直交変換され、これにより差分画像が生成される。この差分画像の信号と、上記動き補償器２７で作られた予測画像の信号は、加算器２５で加え合わされ、得られた画像信号はフレームメモリ２８に格納されると共に、多重化器２９に送られる。
【００３３】
ここで、本発明の第１の実施例の動画像伸長装置では、上記多重化器２９において、上記加算器２５から出力された画像のブランキングに、上記動きベクトル分離器２２から出力された動きベクトル情報を多重化するようにしている。この多重化器２９にて画像のブランキングに動きベクトル情報が多重化された信号が、当該動画像伸長装置からの出力画像信号として、画像出力端子２６から出力される。
【００３４】
以下に、上記画像のブランキングへの動きベクトル情報の多重化方法の一例を説明する。
【００３５】
先ず、画像信号のブランキングとは、帰線消去期間にあたるため、画像として表示されない部分であり、このブランキングには、水平帰線消去期間にあたる水平ブランキングと垂直帰線消去期間にあたる垂直ブランキングとがある。例えば日本やアメリカ合衆国などで使われているいわゆるＮＴＳＣテレビ放送方式では、図２に示すように、１フレームにつき３５ラインの走査線が垂直ブランキングである。
【００３６】
また、いわゆるＭＰＥＧ２の規格にて上記ＮＴＳＣテレビ放送方式の画像を扱う場合、符号化する画素は一般に７２０画素×４８０ラインで、動き補償の単位ブロックは１６画素×１６ライン（マクロブロックと呼ばれる）の大きさである。１フレーム中のマクロブロックの数は（７２０／１６）×（４８０／１６）＝１３５０個となる。また、１マクロブロックあたりの動きベクトルは最大４本である。更に１つの動きベクトルを表現するには、縦横それぞれについて最大±９６画素を取るとしても、固定長表現で１６ビットあれば充分である。よって、１フレーム中の動きベクトルを表現するのに必要なビット数は、
１３５０×４×１６＝８６４００（ビット）
で充分である。
【００３７】
また、画像の垂直ブランキングの１ラインあたりで、８ビットの画素を７２０画素使うとすると、
８×７２０＝５７６０（ビット／ライン）
が利用可能である。
【００３８】
以上より、１フレームあたりで８６４００／５７６０＝１５（ライン）の垂直ブランキングを用いれば、動きベクトルを固定長表現で画像信号に多重化することが出来る。１フレームあたり３５ラインの垂直ブランキングがあることから、このような多重化は可能である。
【００３９】
次に、図３を用いて、本発明の第１の実施例における動画像圧縮装置の説明を行う。
【００４０】
この本発明の第１の実施例の動画像圧縮装置は、画像入力端子１から入力された画像信号を圧縮して、ビットストリーム出力端子９から出力するものである。
【００４１】
図３において、画像入力端子１には、上記図１の動画像伸長装置によって上記ブランキングに動きベクトルの情報が多重化された画像信号が供給される。この画像入力端子１から入力された上記ブランキングに動きベクトルの情報が多重化された画像信号は、動きベクトル分離器１３に送られる。当該動きベクトル分離器１３では、上記画像入力端子１から供給された画像信号より、上記ブランキングに多重化された動きベクトルを分離し、当該動きベクトルの情報については動き補償器１０及び多重化器８に送り、当該動きベクトルが分離された後の画像信号については差分計算器２に送る。
【００４２】
当該動きベクトル分離器１３から上記動きベクトルの情報が供給された動き補償器１０では、その動きベクトルに基づいてフレームメモリ１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【００４３】
また、上記動きベクトル分離器１３からの上記画像信号が供給された差分計算器２では、当該画像信号と上記動き補償器１０で作られた予測画像との差分を計算する。この差分計算器２にて求められた差分信号は、直交変換器３に送られ、ここで直交変換される。この直交変換器３で直交変換が施された信号は、量子化器４に送られ、当該量子化器４で量子化することによって圧縮される。この量子化されたデータは、多重化器８に送られ、ここで上記動きベクトル分離器１３から供給された動きベクトル情報と多重化されて、ビットストリーム出力端子９から出力される。なお、この場合の多重化は、例えばＭＰＥＧフォーマットに則った多重化である。
【００４４】
また、量子化器４で量子化されたデータは、逆量子化器５にも送られ、ここで逆量子化され、さらに逆直交変換器６にて逆直交変換される。これにより、上記出力したビットストリームから復元されるものと同じ差分画像が得られる。この差分画像の信号と、上記動き補償器１０で作られた予測画像の信号を、加算器７で加え合わせて得た画像信号は、前述の動き補償のためにフレームメモリ１１に格納される。
【００４５】
このように、本発明の第１の実施例の動画像圧縮装置においては、画像入力端子１に上記動きベクトルの多重化された画像信号が入力され、動きベクトル分離器１３にて当該動きベクトルの多重化された画像信号から動きベクトルと画像信号とを分離するようにし、この動きベクトルが動き補償器１０及び多重化器８に送られるようになっている。
【００４６】
以上のような本発明の第１の実施例の動画像圧縮装置及び動画像伸長装置を用いるようにすれば、例えば前記図１０にて示したような繰り返しの圧縮伸長のときに上記ブランキングに多重化された動きベクトルを使用できるため、前述の従来例のように既に圧縮伸長されて画質の劣化している画像で動きベクトルを求める場合と異なり、不適切な動きベクトルが出にくい。そのため、動き補償をしたときの残差が少なくなり、効率のよい予測が可能となる。また、本実施例のような適切な動きベクトルは、相互の相関が高く、動きベクトルを表現するための符号量をも少なくでき、したがって、従来例と同じビットレートであっても画質を向上させることが可能となる。
【００４７】
また、本発明の第１の実施例では、画像表示用としては使われていない画像信号のブランキングに上記動きベクトルの情報を書き込むようにしているため、前述した従来例のように新規に用意した他の記憶媒体に当該動きベクトルを記録するようなことを行わなくてもよくなる。
【００４８】
次に、本発明の第２の実施例について説明する。なお、本発明の第２の実施例の動画像圧縮装置において、前記図３に示した動画像圧縮装置と同一の構成要素には同じ指示符号を付している。また、本発明の第２の実施例の動画像圧縮装置に対応する動画像伸長装置は、前記第１の実施例の動画像伸長装置と同じであるため、その説明は省略する。
【００４９】
本発明の第２の実施例においては、上述のように画像信号のブランキングに多重化されて保存された動きベクトルが最適な動きベクトルであるとは限らないので、この問題を克服するために、動画像圧縮装置にて、より適した動きベクトルの探索を行うようにしている。すなわち本発明の第２の実施例では、動画像圧縮装置において、図４に示すように動きベクトル検出器１２を備え、ここで前記動きベクトル分離器１３にて分離された動きベクトルに基づいて、入力画像からより適切な動きベクトルを再探索するようにしている。
【００５０】
この図４に示す本発明の第２の実施例の動画像圧縮装置において、画像入力端子１には前記図１の動画像伸長装置によって上記ブランキングに動きベクトルの情報が多重化された画像信号が供給される。この画像入力端子１から入力された信号は、動きベクトル分離器１３に送られ、ここで動きベクトルが分離され、得られた動きベクトルの情報については動きベクトル検出器１２に、また、当該動きベクトルが分離された後の画像信号については動きベクトル検出器１２と差分計算器２とに送られる。
【００５１】
上記動きベクトル検出器１２は、上記動きベクトル分離器１３にて分離された動きベクトルの周辺を入力画像上で再検索し、その再検索の結果得られた新たな動きベクトルを、動き補償器１０及び多重化器８に出力する。ここで、上記再探索の範囲は、動きベクトルの取り得る値の全範囲（入力画像の全範囲）のように大きく設定する必要はなく、上記動きベクトル分離器１３にて分離された動きベクトルの周辺の範囲のみでよい。これにより、上記動きベクトル分離器１３にて分離された動きベクトルが示す位置の周辺とは大きく隔たった位置の、相関の少ない動きベクトルが増えるようなことがなく、したがって、より残差の少ない動きベクトルを得ることが可能となる。
【００５２】
動き補償器１０では、供給された動きベクトルに基づいてフレームメモリ１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【００５３】
差分計算器２では、供給された画像信号と上記動き補償器１０で作られた予測画像との差分を計算し、その差分信号が直交変換器３に送られる。当該直交変換回路３にて直交変換が施された信号は、量子化器４に送られ、ここで量子化による圧縮がなされる。
【００５４】
また、量子化器４で量子化されたデータは、逆量子化器５にて逆量子化され、さらに逆直交変換器６にて逆直交変換されて復元された差分画像の信号は、加算器７にて上記動き補償器１０で作られた予測画像の信号と加え合わされ、この加算器７にて得られた画像信号は、前記動き補償のためにフレームメモリ１１に格納される。
【００５５】
多重化器８では、上記量子化器４からの上記量子化されたデータに、上記動きベクトル検出器１２から供給された動きベクトル情報を多重化する。このようにして得られたビットストリームが、当該動画像圧縮装置のビットストリーム出力端子９から出力される。
【００５６】
次に、本発明の第３の実施例についての説明を行う。この第３の実施例では、前記ブランキングに保存する動きベクトルの情報量の削減を可能としている。
【００５７】
図５には本発明の第３の実施例の動画像伸長装置を示す。なお、この図５において、前記図１に示した動画像伸長装置と同一の構成要素には同じ指示符号を付している。
【００５８】
この図５において、ビットストリーム入力端子１へ入力されたビットストリームは、前記図１同様に先の動画像圧縮符号化時に検出された動きベクトルを含むものである。
【００５９】
動きベクトル分離器２２では、上記ビットストリームから上記動きベクトルの情報を分離し、当該分離し動きベクトルの情報については動き補償器２７と動きベクトル量子化器３０とに送り、残りの量子化データについては逆量子化器２３に送る。
【００６０】
動きベクトル量子化器３０では、上記動きベクトル分離器２２から供給された動きベクトルの情報を量子化することにより圧縮している。この動きベクトル量子化器３０にて量子化された動きベクトルの情報は多重化器２９に送られる。
【００６１】
動き補償器２７では、上記動きベクトル分離器２２からの動きベクトルに基づいて、フレームメモリ２８内の画像に対して動き補償を行い、予測画像を構成する。
【００６２】
また、逆量子化器２３では上記量子化データを逆量子化する。この逆量子化器２３の出力は、逆直交変換器２４にて逆直交変換され、これにより得られた差分画像の信号は、加算器２５によって上記動き補償器２７で作られた予測画像の信号と加え合わされる。当該加算器２５により得られた画像信号はフレームメモリ２８に格納されると共に、多重化器２９に送られる。
【００６３】
多重化器２９では、上記加算器２５から供給された画像信号のブランキングに、上記動きベクトル量子化器３０にて量子化された動きベクトルの情報を多重化する。この多重化器２９から出力された画像信号が、当該動画像伸長装置の画像出力端子２６から出力される。
【００６４】
次に、図６を用いて、上記図５に示した動画像伸長装置に対応する本発明の第３の実施例の動画像圧縮装置の説明を行う。なお、図６において、前記図４に示した動画像圧縮装置と同一の構成要素には同じ指示符号を付している。
【００６５】
この図６において、画像入力端子１には前記図５の動画像伸長装置によって上記ブランキングに量子化された動きベクトルの情報が多重化された画像信号が供給される。この画像入力端子１から入力された信号は、動きベクトル分離器１３に送られ、ここで上記量子化された動きベクトルが分離され、当該量子化された動きベクトルの情報については動きベクトル逆量子化器１４に、また、当該量子化された動きベクトルが分離された後の画像信号については動きベクトル検出器１２と差分計算器２とに送られる。
【００６６】
上記動きベクトル逆量子化器１４では、上記量子化された動きベクトルの情報を逆量子化して、前記図５の動きベクトル量子化器３０での量子化前の動きベクトルを再現する。この動きベクトル逆量子化器１４にて得られた動きベクトルの情報は、動きベクトル検出器１２に送られる。
【００６７】
当該動きベクトル検出器１２は、上記動きベクトル逆量子化器１４にて求められた動きベクトルを受け取ると、前記第２の実施例の動画像圧縮装置と同様に、当該動きベクトルの周辺を入力画像上で再検索し、その再検索の結果得られた新たな動きベクトルを、動き補償器１０と多重化器８とに出力する。
【００６８】
動き補償器１０では、供給された動きベクトルに基づいてフレームメモリ１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【００６９】
差分計算器２では、供給された画像信号と上記動き補償器１０で作られた予測画像との差分を計算し、その差分信号が直交変換器３に送られる。当該直交変換回路３にて直交変換が施された信号は、量子化器４に送られ、ここで量子化による圧縮がなされる。
【００７０】
また、量子化器４で量子化されたデータは、逆量子化器５にて逆量子化され、さらに逆直交変換器６にて逆直交変換されて復元された差分画像の信号は、加算器７にて上記動き補償器１０で作られた予測画像の信号と加え合わされ、この加算器７にて得られた画像信号は、前記動き補償のためにフレームメモリ１１に格納される。
【００７１】
多重化器８では、上記量子化器４からの上記量子化されたデータに、上記動きベクトル検出器１２から供給された動きベクトル情報を多重化する。このようにして得られたビットストリームが、当該動画像圧縮装置のビットストリーム出力端子９から出力される。
【００７２】
ここで、この第３の実施例では、当該動きベクトル検出１２を設けずに、上記動きベクトル逆量子化器１４にて得られた動きベクトルの情報を直接に動き補償器１０と多重化器８に送るようにすることも可能である。
【００７３】
しかし、上述のように動きベクトルの再検索を行うようにすれば、前記第２の実施例にて述べたような、より残差の少ない動きベクトルを得ることが可能となり、動画像圧縮装置にて動きベクトルを量子化したことによって当該動きベクトルの精度が落ちてしまったとしても不都合はなく、本実施例における動きベクトルのための符号量を減らすことができると言う利点を、より効果的に利用することが可能となる。これにより、画像信号のブランキング部分の多くを、動きベクトルを保存する以外の目的のために使用することも可能となり、よい画質での繰り返しの圧縮伸長が可能となる。
【００７５】
また、上述の各実施例の説明では、動きベクトルをそのまま固定長で符号化したが、可変長符号などを使ってブランキングに多重化されるデータ量を更に減らすように符号化してもよい。
【００７６】
さらに、上述の各実施例では、画像信号のブランキングに動きベクトルを多重化する例のみを挙げているが、当該動きベクトルと共に、例えばＭＰＥＧ規格におけるピクチャコーディングタイプの情報やフィールド／フレームの構成種別の情報、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の区切り情報、シーンチェンジの情報などを多重化することも可能であり、このように各情報を多重化すれば、繰り返し圧縮伸長の際により品質のよい画像を得ることが可能となる。
【００７７】
以上、説明したように本発明の各実施例においては、動画像伸長装置にて使用した動きベクトルを画像信号のブランキングの部分に多重化して出力するようにし、動画像圧縮装置では当該ブランキングに多重化された動きベクトルを用いて画像圧縮を行うようにすることで、繰り返しの圧縮伸長のときにも不適切な動きベクトルを使用することなく、動き補償したときの残差が少なく効率のよい符号化ができる。また、このような適切な動きベクトルは相関が高く、動きベクトルの表現のための符号量を少なくでき、このため同じビットレートでの画質を向上させることが可能となる。さらに、第２の実施例においては、より適切な動きベクトルを探索して使用することが可能となり、また、第３の実施例においては、動きベクトルの情報量を量子化することで、当該動きベクトルのための情報量を削減することが可能となる。これらの利点は、新規にデータを保存する手段を用いることなく実現可能である。
【００７８】
【発明の効果】
本発明においては、ビットストリームを伸長することにより得た動画像信号のブランキングに、ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信し、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出し、この新たな動きベクトルを用いて入力動画像信号を圧縮し、さらに圧縮した入力動画像信号にこの新たな動きベクトルを多重化して出力することで、繰り返しの圧縮伸長のときに不適切な動きベクトルを使用することが防止される。特に、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出することで、量子化により精度の落ちた動きベクトルの精度を上げることができる。これにより、繰り返しの圧縮伸長において劣化を最小限に抑えることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の動画像伸長装置の概略構成を示すブロック回路図である。
【図２】動きベクトルの情報が多重化されるブランキングの部分についての説明に用いる図である。
【図３】本発明の第１の実施例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図４】本発明の第２の実施例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図５】本発明の第３の実施例の動画像伸長装置の概略構成を示すブロック回路図である。
【図６】本発明の第３の実施例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図７】動き補償フレーム間予測の原理の説明に用いる図である。
【図８】従来例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図９】従来例の動画像伸長装置の概略構成を示すブロック回路図である。
【図１０】動画像圧縮装置と動画像伸長装置を縦続接続した場合の接続状態を示す図である。
【符号の説明】
１ 画像入力端子、 ２ 差分計算器、 ３ 直交変換器、 ４ 量子化器、５，２３ 逆量子化器、 ６，２４ 逆直交変換器、 ７，２５ 加算器、 ８，２９ 多重化器、 ９ ビットストリーム出力端子、 １０，２７ 動き補償器、 １１，２８ フレームメモリ、 １２ 動きベクトル検出器、 １３，２２ 動きベクトル分離器、 １４ 動きベクトル逆量子化器、 ３０ 動きベクトル量子化器、 ２１ ビットストリーム入力端子、 ２６ 画像出力端子
【発明の属する技術分野】
本発明は、例えばディジタルテレビ放送用機器やディジタルビデオディスクなどの、動画像信号を伝送または蓄積するシステムに好適な動画像圧縮装置に関する。
【０００２】
【従来の技術】
ディジタル動画像信号を伝送又は蓄積するシステムでは、例えば動画像信号のフレーム内相関やフレーム間相関を利用して、画像信号を圧縮符号化することにより、伝送路および蓄積媒体の効率的な使用が可能となる。なお、動画像信号の圧縮符号化手法としては、いわゆるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）と呼ばれる蓄積用動画像符号化の検討組織にて標準化された圧縮方式が存在する。
【０００３】
上記フレーム内相関を利用した画像信号の圧縮方法では、ＤＣＴ（離散コサイン変換）などの、符号化すべき係数を集中させる働きのある直交変換が多く用いられている。
【０００４】
また、上記フレーム間相関を利用した方法では、いわゆる動き補償フレーム間予測が多く用いられている。ここで、この動き補償フレーム間予測の原理を図７を用いて説明する。この図７に示すように、時刻ｔ１，ｔ２において、画像Ｐ１，Ｐ２が発生し、既に画像Ｐ１は伝送されているものとし、画像Ｐ２はこれから新規に伝送するものとする。このとき、画像Ｐ２を複数のブロックに分割し、これら各ブロックについて、画像Ｐ１との間の動き量（動きベクトル）を検出する。そして、画像Ｐ１を上記動きベクトルの分だけ並行移動させたものを、そのブロックに対する予測画像とし、当該予測画像と上記画像Ｐ２のブロックとの差分画像を求め、この差分画像と上記動きベクトルとを符号化するものが、上記動き補償フレーム間予測である。
【０００５】
上述のフレーム内相関とフレーム間相関を利用した従来の動画像圧縮装置を図８に示し、従来の動画像伸長装置の構成を図９に示す。
【０００６】
図８に示した従来の動画像圧縮装置は、画像入力端子１０１から入力されたディジタル画像信号を圧縮して、ビットストリーム出力端子１０９から出力するものである。
【０００７】
この図８において、画像入力端子１０１から入力された画像信号は、動きベクトル検出器１１２に送られ、ここで動きベクトルが計算される。当該動きベクトル検出器１１２にて求められた動きベクトル情報は動き補償器１１０に送られ、この動き補償器１１０では上記動きベクトルに基づいてフレームメモリ１１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【０００８】
また、上記画像入力端子１から入力されたディジタル画像信号は差分計算器１０２にも送られる。この差分計算器１０２では、画像入力端子１０１から入力された画像信号と、上記動き補償器１１０で作られた予測画像との差分が計算される。この差分計算器１０２にて求められた差分信号は、直交変換器１０３に送られ、ここで直交変換される。この直交変換器１０３で直交変換が施された信号は、量子化器１０４に送られ、当該量子化器１０４で量子化することによって圧縮される。この量子化されたデータは、多重化器１０８に送られ、ここで上記動きベクトル検出器１１２で計算された動きベクトル情報と多重化されて、ビットストリーム出力端子１０９から出力される。
【０００９】
さらに、量子化器１０４で量子化されたデータは、逆量子化器１０５にも送られ、ここで逆量子化され、さらに逆直交変換器１０６にて逆直交変換される。これにより、上記出力したビットストリームから復元されるものと同じ差分画像が得られる。この差分画像の信号と、上記動き補償器１１０で作られた予測画像の信号を、加算器１０７で加え合わせて得た画像信号は、前述の動き補償のためにフレームメモリ１１１に入れられる。
【００１０】
一方、図９に示す従来の動画像伸長装置は、ビットストリーム入力端子１２１からビットストリームを入力し、それを伸長して、画像出力端子１２６から出力するものである。
【００１１】
この図９において、ビットストリーム入力端子１２１から入力されたビットストリームは、動きベクトル分離器１２２に送られ、ここで当該ビットストリームから動きベクトル情報が分離される。この動きベクトル情報は動き補償器１２７に送られる。この動き補償器１２７では、その動きベクトルに基づいて、フレームメモリ１２８内の画像に対して動き補償を行い、予測画像を構成する。
【００１２】
また、上記動きベクトル分離器１２２にて上記ビットストリームから取り出された量子化されたデータは、逆量子化器１２３に送られて逆量子化され、逆直交変換器１２４にて逆直交変換され、差分画像が生成される。この差分画像の信号と、上記動き補償器１２７で作られた予測画像の信号は、加算器１２５で加え合わされ、得られた画像信号はフレームメモリ１２８に格納されると共に、画像出力端子１２６から出力される。
【００１３】
ところで、上述したような動画像圧縮装置と動画像伸長装置を、例えば図１０に示すように縦続接続して用いることがある。この図１０のような縦続接続を行うことは、圧縮伸長を繰り返し行うことに相当する。
【００１４】
すなわちこの図１０において、画像入力端子２００に供給された画像信号は動画像圧縮装置２０１にて圧縮され、ビットストリーム出力端子２０２から出力される。このビットストリームは例えば放送，通信，記録媒体などを介して、ビットストリーム入力端子２２０に送られ、動画像伸長装置２２１にて伸長されて画像出力端子２２２から出力される。当該画像出力端子２２２から出力された画像信号は例えば編集機などを介して画像入力端子２４０に入力される。この画像入力端子２４０に供給された画像信号は動画像圧縮装置２４１にて圧縮され、ビットストリーム出力端子２４２から出力される。このビットストリームは例えば放送，通信，記録媒体などを介して、ビットストリーム入力端子２６０に送られ、動画像伸長装置２６１にて伸長されて画像出力端子２６２から出力される。当該画像出力端子２２２から出力された画像信号は更に例えば編集機などに送られる。
【００１５】
上記図１０に示した構成によれば、動画像圧縮装置２０１と動画像伸長装置２２１で１回目の圧縮伸長が行われ、動画像圧縮装置２４１と動画像伸長装置２６１で２回目の圧縮伸長が行われている。３回目以降も同様である。
【００１６】
このように、前述の圧縮伸長方式を用いて画像の圧縮伸長を繰り返すと、繰り返しの度に画質が劣化してしまう。
【００１７】
そこで、繰り返し圧縮伸長をしたときの画質の劣化を抑えるために、圧縮のときにピクチャコーディングタイプを合わせることがよいと、一般に言われている。つまり、動き補償を行わないイントラ符号化画面（いわゆるＩピクチャ）、時間的に前のフレームから動き補償を行う順方向予測符号化画面（いわゆるＰピクチャ）、前後両方のフレームから動き補償を行う双方向予測符号化画面（いわゆるＢピクチャ）のうち、どのピクチャとして圧縮するかを、各フレームについて図１０の動画像圧縮装置２０１と動画像圧縮装置２４１とで同じにすると、画質の劣化が抑えられると考えられている。
【００１８】
また、動きべクトルと量子化された直交変換の係数などのすべてのパラメータを保存しておくことも考えられている。図１０で説明すれば、動画像圧縮装置２０１における、動きべクトルと量子化された直交変換の係数などのすべてのパラメータを保存しておき、動画像圧縮装置２４１で同じパラメータを用いるということである。このように、動きべクトルと量子化された直交変換の係数などのすべてのパラメータを保存しておくと、再圧縮のときに、動き予測を実行し直す必要も、再量子化をする必要もなくなるため、圧縮伸長を何度繰り返しても画像が劣化することはなくなる。
【００１９】
【発明が解決しようとする課題】
しかしながら、上述のような繰り返し圧縮伸長を行うときに、ピクチャコーディングタイプを合わせただけでは、依然として劣化は大きく、圧縮伸長を繰り返すたびに画質が劣化することが、実験により確認されている。
【００２０】
また、動きべクトルと量子化された直交変換の係数などをすべて保存する場合については、それらの情報を保存するための記録媒体を別に用意しなければならないという繁雑さがある。更に、保存しておいた値が最適な値であるとは限らないという問題、また、保存を行うには情報の量が多いという問題がある。
【００２１】
以上のように、従来の動き補償フレーム間予測を利用した動画像圧縮伸長方法で、画像の圧縮伸長を繰り返し行うと、繰り返しの度に画質が劣化してしまい、このための根本的な解決の方法は未だ知られていない。
【００２２】
そこで、本発明はこのような状況に鑑みてなされたものであり、繰り返しの圧縮伸長においても劣化を最小限に抑えることが可能な動画像圧縮装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
本発明の動画像圧縮装置は、ビットストリームを伸長することにより得た動画像信号のブランキングに、上記ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信する受信手段と、上記入力動画像信号のブランキングから、量子化された動きベクトルを分離する動きベクトル分離手段と、上記量子化された動きベクトルを逆量子化する逆量子化手段と、上記逆量子化された動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出する動きベクトル検出手段と、上記新たな動きベクトルを用いて上記入力動画像信号を圧縮する圧縮手段と、上記圧縮した入力動画像信号に上記新たな動きベクトルを多重化して出力する多重化手段とを備えることにより、上述した課題を解決する。
【００２５】
すなわち、本発明によれば、ビットストリームを伸長することにより得た動画像信号のブランキングに、ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信し、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出し、この新たな動きベクトルを用いて入力動画像信号を圧縮し、さらに圧縮した入力動画像信号にこの新たな動きベクトルを多重化して出力することで、繰り返しの圧縮伸長のときに不適切な動きベクトルを使用することが防止される。特に、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出することで、量子化により精度の落ちた動きベクトルの精度を上げることができる。
【００２６】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について図面を参照にしながら説明する。
【００２７】
本発明実施例の動画像伸長装置は、図１に示すように、動きベクトルを画像信号のブランキングに多重化して保存するための多重化器２９を備えてなるものであり、また、本発明実施例の動画像圧縮装置は、図２に示すように、図１の動画像伸長装置にて画像信号のブランキングに多重化された動きベクトルを分離するための動きベクトル分離器１３を備えてなるものである。
【００２８】
すなわち、本発明の第１の実施例では、画像伸長のときに、先の画像圧縮のときに求められて供給された動きベクトルの情報を、伸長画像のブランキングの部分の信号に多重化して出力し、後の画像圧縮のときに、そのブランキングに多重化された動きベクトルを分離して使用することを特徴としている。このように、本発明の第１の実施例では、動きベクトルの保存を行いながら、保存のための記録媒体を新たに用意するという繁雑さを解消している。
【００２９】
図１を用いて、本発明の第１の実施例の動画像伸長装置を説明する。
【００３０】
本発明の第１の実施例の動画像伸長装置では、ビットストリーム入力端子２１からビットストリームを入力し、画像出力端子２６から動きベクトルがブランキングに多重化された動画像信号を出力するものである。
【００３１】
この図１において、ビットストリーム入力端子２１へ入力されたビットストリームは、例えばＭＰＥＧ規格のような動画像圧縮符号化のフォーマットにてなるものであり、圧縮動画像信号と共に、その動画像圧縮符号化時に検出された動きベクトルを含むものである。このビットストリームは、動きベクトル分離器２２に送られ、ここで当該ビットストリームから上記動きベクトル情報が分離される。この動きベクトル情報は動き補償器２７に送られる。当該動き補償器２７では、その動きベクトルに基づいて、フレームメモリ２８内の画像に対して動き補償を行い、予測画像を構成する。
【００３２】
また、上記動きベクトル分離器２２にて上記ビットストリームから取り出された量子化されたデータ（圧縮された動画像信号）は、逆量子化器２３に送られて逆量子化され、逆直交変換器２４にて逆直交変換され、これにより差分画像が生成される。この差分画像の信号と、上記動き補償器２７で作られた予測画像の信号は、加算器２５で加え合わされ、得られた画像信号はフレームメモリ２８に格納されると共に、多重化器２９に送られる。
【００３３】
ここで、本発明の第１の実施例の動画像伸長装置では、上記多重化器２９において、上記加算器２５から出力された画像のブランキングに、上記動きベクトル分離器２２から出力された動きベクトル情報を多重化するようにしている。この多重化器２９にて画像のブランキングに動きベクトル情報が多重化された信号が、当該動画像伸長装置からの出力画像信号として、画像出力端子２６から出力される。
【００３４】
以下に、上記画像のブランキングへの動きベクトル情報の多重化方法の一例を説明する。
【００３５】
先ず、画像信号のブランキングとは、帰線消去期間にあたるため、画像として表示されない部分であり、このブランキングには、水平帰線消去期間にあたる水平ブランキングと垂直帰線消去期間にあたる垂直ブランキングとがある。例えば日本やアメリカ合衆国などで使われているいわゆるＮＴＳＣテレビ放送方式では、図２に示すように、１フレームにつき３５ラインの走査線が垂直ブランキングである。
【００３６】
また、いわゆるＭＰＥＧ２の規格にて上記ＮＴＳＣテレビ放送方式の画像を扱う場合、符号化する画素は一般に７２０画素×４８０ラインで、動き補償の単位ブロックは１６画素×１６ライン（マクロブロックと呼ばれる）の大きさである。１フレーム中のマクロブロックの数は（７２０／１６）×（４８０／１６）＝１３５０個となる。また、１マクロブロックあたりの動きベクトルは最大４本である。更に１つの動きベクトルを表現するには、縦横それぞれについて最大±９６画素を取るとしても、固定長表現で１６ビットあれば充分である。よって、１フレーム中の動きベクトルを表現するのに必要なビット数は、
１３５０×４×１６＝８６４００（ビット）
で充分である。
【００３７】
また、画像の垂直ブランキングの１ラインあたりで、８ビットの画素を７２０画素使うとすると、
８×７２０＝５７６０（ビット／ライン）
が利用可能である。
【００３８】
以上より、１フレームあたりで８６４００／５７６０＝１５（ライン）の垂直ブランキングを用いれば、動きベクトルを固定長表現で画像信号に多重化することが出来る。１フレームあたり３５ラインの垂直ブランキングがあることから、このような多重化は可能である。
【００３９】
次に、図３を用いて、本発明の第１の実施例における動画像圧縮装置の説明を行う。
【００４０】
この本発明の第１の実施例の動画像圧縮装置は、画像入力端子１から入力された画像信号を圧縮して、ビットストリーム出力端子９から出力するものである。
【００４１】
図３において、画像入力端子１には、上記図１の動画像伸長装置によって上記ブランキングに動きベクトルの情報が多重化された画像信号が供給される。この画像入力端子１から入力された上記ブランキングに動きベクトルの情報が多重化された画像信号は、動きベクトル分離器１３に送られる。当該動きベクトル分離器１３では、上記画像入力端子１から供給された画像信号より、上記ブランキングに多重化された動きベクトルを分離し、当該動きベクトルの情報については動き補償器１０及び多重化器８に送り、当該動きベクトルが分離された後の画像信号については差分計算器２に送る。
【００４２】
当該動きベクトル分離器１３から上記動きベクトルの情報が供給された動き補償器１０では、その動きベクトルに基づいてフレームメモリ１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【００４３】
また、上記動きベクトル分離器１３からの上記画像信号が供給された差分計算器２では、当該画像信号と上記動き補償器１０で作られた予測画像との差分を計算する。この差分計算器２にて求められた差分信号は、直交変換器３に送られ、ここで直交変換される。この直交変換器３で直交変換が施された信号は、量子化器４に送られ、当該量子化器４で量子化することによって圧縮される。この量子化されたデータは、多重化器８に送られ、ここで上記動きベクトル分離器１３から供給された動きベクトル情報と多重化されて、ビットストリーム出力端子９から出力される。なお、この場合の多重化は、例えばＭＰＥＧフォーマットに則った多重化である。
【００４４】
また、量子化器４で量子化されたデータは、逆量子化器５にも送られ、ここで逆量子化され、さらに逆直交変換器６にて逆直交変換される。これにより、上記出力したビットストリームから復元されるものと同じ差分画像が得られる。この差分画像の信号と、上記動き補償器１０で作られた予測画像の信号を、加算器７で加え合わせて得た画像信号は、前述の動き補償のためにフレームメモリ１１に格納される。
【００４５】
このように、本発明の第１の実施例の動画像圧縮装置においては、画像入力端子１に上記動きベクトルの多重化された画像信号が入力され、動きベクトル分離器１３にて当該動きベクトルの多重化された画像信号から動きベクトルと画像信号とを分離するようにし、この動きベクトルが動き補償器１０及び多重化器８に送られるようになっている。
【００４６】
以上のような本発明の第１の実施例の動画像圧縮装置及び動画像伸長装置を用いるようにすれば、例えば前記図１０にて示したような繰り返しの圧縮伸長のときに上記ブランキングに多重化された動きベクトルを使用できるため、前述の従来例のように既に圧縮伸長されて画質の劣化している画像で動きベクトルを求める場合と異なり、不適切な動きベクトルが出にくい。そのため、動き補償をしたときの残差が少なくなり、効率のよい予測が可能となる。また、本実施例のような適切な動きベクトルは、相互の相関が高く、動きベクトルを表現するための符号量をも少なくでき、したがって、従来例と同じビットレートであっても画質を向上させることが可能となる。
【００４７】
また、本発明の第１の実施例では、画像表示用としては使われていない画像信号のブランキングに上記動きベクトルの情報を書き込むようにしているため、前述した従来例のように新規に用意した他の記憶媒体に当該動きベクトルを記録するようなことを行わなくてもよくなる。
【００４８】
次に、本発明の第２の実施例について説明する。なお、本発明の第２の実施例の動画像圧縮装置において、前記図３に示した動画像圧縮装置と同一の構成要素には同じ指示符号を付している。また、本発明の第２の実施例の動画像圧縮装置に対応する動画像伸長装置は、前記第１の実施例の動画像伸長装置と同じであるため、その説明は省略する。
【００４９】
本発明の第２の実施例においては、上述のように画像信号のブランキングに多重化されて保存された動きベクトルが最適な動きベクトルであるとは限らないので、この問題を克服するために、動画像圧縮装置にて、より適した動きベクトルの探索を行うようにしている。すなわち本発明の第２の実施例では、動画像圧縮装置において、図４に示すように動きベクトル検出器１２を備え、ここで前記動きベクトル分離器１３にて分離された動きベクトルに基づいて、入力画像からより適切な動きベクトルを再探索するようにしている。
【００５０】
この図４に示す本発明の第２の実施例の動画像圧縮装置において、画像入力端子１には前記図１の動画像伸長装置によって上記ブランキングに動きベクトルの情報が多重化された画像信号が供給される。この画像入力端子１から入力された信号は、動きベクトル分離器１３に送られ、ここで動きベクトルが分離され、得られた動きベクトルの情報については動きベクトル検出器１２に、また、当該動きベクトルが分離された後の画像信号については動きベクトル検出器１２と差分計算器２とに送られる。
【００５１】
上記動きベクトル検出器１２は、上記動きベクトル分離器１３にて分離された動きベクトルの周辺を入力画像上で再検索し、その再検索の結果得られた新たな動きベクトルを、動き補償器１０及び多重化器８に出力する。ここで、上記再探索の範囲は、動きベクトルの取り得る値の全範囲（入力画像の全範囲）のように大きく設定する必要はなく、上記動きベクトル分離器１３にて分離された動きベクトルの周辺の範囲のみでよい。これにより、上記動きベクトル分離器１３にて分離された動きベクトルが示す位置の周辺とは大きく隔たった位置の、相関の少ない動きベクトルが増えるようなことがなく、したがって、より残差の少ない動きベクトルを得ることが可能となる。
【００５２】
動き補償器１０では、供給された動きベクトルに基づいてフレームメモリ１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【００５３】
差分計算器２では、供給された画像信号と上記動き補償器１０で作られた予測画像との差分を計算し、その差分信号が直交変換器３に送られる。当該直交変換回路３にて直交変換が施された信号は、量子化器４に送られ、ここで量子化による圧縮がなされる。
【００５４】
また、量子化器４で量子化されたデータは、逆量子化器５にて逆量子化され、さらに逆直交変換器６にて逆直交変換されて復元された差分画像の信号は、加算器７にて上記動き補償器１０で作られた予測画像の信号と加え合わされ、この加算器７にて得られた画像信号は、前記動き補償のためにフレームメモリ１１に格納される。
【００５５】
多重化器８では、上記量子化器４からの上記量子化されたデータに、上記動きベクトル検出器１２から供給された動きベクトル情報を多重化する。このようにして得られたビットストリームが、当該動画像圧縮装置のビットストリーム出力端子９から出力される。
【００５６】
次に、本発明の第３の実施例についての説明を行う。この第３の実施例では、前記ブランキングに保存する動きベクトルの情報量の削減を可能としている。
【００５７】
図５には本発明の第３の実施例の動画像伸長装置を示す。なお、この図５において、前記図１に示した動画像伸長装置と同一の構成要素には同じ指示符号を付している。
【００５８】
この図５において、ビットストリーム入力端子１へ入力されたビットストリームは、前記図１同様に先の動画像圧縮符号化時に検出された動きベクトルを含むものである。
【００５９】
動きベクトル分離器２２では、上記ビットストリームから上記動きベクトルの情報を分離し、当該分離し動きベクトルの情報については動き補償器２７と動きベクトル量子化器３０とに送り、残りの量子化データについては逆量子化器２３に送る。
【００６０】
動きベクトル量子化器３０では、上記動きベクトル分離器２２から供給された動きベクトルの情報を量子化することにより圧縮している。この動きベクトル量子化器３０にて量子化された動きベクトルの情報は多重化器２９に送られる。
【００６１】
動き補償器２７では、上記動きベクトル分離器２２からの動きベクトルに基づいて、フレームメモリ２８内の画像に対して動き補償を行い、予測画像を構成する。
【００６２】
また、逆量子化器２３では上記量子化データを逆量子化する。この逆量子化器２３の出力は、逆直交変換器２４にて逆直交変換され、これにより得られた差分画像の信号は、加算器２５によって上記動き補償器２７で作られた予測画像の信号と加え合わされる。当該加算器２５により得られた画像信号はフレームメモリ２８に格納されると共に、多重化器２９に送られる。
【００６３】
多重化器２９では、上記加算器２５から供給された画像信号のブランキングに、上記動きベクトル量子化器３０にて量子化された動きベクトルの情報を多重化する。この多重化器２９から出力された画像信号が、当該動画像伸長装置の画像出力端子２６から出力される。
【００６４】
次に、図６を用いて、上記図５に示した動画像伸長装置に対応する本発明の第３の実施例の動画像圧縮装置の説明を行う。なお、図６において、前記図４に示した動画像圧縮装置と同一の構成要素には同じ指示符号を付している。
【００６５】
この図６において、画像入力端子１には前記図５の動画像伸長装置によって上記ブランキングに量子化された動きベクトルの情報が多重化された画像信号が供給される。この画像入力端子１から入力された信号は、動きベクトル分離器１３に送られ、ここで上記量子化された動きベクトルが分離され、当該量子化された動きベクトルの情報については動きベクトル逆量子化器１４に、また、当該量子化された動きベクトルが分離された後の画像信号については動きベクトル検出器１２と差分計算器２とに送られる。
【００６６】
上記動きベクトル逆量子化器１４では、上記量子化された動きベクトルの情報を逆量子化して、前記図５の動きベクトル量子化器３０での量子化前の動きベクトルを再現する。この動きベクトル逆量子化器１４にて得られた動きベクトルの情報は、動きベクトル検出器１２に送られる。
【００６７】
当該動きベクトル検出器１２は、上記動きベクトル逆量子化器１４にて求められた動きベクトルを受け取ると、前記第２の実施例の動画像圧縮装置と同様に、当該動きベクトルの周辺を入力画像上で再検索し、その再検索の結果得られた新たな動きベクトルを、動き補償器１０と多重化器８とに出力する。
【００６８】
動き補償器１０では、供給された動きベクトルに基づいてフレームメモリ１１内に記憶されている画像に対して動き補償を行って予測画像を作成する。
【００６９】
差分計算器２では、供給された画像信号と上記動き補償器１０で作られた予測画像との差分を計算し、その差分信号が直交変換器３に送られる。当該直交変換回路３にて直交変換が施された信号は、量子化器４に送られ、ここで量子化による圧縮がなされる。
【００７０】
また、量子化器４で量子化されたデータは、逆量子化器５にて逆量子化され、さらに逆直交変換器６にて逆直交変換されて復元された差分画像の信号は、加算器７にて上記動き補償器１０で作られた予測画像の信号と加え合わされ、この加算器７にて得られた画像信号は、前記動き補償のためにフレームメモリ１１に格納される。
【００７１】
多重化器８では、上記量子化器４からの上記量子化されたデータに、上記動きベクトル検出器１２から供給された動きベクトル情報を多重化する。このようにして得られたビットストリームが、当該動画像圧縮装置のビットストリーム出力端子９から出力される。
【００７２】
ここで、この第３の実施例では、当該動きベクトル検出１２を設けずに、上記動きベクトル逆量子化器１４にて得られた動きベクトルの情報を直接に動き補償器１０と多重化器８に送るようにすることも可能である。
【００７３】
しかし、上述のように動きベクトルの再検索を行うようにすれば、前記第２の実施例にて述べたような、より残差の少ない動きベクトルを得ることが可能となり、動画像圧縮装置にて動きベクトルを量子化したことによって当該動きベクトルの精度が落ちてしまったとしても不都合はなく、本実施例における動きベクトルのための符号量を減らすことができると言う利点を、より効果的に利用することが可能となる。これにより、画像信号のブランキング部分の多くを、動きベクトルを保存する以外の目的のために使用することも可能となり、よい画質での繰り返しの圧縮伸長が可能となる。
【００７５】
また、上述の各実施例の説明では、動きベクトルをそのまま固定長で符号化したが、可変長符号などを使ってブランキングに多重化されるデータ量を更に減らすように符号化してもよい。
【００７６】
さらに、上述の各実施例では、画像信号のブランキングに動きベクトルを多重化する例のみを挙げているが、当該動きベクトルと共に、例えばＭＰＥＧ規格におけるピクチャコーディングタイプの情報やフィールド／フレームの構成種別の情報、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の区切り情報、シーンチェンジの情報などを多重化することも可能であり、このように各情報を多重化すれば、繰り返し圧縮伸長の際により品質のよい画像を得ることが可能となる。
【００７７】
以上、説明したように本発明の各実施例においては、動画像伸長装置にて使用した動きベクトルを画像信号のブランキングの部分に多重化して出力するようにし、動画像圧縮装置では当該ブランキングに多重化された動きベクトルを用いて画像圧縮を行うようにすることで、繰り返しの圧縮伸長のときにも不適切な動きベクトルを使用することなく、動き補償したときの残差が少なく効率のよい符号化ができる。また、このような適切な動きベクトルは相関が高く、動きベクトルの表現のための符号量を少なくでき、このため同じビットレートでの画質を向上させることが可能となる。さらに、第２の実施例においては、より適切な動きベクトルを探索して使用することが可能となり、また、第３の実施例においては、動きベクトルの情報量を量子化することで、当該動きベクトルのための情報量を削減することが可能となる。これらの利点は、新規にデータを保存する手段を用いることなく実現可能である。
【００７８】
【発明の効果】
本発明においては、ビットストリームを伸長することにより得た動画像信号のブランキングに、ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信し、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出し、この新たな動きベクトルを用いて入力動画像信号を圧縮し、さらに圧縮した入力動画像信号にこの新たな動きベクトルを多重化して出力することで、繰り返しの圧縮伸長のときに不適切な動きベクトルを使用することが防止される。特に、逆量子化した動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出することで、量子化により精度の落ちた動きベクトルの精度を上げることができる。これにより、繰り返しの圧縮伸長において劣化を最小限に抑えることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の動画像伸長装置の概略構成を示すブロック回路図である。
【図２】動きベクトルの情報が多重化されるブランキングの部分についての説明に用いる図である。
【図３】本発明の第１の実施例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図４】本発明の第２の実施例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図５】本発明の第３の実施例の動画像伸長装置の概略構成を示すブロック回路図である。
【図６】本発明の第３の実施例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図７】動き補償フレーム間予測の原理の説明に用いる図である。
【図８】従来例の動画像圧縮装置の概略構成を示すブロック回路図である。
【図９】従来例の動画像伸長装置の概略構成を示すブロック回路図である。
【図１０】動画像圧縮装置と動画像伸長装置を縦続接続した場合の接続状態を示す図である。
【符号の説明】
１ 画像入力端子、 ２ 差分計算器、 ３ 直交変換器、 ４ 量子化器、５，２３ 逆量子化器、 ６，２４ 逆直交変換器、 ７，２５ 加算器、 ８，２９ 多重化器、 ９ ビットストリーム出力端子、 １０，２７ 動き補償器、 １１，２８ フレームメモリ、 １２ 動きベクトル検出器、 １３，２２ 動きベクトル分離器、 １４ 動きベクトル逆量子化器、 ３０ 動きベクトル量子化器、 ２１ ビットストリーム入力端子、 ２６ 画像出力端子
Claims (1)
- ビットストリームを伸長することにより得た動画像信号のブランキングに、上記ビットストリームの伸長に用いた動きベクトルを量子化した上で多重化することで生成された入力動画像信号を受信する受信手段と、
上記入力動画像信号のブランキングから、量子化された動きベクトルを分離する動きベクトル分離手段と、
上記量子化された動きベクトルを逆量子化する逆量子化手段と、
上記逆量子化された動きベクトルの周辺の範囲のみを探索して新たな動きベクトルを検出する動きベクトル検出手段と、
上記新たな動きベクトルを用いて上記入力動画像信号を圧縮する圧縮手段と、
上記圧縮した入力動画像信号に上記新たな動きベクトルを多重化して出力する多重化手段と
を備えることを特徴とする動画像圧縮装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23942196A JP3623056B2 (ja) | 1996-09-10 | 1996-09-10 | 動画像圧縮装置 |
| US08/926,164 US6418167B1 (en) | 1996-09-10 | 1997-09-09 | Moving picture compression/expansion apparatus |
| US10/140,791 US6661843B2 (en) | 1996-09-10 | 2002-05-07 | Moving picture compression/expansion apparatus |
| US10/658,480 US20040047421A1 (en) | 1996-09-10 | 2003-09-09 | Moving picture compression/expansion apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23942196A JP3623056B2 (ja) | 1996-09-10 | 1996-09-10 | 動画像圧縮装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1084547A JPH1084547A (ja) | 1998-03-31 |
| JP3623056B2 true JP3623056B2 (ja) | 2005-02-23 |
Family
ID=17044530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23942196A Expired - Fee Related JP3623056B2 (ja) | 1996-09-10 | 1996-09-10 | 動画像圧縮装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6418167B1 (ja) |
| JP (1) | JP3623056B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715009A (en) | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| CA2265089C (en) * | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| KR100571307B1 (ko) * | 1999-02-09 | 2006-04-17 | 소니 가부시끼 가이샤 | 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법 |
| JP3694888B2 (ja) * | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
| JP4196726B2 (ja) * | 2003-05-14 | 2008-12-17 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| CN101120400B (zh) | 2005-01-31 | 2013-03-27 | 斯凯普有限公司 | 在通信系统中生成隐藏帧的方法 |
| JP4983317B2 (ja) * | 2006-03-09 | 2012-07-25 | ソニー株式会社 | フレームレート変換システム，フレームレート変換方法，受信装置 |
| JP4925697B2 (ja) | 2006-03-23 | 2012-05-09 | ソニー株式会社 | ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置 |
| JP5286805B2 (ja) * | 2008-01-31 | 2013-09-11 | 沖電気工業株式会社 | 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2050752B (en) * | 1979-06-07 | 1984-05-31 | Japan Broadcasting Corp | Motion compensated interframe coding system |
| EP0146713B2 (en) * | 1983-10-19 | 1996-04-10 | Nippon Hoso Kyokai | Multiplex subsampling transmission system for a high definition color television picture signal |
| US4882613A (en) * | 1987-10-20 | 1989-11-21 | Sanyo Electric Co., Ltd. | Method of and apparatus for motion vector compensation in receiving television signal based on muse system |
| JPH0810926B2 (ja) * | 1988-04-15 | 1996-01-31 | 三洋電機株式会社 | Ｍｕｓｅデコーダ及びサブサンプル映像信号復調装置 |
| US5124812A (en) * | 1989-01-06 | 1992-06-23 | Sanyo Electric Co., Ltd. | Digital recording and reproducing apparatus for muse signal |
| JP3161614B2 (ja) * | 1991-11-30 | 2001-04-25 | ソニー株式会社 | 動画像復号化装置 |
| US5510840A (en) * | 1991-12-27 | 1996-04-23 | Sony Corporation | Methods and devices for encoding and decoding frame signals and recording medium therefor |
| JPH05268594A (ja) * | 1992-03-18 | 1993-10-15 | Sony Corp | 動画像の動き検出装置 |
| US6101313A (en) * | 1992-06-29 | 2000-08-08 | Sony Corporation | High efficiency encoding and decoding of picture signals and recording medium containing same |
| KR940023248A (ko) * | 1993-03-15 | 1994-10-22 | 오오가 노리오 | 화상 신호 부호화 방법 및 장치와, 화상 신호 복호화 방법 및 장치 |
| JP3163830B2 (ja) | 1993-03-29 | 2001-05-08 | ソニー株式会社 | 画像信号伝送方法及び装置 |
| JPH0730896A (ja) * | 1993-06-25 | 1995-01-31 | Matsushita Electric Ind Co Ltd | 動きベクトル符号化及び復号化方法 |
| GB9315775D0 (en) * | 1993-07-30 | 1993-09-15 | British Telecomm | Processing image data |
| NL9301358A (nl) * | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| US5654760A (en) * | 1994-03-30 | 1997-08-05 | Sony Corporation | Selection of quantization step size in accordance with predicted quantization noise |
| US5940130A (en) * | 1994-04-21 | 1999-08-17 | British Telecommunications Public Limited Company | Video transcoder with by-pass transfer of extracted motion compensation data |
| KR0148153B1 (ko) * | 1994-05-31 | 1998-09-15 | 김광호 | 비트스터핑 제거장치 |
| JP3058028B2 (ja) | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| KR0185911B1 (ko) * | 1994-11-30 | 1999-05-01 | 김광호 | 에러 은폐에 동화상의 움직임 방향을 고려하는 복호화장치 |
| EP0755610B1 (en) * | 1995-02-15 | 2000-04-12 | Koninklijke Philips Electronics N.V. | Method and device for transcoding video signals |
| US5699124A (en) * | 1995-06-28 | 1997-12-16 | General Instrument Corporation Of Delaware | Bandwidth efficient communication of user data in digital television data stream |
| US5777678A (en) * | 1995-10-26 | 1998-07-07 | Sony Corporation | Predictive sub-band video coding and decoding using motion compensation |
-
1996
- 1996-09-10 JP JP23942196A patent/JP3623056B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-09 US US08/926,164 patent/US6418167B1/en not_active Expired - Lifetime
-
2002
- 2002-05-07 US US10/140,791 patent/US6661843B2/en not_active Expired - Fee Related
-
2003
- 2003-09-09 US US10/658,480 patent/US20040047421A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20020126753A1 (en) | 2002-09-12 |
| US20040047421A1 (en) | 2004-03-11 |
| JPH1084547A (ja) | 1998-03-31 |
| US6661843B2 (en) | 2003-12-09 |
| US6418167B1 (en) | 2002-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7263125B2 (en) | Method and device for indicating quantizer parameters in a video coding system | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| US6301304B1 (en) | Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders | |
| US20050157788A1 (en) | Information processing apparatus and method, and program storage medium | |
| JPH09252469A (ja) | ディジタル・ビデオ・シーケンスをデコードする方法および装置 | |
| RU2506711C2 (ru) | Способ и устройство обработки изображения | |
| EP0827344A2 (en) | Video decoder | |
| JPH0759115A (ja) | ステレオビデオ信号処理方法および装置 | |
| JP3623056B2 (ja) | 動画像圧縮装置 | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| US6804299B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| KR20020065908A (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
| JP2820630B2 (ja) | 画像復号装置 | |
| JP3822821B2 (ja) | 画像再生表示装置 | |
| EP0927954B1 (en) | Image signal compression coding method and apparatus | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| WO2016199574A1 (ja) | 画像処理装置および画像処理方法 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
| KR100203719B1 (ko) | 엠팩-2 영상 비트 스트림에서의 에러 검출방법 | |
| JPH07336681A (ja) | 画像変換装置 | |
| JPH06334985A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |