JPH1084547A - 動画像圧縮／伸長装置 - Google Patents
動画像圧縮／伸長装置Info
- Publication number
- JPH1084547A JPH1084547A JP23942196A JP23942196A JPH1084547A JP H1084547 A JPH1084547 A JP H1084547A JP 23942196 A JP23942196 A JP 23942196A JP 23942196 A JP23942196 A JP 23942196A JP H1084547 A JPH1084547 A JP H1084547A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- image signal
- motion
- multiplexed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 繰り返しの圧縮伸長において、劣化を最小限
に抑えることを可能にする。 【解決手段】 動画像圧縮装置は、動画像信号のブラン
キングに動きベクトルが多重化された動画像信号を圧縮
するものであり、動画像信号のブランキングに多重化さ
れた動きベクトルを分離する動きベクトル分離器１３
と、動きベクトルを用いて動画像信号を圧縮する差分計
算器２から動き補償器１０までの構成を有する。
に抑えることを可能にする。 【解決手段】 動画像圧縮装置は、動画像信号のブラン
キングに動きベクトルが多重化された動画像信号を圧縮
するものであり、動画像信号のブランキングに多重化さ
れた動きベクトルを分離する動きベクトル分離器１３
と、動きベクトルを用いて動画像信号を圧縮する差分計
算器２から動き補償器１０までの構成を有する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えばディジタル
テレビ放送用機器やディジタルビデオディスクなどの、
動画像信号を伝送または蓄積するシステムに好適な動画
像圧縮装置及び動画像伸長装置に関する。
テレビ放送用機器やディジタルビデオディスクなどの、
動画像信号を伝送または蓄積するシステムに好適な動画
像圧縮装置及び動画像伸長装置に関する。
【０００２】
【従来の技術】ディジタル動画像信号を伝送又は蓄積す
るシステムでは、例えば動画像信号のフレーム内相関や
フレーム間相関を利用して、画像信号を圧縮符号化する
ことにより、伝送路および蓄積媒体の効率的な使用が可
能となる。なお、動画像信号の圧縮符号化手法として
は、いわゆるＭＰＥＧ（Moving Picture Image Coding
Experts Group）と呼ばれる蓄積用動画像符号化の検討
組織にて標準化された圧縮方式が存在する。
るシステムでは、例えば動画像信号のフレーム内相関や
フレーム間相関を利用して、画像信号を圧縮符号化する
ことにより、伝送路および蓄積媒体の効率的な使用が可
能となる。なお、動画像信号の圧縮符号化手法として
は、いわゆるＭＰＥＧ（Moving Picture Image Coding
Experts Group）と呼ばれる蓄積用動画像符号化の検討
組織にて標準化された圧縮方式が存在する。
【０００３】上記フレーム内相関を利用した画像信号の
圧縮方法では、ＤＣＴ（離散コサイン変換）などの、符
号化すべき係数を集中させる働きのある直交変換が多く
用いられている。
圧縮方法では、ＤＣＴ（離散コサイン変換）などの、符
号化すべき係数を集中させる働きのある直交変換が多く
用いられている。
【０００４】また、上記フレーム間相関を利用した方法
では、いわゆる動き補償フレーム間予測が多く用いられ
ている。ここで、この動き補償フレーム間予測の原理を
図７を用いて説明する。この図７に示すように、時刻ｔ
１，ｔ２において、画像Ｐ１，Ｐ２が発生し、既に画像
Ｐ１は伝送されているものとし、画像Ｐ２はこれから新
規に伝送するものとする。このとき、画像Ｐ２を複数の
ブロックに分割し、これら各ブロックについて、画像Ｐ
１との間の動き量（動きベクトル）を検出する。そし
て、画像Ｐ１を上記動きベクトルの分だけ並行移動させ
たものを、そのブロックに対する予測画像とし、当該予
測画像と上記画像Ｐ２のブロックとの差分画像を求め、
この差分画像と上記動きベクトルとを符号化するもの
が、上記動き補償フレーム間予測である。
では、いわゆる動き補償フレーム間予測が多く用いられ
ている。ここで、この動き補償フレーム間予測の原理を
図７を用いて説明する。この図７に示すように、時刻ｔ
１，ｔ２において、画像Ｐ１，Ｐ２が発生し、既に画像
Ｐ１は伝送されているものとし、画像Ｐ２はこれから新
規に伝送するものとする。このとき、画像Ｐ２を複数の
ブロックに分割し、これら各ブロックについて、画像Ｐ
１との間の動き量（動きベクトル）を検出する。そし
て、画像Ｐ１を上記動きベクトルの分だけ並行移動させ
たものを、そのブロックに対する予測画像とし、当該予
測画像と上記画像Ｐ２のブロックとの差分画像を求め、
この差分画像と上記動きベクトルとを符号化するもの
が、上記動き補償フレーム間予測である。
【０００５】上述のフレーム内相関とフレーム間相関を
利用した従来の動画像圧縮装置を図８に示し、従来の動
画像伸長装置の構成を図９に示す。
利用した従来の動画像圧縮装置を図８に示し、従来の動
画像伸長装置の構成を図９に示す。
【０００６】図８に示した従来の動画像圧縮装置は、画
像入力端子１０１から入力されたディジタル画像信号を
圧縮して、ビットストリーム出力端子１０９から出力す
るものである。
像入力端子１０１から入力されたディジタル画像信号を
圧縮して、ビットストリーム出力端子１０９から出力す
るものである。
【０００７】この図８において、画像入力端子１０１か
ら入力された画像信号は、動きベクトル検出器１１２に
送られ、ここで動きベクトルが計算される。当該動きベ
クトル検出器１１２にて求められた動きベクトル情報は
動き補償器１１０に送られ、この動き補償器１１０では
上記動きベクトルに基づいてフレームメモリ１１１内に
記憶されている画像に対して動き補償を行って予測画像
を作成する。
ら入力された画像信号は、動きベクトル検出器１１２に
送られ、ここで動きベクトルが計算される。当該動きベ
クトル検出器１１２にて求められた動きベクトル情報は
動き補償器１１０に送られ、この動き補償器１１０では
上記動きベクトルに基づいてフレームメモリ１１１内に
記憶されている画像に対して動き補償を行って予測画像
を作成する。
【０００８】また、上記画像入力端子１から入力された
ディジタル画像信号は差分計算器１０２にも送られる。
この差分計算器１０２では、画像入力端子１０１から入
力された画像信号と、上記動き補償器１１０で作られた
予測画像との差分が計算される。この差分計算器１０２
にて求められた差分信号は、直交変換器１０３に送ら
れ、ここで直交変換される。この直交変換器１０３で直
交変換が施された信号は、量子化器１０４に送られ、当
該量子化器１０４で量子化することによって圧縮され
る。この量子化されたデータは、多重化器１０８に送ら
れ、ここで上記動きベクトル検出器１１２で計算された
動きベクトル情報と多重化されて、ビットストリーム出
力端子１０９から出力される。
ディジタル画像信号は差分計算器１０２にも送られる。
この差分計算器１０２では、画像入力端子１０１から入
力された画像信号と、上記動き補償器１１０で作られた
予測画像との差分が計算される。この差分計算器１０２
にて求められた差分信号は、直交変換器１０３に送ら
れ、ここで直交変換される。この直交変換器１０３で直
交変換が施された信号は、量子化器１０４に送られ、当
該量子化器１０４で量子化することによって圧縮され
る。この量子化されたデータは、多重化器１０８に送ら
れ、ここで上記動きベクトル検出器１１２で計算された
動きベクトル情報と多重化されて、ビットストリーム出
力端子１０９から出力される。
【０００９】さらに、量子化器１０４で量子化されたデ
ータは、逆量子化器１０５にも送られ、ここで逆量子化
され、さらに逆直交変換器１０６にて逆直交変換され
る。これにより、上記出力したビットストリームから復
元されるものと同じ差分画像が得られる。この差分画像
の信号と、上記動き補償器１１０で作られた予測画像の
信号を、加算器１０７で加え合わせて得た画像信号は、
前述の動き補償のためにフレームメモリ１１１に入れら
れる。
ータは、逆量子化器１０５にも送られ、ここで逆量子化
され、さらに逆直交変換器１０６にて逆直交変換され
る。これにより、上記出力したビットストリームから復
元されるものと同じ差分画像が得られる。この差分画像
の信号と、上記動き補償器１１０で作られた予測画像の
信号を、加算器１０７で加え合わせて得た画像信号は、
前述の動き補償のためにフレームメモリ１１１に入れら
れる。
【００１０】一方、図９に示す従来の動画像伸長装置
は、ビットストリーム入力端子１２１からビットストリ
ームを入力し、それを伸長して、画像出力端子１２６か
ら出力するものである。
は、ビットストリーム入力端子１２１からビットストリ
ームを入力し、それを伸長して、画像出力端子１２６か
ら出力するものである。
【００１１】この図９において、ビットストリーム入力
端子１２１から入力されたビットストリームは、動きベ
クトル分離器１２２に送られ、ここで当該ビットストリ
ームから動きベクトル情報が分離される。この動きベク
トル情報は動き補償器１２７に送られる。この動き補償
器１２７では、その動きベクトルに基づいて、フレーム
メモリ１２８内の画像に対して動き補償を行い、予測画
像を構成する。
端子１２１から入力されたビットストリームは、動きベ
クトル分離器１２２に送られ、ここで当該ビットストリ
ームから動きベクトル情報が分離される。この動きベク
トル情報は動き補償器１２７に送られる。この動き補償
器１２７では、その動きベクトルに基づいて、フレーム
メモリ１２８内の画像に対して動き補償を行い、予測画
像を構成する。
【００１２】また、上記動きベクトル分離器１２２にて
上記ビットストリームから取り出された量子化されたデ
ータは、逆量子化器１２３に送られて逆量子化され、逆
直交変換器１２４にて逆直交変換され、差分画像が生成
される。この差分画像の信号と、上記動き補償器１２７
で作られた予測画像の信号は、加算器１２５で加え合わ
され、得られた画像信号はフレームメモリ１２８に格納
されると共に、画像出力端子１２６から出力される。
上記ビットストリームから取り出された量子化されたデ
ータは、逆量子化器１２３に送られて逆量子化され、逆
直交変換器１２４にて逆直交変換され、差分画像が生成
される。この差分画像の信号と、上記動き補償器１２７
で作られた予測画像の信号は、加算器１２５で加え合わ
され、得られた画像信号はフレームメモリ１２８に格納
されると共に、画像出力端子１２６から出力される。
【００１３】ところで、上述したような動画像圧縮装置
と動画像伸長装置を、例えば図１０に示すように縦続接
続して用いることがある。この図１０のような縦続接続
を行うことは、圧縮伸長を繰り返し行うことに相当す
る。
と動画像伸長装置を、例えば図１０に示すように縦続接
続して用いることがある。この図１０のような縦続接続
を行うことは、圧縮伸長を繰り返し行うことに相当す
る。
【００１４】すなわちこの図１０において、画像入力端
子２００に供給された画像信号は動画像圧縮装置２０１
にて圧縮され、ビットストリーム出力端子２０２から出
力される。このビットストリームは例えば放送，通信，
記録媒体などを介して、ビットストリーム入力端子２２
０に送られ、動画像伸長装置２２１にて伸長されて画像
出力端子２２２から出力される。当該画像出力端子２２
２から出力された画像信号は例えば編集機などを介して
画像入力端子２４０に入力される。この画像入力端子２
４０に供給された画像信号は動画像圧縮装置２４１にて
圧縮され、ビットストリーム出力端子２４２から出力さ
れる。このビットストリームは例えば放送，通信，記録
媒体などを介して、ビットストリーム入力端子２６０に
送られ、動画像伸長装置２６１にて伸長されて画像出力
端子２６２から出力される。当該画像出力端子２２２か
ら出力された画像信号は更に例えば編集機などに送られ
る。
子２００に供給された画像信号は動画像圧縮装置２０１
にて圧縮され、ビットストリーム出力端子２０２から出
力される。このビットストリームは例えば放送，通信，
記録媒体などを介して、ビットストリーム入力端子２２
０に送られ、動画像伸長装置２２１にて伸長されて画像
出力端子２２２から出力される。当該画像出力端子２２
２から出力された画像信号は例えば編集機などを介して
画像入力端子２４０に入力される。この画像入力端子２
４０に供給された画像信号は動画像圧縮装置２４１にて
圧縮され、ビットストリーム出力端子２４２から出力さ
れる。このビットストリームは例えば放送，通信，記録
媒体などを介して、ビットストリーム入力端子２６０に
送られ、動画像伸長装置２６１にて伸長されて画像出力
端子２６２から出力される。当該画像出力端子２２２か
ら出力された画像信号は更に例えば編集機などに送られ
る。
【００１５】上記図１０に示した構成によれば、動画像
圧縮装置２０１と動画像伸長装置２２１で１回目の圧縮
伸長が行われ、動画像圧縮装置２４１と動画像伸長装置
２６１で２回目の圧縮伸長が行われている。３回目以降
も同様である。
圧縮装置２０１と動画像伸長装置２２１で１回目の圧縮
伸長が行われ、動画像圧縮装置２４１と動画像伸長装置
２６１で２回目の圧縮伸長が行われている。３回目以降
も同様である。
【００１６】このように、前述の圧縮伸長方式を用いて
画像の圧縮伸長を繰り返すと、繰り返しの度に画質が劣
化してしまう。
画像の圧縮伸長を繰り返すと、繰り返しの度に画質が劣
化してしまう。
【００１７】そこで、繰り返し圧縮伸長をしたときの画
質の劣化を抑えるために、圧縮のときにピクチャコーデ
ィングタイプを合わせることがよいと、一般に言われて
いる。つまり、動き補償を行わないイントラ符号化画面
（いわゆるＩピクチャ）、時間的に前のフレームから動
き補償を行う順方向予測符号化画面（いわゆるＰピクチ
ャ）、前後両方のフレームから動き補償を行う双方向予
測符号化画面（いわゆるＢピクチャ）のうち、どのピク
チャとして圧縮するかを、各フレームについて図１０の
動画像圧縮装置２０１と動画像圧縮装置２４１とで同じ
にすると、画質の劣化が抑えられると考えられている。
質の劣化を抑えるために、圧縮のときにピクチャコーデ
ィングタイプを合わせることがよいと、一般に言われて
いる。つまり、動き補償を行わないイントラ符号化画面
（いわゆるＩピクチャ）、時間的に前のフレームから動
き補償を行う順方向予測符号化画面（いわゆるＰピクチ
ャ）、前後両方のフレームから動き補償を行う双方向予
測符号化画面（いわゆるＢピクチャ）のうち、どのピク
チャとして圧縮するかを、各フレームについて図１０の
動画像圧縮装置２０１と動画像圧縮装置２４１とで同じ
にすると、画質の劣化が抑えられると考えられている。
【００１８】また、動きべクトルと量子化された直交変
換の係数などのすべてのパラメータを保存しておくこと
も考えられている。図１０で説明すれば、動画像圧縮装
置２０１における、動きべクトルと量子化された直交変
換の係数などのすべてのパラメータを保存しておき、動
画像圧縮装置２４１で同じパラメータを用いるというこ
とである。このように、動きべクトルと量子化された直
交変換の係数などのすべてのパラメータを保存しておく
と、再圧縮のときに、動き予測を実行し直す必要も、再
量子化をする必要もなくなるため、圧縮伸長を何度繰り
返しても画像が劣化することはなくなる。
換の係数などのすべてのパラメータを保存しておくこと
も考えられている。図１０で説明すれば、動画像圧縮装
置２０１における、動きべクトルと量子化された直交変
換の係数などのすべてのパラメータを保存しておき、動
画像圧縮装置２４１で同じパラメータを用いるというこ
とである。このように、動きべクトルと量子化された直
交変換の係数などのすべてのパラメータを保存しておく
と、再圧縮のときに、動き予測を実行し直す必要も、再
量子化をする必要もなくなるため、圧縮伸長を何度繰り
返しても画像が劣化することはなくなる。
【００１９】
【発明が解決しようとする課題】しかしながら、上述の
ような繰り返し圧縮伸長を行うときに、ピクチャコーデ
ィングタイプを合わせただけでは、依然として劣化は大
きく、圧縮伸長を繰り返すたびに画質が劣化すること
が、実験により確認されている。
ような繰り返し圧縮伸長を行うときに、ピクチャコーデ
ィングタイプを合わせただけでは、依然として劣化は大
きく、圧縮伸長を繰り返すたびに画質が劣化すること
が、実験により確認されている。
【００２０】また、動きべクトルと量子化された直交変
換の係数などをすべて保存する場合については、それら
の情報を保存するための記録媒体を別に用意しなければ
ならないという繁雑さがある。更に、保存しておいた値
が最適な値であるとは限らないという問題、また、保存
を行うには情報の量が多いという問題がある。
換の係数などをすべて保存する場合については、それら
の情報を保存するための記録媒体を別に用意しなければ
ならないという繁雑さがある。更に、保存しておいた値
が最適な値であるとは限らないという問題、また、保存
を行うには情報の量が多いという問題がある。
【００２１】以上のように、従来の動き補償フレーム間
予測を利用した動画像圧縮伸長方法で、画像の圧縮伸長
を繰り返し行うと、繰り返しの度に画質が劣化してしま
い、このための根本的な解決の方法は未だ知られていな
い。
予測を利用した動画像圧縮伸長方法で、画像の圧縮伸長
を繰り返し行うと、繰り返しの度に画質が劣化してしま
い、このための根本的な解決の方法は未だ知られていな
い。
【００２２】そこで、本発明はこのような状況に鑑みて
なされたものであり、繰り返しの圧縮伸長においても劣
化を最小限に抑えることが可能な、動画像圧縮装置及び
動画像伸長装置を提供することを目的とする。
なされたものであり、繰り返しの圧縮伸長においても劣
化を最小限に抑えることが可能な、動画像圧縮装置及び
動画像伸長装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】本発明の動画像圧縮装置
は、動画像信号のブランキングに多重化された動きベク
トルを分離し、動きベクトルを用いて動画像信号を圧縮
することにより、上述した課題を解決する。
は、動画像信号のブランキングに多重化された動きベク
トルを分離し、動きベクトルを用いて動画像信号を圧縮
することにより、上述した課題を解決する。
【００２４】また、本発明の動画像伸長装置は、圧縮さ
れた動画像信号に付随して供給される動きベクトルを分
離し、この分離した動きベクトルを用いて上記圧縮され
た動画像信号を伸長し、上記伸長した動画像信号のブラ
ンキングに上記分離した動きベクトルを多重化すること
により、上述した課題を解決する。
れた動画像信号に付随して供給される動きベクトルを分
離し、この分離した動きベクトルを用いて上記圧縮され
た動画像信号を伸長し、上記伸長した動画像信号のブラ
ンキングに上記分離した動きベクトルを多重化すること
により、上述した課題を解決する。
【００２５】すなわち、本発明によれば、動画像伸長装
置にて使用した動きベクトルを画像信号のブランキング
の部分に多重化して出力するようにし、動画像圧縮装置
では当該ブランキングに多重化された動きベクトルを用
いて画像圧縮を行うようにすることで、繰り返しの圧縮
伸長のときにも不適切な動きベクトルを使用しないよう
にしている。
置にて使用した動きベクトルを画像信号のブランキング
の部分に多重化して出力するようにし、動画像圧縮装置
では当該ブランキングに多重化された動きベクトルを用
いて画像圧縮を行うようにすることで、繰り返しの圧縮
伸長のときにも不適切な動きベクトルを使用しないよう
にしている。
【００２６】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について図面を参照にしながら説明する。
態について図面を参照にしながら説明する。
【００２７】本発明実施例の動画像伸長装置は、図１に
示すように、動きベクトルを画像信号のブランキングに
多重化して保存するための多重化器２９を備えてなるも
のであり、また、本発明実施例の動画像圧縮装置は、図
２に示すように、図１の動画像伸長装置にて画像信号の
ブランキングに多重化された動きベクトルを分離するた
めの動きベクトル分離器１３を備えてなるものである。
示すように、動きベクトルを画像信号のブランキングに
多重化して保存するための多重化器２９を備えてなるも
のであり、また、本発明実施例の動画像圧縮装置は、図
２に示すように、図１の動画像伸長装置にて画像信号の
ブランキングに多重化された動きベクトルを分離するた
めの動きベクトル分離器１３を備えてなるものである。
【００２８】すなわち、本発明の第１の実施例では、画
像伸長のときに、先の画像圧縮のときに求められて供給
された動きベクトルの情報を、伸長画像のブランキング
の部分の信号に多重化して出力し、後の画像圧縮のとき
に、そのブランキングに多重化された動きベクトルを分
離して使用することを特徴としている。このように、本
発明の第１の実施例では、動きベクトルの保存を行いな
がら、保存のための記録媒体を新たに用意するという繁
雑さを解消している。
像伸長のときに、先の画像圧縮のときに求められて供給
された動きベクトルの情報を、伸長画像のブランキング
の部分の信号に多重化して出力し、後の画像圧縮のとき
に、そのブランキングに多重化された動きベクトルを分
離して使用することを特徴としている。このように、本
発明の第１の実施例では、動きベクトルの保存を行いな
がら、保存のための記録媒体を新たに用意するという繁
雑さを解消している。
【００２９】図１を用いて、本発明の第１の実施例の動
画像伸長装置を説明する。
画像伸長装置を説明する。
【００３０】本発明の第１の実施例の動画像伸長装置で
は、ビットストリーム入力端子２１からビットストリー
ムを入力し、画像出力端子２６から動きベクトルがブラ
ンキングに多重化された動画像信号を出力するものであ
る。
は、ビットストリーム入力端子２１からビットストリー
ムを入力し、画像出力端子２６から動きベクトルがブラ
ンキングに多重化された動画像信号を出力するものであ
る。
【００３１】この図１において、ビットストリーム入力
端子２１へ入力されたビットストリームは、例えばＭＰ
ＥＧ規格のような動画像圧縮符号化のフォーマットにて
なるものであり、圧縮動画像信号と共に、その動画像圧
縮符号化時に検出された動きベクトルを含むものであ
る。このビットストリームは、動きベクトル分離器２２
に送られ、ここで当該ビットストリームから上記動きベ
クトル情報が分離される。この動きベクトル情報は動き
補償器２７に送られる。当該動き補償器２７では、その
動きベクトルに基づいて、フレームメモリ２８内の画像
に対して動き補償を行い、予測画像を構成する。
端子２１へ入力されたビットストリームは、例えばＭＰ
ＥＧ規格のような動画像圧縮符号化のフォーマットにて
なるものであり、圧縮動画像信号と共に、その動画像圧
縮符号化時に検出された動きベクトルを含むものであ
る。このビットストリームは、動きベクトル分離器２２
に送られ、ここで当該ビットストリームから上記動きベ
クトル情報が分離される。この動きベクトル情報は動き
補償器２７に送られる。当該動き補償器２７では、その
動きベクトルに基づいて、フレームメモリ２８内の画像
に対して動き補償を行い、予測画像を構成する。
【００３２】また、上記動きベクトル分離器２２にて上
記ビットストリームから取り出された量子化されたデー
タ（圧縮された動画像信号）は、逆量子化器２３に送ら
れて逆量子化され、逆直交変換器２４にて逆直交変換さ
れ、これにより差分画像が生成される。この差分画像の
信号と、上記動き補償器２７で作られた予測画像の信号
は、加算器２５で加え合わされ、得られた画像信号はフ
レームメモリ２８に格納されると共に、多重化器２９に
送られる。
記ビットストリームから取り出された量子化されたデー
タ（圧縮された動画像信号）は、逆量子化器２３に送ら
れて逆量子化され、逆直交変換器２４にて逆直交変換さ
れ、これにより差分画像が生成される。この差分画像の
信号と、上記動き補償器２７で作られた予測画像の信号
は、加算器２５で加え合わされ、得られた画像信号はフ
レームメモリ２８に格納されると共に、多重化器２９に
送られる。
【００３３】ここで、本発明の第１の実施例の動画像伸
長装置では、上記多重化器２９において、上記加算器２
５から出力された画像のブランキングに、上記動きベク
トル分離器２２から出力された動きベクトル情報を多重
化するようにしている。この多重化器２９にて画像のブ
ランキングに動きベクトル情報が多重化された信号が、
当該動画像伸長装置からの出力画像信号として、画像出
力端子２６から出力される。
長装置では、上記多重化器２９において、上記加算器２
５から出力された画像のブランキングに、上記動きベク
トル分離器２２から出力された動きベクトル情報を多重
化するようにしている。この多重化器２９にて画像のブ
ランキングに動きベクトル情報が多重化された信号が、
当該動画像伸長装置からの出力画像信号として、画像出
力端子２６から出力される。
【００３４】以下に、上記画像のブランキングへの動き
ベクトル情報の多重化方法の一例を説明する。
ベクトル情報の多重化方法の一例を説明する。
【００３５】先ず、画像信号のブランキングとは、帰線
消去期間にあたるため、画像として表示されない部分で
あり、このブランキングには、水平帰線消去期間にあた
る水平ブランキングと垂直帰線消去期間にあたる垂直ブ
ランキングとがある。例えば日本やアメリカ合衆国など
で使われているいわゆるＮＴＳＣテレビ放送方式では、
図２に示すように、１フレームにつき３５ラインの走査
線が垂直ブランキングである。
消去期間にあたるため、画像として表示されない部分で
あり、このブランキングには、水平帰線消去期間にあた
る水平ブランキングと垂直帰線消去期間にあたる垂直ブ
ランキングとがある。例えば日本やアメリカ合衆国など
で使われているいわゆるＮＴＳＣテレビ放送方式では、
図２に示すように、１フレームにつき３５ラインの走査
線が垂直ブランキングである。
【００３６】また、いわゆるＭＰＥＧ２の規格にて上記
ＮＴＳＣテレビ放送方式の画像を扱う場合、符号化する
画素は一般に７２０画素×４８０ラインで、動き補償の
単位ブロックは１６画素×１６ライン（マクロブロック
と呼ばれる）の大きさである。１フレーム中のマクロブ
ロックの数は（７２０／１６）×（４８０／１６）＝１
３５０個となる。また、１マクロブロックあたりの動き
ベクトルは最大４本である。更に１つの動きベクトルを
表現するには、縦横それぞれについて最大±９６画素を
取るとしても、固定長表現で１６ビットあれば充分であ
る。よって、１フレーム中の動きベクトルを表現するの
に必要なビット数は、 １３５０×４×１６＝８６４００（ビット） で充分である。
ＮＴＳＣテレビ放送方式の画像を扱う場合、符号化する
画素は一般に７２０画素×４８０ラインで、動き補償の
単位ブロックは１６画素×１６ライン（マクロブロック
と呼ばれる）の大きさである。１フレーム中のマクロブ
ロックの数は（７２０／１６）×（４８０／１６）＝１
３５０個となる。また、１マクロブロックあたりの動き
ベクトルは最大４本である。更に１つの動きベクトルを
表現するには、縦横それぞれについて最大±９６画素を
取るとしても、固定長表現で１６ビットあれば充分であ
る。よって、１フレーム中の動きベクトルを表現するの
に必要なビット数は、 １３５０×４×１６＝８６４００（ビット） で充分である。
【００３７】また、画像の垂直ブランキングの１ライン
あたりで、８ビットの画素を７２０画素使うとすると、 ８×７２０＝５７６０（ビット／ライン） が利用可能である。
あたりで、８ビットの画素を７２０画素使うとすると、 ８×７２０＝５７６０（ビット／ライン） が利用可能である。
【００３８】以上より、１フレームあたりで８６４００
／５７６０＝１５（ライン）の垂直ブランキングを用い
れば、動きベクトルを固定長表現で画像信号に多重化す
ることが出来る。１フレームあたり３５ラインの垂直ブ
ランキングがあることから、このような多重化は可能で
ある。
／５７６０＝１５（ライン）の垂直ブランキングを用い
れば、動きベクトルを固定長表現で画像信号に多重化す
ることが出来る。１フレームあたり３５ラインの垂直ブ
ランキングがあることから、このような多重化は可能で
ある。
【００３９】次に、図３を用いて、本発明の第１の実施
例における動画像圧縮装置の説明を行う。
例における動画像圧縮装置の説明を行う。
【００４０】この本発明の第１の実施例の動画像圧縮装
置は、画像入力端子１から入力された画像信号を圧縮し
て、ビットストリーム出力端子９から出力するものであ
る。
置は、画像入力端子１から入力された画像信号を圧縮し
て、ビットストリーム出力端子９から出力するものであ
る。
【００４１】図３において、画像入力端子１には、上記
図１の動画像伸長装置によって上記ブランキングに動き
ベクトルの情報が多重化された画像信号が供給される。
この画像入力端子１から入力された上記ブランキングに
動きベクトルの情報が多重化された画像信号は、動きベ
クトル分離器１３に送られる。当該動きベクトル分離器
１３では、上記画像入力端子１から供給された画像信号
より、上記ブランキングに多重化された動きベクトルを
分離し、当該動きベクトルの情報については動き補償器
１０及び多重化器８に送り、当該動きベクトルが分離さ
れた後の画像信号については差分計算器２に送る。
図１の動画像伸長装置によって上記ブランキングに動き
ベクトルの情報が多重化された画像信号が供給される。
この画像入力端子１から入力された上記ブランキングに
動きベクトルの情報が多重化された画像信号は、動きベ
クトル分離器１３に送られる。当該動きベクトル分離器
１３では、上記画像入力端子１から供給された画像信号
より、上記ブランキングに多重化された動きベクトルを
分離し、当該動きベクトルの情報については動き補償器
１０及び多重化器８に送り、当該動きベクトルが分離さ
れた後の画像信号については差分計算器２に送る。
【００４２】当該動きベクトル分離器１３から上記動き
ベクトルの情報が供給された動き補償器１０では、その
動きベクトルに基づいてフレームメモリ１１内に記憶さ
れている画像に対して動き補償を行って予測画像を作成
する。
ベクトルの情報が供給された動き補償器１０では、その
動きベクトルに基づいてフレームメモリ１１内に記憶さ
れている画像に対して動き補償を行って予測画像を作成
する。
【００４３】また、上記動きベクトル分離器１３からの
上記画像信号が供給された差分計算器２では、当該画像
信号と上記動き補償器１０で作られた予測画像との差分
を計算する。この差分計算器２にて求められた差分信号
は、直交変換器３に送られ、ここで直交変換される。こ
の直交変換器３で直交変換が施された信号は、量子化器
４に送られ、当該量子化器４で量子化することによって
圧縮される。この量子化されたデータは、多重化器８に
送られ、ここで上記動きベクトル分離器１３から供給さ
れた動きベクトル情報と多重化されて、ビットストリー
ム出力端子９から出力される。なお、この場合の多重化
は、例えばＭＰＥＧフォーマットに則った多重化であ
る。
上記画像信号が供給された差分計算器２では、当該画像
信号と上記動き補償器１０で作られた予測画像との差分
を計算する。この差分計算器２にて求められた差分信号
は、直交変換器３に送られ、ここで直交変換される。こ
の直交変換器３で直交変換が施された信号は、量子化器
４に送られ、当該量子化器４で量子化することによって
圧縮される。この量子化されたデータは、多重化器８に
送られ、ここで上記動きベクトル分離器１３から供給さ
れた動きベクトル情報と多重化されて、ビットストリー
ム出力端子９から出力される。なお、この場合の多重化
は、例えばＭＰＥＧフォーマットに則った多重化であ
る。
【００４４】また、量子化器４で量子化されたデータ
は、逆量子化器５にも送られ、ここで逆量子化され、さ
らに逆直交変換器６にて逆直交変換される。これによ
り、上記出力したビットストリームから復元されるもの
と同じ差分画像が得られる。この差分画像の信号と、上
記動き補償器１０で作られた予測画像の信号を、加算器
７で加え合わせて得た画像信号は、前述の動き補償のた
めにフレームメモリ１１に格納される。
は、逆量子化器５にも送られ、ここで逆量子化され、さ
らに逆直交変換器６にて逆直交変換される。これによ
り、上記出力したビットストリームから復元されるもの
と同じ差分画像が得られる。この差分画像の信号と、上
記動き補償器１０で作られた予測画像の信号を、加算器
７で加え合わせて得た画像信号は、前述の動き補償のた
めにフレームメモリ１１に格納される。
【００４５】このように、本発明の第１の実施例の動画
像圧縮装置においては、画像入力端子１に上記動きベク
トルの多重化された画像信号が入力され、動きベクトル
分離器１３にて当該動きベクトルの多重化された画像信
号から動きベクトルと画像信号とを分離するようにし、
この動きベクトルが動き補償器１０及び多重化器８に送
られるようになっている。
像圧縮装置においては、画像入力端子１に上記動きベク
トルの多重化された画像信号が入力され、動きベクトル
分離器１３にて当該動きベクトルの多重化された画像信
号から動きベクトルと画像信号とを分離するようにし、
この動きベクトルが動き補償器１０及び多重化器８に送
られるようになっている。
【００４６】以上のような本発明の第１の実施例の動画
像圧縮装置及び動画像伸長装置を用いるようにすれば、
例えば前記図１０にて示したような繰り返しの圧縮伸長
のときに上記ブランキングに多重化された動きベクトル
を使用できるため、前述の従来例のように既に圧縮伸長
されて画質の劣化している画像で動きベクトルを求める
場合と異なり、不適切な動きベクトルが出にくい。その
ため、動き補償をしたときの残差が少なくなり、効率の
よい予測が可能となる。また、本実施例のような適切な
動きベクトルは、相互の相関が高く、動きベクトルを表
現するための符号量をも少なくでき、したがって、従来
例と同じビットレートであっても画質を向上させること
が可能となる。
像圧縮装置及び動画像伸長装置を用いるようにすれば、
例えば前記図１０にて示したような繰り返しの圧縮伸長
のときに上記ブランキングに多重化された動きベクトル
を使用できるため、前述の従来例のように既に圧縮伸長
されて画質の劣化している画像で動きベクトルを求める
場合と異なり、不適切な動きベクトルが出にくい。その
ため、動き補償をしたときの残差が少なくなり、効率の
よい予測が可能となる。また、本実施例のような適切な
動きベクトルは、相互の相関が高く、動きベクトルを表
現するための符号量をも少なくでき、したがって、従来
例と同じビットレートであっても画質を向上させること
が可能となる。
【００４７】また、本発明の第１の実施例では、画像表
示用としては使われていない画像信号のブランキングに
上記動きベクトルの情報を書き込むようにしているた
め、前述した従来例のように新規に用意した他の記憶媒
体に当該動きベクトルを記録するようなことを行わなく
てもよくなる。
示用としては使われていない画像信号のブランキングに
上記動きベクトルの情報を書き込むようにしているた
め、前述した従来例のように新規に用意した他の記憶媒
体に当該動きベクトルを記録するようなことを行わなく
てもよくなる。
【００４８】次に、本発明の第２の実施例について説明
する。なお、本発明の第２の実施例の動画像圧縮装置に
おいて、前記図３に示した動画像圧縮装置と同一の構成
要素には同じ指示符号を付している。また、本発明の第
２の実施例の動画像圧縮装置に対応する動画像伸長装置
は、前記第１の実施例の動画像伸長装置と同じであるた
め、その説明は省略する。
する。なお、本発明の第２の実施例の動画像圧縮装置に
おいて、前記図３に示した動画像圧縮装置と同一の構成
要素には同じ指示符号を付している。また、本発明の第
２の実施例の動画像圧縮装置に対応する動画像伸長装置
は、前記第１の実施例の動画像伸長装置と同じであるた
め、その説明は省略する。
【００４９】本発明の第２の実施例においては、上述の
ように画像信号のブランキングに多重化されて保存され
た動きベクトルが最適な動きベクトルであるとは限らな
いので、この問題を克服するために、動画像圧縮装置に
て、より適した動きベクトルの探索を行うようにしてい
る。すなわち本発明の第２の実施例では、動画像圧縮装
置において、図４に示すように動きベクトル検出器１２
を備え、ここで前記動きベクトル分離器１３にて分離さ
れた動きベクトルに基づいて、入力画像からより適切な
動きベクトルを再探索するようにしている。
ように画像信号のブランキングに多重化されて保存され
た動きベクトルが最適な動きベクトルであるとは限らな
いので、この問題を克服するために、動画像圧縮装置に
て、より適した動きベクトルの探索を行うようにしてい
る。すなわち本発明の第２の実施例では、動画像圧縮装
置において、図４に示すように動きベクトル検出器１２
を備え、ここで前記動きベクトル分離器１３にて分離さ
れた動きベクトルに基づいて、入力画像からより適切な
動きベクトルを再探索するようにしている。
【００５０】この図４に示す本発明の第２の実施例の動
画像圧縮装置において、画像入力端子１には前記図１の
動画像伸長装置によって上記ブランキングに動きベクト
ルの情報が多重化された画像信号が供給される。この画
像入力端子１から入力された信号は、動きベクトル分離
器１３に送られ、ここで動きベクトルが分離され、得ら
れた動きベクトルの情報については動きベクトル検出器
１２に、また、当該動きベクトルが分離された後の画像
信号については動きベクトル検出器１２と差分計算器２
とに送られる。
画像圧縮装置において、画像入力端子１には前記図１の
動画像伸長装置によって上記ブランキングに動きベクト
ルの情報が多重化された画像信号が供給される。この画
像入力端子１から入力された信号は、動きベクトル分離
器１３に送られ、ここで動きベクトルが分離され、得ら
れた動きベクトルの情報については動きベクトル検出器
１２に、また、当該動きベクトルが分離された後の画像
信号については動きベクトル検出器１２と差分計算器２
とに送られる。
【００５１】上記動きベクトル検出器１２は、上記動き
ベクトル分離器１３にて分離された動きベクトルの周辺
を入力画像上で再検索し、その再検索の結果得られた新
たな動きベクトルを、動き補償器１０及び多重化器８に
出力する。ここで、上記再探索の範囲は、動きベクトル
の取り得る値の全範囲（入力画像の全範囲）のように大
きく設定する必要はなく、上記動きベクトル分離器１３
にて分離された動きベクトルの周辺の範囲のみでよい。
これにより、上記動きベクトル分離器１３にて分離され
た動きベクトルが示す位置の周辺とは大きく隔たった位
置の、相関の少ない動きベクトルが増えるようなことが
なく、したがって、より残差の少ない動きベクトルを得
ることが可能となる。
ベクトル分離器１３にて分離された動きベクトルの周辺
を入力画像上で再検索し、その再検索の結果得られた新
たな動きベクトルを、動き補償器１０及び多重化器８に
出力する。ここで、上記再探索の範囲は、動きベクトル
の取り得る値の全範囲（入力画像の全範囲）のように大
きく設定する必要はなく、上記動きベクトル分離器１３
にて分離された動きベクトルの周辺の範囲のみでよい。
これにより、上記動きベクトル分離器１３にて分離され
た動きベクトルが示す位置の周辺とは大きく隔たった位
置の、相関の少ない動きベクトルが増えるようなことが
なく、したがって、より残差の少ない動きベクトルを得
ることが可能となる。
【００５２】動き補償器１０では、供給された動きベク
トルに基づいてフレームメモリ１１内に記憶されている
画像に対して動き補償を行って予測画像を作成する。
トルに基づいてフレームメモリ１１内に記憶されている
画像に対して動き補償を行って予測画像を作成する。
【００５３】差分計算器２では、供給された画像信号と
上記動き補償器１０で作られた予測画像との差分を計算
し、その差分信号が直交変換器３に送られる。当該直交
変換回路３にて直交変換が施された信号は、量子化器４
に送られ、ここで量子化による圧縮がなされる。
上記動き補償器１０で作られた予測画像との差分を計算
し、その差分信号が直交変換器３に送られる。当該直交
変換回路３にて直交変換が施された信号は、量子化器４
に送られ、ここで量子化による圧縮がなされる。
【００５４】また、量子化器４で量子化されたデータ
は、逆量子化器５にて逆量子化され、さらに逆直交変換
器６にて逆直交変換されて復元された差分画像の信号
は、加算器７にて上記動き補償器１０で作られた予測画
像の信号と加え合わされ、この加算器７にて得られた画
像信号は、前記動き補償のためにフレームメモリ１１に
格納される。
は、逆量子化器５にて逆量子化され、さらに逆直交変換
器６にて逆直交変換されて復元された差分画像の信号
は、加算器７にて上記動き補償器１０で作られた予測画
像の信号と加え合わされ、この加算器７にて得られた画
像信号は、前記動き補償のためにフレームメモリ１１に
格納される。
【００５５】多重化器８では、上記量子化器４からの上
記量子化されたデータに、上記動きベクトル検出器１２
から供給された動きベクトル情報を多重化する。このよ
うにして得られたビットストリームが、当該動画像圧縮
装置のビットストリーム出力端子９から出力される。
記量子化されたデータに、上記動きベクトル検出器１２
から供給された動きベクトル情報を多重化する。このよ
うにして得られたビットストリームが、当該動画像圧縮
装置のビットストリーム出力端子９から出力される。
【００５６】次に、本発明の第３の実施例についての説
明を行う。この第３の実施例では、前記ブランキングに
保存する動きベクトルの情報量の削減を可能としてい
る。
明を行う。この第３の実施例では、前記ブランキングに
保存する動きベクトルの情報量の削減を可能としてい
る。
【００５７】図５には本発明の第３の実施例の動画像伸
長装置を示す。なお、この図５において、前記図１に示
した動画像伸長装置と同一の構成要素には同じ指示符号
を付している。
長装置を示す。なお、この図５において、前記図１に示
した動画像伸長装置と同一の構成要素には同じ指示符号
を付している。
【００５８】この図５において、ビットストリーム入力
端子１へ入力されたビットストリームは、前記図１同様
に先の動画像圧縮符号化時に検出された動きベクトルを
含むものである。
端子１へ入力されたビットストリームは、前記図１同様
に先の動画像圧縮符号化時に検出された動きベクトルを
含むものである。
【００５９】動きベクトル分離器２２では、上記ビット
ストリームから上記動きベクトルの情報を分離し、当該
分離し動きベクトルの情報については動き補償器２７と
動きベクトル量子化器３０とに送り、残りの量子化デー
タについては逆量子化器２３に送る。
ストリームから上記動きベクトルの情報を分離し、当該
分離し動きベクトルの情報については動き補償器２７と
動きベクトル量子化器３０とに送り、残りの量子化デー
タについては逆量子化器２３に送る。
【００６０】動きベクトル量子化器３０では、上記動き
ベクトル分離器２２から供給された動きベクトルの情報
を量子化することにより圧縮している。この動きベクト
ル量子化器３０にて量子化された動きベクトルの情報は
多重化器２９に送られる。
ベクトル分離器２２から供給された動きベクトルの情報
を量子化することにより圧縮している。この動きベクト
ル量子化器３０にて量子化された動きベクトルの情報は
多重化器２９に送られる。
【００６１】動き補償器２７では、上記動きベクトル分
離器２２からの動きベクトルに基づいて、フレームメモ
リ２８内の画像に対して動き補償を行い、予測画像を構
成する。
離器２２からの動きベクトルに基づいて、フレームメモ
リ２８内の画像に対して動き補償を行い、予測画像を構
成する。
【００６２】また、逆量子化器２３では上記量子化デー
タを逆量子化する。この逆量子化器２３の出力は、逆直
交変換器２４にて逆直交変換され、これにより得られた
差分画像の信号は、加算器２５によって上記動き補償器
２７で作られた予測画像の信号と加え合わされる。当該
加算器２５により得られた画像信号はフレームメモリ２
８に格納されると共に、多重化器２９に送られる。
タを逆量子化する。この逆量子化器２３の出力は、逆直
交変換器２４にて逆直交変換され、これにより得られた
差分画像の信号は、加算器２５によって上記動き補償器
２７で作られた予測画像の信号と加え合わされる。当該
加算器２５により得られた画像信号はフレームメモリ２
８に格納されると共に、多重化器２９に送られる。
【００６３】多重化器２９では、上記加算器２５から供
給された画像信号のブランキングに、上記動きベクトル
量子化器３０にて量子化された動きベクトルの情報を多
重化する。この多重化器２９から出力された画像信号
が、当該動画像伸長装置の画像出力端子２６から出力さ
れる。
給された画像信号のブランキングに、上記動きベクトル
量子化器３０にて量子化された動きベクトルの情報を多
重化する。この多重化器２９から出力された画像信号
が、当該動画像伸長装置の画像出力端子２６から出力さ
れる。
【００６４】次に、図６を用いて、上記図５に示した動
画像伸長装置に対応する本発明の第３の実施例の動画像
圧縮装置の説明を行う。なお、図６において、前記図４
に示した動画像圧縮装置と同一の構成要素には同じ指示
符号を付している。
画像伸長装置に対応する本発明の第３の実施例の動画像
圧縮装置の説明を行う。なお、図６において、前記図４
に示した動画像圧縮装置と同一の構成要素には同じ指示
符号を付している。
【００６５】この図６において、画像入力端子１には前
記図５の動画像伸長装置によって上記ブランキングに量
子化された動きベクトルの情報が多重化された画像信号
が供給される。この画像入力端子１から入力された信号
は、動きベクトル分離器１３に送られ、ここで上記量子
化された動きベクトルが分離され、当該量子化された動
きベクトルの情報については動きベクトル逆量子化器１
４に、また、当該量子化された動きベクトルが分離され
た後の画像信号については動きベクトル検出器１２と差
分計算器２とに送られる。
記図５の動画像伸長装置によって上記ブランキングに量
子化された動きベクトルの情報が多重化された画像信号
が供給される。この画像入力端子１から入力された信号
は、動きベクトル分離器１３に送られ、ここで上記量子
化された動きベクトルが分離され、当該量子化された動
きベクトルの情報については動きベクトル逆量子化器１
４に、また、当該量子化された動きベクトルが分離され
た後の画像信号については動きベクトル検出器１２と差
分計算器２とに送られる。
【００６６】上記動きベクトル逆量子化器１４では、上
記量子化された動きベクトルの情報を逆量子化して、前
記図５の動きベクトル量子化器３０での量子化前の動き
ベクトルを再現する。この動きベクトル逆量子化器１４
にて得られた動きベクトルの情報は、動きベクトル検出
器１２に送られる。
記量子化された動きベクトルの情報を逆量子化して、前
記図５の動きベクトル量子化器３０での量子化前の動き
ベクトルを再現する。この動きベクトル逆量子化器１４
にて得られた動きベクトルの情報は、動きベクトル検出
器１２に送られる。
【００６７】当該動きベクトル検出器１２は、上記動き
ベクトル逆量子化器１４にて求められた動きベクトルを
受け取ると、前記第２の実施例の動画像圧縮装置と同様
に、当該動きベクトルの周辺を入力画像上で再検索し、
その再検索の結果得られた新たな動きベクトルを、動き
補償器１０と多重化器８とに出力する。
ベクトル逆量子化器１４にて求められた動きベクトルを
受け取ると、前記第２の実施例の動画像圧縮装置と同様
に、当該動きベクトルの周辺を入力画像上で再検索し、
その再検索の結果得られた新たな動きベクトルを、動き
補償器１０と多重化器８とに出力する。
【００６８】動き補償器１０では、供給された動きベク
トルに基づいてフレームメモリ１１内に記憶されている
画像に対して動き補償を行って予測画像を作成する。
トルに基づいてフレームメモリ１１内に記憶されている
画像に対して動き補償を行って予測画像を作成する。
【００６９】差分計算器２では、供給された画像信号と
上記動き補償器１０で作られた予測画像との差分を計算
し、その差分信号が直交変換器３に送られる。当該直交
変換回路３にて直交変換が施された信号は、量子化器４
に送られ、ここで量子化による圧縮がなされる。
上記動き補償器１０で作られた予測画像との差分を計算
し、その差分信号が直交変換器３に送られる。当該直交
変換回路３にて直交変換が施された信号は、量子化器４
に送られ、ここで量子化による圧縮がなされる。
【００７０】また、量子化器４で量子化されたデータ
は、逆量子化器５にて逆量子化され、さらに逆直交変換
器６にて逆直交変換されて復元された差分画像の信号
は、加算器７にて上記動き補償器１０で作られた予測画
像の信号と加え合わされ、この加算器７にて得られた画
像信号は、前記動き補償のためにフレームメモリ１１に
格納される。
は、逆量子化器５にて逆量子化され、さらに逆直交変換
器６にて逆直交変換されて復元された差分画像の信号
は、加算器７にて上記動き補償器１０で作られた予測画
像の信号と加え合わされ、この加算器７にて得られた画
像信号は、前記動き補償のためにフレームメモリ１１に
格納される。
【００７１】多重化器８では、上記量子化器４からの上
記量子化されたデータに、上記動きベクトル検出器１２
から供給された動きベクトル情報を多重化する。このよ
うにして得られたビットストリームが、当該動画像圧縮
装置のビットストリーム出力端子９から出力される。
記量子化されたデータに、上記動きベクトル検出器１２
から供給された動きベクトル情報を多重化する。このよ
うにして得られたビットストリームが、当該動画像圧縮
装置のビットストリーム出力端子９から出力される。
【００７２】ここで、この第３の実施例では、当該動き
ベクトル検出１２を設けずに、上記動きベクトル逆量子
化器１４にて得られた動きベクトルの情報を直接に動き
補償器１０と多重化器８に送るようにすることも可能で
ある。
ベクトル検出１２を設けずに、上記動きベクトル逆量子
化器１４にて得られた動きベクトルの情報を直接に動き
補償器１０と多重化器８に送るようにすることも可能で
ある。
【００７３】しかし、上述のように動きベクトルの再検
索を行うようにすれば、前記第２の実施例にて述べたよ
うな、より残差の少ない動きベクトルを得ることが可能
となり、動画像圧縮装置にて動きベクトルを量子化した
ことによって当該動きベクトルの精度が落ちてしまった
としても不都合はなく、本実施例における動きベクトル
のための符号量を減らすことができると言う利点を、よ
り効果的に利用することが可能となる。これにより、画
像信号のブランキング部分の多くを、動きベクトルを保
存する以外の目的のために使用することも可能となり、
よい画質での繰り返しの圧縮伸長が可能となる。
索を行うようにすれば、前記第２の実施例にて述べたよ
うな、より残差の少ない動きベクトルを得ることが可能
となり、動画像圧縮装置にて動きベクトルを量子化した
ことによって当該動きベクトルの精度が落ちてしまった
としても不都合はなく、本実施例における動きベクトル
のための符号量を減らすことができると言う利点を、よ
り効果的に利用することが可能となる。これにより、画
像信号のブランキング部分の多くを、動きベクトルを保
存する以外の目的のために使用することも可能となり、
よい画質での繰り返しの圧縮伸長が可能となる。
【００７４】なお、上述した第２及び第３の実施例の場
合、動きベクトルや量子化された動きベクトルを保存す
る方法として、第１の実施例のように画像信号のブラン
キング部分へ多重化する方法だけでなく、テープ状記録
媒体やディスク状記録媒体、メモリなどの各種記録媒体
へ記録するようにしてもよい。例えば、ＤＶＣ（ディジ
タルビデオカセット）を使うときには当該カセットに内
蔵されているメモリに上記動きベクトルや量子化された
動きベクトルの情報を保存することが可能であり、ま
た、ノンリニア編集機を使うときにはハードディスクな
どに保存することも考えられる。ただし、この場合、上
記動きベクトルや量子化された動きベクトルを保存する
ためには上記各記録媒体が必要となるので、上記第２，
第３の実施例においても前記第１の実施例と同様にブラ
ンキングへの保存を行うようにすることが望ましい。
合、動きベクトルや量子化された動きベクトルを保存す
る方法として、第１の実施例のように画像信号のブラン
キング部分へ多重化する方法だけでなく、テープ状記録
媒体やディスク状記録媒体、メモリなどの各種記録媒体
へ記録するようにしてもよい。例えば、ＤＶＣ（ディジ
タルビデオカセット）を使うときには当該カセットに内
蔵されているメモリに上記動きベクトルや量子化された
動きベクトルの情報を保存することが可能であり、ま
た、ノンリニア編集機を使うときにはハードディスクな
どに保存することも考えられる。ただし、この場合、上
記動きベクトルや量子化された動きベクトルを保存する
ためには上記各記録媒体が必要となるので、上記第２，
第３の実施例においても前記第１の実施例と同様にブラ
ンキングへの保存を行うようにすることが望ましい。
【００７５】また、上述の各実施例の説明では、動きベ
クトルをそのまま固定長で符号化したが、可変長符号な
どを使ってブランキングに多重化されるデータ量を更に
減らすように符号化してもよい。
クトルをそのまま固定長で符号化したが、可変長符号な
どを使ってブランキングに多重化されるデータ量を更に
減らすように符号化してもよい。
【００７６】さらに、上述の各実施例では、画像信号の
ブランキングに動きベクトルを多重化する例のみを挙げ
ているが、当該動きベクトルと共に、例えばＭＰＥＧ規
格におけるピクチャコーディングタイプの情報やフィー
ルド／フレームの構成種別の情報、ＧＯＰ（Group Of P
icture）の区切り情報、シーンチェンジの情報などを多
重化することも可能であり、このように各情報を多重化
すれば、繰り返し圧縮伸長の際により品質のよい画像を
得ることが可能となる。
ブランキングに動きベクトルを多重化する例のみを挙げ
ているが、当該動きベクトルと共に、例えばＭＰＥＧ規
格におけるピクチャコーディングタイプの情報やフィー
ルド／フレームの構成種別の情報、ＧＯＰ（Group Of P
icture）の区切り情報、シーンチェンジの情報などを多
重化することも可能であり、このように各情報を多重化
すれば、繰り返し圧縮伸長の際により品質のよい画像を
得ることが可能となる。
【００７７】以上、説明したように本発明の各実施例に
おいては、動画像伸長装置にて使用した動きベクトルを
画像信号のブランキングの部分に多重化して出力するよ
うにし、動画像圧縮装置では当該ブランキングに多重化
された動きベクトルを用いて画像圧縮を行うようにする
ことで、繰り返しの圧縮伸長のときにも不適切な動きベ
クトルを使用することなく、動き補償したときの残差が
少なく効率のよい符号化ができる。また、このような適
切な動きベクトルは相関が高く、動きベクトルの表現の
ための符号量を少なくでき、このため同じビットレート
での画質を向上させることが可能となる。さらに、第２
の実施例においては、より適切な動きベクトルを探索し
て使用することが可能となり、また、第３の実施例にお
いては、動きベクトルの情報量を量子化することで、当
該動きベクトルのための情報量を削減することが可能と
なる。これらの利点は、新規にデータを保存する手段を
用いることなく実現可能である。
おいては、動画像伸長装置にて使用した動きベクトルを
画像信号のブランキングの部分に多重化して出力するよ
うにし、動画像圧縮装置では当該ブランキングに多重化
された動きベクトルを用いて画像圧縮を行うようにする
ことで、繰り返しの圧縮伸長のときにも不適切な動きベ
クトルを使用することなく、動き補償したときの残差が
少なく効率のよい符号化ができる。また、このような適
切な動きベクトルは相関が高く、動きベクトルの表現の
ための符号量を少なくでき、このため同じビットレート
での画質を向上させることが可能となる。さらに、第２
の実施例においては、より適切な動きベクトルを探索し
て使用することが可能となり、また、第３の実施例にお
いては、動きベクトルの情報量を量子化することで、当
該動きベクトルのための情報量を削減することが可能と
なる。これらの利点は、新規にデータを保存する手段を
用いることなく実現可能である。
【００７８】
【発明の効果】本発明においては、動画像伸長装置にて
使用した動きベクトルを画像信号のブランキングの部分
に多重化して出力するようにし、動画像圧縮装置では当
該ブランキングに多重化された動きベクトルを用いて画
像圧縮を行うようにすることで、繰り返しの圧縮伸長の
ときに不適切な動きベクトルを使用しないようにしてお
り、このため、繰り返しの圧縮伸長において劣化を最小
限に抑えることが可能となる。
使用した動きベクトルを画像信号のブランキングの部分
に多重化して出力するようにし、動画像圧縮装置では当
該ブランキングに多重化された動きベクトルを用いて画
像圧縮を行うようにすることで、繰り返しの圧縮伸長の
ときに不適切な動きベクトルを使用しないようにしてお
り、このため、繰り返しの圧縮伸長において劣化を最小
限に抑えることが可能となる。
【図１】本発明の第１の実施例の動画像伸長装置の概略
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図２】動きベクトルの情報が多重化されるブランキン
グの部分についての説明に用いる図である。
グの部分についての説明に用いる図である。
【図３】本発明の第１の実施例の動画像圧縮装置の概略
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図４】本発明の第２の実施例の動画像圧縮装置の概略
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図５】本発明の第３の実施例の動画像伸長装置の概略
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図６】本発明の第３の実施例の動画像圧縮装置の概略
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図７】動き補償フレーム間予測の原理の説明に用いる
図である。
図である。
【図８】従来例の動画像圧縮装置の概略構成を示すブロ
ック回路図である。
ック回路図である。
【図９】従来例の動画像伸長装置の概略構成を示すブロ
ック回路図である。
ック回路図である。
【図１０】動画像圧縮装置と動画像伸長装置を縦続接続
した場合の接続状態を示す図である。
した場合の接続状態を示す図である。
１ 画像入力端子、 ２ 差分計算器、 ３ 直交変換
器、 ４ 量子化器、５，２３ 逆量子化器、 ６，２
４ 逆直交変換器、 ７，２５ 加算器、８，２９ 多
重化器、 ９ ビットストリーム出力端子、 １０，２
７ 動き補償器、 １１，２８ フレームメモリ、 １
２ 動きベクトル検出器、 １３，２２ 動きベクトル
分離器、 １４ 動きベクトル逆量子化器、 ３０ 動
きベクトル量子化器、 ２１ ビットストリーム入力端
子、 ２６ 画像出力端子
器、 ４ 量子化器、５，２３ 逆量子化器、 ６，２
４ 逆直交変換器、 ７，２５ 加算器、８，２９ 多
重化器、 ９ ビットストリーム出力端子、 １０，２
７ 動き補償器、 １１，２８ フレームメモリ、 １
２ 動きベクトル検出器、 １３，２２ 動きベクトル
分離器、 １４ 動きベクトル逆量子化器、 ３０ 動
きベクトル量子化器、 ２１ ビットストリーム入力端
子、 ２６ 画像出力端子
───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮原 信禎 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内
Claims (6)
- 【請求項１】 動画像信号のブランキングに多重化され
た動きベクトルを分離する動きベクトル分離手段と、 動きベクトルを用いて動画像信号を圧縮する圧縮手段
と、 を有することを特徴とする動画像圧縮装置。 - 【請求項２】 上記多重化された動きベクトルを分離し
た後の動画像信号から、上記分離された動きベクトルの
周辺を探索して新たな動きベクトルを検出する動きベク
トル検出手段を設け、 上記圧縮手段では当該新たな動きベクトルを用いて画像
信号を圧縮することを特徴とする請求項１記載の動画像
圧縮装置。 - 【請求項３】 上記動画像信号のブランキングに多重化
された動きベクトルは量子化されてなり、 上記動きベクトル分離手段にて分離された当該量子化さ
れた動きベクトルを逆量子化する動きベクトル逆量子化
手段を備えることを特徴とする請求項１記載の動画像圧
縮装置。 - 【請求項４】 上記動画像信号のブランキングに多重化
された動きベクトルは量子化されてなり、 上記動きベクトル分離手段にて分離された当該量子化さ
れた動きベクトルを逆量子化する動きベクトル逆量子化
手段と、 上記多重化された動きベクトルを分離した後の動画像信
号から、上記分離されて逆量子化された動きベクトルの
周辺を探索して新たな動きベクトルを検出する動きベク
トル検出手段とを設け、 上記圧縮手段では当該新たな動きベクトルを用いて画像
信号を圧縮することを特徴とする請求項１記載の動画像
圧縮装置。 - 【請求項５】 圧縮された動画像信号に付随して供給さ
れる動きベクトルを分離する動きベクトル分離手段と、 当該分離した動きベクトルを用いて上記圧縮された動画
像信号を伸長する伸長手段と、 上記伸長した動画像信号のブランキングに上記分離した
動きベクトルを多重化する多重化手段とを有することを
特徴とする動画像伸長装置。 - 【請求項６】 上記分離した動きベクトルを量子化する
動きベクトル量子化手段を設け、 上記多重化手段では、当該分離して量子化した動きベク
トルを上記伸長した動画像信号のブランキングに多重化
することを特徴とする請求項５記載の動画像伸長装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23942196A JP3623056B2 (ja) | 1996-09-10 | 1996-09-10 | 動画像圧縮装置 |
| US08/926,164 US6418167B1 (en) | 1996-09-10 | 1997-09-09 | Moving picture compression/expansion apparatus |
| US10/140,791 US6661843B2 (en) | 1996-09-10 | 2002-05-07 | Moving picture compression/expansion apparatus |
| US10/658,480 US20040047421A1 (en) | 1996-09-10 | 2003-09-09 | Moving picture compression/expansion apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23942196A JP3623056B2 (ja) | 1996-09-10 | 1996-09-10 | 動画像圧縮装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1084547A true JPH1084547A (ja) | 1998-03-31 |
| JP3623056B2 JP3623056B2 (ja) | 2005-02-23 |
Family
ID=17044530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23942196A Expired - Fee Related JP3623056B2 (ja) | 1996-09-10 | 1996-09-10 | 動画像圧縮装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6418167B1 (ja) |
| JP (1) | JP3623056B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259142A (ja) * | 2006-03-23 | 2007-10-04 | Sony Corp | ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，映像出力装置，信号変換装置 |
| JP2007274679A (ja) * | 2006-03-09 | 2007-10-18 | Sony Corp | フレームレート変換システム，フレームレート変換方法，送信装置，受信装置 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715009A (en) | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| CA2265089C (en) | 1998-03-10 | 2007-07-10 | Sony Corporation | Transcoding system using encoding history information |
| JP3672185B2 (ja) | 1999-02-09 | 2005-07-13 | ソニー株式会社 | コーディングシステム及びこれを用いた装置並びに記録媒体 |
| JP3694888B2 (ja) * | 1999-12-03 | 2005-09-14 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 |
| JP4196726B2 (ja) * | 2003-05-14 | 2008-12-17 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| JP5420175B2 (ja) * | 2005-01-31 | 2014-02-19 | スカイプ | 通信システムにおける隠蔽フレームの生成方法 |
| JP5286805B2 (ja) * | 2008-01-31 | 2013-09-11 | 沖電気工業株式会社 | 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2050752B (en) * | 1979-06-07 | 1984-05-31 | Japan Broadcasting Corp | Motion compensated interframe coding system |
| CA1213359A (en) * | 1983-10-19 | 1986-10-28 | Yoshinori Izumi | Multiplex subsampling transmission system for a high definition color television picture signal |
| US4882613A (en) * | 1987-10-20 | 1989-11-21 | Sanyo Electric Co., Ltd. | Method of and apparatus for motion vector compensation in receiving television signal based on muse system |
| JPH0810926B2 (ja) * | 1988-04-15 | 1996-01-31 | 三洋電機株式会社 | Ｍｕｓｅデコーダ及びサブサンプル映像信号復調装置 |
| US5124812A (en) * | 1989-01-06 | 1992-06-23 | Sanyo Electric Co., Ltd. | Digital recording and reproducing apparatus for muse signal |
| JP3161614B2 (ja) * | 1991-11-30 | 2001-04-25 | ソニー株式会社 | 動画像復号化装置 |
| US5510840A (en) * | 1991-12-27 | 1996-04-23 | Sony Corporation | Methods and devices for encoding and decoding frame signals and recording medium therefor |
| JPH05268594A (ja) * | 1992-03-18 | 1993-10-15 | Sony Corp | 動画像の動き検出装置 |
| US6160849A (en) * | 1992-06-29 | 2000-12-12 | Sony Corporation | Selectable field and frame based predictive video coding |
| EP0616472B1 (en) * | 1993-03-15 | 1999-05-12 | Sony Corporation | Transmission and decoding of picture signals |
| JP3163830B2 (ja) | 1993-03-29 | 2001-05-08 | ソニー株式会社 | 画像信号伝送方法及び装置 |
| JPH0730896A (ja) * | 1993-06-25 | 1995-01-31 | Matsushita Electric Ind Co Ltd | 動きベクトル符号化及び復号化方法 |
| GB9315775D0 (en) * | 1993-07-30 | 1993-09-15 | British Telecomm | Processing image data |
| NL9301358A (nl) * | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| US5654760A (en) * | 1994-03-30 | 1997-08-05 | Sony Corporation | Selection of quantization step size in accordance with predicted quantization noise |
| US5940130A (en) * | 1994-04-21 | 1999-08-17 | British Telecommunications Public Limited Company | Video transcoder with by-pass transfer of extracted motion compensation data |
| KR0148153B1 (ko) * | 1994-05-31 | 1998-09-15 | 김광호 | 비트스터핑 제거장치 |
| JP3058028B2 (ja) | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| KR0185911B1 (ko) * | 1994-11-30 | 1999-05-01 | 김광호 | 에러 은폐에 동화상의 움직임 방향을 고려하는 복호화장치 |
| AU703049B2 (en) * | 1995-02-15 | 1999-03-11 | Koninklijke Philips Electronics N.V. | Method and device for transcoding video signals |
| US5699124A (en) * | 1995-06-28 | 1997-12-16 | General Instrument Corporation Of Delaware | Bandwidth efficient communication of user data in digital television data stream |
| US5777678A (en) * | 1995-10-26 | 1998-07-07 | Sony Corporation | Predictive sub-band video coding and decoding using motion compensation |
-
1996
- 1996-09-10 JP JP23942196A patent/JP3623056B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-09 US US08/926,164 patent/US6418167B1/en not_active Expired - Lifetime
-
2002
- 2002-05-07 US US10/140,791 patent/US6661843B2/en not_active Expired - Fee Related
-
2003
- 2003-09-09 US US10/658,480 patent/US20040047421A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007274679A (ja) * | 2006-03-09 | 2007-10-18 | Sony Corp | フレームレート変換システム，フレームレート変換方法，送信装置，受信装置 |
| JP2007259142A (ja) * | 2006-03-23 | 2007-10-04 | Sony Corp | ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，映像出力装置，信号変換装置 |
| US8416852B2 (en) | 2006-03-23 | 2013-04-09 | Sony Corporation | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US6661843B2 (en) | 2003-12-09 |
| US20020126753A1 (en) | 2002-09-12 |
| JP3623056B2 (ja) | 2005-02-23 |
| US20040047421A1 (en) | 2004-03-11 |
| US6418167B1 (en) | 2002-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JP3163830B2 (ja) | 画像信号伝送方法及び装置 | |
| JP3358835B2 (ja) | 画像符号化方法及び装置 | |
| US6301304B1 (en) | Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders | |
| JPH09252469A (ja) | ディジタル・ビデオ・シーケンスをデコードする方法および装置 | |
| KR20020026198A (ko) | 비디오 압축 | |
| JP3911035B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP3623056B2 (ja) | 動画像圧縮装置 | |
| JP2898413B2 (ja) | 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法 | |
| KR20020065908A (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
| JP3822821B2 (ja) | 画像再生表示装置 | |
| JPH06276481A (ja) | 画像信号符号化及び復号化方法、並びに記録媒体 | |
| JPH0951538A (ja) | 画像信号の符号化方法 | |
| JP3356413B2 (ja) | 画像復号化方法及び装置 | |
| JP2001309388A (ja) | 画像復号装置におけるエラー画像補完方法 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| JPH07236159A (ja) | 動き補償符号化方法、動き補償符号化装置、伝送装置および記録装置 | |
| JP3235917B2 (ja) | 画像記録再生装置 | |
| JP2000023167A (ja) | 映像復号化装置とその方法、受信装置および再生装置 | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 | |
| JPH1098710A (ja) | 信号処理装置 | |
| JP3164110B2 (ja) | 符号化装置及び方法 | |
| JP3307379B2 (ja) | 復号化装置及び方法 | |
| JP2001238167A (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP2001238166A (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |