JP3938972B2 - 現フレーム予測装置 - Google Patents
現フレーム予測装置 Download PDFInfo
- Publication number
- JP3938972B2 JP3938972B2 JP11932397A JP11932397A JP3938972B2 JP 3938972 B2 JP3938972 B2 JP 3938972B2 JP 11932397 A JP11932397 A JP 11932397A JP 11932397 A JP11932397 A JP 11932397A JP 3938972 B2 JP3938972 B2 JP 3938972B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- current frame
- signal
- predicted
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号符号化装置に関し、特に、現フレーム信号をより正確に予測して、伝送すべきデータの量をより一層減らし得る現フレーム予測装置に関する。
【０００２】
【従来の技術】
公知のように、ディジタル映像信号の伝送はアナログ信号よりも高画質の映像を得ることができる。一連のイメージ「フレーム」からなる映像信号が、ディジタル形態に表現される場合、とりわけ、高精細度テレビジョンシステムの場合に、その伝送の際に大量のデータが必要となる。しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、その制限されたチャネルを通じて大量のディジタルデータを伝送するためには、伝送すべきデータの量を圧縮するか減らす必要がある。このために、多様な映像圧縮技法のうち、統計的符号化技法と、時間的、空間的技法とを組み合わせた技法、いわゆるハイブリッド符号化技法が最も効率的なものとして知られている。
【０００３】
ほとんどのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可変長符号化）などを用いる。動き補償ＤＰＣＭは、現フレームとその前フレームまたは未来フレーム（即ち、基準フレーム）との間の物体の動きを推定し、物体の動きに応じて現フレームを予測して、現フレームとその予測値との間の差を表す差分信号を生成する方法である。この方法は、例えば、Ｓｔａｆｆａｎ Ｅｒｉｃｓｓｏｎによる、“Ｆｉｘｅｄ ａｎｄ Ａｄａｐｔｉｖｅ Ｐｒｅｄｉｃｔｏｒｓ ｆｏｒ Ｈｙｂｒｉｄ Ｐｒｅｄｉｃｔｉｖｅ／ＴｒａｎｓｆｏｒｍＣｏｄｉｎｇ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３３， Ｎｏ．１２（１９８５年１２月）”またはＮｉｎｏｍｉｙａ及びＯｈｔｓｕｋａの論文“Ａ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｉｎｔｅｒｆｒａｍｅ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ Ｔｅｌｅｖｉｓｉｏｎ Ｐｉｃｔｕｒｅｄ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３０， Ｎｏ．１（１９８２年１月）”に開示されている。
【０００４】
映像データ間の空間的冗長性を減らすか、または、それを利用する２次元ＤＣＴでは、ディジタル映像データよりなるブロック（例えば、８×８画素ブロック）を変換係数データの組に変換する。この技法はＣｈｅｎ及びＰｒａｔｔの論文“Ｓｃｅｎｅ Ａｄａｐｔｉｖｅ Ｃｏｄｅｒ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３２， Ｎｏ．３（１９８４年３月）”に開示されている。そのような変換係数データを量子化器、ジグザグ走査及び可変長符号化で処理することによって、伝送すべきデータの量をより一層効果的に圧縮することができる。
【０００５】
詳述すると、動き補償ＤＰＣＭでは、現フレーム信号が、現フレームと基準フレームとの間の動き推定に基づいて対応する基準フレームから予測される。そのように推定された動きは、基準フレームと現フレームとの間の画素の変位を表す２次元動きベクトルによって定義され得る。
【０００６】
物体の画素の変位を推定するための２つの基本的な方法がある。その１つはブロック単位の推定方法であり、他の１つは画素単位の推定方法である。
【０００７】
ブロック単位の動き推定方法において、現フレーム内のブロックは最適整合が検出されるまで、その基準フレーム内の各ブロックと比較される。これによって、全ブロックに対するフレーム間変位ベクトル（これは、各フレーム間で各画素のブロックがどのくらい移動したかを表す）が伝送される現フレームに対して推定され得る。
【０００８】
そのようなブロックマッチング技法は、“ＩＴＵ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ Ｓｔｕｄｙ Ｇｒｏｕｐ １５， Ｗｏｒｋｉｎｇ Ｐａｒｔｙ １５／１ Ｅｘｐｅｒｔ‘ｓＧｒｏｕｐ ｏｎ Ｖｅｒｙ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｖｉｓｕａｌ Ｔｅｌｅｐｈｏｎｙ， Ｖｉｄｅｏ Ｃｏｄｅｃ Ｔｅｓｔ Ｍｏｄｅｌ， ＴＭＮ４ Ｒｅｖｌ（１９９４年１０月２５日）”に開示されたように、フレームシーケンス内のＰフレーム及びＢフレームを推定するのに用いられ得る。ここで、Ｐフレーム（または、予測フレーム）は、（基準フレームとしての）その前フレームから予測されるフレームを表し、Ｂフレーム（または、両方向予測フレーム）は、（基準フレームとしての）その前フレーム及び後続フレームから予測される。Ｂフレームを符号化する際には、特に、両方向動き推定技法を用いて順方向及び逆方向の変位ベクトルを求める。ここで、順方向の変位ベクトルは、Ｂフレームと基準フレームとしてのその前のイントラフレーム（Ｉフレーム）または予測フレーム（Ｐフレーム）との間の物体動きを推定して得られ、逆方向変位ベクトルは、Ｂフレームと、基準フレームとしてのその後続ＩフレームまたはＰフレームとに基づいて求められる。
【０００９】
ブロックマッチング技法では、現フレーム内の各探索ブロックに対する動きベクトルを求めるため、現フレーム内の探索ブロックと、基準フレーム内の一般により大きい探索領域に含まれており、各々が同一な大きさを有する複数の候補ブロックの各々との間の類似度の計算が行われる。平均絶対エラーや平均二乗エラーのようなエラー関数が、現フレーム内の探索ブロックと探索領域内の候補ブロックのうち何れか１つとの間の類似度の計算が行うのに用いられる。また、動きベクトルは、探索ブロックと最小のエラー、つまり差分をもたらす候補ブロックとの間の変位として定義される。各動きベクトルは符号化された後、動き補償符号化方法を用いて伝送器の伝送チャネルを通じて受話器に送られる。受信器では、伝送された動きベクトルを用いて現フレームを再構成する。
【００１０】
動き補償ＤＰＣＭにおいて、ほとんどの周囲画面または背景画面は動かずにフレームシーケンスの動きが物体上で局所的または微細に生じるか、または、例えばカメラパニングの場合のような単純な並進運動のみを行うことがあり得る。その場合、フレームシーケンスの実際値と予測値との間には差が発生し得る。従って、同一な変位を有する複数の動きベクトルが発生することになる。しかし、動き補償符号化方法においては、同一な変位を有する全ての動きベクトルを伝送する前に符号化されるので、データ圧縮システムの効率の低下がもたらされるという不都合がある。
【００１１】
【発明が解決しようとする課題】
従って、本発明の主な目的は、現フレーム信号を効果的に予測して、ディジタル映像信号圧縮システムのデータ圧縮効率を向上させ得る現フレーム予測装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、映像信号符号化システムに用いられ、一連のフレームよりなる映像信号に含まれる現フレームと基準フレームとに基づいて予測現フレーム信号を求める現フレーム予測装置であって、
前記現フレームと前記基準フレームとの間の空間的変位を表すパニングベクトル（panning vector）を検出するパニングベクトル検出手段と、
前記パニングベクトル及び前記基準フレームに基づいて、前記基準フレームから選択された画素値を有する代替可能な領域と画素値を全く有しない代替不可能な領域とを有する予測フレームを決定する予測フレーム決定手段と、
前記パニングベクトルの大きさと基準値とを比較して、選択情報を発生する選択情報発生手段と、
前記予測フレーム内の前記代替可能な領域な領域に属する画素値を前記代替不可能な領域に移動させて、第１の予測現フレーム信号を生成する第１予測現フレーム信号生成手段と、
前記パニングベクトル、前記現フレーム信号及び前記基準フレーム信号に基づき、前記代替不可能な領域に対してブロックマッチング技法を用いて、第２予測現フレーム信号を生成する第２予測現フレーム信号生成手段と、
前記選択情報に応じて、前記第１の予測現フレーム信号または前記第２予測現フレーム信号の何れかを前記予測現フレーム信号として選択する予測現フレーム信号選択手段とを含むことを特徴とする現フレーム予測装置が提供される。
【００１３】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００１４】
図１は、本発明による映像信号符号化システムを示すブロック図で、入力映像信号はフレーム再配列ブロック１００に供給される。図７に例示的に示したように、入力映像信号は１つのイントラフレーム（Ｉフレーム）、３つの両方向予測フレーム（Ｂフレーム）Ｂ１、Ｂ２、Ｂ３及び３つの予測フレーム（Ｐフレーム）Ｐ１、Ｐ２、Ｐ３からなるフレームシーケンスから構成される。かくして、フレームシーケンスはＩ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３からなり、フレーム再配列ブロック１００に供給される。このフレーム再配列ブロック１００では、Ｂフレームに対する両方向予測フレーム信号を生成するため、フレームシーケンスは例えば、Ｉ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３の再配列映像信号に再び配列される。その後、再配列映像信号はフレーム格納ブロック９００にフレーム単位で供給される。
【００１５】
フレーム格納ブロック９００は受け取った各フレーム信号を格納し、格納していたフレーム信号をラインＬ１０を介して、現フレーム信号として動き補償ブロック２００に供給すると共に、現フレーム信号をブロック単位で第１スイッチ７５０へ供給する。ここで、現フレーム信号は、Ｎ×Ｍ個の画素値を有する複数のブロックに分けられＮ及びＭは各々正の整数である。
【００１６】
図１に示したように、映像信号符号化システムは、フレーム符号化モードに従って切替えられる第１〜第３スイッチ７５０、７７０、８５０を備えている。第１及び第２スイッチ７５０、７７０は、２つの符号化モード、即ち、イントラフレーム符号化モード及びインタフレーム符号化モードを選択的に行うため、従来のシステム制御器（例えは マイクロプロセッサ（図示せず））からの第１フレームモード制御信号ＳＣ１によって駆動される。詳述すると、第１スイッチ７５０はイントラフレーム符号化モードの際はラインＬ７０に接続されインタフレーム符号化モードの際にはラインＬ８０に接続される。また、第２スイッチ７７０は、第１フレームモード制御信号ＳＣ１に応動してイントラフレーム符号化モードの際はオフにされ、インタフレーム符号化モードの際にはオンにされる。一方、第３スイッチ８５０は、第２フレームモード制御信号ＳＣ２に応じて、現フレームがＰフレームまたはＩフレームである場合には、オンにされ、現フレームがＢフレ-ムである場合にはオフにされる。これらのスイッチ７５０、７７０、８５０は、上述のように動作するものであり、以下、これに関する説明は省略する。
【００１７】
イントラフレーム符号化モードでは、フレーム格納ブロック９００から取り出されたイントラフレーム信号（例えば、Ｉ１フレーム信号）は、現フレーム信号としてラインＬ７０を介して映像信号符号化器４００に直接に送られる。
【００１８】
この映像信号符号化器４００において、現フレーム信号は、例えば、離散的コサイン変換（ＤＣＴ）及び公知の量子化方法のうちの何れか１つを用いて量子化変換係数の組に符号化される。その後、量子化変換係数はエントロピー符号化器６００及び映像信号符号化器５００に供給される。
【００１９】
エントロピー符号化器６００において、映像信号符号化器４００からの量子化変換係数は、例えば、可変長符号化技法を用いて符号化された後、符号化映像信号として伝送器（図示せず）を通じて伝送される。
【００２０】
一方、映像信号符号化器５００は、映像信号符号化器４００からの量子化変換係数を、逆量子化及び逆離散的コサイン変換を用いて再構成イントラフレーム信号に再び変換する。映像信号符号化器５００からの再構成イントラフレーム信号は格納ブロック３００に基準フレーム信号として格納される。この格納ブロック３００は、各々ラインＬ２０及びＬ３０を介して動き補償ブロック２００に接続された２つのフレームメモリ３１０及び３２０を備えている。
【００２１】
インタフレーム符号化モードでは、即ち、現フレームが予測フレームである場合は、現フレーム信号は、ラインＬ１０を介してフレーム単位で動き補償ブロック２００に供給され、第１スイッチ７５０を通じてブロック単位で減算器７００に供給される。
【００２２】
動き補償ブロック２００では、現フレーム信号（即ち、予測フレーム）が格納ブロック３００に格納された基準フレーム信号に基づいて予測され、予測現フレーム信号が出力される。このような予測過程においては、前述したようにＰフレームはその前フレームから予測される一方、Ｂフレームはその両側に位置する２つのフレームから予測される。例えば、現フレームがＰ１フレームである場合、その前フレーム（即ち、再配列された映像信号におけるＩ１フレーム）が基準フレームとして用いられる。一方、現フレームがＢ１フレームである場合には、両側フレーム（即ち、Ｉ１フレーム及びＰ１フレーム）がその基準フレームとして用いられる。
【００２３】
図２には、本発明による動き補償ブロック２００の詳細なブロック図が示されている。この動き補償ブロック２００は、パニングベクトル（panning vector）決定部２２０、フレーム決定部２３０、選択制御部２４０、ブロック形成部２５０、ブロック整合部２６０、第１フレーム発生部２７０、第２フレーム発生部２８０及び選択部２９０からなる。以下、動き補償ブロック２００を構成している各部について説明する。
【００２４】
最初、ラインＬ１０を介してフレーム格納ブロック９００から取り出された現フレーム信号は、パニングベクトル決定部２２０及びブロック形成部２５０に供給される。また、ラインＬ２０及び／またはラインＬ８０を介して格納ブロック３００から取り出された基準フレーム信号はパニングベクトル決定部２２０、予測フレーム決定部２３０及びブロック整合部２６０に各々入力される。
【００２５】
パニングベクトル決定部２２０では、現フレームと最適に整合する基準フレームが求められるまで、基準フレームを現フレームに沿ってシフトさせることによって、最適の整合位置にある基準フレームと現フレームとの間の空間的変位を表すパニングベクトルを決定する。このように最適整合となるようにシフトされる基準フレームと現フレームとの間の空間的変位は、２つのフレームの重複領域に属する対応する各画素値間の最小エラー即ち差分をもたらし、これが現フレームのパニングベクトルとして決定される。上記エラーは、基準フレームと現フレームとの間の類似度を測定するため用いられる平均絶対エラーまたは平均二乗エラーとして定義される。
【００２６】
例えば、図３に示したように、上記過程で、現フレームＣＦがPフレームである場合、現フレームＣＦと前フレームＰＦとの間の空間的変位ＦＭＶ１が現フレームＣＦのパニングベクトルとして決定される。一方、Ｂフレームが現フレームとして与えられる場合には、逆方向変位ベクトルＢＭＶ１と順方向変位ベクトルＦＭＶ１とのうち、より小さいエラー値を有するフレームに対応する動きベクトルが現フレームＣＦのパニングベクトルとして決定される。ここで、ＢＭＶ１は現フレームＣＦとその後続フレームＳＦとの間の空間的変位を表し、ＦＭＶ１は現フレームＣＦとその前フレームＰＦとの間の空間的変位を表す。以下、説明の便宜上、ＦＭＶ１が現フレームＣＦのパニングベクトルであると仮定する。
【００２７】
パニングベクトル決定部２２０から生成されたパニングベクトルＦＭＶ１はラインＬ５０に、予測フレーム決定部２３０、ブロック形成部２５０、ブロック整合部２６０及び選択制御部２４０に各々供給される。
【００２８】
図4に示したように、予測フレーム決定部２３０は基準フレーム（即ち、前フレームＰＦ）をパニングベクトルＦＭＶ１の分だけシフトさせることによって、「代替可能な領域」と「代替不可能な領域」とを有する予測フレームを生成する。図中で参照番号１０と示されている「代替可能な領域」は基準フレームによってカバーされる現フレームの一部分に対応する領域を表す。一方、図中で符号２０を付して示した「代替不可能な領域」は、現フレームの残り部分に対応する領域を表す。代替可能な領域１０は前フレームＰＦから取り出された画素値を有し代替不可能な領域２０は画素値を全く有していない。また、代替可能な領域１０と代替不可能な領域２０との間には境界Ｂ０が存在する。予測フレーム決定部２８０から取り出された予測フレームは、選択制御部２４０、第１フレーム発生部２７０及び第２フレーム発生部２８０に送られる。
【００２９】
選択制御部２４０は図２に示したように、分散計算器２４１、第１コンパレータ２４２、第２コンパレータ２４３及び選択信号発生器２４４を備えている。まず、この予測フレーム決定部２３０からの予測フレームは、初めに選択制御部２４０内の分散計算器２４１に供給される。
【００３０】
図４を再び参照すれは、分散計算器２４１は代替可能な領域１０内の境界領域１０′に含まれた画素値の分散を計算する。この境界領域１０′は代替可能な領域１０と、境界Ｂ０を代替可能な領域１０へＬ個（Ｌは正の整数）の画素だけ水平垂直方向にシフトして形成された領域との間のギャップを表す。この分散は、ｆ（１）＋ｆ（２）＋…＋ｆ（ｎ）＝Σ［ｋ＝１，ｎ］ｆ（ｋ）のように表すものとすると、次式
σD 2＝−１／ＫΣ［ｉ＝１，Ｋ］（ Ｄi − ＤM ）2
で定義される。ここで、
σD 2：画素値の分散
Ｄi：前記境界領域に含まれた各画素値（ｉは正の整数）
ＤM：前記境界領域に含まれた前記各画素値の平均値
Ｋ：前記境界領域内の画素数
である。
【００３１】
コンパレータ２４２は、このように求められた分散を、予め定められた閾値ＴＨ１と比較して、第１または第２比較信号を第２コンパレータ２４３に供給する。分散が予め定められた閾値ＴＨ１以上である場合には、第１比較信号ＣＯＭ１が生成され、そうでない場合には、第２比較信号ＣＯＭ２が出力される。そのような分散によって、両比較信号ＣＯＭ１またはＣＯＭ２が境界領域１０′内の画素値の分布の複雑さを求めるのに測定値として用いられ得る。つまり、第１比較信号ＣＯＭ１が生成される場合、境界領域１０′内の画素値の分布の複雑さは第２比較信号ＣＯＭ２の場合に比べて高いということに注目されたい。
【００３２】
第２コンパレータ２４３は、現フレームのフレーム形態（ＦＴ）、即ち、ＰフレームまたはＢフレームの何れであるかに基づいて生成された第２フレームモード制御信号ＳＣ２に応じて、第１または第２比較信号に基づき、表１に例示されているような基準値を決定する。
【００３３】
【表１】
【００３４】
上記表１に示すように、Ｐフレームの基準値がＢフレームの基準値より大きく、基準値は分散値が減少することにつれて増加する。即ち、第２比較信号ＣＯＭ２の基準値が第１比較信号ＣＯＭ２より大きい。従って、前述したように、現フレームがＰフレームである場合、表１の２番目の行に位置する値が選択され、基準値は両比較信号ＣＯＭ１またはＣＯＭ２によって決定される。
【００３５】
その後、表１に従って選択された基準値は選択信号発生器２４４に供給され、パニングベクトル決定部２２０から出力されたパニングベクトルＦＭＶ１の大きさと比較され、第１比較信号ＳＳ１または第２比較信号ＳＳ２を選択部２９０へ供給する。パニングベクトルの大きさが基準値以上である場合、第１選択信号ＳＳ１が発生され、そうでない場合には第２選択信号ＳＳ２が発生される。
【００３６】
一方、本発明の好適実施例によれば、第１フレーム発生部２７０は予測フレーム決定部２３０からの予測フレーム信号に基づいて、第１の予測現フレーム信号を生成する。図５を参照すれは、パディング領域２０Ａ、２０Ｂ、２０Ｃ及び代替可能な領域１０から構成される第１の予測現フレームが示されている。ここで、第１パディング領域２０Ａは、垂直境界Ｂ１に沿って位置する各画素値を図４内の代替不可能な領域２０に水平に移動即ちパディングすることによって定めされ、第２パディング領域２０Ｂは、水平境界Ｂ２に沿って位置する各画素値を垂直にパディングすることにより定められる。一方、第３パディング領域２０Ｃは第１パディング領域２０Ａの下側にある画素値と第２パディング領域２０Ｂの左側にある画素値とを平均して求められた画素値によって満たされる。この第１の予測現フレーム信号は選択部２９０に供給される。
【００３７】
上記の過程において、ブロック形成部２５０はパニングベクトル決定部２２０からのパニングベクトルＦＭＶ１及びラインＬ１０を介して供給された現フレーム信号に基づいて、整合プロセスの際に用いられる探索ブロックを検出する。
【００３８】
ブロック整合部２６０は格納ブロック３００からの基準フレーム信号に基づいて、該探索ブロックに対応する動きベクトル及び図４の予測フレーム内の代替不可能な領域２０を満たす画素値を検出する。
【００３９】
図６を参照すれば、図４に示した予測フレーム内の代替不可能な領域２０に対する動きベクトル検出過程を説明するための模式図が示されている。
【００４０】
本発明の実施例によれば、代替不可能な領域２０は各々が異なる大きさを有し得る複数の領域、例えば、図６Ａに示したように、３つの領域Ａ、Ｂ、Ｃに分けられる。各領域Ａ、Ｂ、Ｃに対応する探索ブロックは現フレームから選択され各分割領域及びそれに対応する探索ブロックは１つのフレーム内で、それぞれ同一の位置に存在する。各領域Ａ、Ｂ、Ｃに対する探索ブロックはブロック整合部２６０に順に供給される。
【００４１】
一方、本発明の他の好適実施例によれば、代替不可能な領域２０は図６Ｂに示したように、代替不可能な領域２０をカバーする複数の同一の大きさの探索ブロックによって表される。ここで、各探索ブロックはＨ×Ｖ個の画素値（Ｈ及びＶは正の整数）を有する。同一の大きさの各探索ブロックは図６Ａに用いられたような方法にて、現フレームから検出される。この同一の大きさの各探索ブロックはブロック単位でブロック整合部２６０に供給される。
【００４２】
ブロック整合２６０は、ブロック形成部２５０からの探索ブロック及び格納ブロック３００からの基準フレーム信号を用いて、公知の各ブロック整合技法を用いてブロック整合プロセスを実行することによって、各探索ブロックに対応する複数の動きベクトルを検出する。動きベクトルが検出されると、ブロック整合部２６０は基準フレーム信号に基づき、動きベクトルによって決定された各画素値によってカバーされた、補償された代替不可能な領域を生成する。ブロック整合プロセスがＢフレームに対して行われる場合に、パニングベクトルがＢフレームの前フレームによって求められる場合には、Ｂフレームに対応する基準フレームが前フレーム及び後続フレームを含んでいるため、ブロック整合プロセスは、Ｂフレームの後続フレームに基づいて実行される。かくして、検出された動きベクトルはラインＬ５０上に、補償された代替不可能な領域は第２フレーム発生部２８０に各々出力される。
【００４３】
第２フレーム発生部２８０においては、予測フレーム決定部２３０からの予測フレーム信号と補償された代替不可能な領域とが組み合わせられて、第２の予測現フレーム信号として選択部２９０に供給される。この際、予測フレーム内の代替可能な領域と補償された代替不可能な領域との間に重複エリアがある場合、重複エリアにおいて補償された代替不可能な領域に属する画素値は捨てられる。
【００４４】
選択部２９０は、選択信号発生器２４４からの選択信号に応じて第１の予測現フレーム信号または第２の予測現フレーム信号を選択し、選択されたフレーム信号を予測現フレームとしてラインＬ６０に供給する。第１選択信号ＳＳ１が選択部２９０に入力された場合には第２予測現フレーム信号が、第２選択信号ＳＳ２が入力された場合には第１予測現フレーム信号が、予測現フレーム信号として選択される。
【００４５】
図１を再度参照すれば、減算器７００にて、予測現フレーム信号はラインＬ８０上の現フレーム信号から減算され、その結果データ、即ち、差分画素値を表すエラー信号は映像信号符号化器４００に供給される。ここで、エラー信号は、例えば、ＤＣＴ及び周知の量子化方法のうちの何れか１つを用いて量子化変換係数の組に符号化される。しかる後、量子化変換係数の組はエントロピー符号化器６００及び映像信号復号化器５００に各々伝送される。
【００４６】
エントロピー符号化器６００において、量子化変換係数の組はラインＬ５０を介して動き補償ブロック２００から供給されたパニングベクトル及び動きベクトルと共に符号化された後、符号化映像信号として伝送器（図示せず）を通じて伝送される。
【００４７】
一方、映像信号復号化器５００は、逆量子化及び逆離散的コサイン変換を用いて、量子化変換係数を再構成エラー信号に変換する。映像信号復号化器５００からの再構成エラー信号と動き補償ブロック２００から第２スイッチ７７０を介した予測現フレーム信号とは加算器８００にて組み合わせられて、再構成フレーム信号を供給する。上述したように、再構成フレーム信号は、現フレームがＩフレームまたはＰフレームである場合のみ第３スイッチ８５０を通じて格納ブロック３００に供給されて、その内に基準フレーム信号として格納される。即ち、現フレームがＢフレームである場合には、再構成フレーム信号は捨てられる。
【００４８】
格納ブロック３００は、例えば、図１に示したように、直列に接続された２つのフレームメモリ３１０及び３２０を有する。従って、加算器８００からの再構成フレーム信号は、最初、例えば、第１フレームメモリ３２０に格納され、次いでラインＬ３０を介して基準フレーム信号として動き補償ブロック２００に供給され、また、次の再構成フレーム信号が加算器８００から第1フレームメモリ３２０に入力されると、フレーム単位で第２フレームメモリ３１０に送られる。かくして、Ｐフレームに対するインタフレーム符号化モードの際に、フレームメモリ３１０に格納された再構成フレーム信号は基準フレーム信号としてラインＬ２０を介して動き補償ブロック２００に供給されＢフレームに対しては第２フレームメモリ３１０に格納された再構成フレーム信号はラインＬ２０を介して、第１フレームメモリ３２０に格納された再構成フレーム信号はラインＬ８０を介して各々フレーム信号として動き補償ブロック２００に供給される。
【００４９】
上記のプロセスは、映像信号符号化の動作が行われる間順次繰り返される。
【００５０】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求の範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００５１】
【発明の効果】
従って、本発明によれば、予測現フレーム信号がフレーム差分信号、探索ブロックに対するパニングベクトル及び動きベクトルによって再構成され得、動きベクトルが予測フレーム内の代替不可能な領域のみで検出されるので、伝送すべき動きベクトルのデータの量をより一層減らすことができる。
【図面の簡単な説明】
【図１】本発明による映像信号符号化システムの概略的なブロック図である。
【図２】本発明による図１の動き補償ブロックの詳細なブロック図である。
【図３】異なる空間的変位による３つの連続フレームを示した模式図である。
【図４】基準値を求める過程を説明するための模式図である。
【図５】本発明に基づいて、境界パディングプロセスを説明するための模式図である。
【図６】図６Ａ及び６Ｂよりなり、各々、予測フレーム内の代替不可能な領域に対する動きベクトル検出過程を説明するための模式図である。
【図７】フレームシーケンスを示した模式図である。
【符号の説明】
１０ 代替可能な領域
１０′ 境界領域
２０ 代替不可能な領域
２０Ａ、２０Ｂ、２０Ｃ パディング領域
１００ フレーム再配列ブロック
２００ 動き補償ブロック
２２０ パニングベクトル決定部
２３０ 予測フレーム決定部
２４０ 選択制御部
２４１ 分散計算部
２４２ コンパレータ
２４３ 第２コンパレータ
２４４ 選択信号発生部
２５０ ブロック形成部
２６０ブロック整合部
２７０ 第1フレーム発生部
２８０ 第２フレーム発生部
２９０ 選択部
３００ 格納ブロック
３１０ 第２フレームメモリ
３２０ 第１フレームメモリ
４００ 映像信号符号化器
５００ 映像信号復号化器
６００ エントロピー符号化器
７００ 減算器
７５０、７７０、８５０ スイッチ
８００ 加算器
９００ フレーム格納ブロック
ＳＣ１、ＳＣ２ フレームモード制御信号
ＣＦ 現フレーム
ＰＦ 前フレーム
ＳＦ 後続フレーム
ＢＭＶ１ 逆方向変位ベクトル
ＦＭＶ１ 順方向変位ベクトル
Ｂ０、Ｂ１、Ｂ２ 境界
【発明の属する技術分野】
本発明は、映像信号符号化装置に関し、特に、現フレーム信号をより正確に予測して、伝送すべきデータの量をより一層減らし得る現フレーム予測装置に関する。
【０００２】
【従来の技術】
公知のように、ディジタル映像信号の伝送はアナログ信号よりも高画質の映像を得ることができる。一連のイメージ「フレーム」からなる映像信号が、ディジタル形態に表現される場合、とりわけ、高精細度テレビジョンシステムの場合に、その伝送の際に大量のデータが必要となる。しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、その制限されたチャネルを通じて大量のディジタルデータを伝送するためには、伝送すべきデータの量を圧縮するか減らす必要がある。このために、多様な映像圧縮技法のうち、統計的符号化技法と、時間的、空間的技法とを組み合わせた技法、いわゆるハイブリッド符号化技法が最も効率的なものとして知られている。
【０００３】
ほとんどのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可変長符号化）などを用いる。動き補償ＤＰＣＭは、現フレームとその前フレームまたは未来フレーム（即ち、基準フレーム）との間の物体の動きを推定し、物体の動きに応じて現フレームを予測して、現フレームとその予測値との間の差を表す差分信号を生成する方法である。この方法は、例えば、Ｓｔａｆｆａｎ Ｅｒｉｃｓｓｏｎによる、“Ｆｉｘｅｄ ａｎｄ Ａｄａｐｔｉｖｅ Ｐｒｅｄｉｃｔｏｒｓ ｆｏｒ Ｈｙｂｒｉｄ Ｐｒｅｄｉｃｔｉｖｅ／ＴｒａｎｓｆｏｒｍＣｏｄｉｎｇ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３３， Ｎｏ．１２（１９８５年１２月）”またはＮｉｎｏｍｉｙａ及びＯｈｔｓｕｋａの論文“Ａ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｉｎｔｅｒｆｒａｍｅ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ Ｔｅｌｅｖｉｓｉｏｎ Ｐｉｃｔｕｒｅｄ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３０， Ｎｏ．１（１９８２年１月）”に開示されている。
【０００４】
映像データ間の空間的冗長性を減らすか、または、それを利用する２次元ＤＣＴでは、ディジタル映像データよりなるブロック（例えば、８×８画素ブロック）を変換係数データの組に変換する。この技法はＣｈｅｎ及びＰｒａｔｔの論文“Ｓｃｅｎｅ Ａｄａｐｔｉｖｅ Ｃｏｄｅｒ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＣＯＭ−３２， Ｎｏ．３（１９８４年３月）”に開示されている。そのような変換係数データを量子化器、ジグザグ走査及び可変長符号化で処理することによって、伝送すべきデータの量をより一層効果的に圧縮することができる。
【０００５】
詳述すると、動き補償ＤＰＣＭでは、現フレーム信号が、現フレームと基準フレームとの間の動き推定に基づいて対応する基準フレームから予測される。そのように推定された動きは、基準フレームと現フレームとの間の画素の変位を表す２次元動きベクトルによって定義され得る。
【０００６】
物体の画素の変位を推定するための２つの基本的な方法がある。その１つはブロック単位の推定方法であり、他の１つは画素単位の推定方法である。
【０００７】
ブロック単位の動き推定方法において、現フレーム内のブロックは最適整合が検出されるまで、その基準フレーム内の各ブロックと比較される。これによって、全ブロックに対するフレーム間変位ベクトル（これは、各フレーム間で各画素のブロックがどのくらい移動したかを表す）が伝送される現フレームに対して推定され得る。
【０００８】
そのようなブロックマッチング技法は、“ＩＴＵ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ Ｓｔｕｄｙ Ｇｒｏｕｐ １５， Ｗｏｒｋｉｎｇ Ｐａｒｔｙ １５／１ Ｅｘｐｅｒｔ‘ｓＧｒｏｕｐ ｏｎ Ｖｅｒｙ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｖｉｓｕａｌ Ｔｅｌｅｐｈｏｎｙ， Ｖｉｄｅｏ Ｃｏｄｅｃ Ｔｅｓｔ Ｍｏｄｅｌ， ＴＭＮ４ Ｒｅｖｌ（１９９４年１０月２５日）”に開示されたように、フレームシーケンス内のＰフレーム及びＢフレームを推定するのに用いられ得る。ここで、Ｐフレーム（または、予測フレーム）は、（基準フレームとしての）その前フレームから予測されるフレームを表し、Ｂフレーム（または、両方向予測フレーム）は、（基準フレームとしての）その前フレーム及び後続フレームから予測される。Ｂフレームを符号化する際には、特に、両方向動き推定技法を用いて順方向及び逆方向の変位ベクトルを求める。ここで、順方向の変位ベクトルは、Ｂフレームと基準フレームとしてのその前のイントラフレーム（Ｉフレーム）または予測フレーム（Ｐフレーム）との間の物体動きを推定して得られ、逆方向変位ベクトルは、Ｂフレームと、基準フレームとしてのその後続ＩフレームまたはＰフレームとに基づいて求められる。
【０００９】
ブロックマッチング技法では、現フレーム内の各探索ブロックに対する動きベクトルを求めるため、現フレーム内の探索ブロックと、基準フレーム内の一般により大きい探索領域に含まれており、各々が同一な大きさを有する複数の候補ブロックの各々との間の類似度の計算が行われる。平均絶対エラーや平均二乗エラーのようなエラー関数が、現フレーム内の探索ブロックと探索領域内の候補ブロックのうち何れか１つとの間の類似度の計算が行うのに用いられる。また、動きベクトルは、探索ブロックと最小のエラー、つまり差分をもたらす候補ブロックとの間の変位として定義される。各動きベクトルは符号化された後、動き補償符号化方法を用いて伝送器の伝送チャネルを通じて受話器に送られる。受信器では、伝送された動きベクトルを用いて現フレームを再構成する。
【００１０】
動き補償ＤＰＣＭにおいて、ほとんどの周囲画面または背景画面は動かずにフレームシーケンスの動きが物体上で局所的または微細に生じるか、または、例えばカメラパニングの場合のような単純な並進運動のみを行うことがあり得る。その場合、フレームシーケンスの実際値と予測値との間には差が発生し得る。従って、同一な変位を有する複数の動きベクトルが発生することになる。しかし、動き補償符号化方法においては、同一な変位を有する全ての動きベクトルを伝送する前に符号化されるので、データ圧縮システムの効率の低下がもたらされるという不都合がある。
【００１１】
【発明が解決しようとする課題】
従って、本発明の主な目的は、現フレーム信号を効果的に予測して、ディジタル映像信号圧縮システムのデータ圧縮効率を向上させ得る現フレーム予測装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、映像信号符号化システムに用いられ、一連のフレームよりなる映像信号に含まれる現フレームと基準フレームとに基づいて予測現フレーム信号を求める現フレーム予測装置であって、
前記現フレームと前記基準フレームとの間の空間的変位を表すパニングベクトル（panning vector）を検出するパニングベクトル検出手段と、
前記パニングベクトル及び前記基準フレームに基づいて、前記基準フレームから選択された画素値を有する代替可能な領域と画素値を全く有しない代替不可能な領域とを有する予測フレームを決定する予測フレーム決定手段と、
前記パニングベクトルの大きさと基準値とを比較して、選択情報を発生する選択情報発生手段と、
前記予測フレーム内の前記代替可能な領域な領域に属する画素値を前記代替不可能な領域に移動させて、第１の予測現フレーム信号を生成する第１予測現フレーム信号生成手段と、
前記パニングベクトル、前記現フレーム信号及び前記基準フレーム信号に基づき、前記代替不可能な領域に対してブロックマッチング技法を用いて、第２予測現フレーム信号を生成する第２予測現フレーム信号生成手段と、
前記選択情報に応じて、前記第１の予測現フレーム信号または前記第２予測現フレーム信号の何れかを前記予測現フレーム信号として選択する予測現フレーム信号選択手段とを含むことを特徴とする現フレーム予測装置が提供される。
【００１３】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００１４】
図１は、本発明による映像信号符号化システムを示すブロック図で、入力映像信号はフレーム再配列ブロック１００に供給される。図７に例示的に示したように、入力映像信号は１つのイントラフレーム（Ｉフレーム）、３つの両方向予測フレーム（Ｂフレーム）Ｂ１、Ｂ２、Ｂ３及び３つの予測フレーム（Ｐフレーム）Ｐ１、Ｐ２、Ｐ３からなるフレームシーケンスから構成される。かくして、フレームシーケンスはＩ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３からなり、フレーム再配列ブロック１００に供給される。このフレーム再配列ブロック１００では、Ｂフレームに対する両方向予測フレーム信号を生成するため、フレームシーケンスは例えば、Ｉ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３の再配列映像信号に再び配列される。その後、再配列映像信号はフレーム格納ブロック９００にフレーム単位で供給される。
【００１５】
フレーム格納ブロック９００は受け取った各フレーム信号を格納し、格納していたフレーム信号をラインＬ１０を介して、現フレーム信号として動き補償ブロック２００に供給すると共に、現フレーム信号をブロック単位で第１スイッチ７５０へ供給する。ここで、現フレーム信号は、Ｎ×Ｍ個の画素値を有する複数のブロックに分けられＮ及びＭは各々正の整数である。
【００１６】
図１に示したように、映像信号符号化システムは、フレーム符号化モードに従って切替えられる第１〜第３スイッチ７５０、７７０、８５０を備えている。第１及び第２スイッチ７５０、７７０は、２つの符号化モード、即ち、イントラフレーム符号化モード及びインタフレーム符号化モードを選択的に行うため、従来のシステム制御器（例えは マイクロプロセッサ（図示せず））からの第１フレームモード制御信号ＳＣ１によって駆動される。詳述すると、第１スイッチ７５０はイントラフレーム符号化モードの際はラインＬ７０に接続されインタフレーム符号化モードの際にはラインＬ８０に接続される。また、第２スイッチ７７０は、第１フレームモード制御信号ＳＣ１に応動してイントラフレーム符号化モードの際はオフにされ、インタフレーム符号化モードの際にはオンにされる。一方、第３スイッチ８５０は、第２フレームモード制御信号ＳＣ２に応じて、現フレームがＰフレームまたはＩフレームである場合には、オンにされ、現フレームがＢフレ-ムである場合にはオフにされる。これらのスイッチ７５０、７７０、８５０は、上述のように動作するものであり、以下、これに関する説明は省略する。
【００１７】
イントラフレーム符号化モードでは、フレーム格納ブロック９００から取り出されたイントラフレーム信号（例えば、Ｉ１フレーム信号）は、現フレーム信号としてラインＬ７０を介して映像信号符号化器４００に直接に送られる。
【００１８】
この映像信号符号化器４００において、現フレーム信号は、例えば、離散的コサイン変換（ＤＣＴ）及び公知の量子化方法のうちの何れか１つを用いて量子化変換係数の組に符号化される。その後、量子化変換係数はエントロピー符号化器６００及び映像信号符号化器５００に供給される。
【００１９】
エントロピー符号化器６００において、映像信号符号化器４００からの量子化変換係数は、例えば、可変長符号化技法を用いて符号化された後、符号化映像信号として伝送器（図示せず）を通じて伝送される。
【００２０】
一方、映像信号符号化器５００は、映像信号符号化器４００からの量子化変換係数を、逆量子化及び逆離散的コサイン変換を用いて再構成イントラフレーム信号に再び変換する。映像信号符号化器５００からの再構成イントラフレーム信号は格納ブロック３００に基準フレーム信号として格納される。この格納ブロック３００は、各々ラインＬ２０及びＬ３０を介して動き補償ブロック２００に接続された２つのフレームメモリ３１０及び３２０を備えている。
【００２１】
インタフレーム符号化モードでは、即ち、現フレームが予測フレームである場合は、現フレーム信号は、ラインＬ１０を介してフレーム単位で動き補償ブロック２００に供給され、第１スイッチ７５０を通じてブロック単位で減算器７００に供給される。
【００２２】
動き補償ブロック２００では、現フレーム信号（即ち、予測フレーム）が格納ブロック３００に格納された基準フレーム信号に基づいて予測され、予測現フレーム信号が出力される。このような予測過程においては、前述したようにＰフレームはその前フレームから予測される一方、Ｂフレームはその両側に位置する２つのフレームから予測される。例えば、現フレームがＰ１フレームである場合、その前フレーム（即ち、再配列された映像信号におけるＩ１フレーム）が基準フレームとして用いられる。一方、現フレームがＢ１フレームである場合には、両側フレーム（即ち、Ｉ１フレーム及びＰ１フレーム）がその基準フレームとして用いられる。
【００２３】
図２には、本発明による動き補償ブロック２００の詳細なブロック図が示されている。この動き補償ブロック２００は、パニングベクトル（panning vector）決定部２２０、フレーム決定部２３０、選択制御部２４０、ブロック形成部２５０、ブロック整合部２６０、第１フレーム発生部２７０、第２フレーム発生部２８０及び選択部２９０からなる。以下、動き補償ブロック２００を構成している各部について説明する。
【００２４】
最初、ラインＬ１０を介してフレーム格納ブロック９００から取り出された現フレーム信号は、パニングベクトル決定部２２０及びブロック形成部２５０に供給される。また、ラインＬ２０及び／またはラインＬ８０を介して格納ブロック３００から取り出された基準フレーム信号はパニングベクトル決定部２２０、予測フレーム決定部２３０及びブロック整合部２６０に各々入力される。
【００２５】
パニングベクトル決定部２２０では、現フレームと最適に整合する基準フレームが求められるまで、基準フレームを現フレームに沿ってシフトさせることによって、最適の整合位置にある基準フレームと現フレームとの間の空間的変位を表すパニングベクトルを決定する。このように最適整合となるようにシフトされる基準フレームと現フレームとの間の空間的変位は、２つのフレームの重複領域に属する対応する各画素値間の最小エラー即ち差分をもたらし、これが現フレームのパニングベクトルとして決定される。上記エラーは、基準フレームと現フレームとの間の類似度を測定するため用いられる平均絶対エラーまたは平均二乗エラーとして定義される。
【００２６】
例えば、図３に示したように、上記過程で、現フレームＣＦがPフレームである場合、現フレームＣＦと前フレームＰＦとの間の空間的変位ＦＭＶ１が現フレームＣＦのパニングベクトルとして決定される。一方、Ｂフレームが現フレームとして与えられる場合には、逆方向変位ベクトルＢＭＶ１と順方向変位ベクトルＦＭＶ１とのうち、より小さいエラー値を有するフレームに対応する動きベクトルが現フレームＣＦのパニングベクトルとして決定される。ここで、ＢＭＶ１は現フレームＣＦとその後続フレームＳＦとの間の空間的変位を表し、ＦＭＶ１は現フレームＣＦとその前フレームＰＦとの間の空間的変位を表す。以下、説明の便宜上、ＦＭＶ１が現フレームＣＦのパニングベクトルであると仮定する。
【００２７】
パニングベクトル決定部２２０から生成されたパニングベクトルＦＭＶ１はラインＬ５０に、予測フレーム決定部２３０、ブロック形成部２５０、ブロック整合部２６０及び選択制御部２４０に各々供給される。
【００２８】
図4に示したように、予測フレーム決定部２３０は基準フレーム（即ち、前フレームＰＦ）をパニングベクトルＦＭＶ１の分だけシフトさせることによって、「代替可能な領域」と「代替不可能な領域」とを有する予測フレームを生成する。図中で参照番号１０と示されている「代替可能な領域」は基準フレームによってカバーされる現フレームの一部分に対応する領域を表す。一方、図中で符号２０を付して示した「代替不可能な領域」は、現フレームの残り部分に対応する領域を表す。代替可能な領域１０は前フレームＰＦから取り出された画素値を有し代替不可能な領域２０は画素値を全く有していない。また、代替可能な領域１０と代替不可能な領域２０との間には境界Ｂ０が存在する。予測フレーム決定部２８０から取り出された予測フレームは、選択制御部２４０、第１フレーム発生部２７０及び第２フレーム発生部２８０に送られる。
【００２９】
選択制御部２４０は図２に示したように、分散計算器２４１、第１コンパレータ２４２、第２コンパレータ２４３及び選択信号発生器２４４を備えている。まず、この予測フレーム決定部２３０からの予測フレームは、初めに選択制御部２４０内の分散計算器２４１に供給される。
【００３０】
図４を再び参照すれは、分散計算器２４１は代替可能な領域１０内の境界領域１０′に含まれた画素値の分散を計算する。この境界領域１０′は代替可能な領域１０と、境界Ｂ０を代替可能な領域１０へＬ個（Ｌは正の整数）の画素だけ水平垂直方向にシフトして形成された領域との間のギャップを表す。この分散は、ｆ（１）＋ｆ（２）＋…＋ｆ（ｎ）＝Σ［ｋ＝１，ｎ］ｆ（ｋ）のように表すものとすると、次式
σD 2＝−１／ＫΣ［ｉ＝１，Ｋ］（ Ｄi − ＤM ）2
で定義される。ここで、
σD 2：画素値の分散
Ｄi：前記境界領域に含まれた各画素値（ｉは正の整数）
ＤM：前記境界領域に含まれた前記各画素値の平均値
Ｋ：前記境界領域内の画素数
である。
【００３１】
コンパレータ２４２は、このように求められた分散を、予め定められた閾値ＴＨ１と比較して、第１または第２比較信号を第２コンパレータ２４３に供給する。分散が予め定められた閾値ＴＨ１以上である場合には、第１比較信号ＣＯＭ１が生成され、そうでない場合には、第２比較信号ＣＯＭ２が出力される。そのような分散によって、両比較信号ＣＯＭ１またはＣＯＭ２が境界領域１０′内の画素値の分布の複雑さを求めるのに測定値として用いられ得る。つまり、第１比較信号ＣＯＭ１が生成される場合、境界領域１０′内の画素値の分布の複雑さは第２比較信号ＣＯＭ２の場合に比べて高いということに注目されたい。
【００３２】
第２コンパレータ２４３は、現フレームのフレーム形態（ＦＴ）、即ち、ＰフレームまたはＢフレームの何れであるかに基づいて生成された第２フレームモード制御信号ＳＣ２に応じて、第１または第２比較信号に基づき、表１に例示されているような基準値を決定する。
【００３３】
【表１】
上記表１に示すように、Ｐフレームの基準値がＢフレームの基準値より大きく、基準値は分散値が減少することにつれて増加する。即ち、第２比較信号ＣＯＭ２の基準値が第１比較信号ＣＯＭ２より大きい。従って、前述したように、現フレームがＰフレームである場合、表１の２番目の行に位置する値が選択され、基準値は両比較信号ＣＯＭ１またはＣＯＭ２によって決定される。
【００３５】
その後、表１に従って選択された基準値は選択信号発生器２４４に供給され、パニングベクトル決定部２２０から出力されたパニングベクトルＦＭＶ１の大きさと比較され、第１比較信号ＳＳ１または第２比較信号ＳＳ２を選択部２９０へ供給する。パニングベクトルの大きさが基準値以上である場合、第１選択信号ＳＳ１が発生され、そうでない場合には第２選択信号ＳＳ２が発生される。
【００３６】
一方、本発明の好適実施例によれば、第１フレーム発生部２７０は予測フレーム決定部２３０からの予測フレーム信号に基づいて、第１の予測現フレーム信号を生成する。図５を参照すれは、パディング領域２０Ａ、２０Ｂ、２０Ｃ及び代替可能な領域１０から構成される第１の予測現フレームが示されている。ここで、第１パディング領域２０Ａは、垂直境界Ｂ１に沿って位置する各画素値を図４内の代替不可能な領域２０に水平に移動即ちパディングすることによって定めされ、第２パディング領域２０Ｂは、水平境界Ｂ２に沿って位置する各画素値を垂直にパディングすることにより定められる。一方、第３パディング領域２０Ｃは第１パディング領域２０Ａの下側にある画素値と第２パディング領域２０Ｂの左側にある画素値とを平均して求められた画素値によって満たされる。この第１の予測現フレーム信号は選択部２９０に供給される。
【００３７】
上記の過程において、ブロック形成部２５０はパニングベクトル決定部２２０からのパニングベクトルＦＭＶ１及びラインＬ１０を介して供給された現フレーム信号に基づいて、整合プロセスの際に用いられる探索ブロックを検出する。
【００３８】
ブロック整合部２６０は格納ブロック３００からの基準フレーム信号に基づいて、該探索ブロックに対応する動きベクトル及び図４の予測フレーム内の代替不可能な領域２０を満たす画素値を検出する。
【００３９】
図６を参照すれば、図４に示した予測フレーム内の代替不可能な領域２０に対する動きベクトル検出過程を説明するための模式図が示されている。
【００４０】
本発明の実施例によれば、代替不可能な領域２０は各々が異なる大きさを有し得る複数の領域、例えば、図６Ａに示したように、３つの領域Ａ、Ｂ、Ｃに分けられる。各領域Ａ、Ｂ、Ｃに対応する探索ブロックは現フレームから選択され各分割領域及びそれに対応する探索ブロックは１つのフレーム内で、それぞれ同一の位置に存在する。各領域Ａ、Ｂ、Ｃに対する探索ブロックはブロック整合部２６０に順に供給される。
【００４１】
一方、本発明の他の好適実施例によれば、代替不可能な領域２０は図６Ｂに示したように、代替不可能な領域２０をカバーする複数の同一の大きさの探索ブロックによって表される。ここで、各探索ブロックはＨ×Ｖ個の画素値（Ｈ及びＶは正の整数）を有する。同一の大きさの各探索ブロックは図６Ａに用いられたような方法にて、現フレームから検出される。この同一の大きさの各探索ブロックはブロック単位でブロック整合部２６０に供給される。
【００４２】
ブロック整合２６０は、ブロック形成部２５０からの探索ブロック及び格納ブロック３００からの基準フレーム信号を用いて、公知の各ブロック整合技法を用いてブロック整合プロセスを実行することによって、各探索ブロックに対応する複数の動きベクトルを検出する。動きベクトルが検出されると、ブロック整合部２６０は基準フレーム信号に基づき、動きベクトルによって決定された各画素値によってカバーされた、補償された代替不可能な領域を生成する。ブロック整合プロセスがＢフレームに対して行われる場合に、パニングベクトルがＢフレームの前フレームによって求められる場合には、Ｂフレームに対応する基準フレームが前フレーム及び後続フレームを含んでいるため、ブロック整合プロセスは、Ｂフレームの後続フレームに基づいて実行される。かくして、検出された動きベクトルはラインＬ５０上に、補償された代替不可能な領域は第２フレーム発生部２８０に各々出力される。
【００４３】
第２フレーム発生部２８０においては、予測フレーム決定部２３０からの予測フレーム信号と補償された代替不可能な領域とが組み合わせられて、第２の予測現フレーム信号として選択部２９０に供給される。この際、予測フレーム内の代替可能な領域と補償された代替不可能な領域との間に重複エリアがある場合、重複エリアにおいて補償された代替不可能な領域に属する画素値は捨てられる。
【００４４】
選択部２９０は、選択信号発生器２４４からの選択信号に応じて第１の予測現フレーム信号または第２の予測現フレーム信号を選択し、選択されたフレーム信号を予測現フレームとしてラインＬ６０に供給する。第１選択信号ＳＳ１が選択部２９０に入力された場合には第２予測現フレーム信号が、第２選択信号ＳＳ２が入力された場合には第１予測現フレーム信号が、予測現フレーム信号として選択される。
【００４５】
図１を再度参照すれば、減算器７００にて、予測現フレーム信号はラインＬ８０上の現フレーム信号から減算され、その結果データ、即ち、差分画素値を表すエラー信号は映像信号符号化器４００に供給される。ここで、エラー信号は、例えば、ＤＣＴ及び周知の量子化方法のうちの何れか１つを用いて量子化変換係数の組に符号化される。しかる後、量子化変換係数の組はエントロピー符号化器６００及び映像信号復号化器５００に各々伝送される。
【００４６】
エントロピー符号化器６００において、量子化変換係数の組はラインＬ５０を介して動き補償ブロック２００から供給されたパニングベクトル及び動きベクトルと共に符号化された後、符号化映像信号として伝送器（図示せず）を通じて伝送される。
【００４７】
一方、映像信号復号化器５００は、逆量子化及び逆離散的コサイン変換を用いて、量子化変換係数を再構成エラー信号に変換する。映像信号復号化器５００からの再構成エラー信号と動き補償ブロック２００から第２スイッチ７７０を介した予測現フレーム信号とは加算器８００にて組み合わせられて、再構成フレーム信号を供給する。上述したように、再構成フレーム信号は、現フレームがＩフレームまたはＰフレームである場合のみ第３スイッチ８５０を通じて格納ブロック３００に供給されて、その内に基準フレーム信号として格納される。即ち、現フレームがＢフレームである場合には、再構成フレーム信号は捨てられる。
【００４８】
格納ブロック３００は、例えば、図１に示したように、直列に接続された２つのフレームメモリ３１０及び３２０を有する。従って、加算器８００からの再構成フレーム信号は、最初、例えば、第１フレームメモリ３２０に格納され、次いでラインＬ３０を介して基準フレーム信号として動き補償ブロック２００に供給され、また、次の再構成フレーム信号が加算器８００から第1フレームメモリ３２０に入力されると、フレーム単位で第２フレームメモリ３１０に送られる。かくして、Ｐフレームに対するインタフレーム符号化モードの際に、フレームメモリ３１０に格納された再構成フレーム信号は基準フレーム信号としてラインＬ２０を介して動き補償ブロック２００に供給されＢフレームに対しては第２フレームメモリ３１０に格納された再構成フレーム信号はラインＬ２０を介して、第１フレームメモリ３２０に格納された再構成フレーム信号はラインＬ８０を介して各々フレーム信号として動き補償ブロック２００に供給される。
【００４９】
上記のプロセスは、映像信号符号化の動作が行われる間順次繰り返される。
【００５０】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求の範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００５１】
【発明の効果】
従って、本発明によれば、予測現フレーム信号がフレーム差分信号、探索ブロックに対するパニングベクトル及び動きベクトルによって再構成され得、動きベクトルが予測フレーム内の代替不可能な領域のみで検出されるので、伝送すべき動きベクトルのデータの量をより一層減らすことができる。
【図面の簡単な説明】
【図１】本発明による映像信号符号化システムの概略的なブロック図である。
【図２】本発明による図１の動き補償ブロックの詳細なブロック図である。
【図３】異なる空間的変位による３つの連続フレームを示した模式図である。
【図４】基準値を求める過程を説明するための模式図である。
【図５】本発明に基づいて、境界パディングプロセスを説明するための模式図である。
【図６】図６Ａ及び６Ｂよりなり、各々、予測フレーム内の代替不可能な領域に対する動きベクトル検出過程を説明するための模式図である。
【図７】フレームシーケンスを示した模式図である。
【符号の説明】
１０ 代替可能な領域
１０′ 境界領域
２０ 代替不可能な領域
２０Ａ、２０Ｂ、２０Ｃ パディング領域
１００ フレーム再配列ブロック
２００ 動き補償ブロック
２２０ パニングベクトル決定部
２３０ 予測フレーム決定部
２４０ 選択制御部
２４１ 分散計算部
２４２ コンパレータ
２４３ 第２コンパレータ
２４４ 選択信号発生部
２５０ ブロック形成部
２６０ブロック整合部
２７０ 第1フレーム発生部
２８０ 第２フレーム発生部
２９０ 選択部
３００ 格納ブロック
３１０ 第２フレームメモリ
３２０ 第１フレームメモリ
４００ 映像信号符号化器
５００ 映像信号復号化器
６００ エントロピー符号化器
７００ 減算器
７５０、７７０、８５０ スイッチ
８００ 加算器
９００ フレーム格納ブロック
ＳＣ１、ＳＣ２ フレームモード制御信号
ＣＦ 現フレーム
ＰＦ 前フレーム
ＳＦ 後続フレーム
ＢＭＶ１ 逆方向変位ベクトル
ＦＭＶ１ 順方向変位ベクトル
Ｂ０、Ｂ１、Ｂ２ 境界
Claims (8)
- 映像信号符号化システムに用いられ、一連のフレームよりなる映像信号に含まれる現フレームと基準フレームとに基づいて予測現フレーム信号を求める現フレーム予測装置であって、
前記現フレームと前記基準フレームとの間の空間的変位を表すパニングベクトル（panning vector）を検出するパニングベクトル検出手段と、
前記パニングベクトル及び前記基準フレームに基づいて、前記基準フレームから選択された画素値を有する代替可能な領域と画素値を全く有しない代替不可能な領域とを有する予測フレームを決定する予測フレーム決定手段と、
前記パニングベクトルの大きさと基準値とを比較して、前記パニングベクトルの大きさが前記基準値以上である場合には第１選択信号を発生し、前記パニングベクトルの大きさが前記基準値未満である場合に発生する第２選択信号を発生する選択信号発生手段と、
前記予測フレーム内の前記代替可能な領域な領域に属する画素値を前記代替不可能な領域に移動させて、第１予測現フレーム信号を生成する第１予測現フレーム信号生成手段と、
前記パニングベクトル、前記現フレーム信号及び前記基準フレーム信号に基づき、前記代替不可能な領域に対してブロックマッチング技法を用いて、第２予測現フレーム信号を生成する第２予測現フレーム信号生成手段と、
前記選択信号発生手段で前記第１選択信号が発生された場合には前記第１の予測現フレーム信号を、前記第２選択信号が発生された場合には前記第２選択信号を前記予測現フレーム信号として選択する予測現フレーム信号選択手段とを含むことを特徴とする現フレーム予測装置。 - 前記現フレームが、予測フレーム（Ｐフレーム）である場合、前記現フレームはその前フレームから前記基準フレームとして予測されることを特徴とする請求項１に記載の現フレーム予測装置。
- 前記現フレームが、両方向予測フレーム（Ｂフレーム）である場合、前記現フレームはその前フレーム及びその後続フレームから前記基準フレームとして予測されることを特徴とし、
前記パニングベクトル検出手段が、
前記現フレームとその前フレームとの間の空間的変位を表す順方向変位ベクトルを検出する順方向変位ベクトル検出手段と、
前記現フレームとその後続フレームとの間の空間的変位を表す逆方向変位ベクトルを検出する逆方向変位ベクトル検出手段と、
最小のエラーを有するフレームに対応する前記変位ベクトルを前記パニングベクトルとして発生するパニングベクトル発生手段であって、前記前フレーム及び前記後続フレームに対するエラーは、前記現フレームと前記前フレームまたは前記後続フレームとの間の類似度の測定に用いられる平均絶対エラーまたは平均二乗エラーとして定義される、該パニングベクトル発生手段とを有することを特徴とする請求項１に記載の現フレーム予測装置。 - 前記選択信号発生手段が、
前記代替可能な領域内の境界領域にある各画素値の分散を計算する画素値分散計算手段であって、前記境界領域は、前記代替可能な領域と、前記代替可能な領域と前記代替不可能な領域との間の境界線を前記代替可能な領域へＬ個の画素（Ｌは正の整数）だけシフトさせることによって形成された領域との間のギャップを表す、前記画素値分散計算手段と、
前記分散と予め定められた閾値とを比較して、前記分散が前記閾値以上である場合は第１比較信号を出力し、前記分散が前記閾値未満である場合には第２比較信号を発生する比較信号発生手段と、
前記第１比較信号または第２比較信号に基づいて、前記基準値を決定する基準値決定手段と、
前記パニングベクトルの大きさと前記基準値とを比較して、前記第１選択信号または前記第２選択信号を生成する選択信号生成手段とを備えることを特徴とする請求項２または３に記載の現フレーム予測装置。 - 前記分散が、
σＤ ２を画素値の分散とし、
Ｄｉを前記境界領域に含まれた各画素値とし（ｉは正の整数）、
ＤＭを前記境界領域に含まれた前記各画素値の平均値とし、
Ｋを前記境界領域内の画素数とし、
ｆ（１）＋ｆ（２）＋…＋ｆ（ｎ）＝Σ［ｋ＝１，ｎ］ｆ（ｋ）のように表すものとすると、
σＤ ２＝−１／ＫΣ［ｉ＝１，Ｋ］（ Ｄｉ − ＤＭ ）２
なる式で求められることを特徴とする請求項４に記載の現フレーム予測装置。 - 前記第１比較信号に対する前記基準値が、前記第２比較信号による基準値未満になるように定められることを特徴とする請求項５に記載の現フレーム予測装置。
- 前記第２予測現フレーム信号発生手段が、
前記代替不可能な領域をカバーする前記現フレームの一部分を検出する代替不可能な領域検出手段と、
前記代替不可能な領域を、各々が複数の画素を有する複数の探索ブロックに分割するブロック分割手段と、
前記基準フレームに基づいて、前記複数の探索ブロックに対して前記ブロックマッチング技法を施すことによって、前記探索ブロックに対応する画素値を検出する画素値検出手段と、
前記代替可能な領域と前記代替不可能な領域に対応する前記探索ブロックに対する前記画素値とを組み合わせて、前記第２予測現フレーム信号を発生する予測現フレーム信号発生手段とを有することを特徴とする請求項６に記載の現フレーム予測装置。 - 前記各探索ブロックが、Ｈ×Ｖ個（Ｈ及びＶは正の整数）の画素値を有する同一の大きさのブロックとして定義されることを特徴とする請求項７に記載の現フレーム予測装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1996-15267 | 1996-05-09 | ||
| KR1019960015267A KR100204478B1 (ko) | 1996-05-09 | 1996-05-09 | 전역 움직임에 의한 빈 공간 보상 방법 및 그 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1070728A JPH1070728A (ja) | 1998-03-10 |
| JP3938972B2 true JP3938972B2 (ja) | 2007-06-27 |
Family
ID=19458190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11932397A Expired - Fee Related JP3938972B2 (ja) | 1996-05-09 | 1997-05-09 | 現フレーム予測装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5862261A (ja) |
| JP (1) | JP3938972B2 (ja) |
| KR (1) | KR100204478B1 (ja) |
| CN (1) | CN1111336C (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4344964B2 (ja) * | 1999-06-01 | 2009-10-14 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US6687410B1 (en) * | 2000-02-07 | 2004-02-03 | Sun Microsystems, Inc. | Method and apparatus for compression and decompression of data |
| US7029403B2 (en) * | 2000-04-18 | 2006-04-18 | Acushnet Company | Metal wood club with improved hitting face |
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| US20030081685A1 (en) * | 2001-10-31 | 2003-05-01 | Montgomery Dennis L. | Method and apparatus for determining patterns within adjacent blocks of data |
| US7023923B2 (en) * | 2002-04-29 | 2006-04-04 | Koninklijke Philips Electronics N.V. | Motion compensated temporal filtering based on multiple reference frames for wavelet based coding |
| US20030202599A1 (en) * | 2002-04-29 | 2003-10-30 | Koninklijke Philips Electronics N.V. | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames |
| US7184093B2 (en) * | 2002-05-20 | 2007-02-27 | Thomson Licensing | Video image formatting technique |
| JP2004126474A (ja) * | 2002-10-07 | 2004-04-22 | Sharp Corp | 表示装置の駆動方法、表示装置、および、そのプログラム |
| US7515156B2 (en) * | 2003-01-08 | 2009-04-07 | Hrl Laboratories, Llc | Method and apparatus for parallel speculative rendering of synthetic images |
| US8000392B1 (en) | 2004-02-27 | 2011-08-16 | Vbrick Systems, Inc. | Phase correlation based motion estimation in hybrid video compression |
| US8265145B1 (en) * | 2006-01-13 | 2012-09-11 | Vbrick Systems, Inc. | Management and selection of reference frames for long term prediction in motion estimation |
| JP4677351B2 (ja) * | 2006-02-17 | 2011-04-27 | キヤノン株式会社 | 動き補償器、動き補償処理方法、コンピュータプログラム及び記憶媒体 |
| JP4768649B2 (ja) * | 2007-03-09 | 2011-09-07 | 日本電信電話株式会社 | カメラワーク検出方法，装置，プログラムおよびその記録媒体 |
| EP2266321B1 (en) * | 2008-04-23 | 2017-12-13 | Telefonaktiebolaget LM Ericsson (publ) | Template-based pixel block processing |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4111980A1 (de) * | 1991-04-12 | 1992-10-15 | Thomson Brandt Gmbh | Verfahren zur codierung |
| KR960015395B1 (ko) * | 1993-04-09 | 1996-11-11 | 대우전자 주식회사 | 움직임벡터 검출장치 |
-
1996
- 1996-05-09 KR KR1019960015267A patent/KR100204478B1/ko not_active IP Right Cessation
-
1997
- 1997-05-09 CN CN97113644A patent/CN1111336C/zh not_active Expired - Fee Related
- 1997-05-09 JP JP11932397A patent/JP3938972B2/ja not_active Expired - Fee Related
- 1997-05-09 US US08/853,945 patent/US5862261A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1111336C (zh) | 2003-06-11 |
| KR100204478B1 (ko) | 1999-06-15 |
| JPH1070728A (ja) | 1998-03-10 |
| CN1179063A (zh) | 1998-04-15 |
| KR970078660A (ko) | 1997-12-12 |
| US5862261A (en) | 1999-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
| KR0181034B1 (ko) | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 | |
| EP0734165B1 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| KR0171118B1 (ko) | 비디오신호 부호화 장치 | |
| US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
| JP3736869B2 (ja) | 両方向の動き推定方法および装置 | |
| US5612743A (en) | Method for encoding a video signal using feature point based motion estimation | |
| JP3938972B2 (ja) | 現フレーム予測装置 | |
| JPH08242453A (ja) | 動きベクトル推定装置 | |
| EP0734176B1 (en) | Motion compensation apparatus for use in a video encoding system | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| JP3950211B2 (ja) | 動きベクトル符号化装置 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| KR100252340B1 (ko) | 현재 프레임 예측방법 및 그 장치 | |
| KR100209418B1 (ko) | 최적 움직임 벡터 검출 방법 및 장치 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| KR100252346B1 (ko) | 개선된 텍스쳐 움직임 벡터 부호화 장치 및 그 방법 | |
| KR0159374B1 (ko) | 서치 그리드를 이용한 영상신호 부호화 장치 | |
| EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| KR0174444B1 (ko) | 초저속 전송을 위한 움직임 보상장치 | |
| KR100238891B1 (ko) | 개선된 움직임 추정 장치 및 그 추정 방법 | |
| KR100238890B1 (ko) | 개선된 텍스쳐 움직임 벡터 추정 장치 및 그 추정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070327 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |