JP3513160B2 - 動画像信号符号化装置及びその方法 - Google Patents
動画像信号符号化装置及びその方法Info
- Publication number
- JP3513160B2 JP3513160B2 JP32264391A JP32264391A JP3513160B2 JP 3513160 B2 JP3513160 B2 JP 3513160B2 JP 32264391 A JP32264391 A JP 32264391A JP 32264391 A JP32264391 A JP 32264391A JP 3513160 B2 JP3513160 B2 JP 3513160B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- moving picture
- picture signal
- signal
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、フレーム間予測、及び
フレーム内予測を利用して動画像信号を符号化する動画
像信号符号化装置及びその方法に関するものである。
フレーム内予測を利用して動画像信号を符号化する動画
像信号符号化装置及びその方法に関するものである。
【０００２】
【従来の技術】フレーム間予測を利用して動画像信号を
符号化する場合、予測誤差の蓄積による復号画像の画質
劣化を一定レベル以下に抑えるため、時々はフレーム間
予測を利用せずに符号化する、つまり、リフレッシュを
行なう必要がある。最近の動画像信号符号化方式では、
ＣＣＩＴＴ勧告Ｈ．２６１に見られるように、ブロック
単位に処理を行なうものが一般的である。なお、リフレ
ッシュ動作の処理単位は、ブロックに限定されるもので
はない。
符号化する場合、予測誤差の蓄積による復号画像の画質
劣化を一定レベル以下に抑えるため、時々はフレーム間
予測を利用せずに符号化する、つまり、リフレッシュを
行なう必要がある。最近の動画像信号符号化方式では、
ＣＣＩＴＴ勧告Ｈ．２６１に見られるように、ブロック
単位に処理を行なうものが一般的である。なお、リフレ
ッシュ動作の処理単位は、ブロックに限定されるもので
はない。
【０００３】従来のリフレツシユ制御方式として、例え
ば、１フレーム内の全ブロックを一定周期でリフレッシ
ュする方式がある。これは、 （１）１フレーム内の全ブロックを、あるフレーム・タ
イミングで一斉にリフレッシュする方式 （２）１フレーム・タイミングで１、または複数個のブ
ロックをリフレッシュし、フレームの更新に従ってリフ
レッシュのブロック位置をずらしていく方式の２つの方
式に分類できる。また、他の例として、例えば、特開平
２−２３７２８７公報に示されている方式、つまり、 （３）１フレームを２個以上の領域に分割し、各領域ご
とに異なるフレーム周期でリフレッシュする方式であ
る。
ば、１フレーム内の全ブロックを一定周期でリフレッシ
ュする方式がある。これは、 （１）１フレーム内の全ブロックを、あるフレーム・タ
イミングで一斉にリフレッシュする方式 （２）１フレーム・タイミングで１、または複数個のブ
ロックをリフレッシュし、フレームの更新に従ってリフ
レッシュのブロック位置をずらしていく方式の２つの方
式に分類できる。また、他の例として、例えば、特開平
２−２３７２８７公報に示されている方式、つまり、 （３）１フレームを２個以上の領域に分割し、各領域ご
とに異なるフレーム周期でリフレッシュする方式であ
る。
【０００４】また、従来のフレーム間予測、及びフレー
ム内予測を利用する動画像信号符号化装置における予測
モード切り換え制御方式としては、現フレームの符号化
するブロックと前フレームの同位置にあるブロックとの
相関を求め、その相関量の大小に応じて予測モードを切
り換える制御方式が知られている。すなわち、相関量
が、あらかじめ設定された閾値以上であるときは、モー
ドをフレーム間予測モードとし、また、相関量が閾値未
満であるときはフレーム内予測モードとする方式であ
る。なお、このブロック間相関の求め方は、相関の定義
により異なるが、その一例として、２ブロックの対応す
る位置にある画素ごとに差分を求め、その差分値の分散
の逆数を求める方法がある。
ム内予測を利用する動画像信号符号化装置における予測
モード切り換え制御方式としては、現フレームの符号化
するブロックと前フレームの同位置にあるブロックとの
相関を求め、その相関量の大小に応じて予測モードを切
り換える制御方式が知られている。すなわち、相関量
が、あらかじめ設定された閾値以上であるときは、モー
ドをフレーム間予測モードとし、また、相関量が閾値未
満であるときはフレーム内予測モードとする方式であ
る。なお、このブロック間相関の求め方は、相関の定義
により異なるが、その一例として、２ブロックの対応す
る位置にある画素ごとに差分を求め、その差分値の分散
の逆数を求める方法がある。
【０００５】
【発明が解決しようとする課題】一般に、動画像信号を
符号化する際にリフレッシュを行なうと符号量が増大す
る。例えば、上述の方式（１）では、リフレッシュを行
なうフレームにおいて急激に符号量が増大するため、一
定のフレームレートでの動画像通信が困難となる。ま
た、上述の方式（１）と方式（２）では、１フレーム上
のすべての位置において等周期でリフレッシュを行なう
ため、フレーム中央部などの注目度の高い位置とフレー
ム周辺部などの注目度の低い位置とが同等に扱われるこ
とになる。しかし、注目度の低い位置における画質を向
上しても、全体的な画質評価にはさほど影響しないの
で、リフレッシュ動作が無駄になるという問題がある。
符号化する際にリフレッシュを行なうと符号量が増大す
る。例えば、上述の方式（１）では、リフレッシュを行
なうフレームにおいて急激に符号量が増大するため、一
定のフレームレートでの動画像通信が困難となる。ま
た、上述の方式（１）と方式（２）では、１フレーム上
のすべての位置において等周期でリフレッシュを行なう
ため、フレーム中央部などの注目度の高い位置とフレー
ム周辺部などの注目度の低い位置とが同等に扱われるこ
とになる。しかし、注目度の低い位置における画質を向
上しても、全体的な画質評価にはさほど影響しないの
で、リフレッシュ動作が無駄になるという問題がある。
【０００６】さらに、上述の方式（３）では、注目度の
高い領域を短い周期でリフレッシュし、注目度の低い領
域を長い周期でリフレッシュすることが可能となり、方
式（１），（２）に比べて、主観的に高画質となる再生
画像が得られる。しかし、この方式（３）では、１フレ
ームを２個以上の領域に分割し、各領域ごとに異なる周
期でリフレッシュ制御を行なうため、制御方式が複雑と
なりやすいという欠点がある。
高い領域を短い周期でリフレッシュし、注目度の低い領
域を長い周期でリフレッシュすることが可能となり、方
式（１），（２）に比べて、主観的に高画質となる再生
画像が得られる。しかし、この方式（３）では、１フレ
ームを２個以上の領域に分割し、各領域ごとに異なる周
期でリフレッシュ制御を行なうため、制御方式が複雑と
なりやすいという欠点がある。
【０００７】図１は、上記のリフレッシュ制御方式の
内、方式（３）の概念を示す図であり、図１（ａ）は、
フレーム中央部を注目度の高い領域と仮定して、矩形に
よる２分割を行なった例である。ここでは、外側の領域
がドーナツ形状となるため、この領域に含まれるブロッ
ク・アドレスの計算は複雑化する。この場合、ブロック
・アドレスの計算を単純化するためには、外側の領域を
さらに４分割する必要がある（図１（ｂ）のI―１〜I―
４）。こうした場合、各領域におけるアドレス計算は単
純化されるものの、本来２領域であったものが５領域に
増加するため、全体としては、リフレッシュ制御が複雑
化してしまうという問題がある。
内、方式（３）の概念を示す図であり、図１（ａ）は、
フレーム中央部を注目度の高い領域と仮定して、矩形に
よる２分割を行なった例である。ここでは、外側の領域
がドーナツ形状となるため、この領域に含まれるブロッ
ク・アドレスの計算は複雑化する。この場合、ブロック
・アドレスの計算を単純化するためには、外側の領域を
さらに４分割する必要がある（図１（ｂ）のI―１〜I―
４）。こうした場合、各領域におけるアドレス計算は単
純化されるものの、本来２領域であったものが５領域に
増加するため、全体としては、リフレッシュ制御が複雑
化してしまうという問題がある。
【０００８】また、上記従来の予測モード切り換え制御
方式では、どのフレームにおいてもフレーム内の全ブロ
ックに対して同一条件により予測モードを切り換えてい
る。このような、フレームにもブロツク位置にもよらな
い符号化制御方式は、汎用性は高いものの、特定の応用
に対しては必ずしも適当な制御方式とはなり得ない。例
えば、テレビ電話などの応用では、通常、一対一の通話
が行なわれ、画面中央部に写し出された相手の顔に注目
するので、画面周辺部に注意を向けることは少ない。
方式では、どのフレームにおいてもフレーム内の全ブロ
ックに対して同一条件により予測モードを切り換えてい
る。このような、フレームにもブロツク位置にもよらな
い符号化制御方式は、汎用性は高いものの、特定の応用
に対しては必ずしも適当な制御方式とはなり得ない。例
えば、テレビ電話などの応用では、通常、一対一の通話
が行なわれ、画面中央部に写し出された相手の顔に注目
するので、画面周辺部に注意を向けることは少ない。
【０００９】ところで、テレビ電話で利用される通信回
線の通信速度は、６４Ｋｂｐｓ〜１２８Ｋｂｐｓ程度が
一般的であり、フレーム全体に渡って高画質を得るには
十分な通信速度ではない。そのため、このような低ビッ
トレート伝送において、フレーム全体を同一条件で符号
化すると、復号画像全体に渡って画質の劣化を招くこと
になる。この画質劣化が顕著となる例として、通信開始
直後や画面の切り替わり（シーンチェンジ）直後の数フ
レームにおける復号画像の画質劣化が挙げられる。これ
は、シーンチェンジ直後などでは、フレーム間相関が極
端に小さくなるためで、従来の予測モード切り換え制御
方式では、この場合、フレーム内のほとんどのブロツク
がフレーム内予測モードとされる。
線の通信速度は、６４Ｋｂｐｓ〜１２８Ｋｂｐｓ程度が
一般的であり、フレーム全体に渡って高画質を得るには
十分な通信速度ではない。そのため、このような低ビッ
トレート伝送において、フレーム全体を同一条件で符号
化すると、復号画像全体に渡って画質の劣化を招くこと
になる。この画質劣化が顕著となる例として、通信開始
直後や画面の切り替わり（シーンチェンジ）直後の数フ
レームにおける復号画像の画質劣化が挙げられる。これ
は、シーンチェンジ直後などでは、フレーム間相関が極
端に小さくなるためで、従来の予測モード切り換え制御
方式では、この場合、フレーム内のほとんどのブロツク
がフレーム内予測モードとされる。
【００１０】ところが、フレーム間予測モード時に比べ
て、フレーム内予測モード時の方が、符号量が増大する
傾向にある。特に、テレビ会議／テレビ電話用の動画像
信号符号化方式の標準であるＣＣＩＴＴ勧告Ｈ．２６１
においては、フレーム間予測モードでは、１ブロツクの
符号量を略０まで減らすことが可能であるのに対し、フ
レーム内予測モードでは、１ブロツクに必要な符号量の
下減があるため、相次いでフレーム内予測モードが選択
されると、発生符号量が通信容量を越えてしまうという
問題が生じる。
て、フレーム内予測モード時の方が、符号量が増大する
傾向にある。特に、テレビ会議／テレビ電話用の動画像
信号符号化方式の標準であるＣＣＩＴＴ勧告Ｈ．２６１
においては、フレーム間予測モードでは、１ブロツクの
符号量を略０まで減らすことが可能であるのに対し、フ
レーム内予測モードでは、１ブロツクに必要な符号量の
下減があるため、相次いでフレーム内予測モードが選択
されると、発生符号量が通信容量を越えてしまうという
問題が生じる。
【００１１】こうした問題を避けるため、ＣＣＩＴＴ勧
告Ｈ．２６１では、符号器の出力を一度伝送バツフアに
蓄え、伝送バツフアがオーバーフローしないように符号
化制御を行なうようにしている。そのため、シーンチェ
ンジ直後のフレームでは、相次いでフレーム内予測モー
ドが選択されるが、伝送バツフアがオーバーフローしそ
うになった時点で、フレーム間予測モードが選択され、
強制的にフレーム間の予測誤差を０として符号の発生を
抑える。この強制的なフレーム間予測モードの選択で
は、伝送バツフアの充満度が一定レベル以下になるまで
続けられる。その結果、低ビツトレート符号化時は、シ
ーンチェンジ直後の数フレームに渡ってシーンチェンジ
前の画像がそのまま残ってしまうブロツクが多数生じる
こととなり、さらに、これらのブロツクは不規則な位置
に生じるため、再生画像の画質を著しく低下させること
になる。
告Ｈ．２６１では、符号器の出力を一度伝送バツフアに
蓄え、伝送バツフアがオーバーフローしないように符号
化制御を行なうようにしている。そのため、シーンチェ
ンジ直後のフレームでは、相次いでフレーム内予測モー
ドが選択されるが、伝送バツフアがオーバーフローしそ
うになった時点で、フレーム間予測モードが選択され、
強制的にフレーム間の予測誤差を０として符号の発生を
抑える。この強制的なフレーム間予測モードの選択で
は、伝送バツフアの充満度が一定レベル以下になるまで
続けられる。その結果、低ビツトレート符号化時は、シ
ーンチェンジ直後の数フレームに渡ってシーンチェンジ
前の画像がそのまま残ってしまうブロツクが多数生じる
こととなり、さらに、これらのブロツクは不規則な位置
に生じるため、再生画像の画質を著しく低下させること
になる。
【００１２】本発明は上記従来例に鑑みてなされたもの
で、動画像のフレーム内の予め設定された領域を特定
し、その特定した領域をフレーム間予測、或いはフレー
ム内予測により符号化する動画像信号符号化装置及びそ
の方法を提供することを目的とする。
で、動画像のフレーム内の予め設定された領域を特定
し、その特定した領域をフレーム間予測、或いはフレー
ム内予測により符号化する動画像信号符号化装置及びそ
の方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】上記目的を達成するため
に本発明の動画像信号符号化装置は以下のような構成を
備える。即ち、フレーム間予測、及びフレーム内予測を
選択的に切り換えて動画像信号を符号化する動画像信号
符号化装置であって、動画像信号のフレーム内におい
て、予め設定された領域を特定する領域特定手段と、予
め設定された所定期間を特定する期間特定手段と、前記
領域特定手段により特定された領域で、かつ前記期間特
定手段により特定された所定期間では、強制的にフレー
ム間の予測誤差を０として動画像信号を符号化するよう
に制御する符号化制御手段とを備えることを特徴とす
る。
に本発明の動画像信号符号化装置は以下のような構成を
備える。即ち、フレーム間予測、及びフレーム内予測を
選択的に切り換えて動画像信号を符号化する動画像信号
符号化装置であって、動画像信号のフレーム内におい
て、予め設定された領域を特定する領域特定手段と、予
め設定された所定期間を特定する期間特定手段と、前記
領域特定手段により特定された領域で、かつ前記期間特
定手段により特定された所定期間では、強制的にフレー
ム間の予測誤差を０として動画像信号を符号化するよう
に制御する符号化制御手段とを備えることを特徴とす
る。
【００１４】上記目的を達成するために本発明の動画像
信号符号化方法は以下のような工程を備える。即ち、フ
レーム間予測、及びフレーム内予測を選択的に切り換え
て動画像信号を符号化する動画像信号符号化方法であっ
て、動画像信号のフレーム内において、予め設定された
領域を特定する工程と、予め設定された所定期間を特定
する工程と、前記特定された領域で、かつ前記特定され
た所定期間では、強制的にフレーム間の予測誤差を０と
して動画像信号を符号化するように制御する工程と、を
備えることを特徴とする。
信号符号化方法は以下のような工程を備える。即ち、フ
レーム間予測、及びフレーム内予測を選択的に切り換え
て動画像信号を符号化する動画像信号符号化方法であっ
て、動画像信号のフレーム内において、予め設定された
領域を特定する工程と、予め設定された所定期間を特定
する工程と、前記特定された領域で、かつ前記特定され
た所定期間では、強制的にフレーム間の予測誤差を０と
して動画像信号を符号化するように制御する工程と、を
備えることを特徴とする。
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】
【００２３】
【００２４】
【００２５】
【００２６】
【００２７】
【００２８】
【００２９】図２は、本発明の実施例に係る、フレーム
間予測及びフレーム内予測を利用した動画像信号符号化
装置に用いられるフレーム内／フレーム間切換信号出力
回路の構成を示すブロック図である。なお、以下の説明
において、本動画像信号符号化装置の構成要素の内、
「または」として記載されているものは、そのどちら一
方が、個々の発明に対応してアクティブになることを意
味している。つまり、１つの実施例では、フレームパル
スまたはクロックパルス入力端子２２はフレームパルス
入力端子として、フレームカウンタまたはクロックカウ
ンタ２０１はフレームカウンタとして、また、フレーム
番号信号または経過時間信号２１３はフレーム番号信号
として機能、あるいは出力される。
間予測及びフレーム内予測を利用した動画像信号符号化
装置に用いられるフレーム内／フレーム間切換信号出力
回路の構成を示すブロック図である。なお、以下の説明
において、本動画像信号符号化装置の構成要素の内、
「または」として記載されているものは、そのどちら一
方が、個々の発明に対応してアクティブになることを意
味している。つまり、１つの実施例では、フレームパル
スまたはクロックパルス入力端子２２はフレームパルス
入力端子として、フレームカウンタまたはクロックカウ
ンタ２０１はフレームカウンタとして、また、フレーム
番号信号または経過時間信号２１３はフレーム番号信号
として機能、あるいは出力される。
【００３０】さらに、別の実施例では、それらが、それ
ぞれクロックパルス入力端子、クロックカウンタ、経過
時間信号となる。同様に、１つの実施例では、フレーム
内またはフレーム間選択信号出力回路２０６はフレーム
内選択信号出力回路、フレーム内またはフレーム間選択
信号２１９はフレーム内選択信号に、また、他の実施例
では、それらが、それぞれフレーム間選択信号出力回
路、フレーム間選択信号となる。
ぞれクロックパルス入力端子、クロックカウンタ、経過
時間信号となる。同様に、１つの実施例では、フレーム
内またはフレーム間選択信号出力回路２０６はフレーム
内選択信号出力回路、フレーム内またはフレーム間選択
信号２１９はフレーム内選択信号に、また、他の実施例
では、それらが、それぞれフレーム間選択信号出力回
路、フレーム間選択信号となる。
【００３１】図２において、リセットパルス入力端子２
１から入力されたリセットパルス信号２１１は、フレー
ムカウンタまたはクロックカウンタ２０１に入力され
る。また、フレームパルスまたはクロックパルス入力端
子２２から入力されたフレームパルス信号またはクロッ
クパルス信号２１２は、フレームカウンタまたはクロッ
クカウンタ２０１に入力される。そして、フレームカウ
ンタまたはクロックカウンタ２０１から出力されたフレ
ーム番号信号または経過時間信号２１３は、定数との比
較回路２０２に入力される
１から入力されたリセットパルス信号２１１は、フレー
ムカウンタまたはクロックカウンタ２０１に入力され
る。また、フレームパルスまたはクロックパルス入力端
子２２から入力されたフレームパルス信号またはクロッ
クパルス信号２１２は、フレームカウンタまたはクロッ
クカウンタ２０１に入力される。そして、フレームカウ
ンタまたはクロックカウンタ２０１から出力されたフレ
ーム番号信号または経過時間信号２１３は、定数との比
較回路２０２に入力される
【００３２】定数との比較回路２０２から出力された定
数未満／以上信号２１４は、ＡＮＤ回路２０５に入力さ
れる。また、ブロツクパルス入力端子２３から入力され
たブロツクパルス信号２１５は、ブロツクカウンタ２０
３に入力される。このブロツクカウンタ２０３からの出
力、つまり、ブロツク番号信号２１６は、特定範囲内／
範囲外判定回路２０４に入力される。そして、特定範囲
内／範囲外判定回路２０４から出力された特定範囲内／
範囲外信号２１７は、ＡＮＤ回路２０５に入力される。
数未満／以上信号２１４は、ＡＮＤ回路２０５に入力さ
れる。また、ブロツクパルス入力端子２３から入力され
たブロツクパルス信号２１５は、ブロツクカウンタ２０
３に入力される。このブロツクカウンタ２０３からの出
力、つまり、ブロツク番号信号２１６は、特定範囲内／
範囲外判定回路２０４に入力される。そして、特定範囲
内／範囲外判定回路２０４から出力された特定範囲内／
範囲外信号２１７は、ＡＮＤ回路２０５に入力される。
【００３３】フレーム内またはフレーム間選択信号出力
回路２０６から出力されたフレーム内またはフレーム間
選択信号２１９は、スイッチ２０８に入力される。ま
た、フレーム内／フレーム間切換信号出力回路２０７か
ら出力されたフレーム内／フレーム間切換信号２２０
は、スイッチ２０８に入力される。そして、ＡＮＤ回路
２０５から出力されたスイッチ切換信号２１８がＯＦＦ
であるとき、スイッチ２０８は、フレーム内／フレーム
間切換信号出力回路２０７側に接続され、また、スイッ
チ切換信号２１８がＯＮのとき、スイッチ２０８は、フ
レーム内またはフレーム間選択信号出力回路２０６側に
接続される。このスイッチ２０８から出力されたフレー
ム内／フレーム間切換信号２２１は、フレーム内／フレ
ーム間切換信号出力端子２４から取り出される。
回路２０６から出力されたフレーム内またはフレーム間
選択信号２１９は、スイッチ２０８に入力される。ま
た、フレーム内／フレーム間切換信号出力回路２０７か
ら出力されたフレーム内／フレーム間切換信号２２０
は、スイッチ２０８に入力される。そして、ＡＮＤ回路
２０５から出力されたスイッチ切換信号２１８がＯＦＦ
であるとき、スイッチ２０８は、フレーム内／フレーム
間切換信号出力回路２０７側に接続され、また、スイッ
チ切換信号２１８がＯＮのとき、スイッチ２０８は、フ
レーム内またはフレーム間選択信号出力回路２０６側に
接続される。このスイッチ２０８から出力されたフレー
ム内／フレーム間切換信号２２１は、フレーム内／フレ
ーム間切換信号出力端子２４から取り出される。
【００３４】図３は、特定範囲内／範囲外判定回路２０
４の構成を示すブロツク図である。同図に示す回路にブ
ロツク番号信号２１６が入力されると、不図示のルック
アップテーブルを用いて特定範囲内／範囲外信号２１７
が出力される。この特定範囲内／範囲外の判定方法とし
ては、ルックアップテーブルを用いるのが最も簡単であ
り、自由度も高いが、ブロツク番号信号２１６と特定範
囲内／範囲外信号２１７との関係が数式により記述でき
る場合は、その数式に基づく演算によって判定結果を得
てもよい。
４の構成を示すブロツク図である。同図に示す回路にブ
ロツク番号信号２１６が入力されると、不図示のルック
アップテーブルを用いて特定範囲内／範囲外信号２１７
が出力される。この特定範囲内／範囲外の判定方法とし
ては、ルックアップテーブルを用いるのが最も簡単であ
り、自由度も高いが、ブロツク番号信号２１６と特定範
囲内／範囲外信号２１７との関係が数式により記述でき
る場合は、その数式に基づく演算によって判定結果を得
てもよい。
【００３５】次に、本実施例に係る動画像信号符号化装
置のフレーム内／フレーム間切換信号出力回路の動作に
ついて説明する。図４は、フレーム内／フレーム間切換
信号出力回路の動作タイミングチャートである。同図に
示すように、リセットパルス入力端子２１から入力され
たリセットパルス信号２１１が、例えば、フレームカウ
ンタとして動作するフレームカウンタまたはクロックカ
ウンタ２０１に入力されると、フレームカウンタ２０１
は０にリセットされる。その後、このフレームカウンタ
２０１は、フレームパルス入力端子２２からフレームパ
ルス信号２１２が１パルス入力されるごとに、１、カウ
ントアップする。また、フレームカウンタ２０１は、後
述するブロツクカウンタ２０３より大きい数値を扱い得
るもので、カウントアップの結果、オーバ−フローが起
こった場合、常に最大値をセットする。
置のフレーム内／フレーム間切換信号出力回路の動作に
ついて説明する。図４は、フレーム内／フレーム間切換
信号出力回路の動作タイミングチャートである。同図に
示すように、リセットパルス入力端子２１から入力され
たリセットパルス信号２１１が、例えば、フレームカウ
ンタとして動作するフレームカウンタまたはクロックカ
ウンタ２０１に入力されると、フレームカウンタ２０１
は０にリセットされる。その後、このフレームカウンタ
２０１は、フレームパルス入力端子２２からフレームパ
ルス信号２１２が１パルス入力されるごとに、１、カウ
ントアップする。また、フレームカウンタ２０１は、後
述するブロツクカウンタ２０３より大きい数値を扱い得
るもので、カウントアップの結果、オーバ−フローが起
こった場合、常に最大値をセットする。
【００３６】そして、このフレームカウンタ２０１から
出力されたフレーム番号信号２１３が定数との比較回路
２０２に入力されると、定数との比較回路２０２は、そ
の信号と、あらかじめ設定された定数値との大小を比較
し、この比較結果を定数未満／以上信号２１４として出
力する。この定数未満／以上信号２１４は、上述の比較
結果が定数未満のときにアクティブとなる。
出力されたフレーム番号信号２１３が定数との比較回路
２０２に入力されると、定数との比較回路２０２は、そ
の信号と、あらかじめ設定された定数値との大小を比較
し、この比較結果を定数未満／以上信号２１４として出
力する。この定数未満／以上信号２１４は、上述の比較
結果が定数未満のときにアクティブとなる。
【００３７】一方、ブロツクパルス入力端子２３から入
力されたブロツクパルス信号２１５がブロツクカウンタ
２０３に入力されると、ブロツクカウンタ２０３は、ブ
ロツクパルス信号２１５が１パルス入力されるごとに、
１、カウントアップする。このブロツクカウンタ２０３
は、ブロツク番号信号２１６の最大値までカウントアッ
プすると、次のカウントアツプで自動的に０にクリアさ
れる。
力されたブロツクパルス信号２１５がブロツクカウンタ
２０３に入力されると、ブロツクカウンタ２０３は、ブ
ロツクパルス信号２１５が１パルス入力されるごとに、
１、カウントアップする。このブロツクカウンタ２０３
は、ブロツク番号信号２１６の最大値までカウントアッ
プすると、次のカウントアツプで自動的に０にクリアさ
れる。
【００３８】ブロツクカウンタ２０３から出力されたブ
ロツク番号信号２１６が特定範囲内／範囲外判定回路２
０４に入力されると、特定範囲内／範囲外判定回路２０
４は、その信号があらかじめ設定された範囲内に含まれ
ているか否かを判定し、その結果を特定範囲内／範囲外
信号２１７として出力する。この特定範囲内／範囲外信
号２１７は、上記の判定結果が特定範囲内のときに、ア
クティブになる。そして、定数未満／以上信号２１４と
特定範囲内／範囲外信号２１７とがＡＮＤ回路２０５に
入力されると、ＡＮＤ回路２０５からは、スイッチ切換
信号２１８が出力される。このスイッチ切換信号２１８
は、定数未満／以上信号２１４と特定範囲内／範囲外信
号２１７がともにアクティブであるときに、スイッチ２
０８をＯＮとする信号をスイッチ２０８に送る。
ロツク番号信号２１６が特定範囲内／範囲外判定回路２
０４に入力されると、特定範囲内／範囲外判定回路２０
４は、その信号があらかじめ設定された範囲内に含まれ
ているか否かを判定し、その結果を特定範囲内／範囲外
信号２１７として出力する。この特定範囲内／範囲外信
号２１７は、上記の判定結果が特定範囲内のときに、ア
クティブになる。そして、定数未満／以上信号２１４と
特定範囲内／範囲外信号２１７とがＡＮＤ回路２０５に
入力されると、ＡＮＤ回路２０５からは、スイッチ切換
信号２１８が出力される。このスイッチ切換信号２１８
は、定数未満／以上信号２１４と特定範囲内／範囲外信
号２１７がともにアクティブであるときに、スイッチ２
０８をＯＮとする信号をスイッチ２０８に送る。
【００３９】また、スイッチ２０８は、スイッチ切換信
号２１８にて制御され、その信号がＯＮのとき、フレー
ム間選択信号出力回路２０６から出力されたフレーム間
選択信号２１９がスイッチ２０８の出力として現われる
ため、フレーム内／フレーム間切換信号２２１は、フレ
ーム間のみを選択する信号となる。他方、スイッチ切換
信号２１８がＯＦＦのときは、フレーム内／フレーム間
切換出力回路２０７から出力された従来のフレーム内／
フレーム間切換信号２２０がスイッチ２０８の出力とし
て現われ、それがフレーム内／フレーム間切換信号２２
１となる。
号２１８にて制御され、その信号がＯＮのとき、フレー
ム間選択信号出力回路２０６から出力されたフレーム間
選択信号２１９がスイッチ２０８の出力として現われる
ため、フレーム内／フレーム間切換信号２２１は、フレ
ーム間のみを選択する信号となる。他方、スイッチ切換
信号２１８がＯＦＦのときは、フレーム内／フレーム間
切換出力回路２０７から出力された従来のフレーム内／
フレーム間切換信号２２０がスイッチ２０８の出力とし
て現われ、それがフレーム内／フレーム間切換信号２２
１となる。
【００４０】以上説明したように、本実施例によれば、
フレーム間、あるいはフレーム内予測モードの選択条件
をフレームの特定範囲内で制限するか、または、指示を
受けた後の一定時間内、あるいは一定フレーム数内だ
け、予測モードの選択条件をフレームの特定範囲内で制
限することにより、低ビツトレート符号化時において
も、通信開始直後やシーンチェンジ直後などに、伝送バ
ッフアのオーバーフロー対策による不規則な位置での強
制的なフレーム間予測モードの発生を抑えることができ
るという効果がある。
フレーム間、あるいはフレーム内予測モードの選択条件
をフレームの特定範囲内で制限するか、または、指示を
受けた後の一定時間内、あるいは一定フレーム数内だ
け、予測モードの選択条件をフレームの特定範囲内で制
限することにより、低ビツトレート符号化時において
も、通信開始直後やシーンチェンジ直後などに、伝送バ
ッフアのオーバーフロー対策による不規則な位置での強
制的なフレーム間予測モードの発生を抑えることができ
るという効果がある。
【００４１】また、フレーム周辺部など、注目度が低い
領域でフレーム間予測モードのみを選択するようにする
ことで、フレーム中央部などの注目度の高い領域で、伝
送バッフアのオーバーフロー対策による強制的なフレー
ム間予測モードの発生を抑えることができ、再生画像の
画質劣化を抑制できるという効果がある。さらに、特に
注目する領域がある場合、そこではフレーム内予測モー
ドのみを選択するようにすることで、その領域において
フレーム更新に伴う誤差蓄積のない画像を得ることがで
きるという効果がある。
領域でフレーム間予測モードのみを選択するようにする
ことで、フレーム中央部などの注目度の高い領域で、伝
送バッフアのオーバーフロー対策による強制的なフレー
ム間予測モードの発生を抑えることができ、再生画像の
画質劣化を抑制できるという効果がある。さらに、特に
注目する領域がある場合、そこではフレーム内予測モー
ドのみを選択するようにすることで、その領域において
フレーム更新に伴う誤差蓄積のない画像を得ることがで
きるという効果がある。
【００４２】なお、上記実施例では、スイッチ切換信号
２１８は、定数未満／以上信号２１４と特定範囲内／範
囲外信号２１７がともにアクティブであるときに、それ
らの信号の論理積をとって、スイッチ２０８をＯＮにす
る信号としているが、図５に示すように、特定範囲内／
範囲外信号２１７をそのままスイッチ切換信号として使
用し、フレーム予測の実行指示を受けずに符号化をする
ようにしてもよい。この図５に示す動画像信号符号化装
置の構成要素においても、「または」として記載されて
いるものは、図２に示す動画像信号符号化装置の構成要
素と同様の意味を持つ。本発明は、複数の機器から構成
されるシステムに適用しても、１つの機器から成る装置
に適用しても良い。また、本発明はシステム、あるいは
装置にプログラムを供給することによって達成される場
合にも適用できることは言うまでもない。
２１８は、定数未満／以上信号２１４と特定範囲内／範
囲外信号２１７がともにアクティブであるときに、それ
らの信号の論理積をとって、スイッチ２０８をＯＮにす
る信号としているが、図５に示すように、特定範囲内／
範囲外信号２１７をそのままスイッチ切換信号として使
用し、フレーム予測の実行指示を受けずに符号化をする
ようにしてもよい。この図５に示す動画像信号符号化装
置の構成要素においても、「または」として記載されて
いるものは、図２に示す動画像信号符号化装置の構成要
素と同様の意味を持つ。本発明は、複数の機器から構成
されるシステムに適用しても、１つの機器から成る装置
に適用しても良い。また、本発明はシステム、あるいは
装置にプログラムを供給することによって達成される場
合にも適用できることは言うまでもない。
【００４３】
【発明の効果】以上説明したように本発明によれば、動
画像のフレーム内の予め設定された領域で、かつ予め設
定された所定期間では、強制的にフレーム間の予測誤差
を０として動画像信号を符号化するように制御するの
で、例えば通信開始直後やシーンチェンジの直後などの
所定期間において、画面上の注目度の高い領域での画質
劣化を抑え、かつ発生符号量も抑えることができるとい
う効果がある。
画像のフレーム内の予め設定された領域で、かつ予め設
定された所定期間では、強制的にフレーム間の予測誤差
を０として動画像信号を符号化するように制御するの
で、例えば通信開始直後やシーンチェンジの直後などの
所定期間において、画面上の注目度の高い領域での画質
劣化を抑え、かつ発生符号量も抑えることができるとい
う効果がある。
【図１】 従来のリフレッシュ制御方式の一概念を示す
図である。
図である。
【図２】 本発明の実施例に係る動画像信号符号化装置
に用いられるフレーム内／フレーム間切換信号出力回路
の構成を示すブロック図である。
に用いられるフレーム内／フレーム間切換信号出力回路
の構成を示すブロック図である。
【図３】 本実施例に係る特定範囲内／範囲外判定回路
の構成を示すブロック図である。
の構成を示すブロック図である。
【図４】 本実施例に係るフレーム内／フレーム間切換
信号出力回路の動作タイミングチャートである。
信号出力回路の動作タイミングチャートである。
【図５】 本実施例の変形例に係るフレーム内／フレー
ム間切換信号出力回路の構成を示すブロック図である。
ム間切換信号出力回路の構成を示すブロック図である。
Claims (5)
- 【請求項１】フレーム間予測、及びフレーム内予測を選
択的に切り換えて動画像信号を符号化する動画像信号符
号化装置であって、 動画像信号のフレーム内において、予め設定された領域
を特定する領域特定手段と、予め設定された所定期間を特定する期間特定手段と、 前記領域特定手段により特定された領域で、かつ前記期
間特定手段により特定された所定期間では、強制的にフ
レーム間の予測誤差を０として動画像信号を符号化する
ように制御する符号化制御手段と、を備えることを特徴
とする動画像信号符号化装置。 - 【請求項２】前記期間特定手段は、経過時間を計時する
計時手段を具備し、前記符号化制御手段は、所定の指示
を受けた後の前記計時手段により計時された一定時間内
で、かつ前記特定された領域に対して、強制的にフレー
ム間の予測誤差を０として動画像信号を符号化するよう
に制御することを特徴とする請求項１に記載の動画像信
号符号化装置。 - 【請求項３】前記期間特定手段は、前記動画像のフレー
ム数を計数するフレーム計数手段を具備し、前記符号化
制御手段は所定の指示を受けた後の前記フレーム計数手
段により計数された一定フレーム数内で、かつ前記特定
された領域に対して、フレーム間の予測誤差を０として
動画像信号を符号化するように制御することを特徴とす
る請求項１に記載の動画像信号符号化装置。 - 【請求項４】前記領域特定手段は、前記フレームを複数
ブロックに分割し、前記複数ブロックの各ブロック単位
で前記領域を特定することを特徴とする請求項１乃至３
のいずれか１項に記載の動画像信号符号化装置。 - 【請求項５】フレーム間予測、及びフレーム内予測を選
択的に切り換えて動画像信号を符号化する動画像信号符
号化方法であって、 動画像信号のフレーム内において、予め設定された領域
を特定する工程と、予め設定された所定期間を特定する工程と、 前記特定された領域で、かつ前記特定された所定期間で
は、強制的にフレーム間の予測誤差を０として動画像信
号を符号化するように制御する工程と、を備えることを
特徴とする動画像信号符号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32264391A JP3513160B2 (ja) | 1991-12-06 | 1991-12-06 | 動画像信号符号化装置及びその方法 |
| US07/984,961 US5508743A (en) | 1991-12-06 | 1992-12-03 | Moving image signal coding apparatus and moving image signal coding control method |
| US08/550,067 US5666162A (en) | 1991-12-06 | 1995-10-30 | Moving image signal coding apparatus and moving image signal coding control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32264391A JP3513160B2 (ja) | 1991-12-06 | 1991-12-06 | 動画像信号符号化装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05161130A JPH05161130A (ja) | 1993-06-25 |
| JP3513160B2 true JP3513160B2 (ja) | 2004-03-31 |
Family
ID=18145996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32264391A Expired - Fee Related JP3513160B2 (ja) | 1991-12-06 | 1991-12-06 | 動画像信号符号化装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US5508743A (ja) |
| JP (1) | JP3513160B2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69434395T2 (de) * | 1993-03-25 | 2006-04-27 | Sony Corp. | Kodierung und/oder Dekodierung von sich bewegenden Bildern |
| US5572248A (en) * | 1994-09-19 | 1996-11-05 | Teleport Corporation | Teleconferencing method and system for providing face-to-face, non-animated teleconference environment |
| US5936673A (en) * | 1995-05-26 | 1999-08-10 | Intel Corporation | Temporal tile staggering for block based video compression |
| US5771073A (en) * | 1995-06-07 | 1998-06-23 | Massachusetts Institute Of Technology | Advanced television system using a different encoding technique for non-image areas |
| JP3823275B2 (ja) * | 1996-06-10 | 2006-09-20 | 富士通株式会社 | 動画像符号化装置 |
| GB9620176D0 (en) * | 1996-09-27 | 1996-11-13 | Digi Media Vision Ltd | Method and apparatus for encoding data |
| US6008853A (en) * | 1996-11-15 | 1999-12-28 | Texas Instruments Incorporated | Sub-frame decoder with area dependent update rate for digital camcorder transmission standard |
| US6091775A (en) * | 1997-04-17 | 2000-07-18 | Sharp Kabushiki Kaisha | Video-coding device and video-decoding device |
| US5920359A (en) * | 1997-05-19 | 1999-07-06 | International Business Machines Corporation | Video encoding method, system and computer program product for optimizing center of picture quality |
| EP0891075A3 (en) * | 1997-06-09 | 2002-03-06 | Seiko Epson Corporation | An image processing apparatus and method, and an image evaluation device and method |
| US6304295B1 (en) | 1998-09-18 | 2001-10-16 | Sarnoff Corporation | Region-based refresh strategy for video compression |
| GB2350512A (en) * | 1999-05-24 | 2000-11-29 | Motorola Ltd | Video encoder |
| AU2002245447A1 (en) * | 2001-01-08 | 2002-07-16 | Innovation Factory Inc. | Method and device for viewing a live performance |
| US6868122B2 (en) * | 2001-02-07 | 2005-03-15 | Sun Microsystems, Inc. | Distributed intraframe transmission in digital video compression |
| DE60219364T2 (de) * | 2002-01-22 | 2007-12-13 | Koninklijke Philips Electronics N.V. | Berechnung von komprimierten videoinformationen |
| JP2004015501A (ja) * | 2002-06-07 | 2004-01-15 | Nec Corp | 動画像符号化装置および動画像符号化方法 |
| JP5044886B2 (ja) | 2004-10-15 | 2012-10-10 | パナソニック株式会社 | ブロックノイズ低減装置および画像表示装置 |
| FR2897741B1 (fr) * | 2006-02-17 | 2008-11-07 | Canon Kk | Procede et dispositif de generation de donnees representatives d'un degre d'importance de blocs de donnees et procede et dispositif de transmission d'une sequence video encodee |
| JP4993676B2 (ja) * | 2006-09-01 | 2012-08-08 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
| JP4981584B2 (ja) * | 2007-08-27 | 2012-07-25 | パナソニック株式会社 | 映像伝送システムの中継装置 |
| JP2009081727A (ja) * | 2007-09-26 | 2009-04-16 | Canon Inc | 画像符号化装置及びその制御方法、プログラム |
| CN103426419B (zh) * | 2012-05-23 | 2017-05-24 | 腾讯科技（深圳）有限公司 | 一种刷新区域的方法及装置 |
| US9584809B2 (en) * | 2012-10-05 | 2017-02-28 | Sony Corporation | Encoding control apparatus and encoding control method |
| WO2017183204A1 (ja) * | 2016-04-22 | 2017-10-26 | 株式会社日立製作所 | 動画像符号化装置および動画像符号化方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH082106B2 (ja) * | 1986-11-10 | 1996-01-10 | 国際電信電話株式会社 | 動画像信号のハイブリツド符号化方式 |
| GB8710737D0 (en) * | 1987-05-06 | 1987-06-10 | British Telecomm | Video image encoding |
| FR2625638B1 (fr) * | 1987-12-30 | 1994-06-17 | Thomson Grand Public | Procede de synchronisation pour la transmission, sur un canal asynchrone, d'une suite d'images codees au moyen d'un code a longueur variable, et dispositif pour la mise en oeuvre de ce procede |
| US4935953A (en) * | 1989-04-27 | 1990-06-19 | International Business Machines Corporation | Cyclic video region transmission for videoconferencing systems |
| FR2660139B1 (fr) * | 1990-03-23 | 1995-08-25 | France Etat | Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants. |
| EP0497545B1 (en) * | 1991-01-29 | 1997-01-08 | Canon Kabushiki Kaisha | Image signal coding device |
| US5422736A (en) * | 1991-03-22 | 1995-06-06 | Canon Kabushiki Kaisha | Multi-mode image processing permitting selection of quantization process according to image characteristics |
-
1991
- 1991-12-06 JP JP32264391A patent/JP3513160B2/ja not_active Expired - Fee Related
-
1992
- 1992-12-03 US US07/984,961 patent/US5508743A/en not_active Expired - Lifetime
-
1995
- 1995-10-30 US US08/550,067 patent/US5666162A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5508743A (en) | 1996-04-16 |
| US5666162A (en) | 1997-09-09 |
| JPH05161130A (ja) | 1993-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3513160B2 (ja) | 動画像信号符号化装置及びその方法 | |
| JPH03190482A (ja) | 動画像符号化装置 | |
| JPH04262694A (ja) | 画像信号符号化装置 | |
| JP2001169286A (ja) | 動画像符号化装置 | |
| JPH04117882A (ja) | 動画像符号化装置 | |
| JP3210082B2 (ja) | 符号化装置及びその方法 | |
| JPH07112284B2 (ja) | 予測符号化装置及び復号化装置 | |
| JPH07298272A (ja) | 映像符号化装置 | |
| JP3194317B2 (ja) | 画像信号用可変レート符号化装置 | |
| JP2002262297A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP3159230B2 (ja) | 画像信号用可変レート符号化装置 | |
| JPH03250887A (ja) | 映像信号符号化装置 | |
| JP3218994B2 (ja) | 画像符号化方法および装置 | |
| KR100311222B1 (ko) | 저 지연 영상 통신을 위한 동영상 시간 코드 및 율제어버퍼 레벨 조절 장치 및 그 방법 | |
| JPH07111653A (ja) | 符号化装置 | |
| JP2002101417A (ja) | 動画像符号化方法および装置 | |
| KR0123243B1 (ko) | 장면 전환시의 비트율 제어 방법 | |
| JPH06113271A (ja) | 画像信号符号化装置 | |
| JP2824028B2 (ja) | 動画像圧縮装置 | |
| JPH10229561A (ja) | 画像符号化制御方法 | |
| JPH01154691A (ja) | 動画像伝送装置 | |
| JPH06197333A (ja) | 画面に重み付けを持たせた画像圧縮方式 | |
| JP3617652B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JPS6165588A (ja) | 画像符号化装置 | |
| JP2000023154A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020729 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040109 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110116 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |