JPH0879768A - 両方向の動き推定方法および装置 - Google Patents
両方向の動き推定方法および装置Info
- Publication number
- JPH0879768A JPH0879768A JP1818095A JP1818095A JPH0879768A JP H0879768 A JPH0879768 A JP H0879768A JP 1818095 A JP1818095 A JP 1818095A JP 1818095 A JP1818095 A JP 1818095A JP H0879768 A JPH0879768 A JP H0879768A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- frame
- information
- backward
- shape information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01F—MAGNETS; INDUCTANCES; TRANSFORMERS; SELECTION OF MATERIALS FOR THEIR MAGNETIC PROPERTIES
- H01F38/00—Adaptations of transformers or inductances for specific applications or functions
- H01F38/42—Flyback transformers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【目的】両方向の動き推定方法および装置を提供する。
【構成】低伝送率の動画像コデックシステムにおいて、
本発明による両方向の動き推定方法および装置では、一
定ブロックで同一の動きを有する物体単位で両方向の動
き推定を通じて動きベクトルを抽出し、予め設定された
フレームの動き予測モードに応じて前方動き予測結果発
生する動きベクトル、或いは後方動き予測結果発生する
動きベクトルを利用して動きを補償するために、既存の
ＢＭＡ方式に比べて正確な動きベクトルが捜せるだけで
なく、小さい情報量でフレーム間の動きが描写できるの
で、圧縮に必要なデータの量が既存の方式に比べて著し
く小さい。 【効果】これにより、圧縮比および相対的な画質向上を
可能にする。
本発明による両方向の動き推定方法および装置では、一
定ブロックで同一の動きを有する物体単位で両方向の動
き推定を通じて動きベクトルを抽出し、予め設定された
フレームの動き予測モードに応じて前方動き予測結果発
生する動きベクトル、或いは後方動き予測結果発生する
動きベクトルを利用して動きを補償するために、既存の
ＢＭＡ方式に比べて正確な動きベクトルが捜せるだけで
なく、小さい情報量でフレーム間の動きが描写できるの
で、圧縮に必要なデータの量が既存の方式に比べて著し
く小さい。 【効果】これにより、圧縮比および相対的な画質向上を
可能にする。
Description
【０００１】
【産業上の利用分野】本発明は、低伝送率の動画像コデ
ックシステムにおいて、両方向の動き推定方法および装
置に係り、特に一定領域内で動く物体を任意の形態に抽
出し、抽出された物体単位で両方向の動き予測を遂行す
ることにより、動きベクトルのみで一定領域を補償する
ための動き推定方法および装置に関する。
ックシステムにおいて、両方向の動き推定方法および装
置に係り、特に一定領域内で動く物体を任意の形態に抽
出し、抽出された物体単位で両方向の動き予測を遂行す
ることにより、動きベクトルのみで一定領域を補償する
ための動き推定方法および装置に関する。
【０００２】
【従来の技術】今日の情報化社会は、受け入れて処理せ
ねばならない情報の量が増加しつつある趨勢である。し
たがって、既存の伝送帯域を効果的に利用するために、
データ圧縮は必須不可欠である。特に、ディジタル映像
信号は、情報の表現に多くのメモリを必要とするので、
映像情報圧縮は、情報の貯蔵や検索や伝送などをより効
率的にする効果を有する。このような理由から映像デー
タに対する圧縮技法が多く開発されてきた。
ねばならない情報の量が増加しつつある趨勢である。し
たがって、既存の伝送帯域を効果的に利用するために、
データ圧縮は必須不可欠である。特に、ディジタル映像
信号は、情報の表現に多くのメモリを必要とするので、
映像情報圧縮は、情報の貯蔵や検索や伝送などをより効
率的にする効果を有する。このような理由から映像デー
タに対する圧縮技法が多く開発されてきた。
【０００３】映像データ圧縮技法は、情報の損失がある
か否かにより損失符号化技法と無損失符号化技法とに分
けることができ、静止映像に存する空間的な重複性を取
り除くイントラフレーム符号化と、動映像に存する時間
的な重複性を取り除くインタフレーム符号化とに分けら
れる。一方、情報の損失が少なく、国際的な標準案が完
成されている第１世代符号化技法と、人間の視覚構造お
よび映像の特性を利用する第２世代符号化技法とに分け
られる。第１世代符号化技法は、ＰＣＭ（Pulse Coded
Modulation），差分ＰＣＭ（Differential PCM），デル
タ変調（DeltaModulation）などの空間符号化および Ka
rhunen-Loeve ，フーリエ，コサイン，Harr，Hadamar
d，サインなどの変換符号化と、前記の２つを結合した
ハイブリッド符号化と、動映像に利用する動き補償符号
化などがある。第２世代符号化技法は、ピラミッド符号
化、非等方非定在（anisotropic nonstationary ）予測
符号化、輪郭−テキスチャーに基づく技法、方向分解に
基づく符号化技法などがある。
か否かにより損失符号化技法と無損失符号化技法とに分
けることができ、静止映像に存する空間的な重複性を取
り除くイントラフレーム符号化と、動映像に存する時間
的な重複性を取り除くインタフレーム符号化とに分けら
れる。一方、情報の損失が少なく、国際的な標準案が完
成されている第１世代符号化技法と、人間の視覚構造お
よび映像の特性を利用する第２世代符号化技法とに分け
られる。第１世代符号化技法は、ＰＣＭ（Pulse Coded
Modulation），差分ＰＣＭ（Differential PCM），デル
タ変調（DeltaModulation）などの空間符号化および Ka
rhunen-Loeve ，フーリエ，コサイン，Harr，Hadamar
d，サインなどの変換符号化と、前記の２つを結合した
ハイブリッド符号化と、動映像に利用する動き補償符号
化などがある。第２世代符号化技法は、ピラミッド符号
化、非等方非定在（anisotropic nonstationary ）予測
符号化、輪郭−テキスチャーに基づく技法、方向分解に
基づく符号化技法などがある。
【０００４】前述した方法のうち、ＨＤＴＶ放送システ
ムやＭＰＥＧ（Moving Picture Experts Group）では動
き補償符号化方法を利用する。動き補償符号化に用いら
れる動き推定方式には、画素循環アルゴリズム（Pel −
Reculsive Algorithm ）とブロック整合アルゴリズム
（Block Matching Algorithm）があり、ブロック整合ア
ルゴリズムが画素循環アルゴリズムに比べて正確度が劣
るが、実時間処理とハードウェアが簡単である点から動
映像に多く使用されている。ブロック整合アルゴリズム
は映像を一定の大きさのブロック（例えば、１６×１６
或いは８×８）に分割した後、最小絶対エラーを利用し
てそれぞれブロックに対する動きベクトルを求める技法
である。
ムやＭＰＥＧ（Moving Picture Experts Group）では動
き補償符号化方法を利用する。動き補償符号化に用いら
れる動き推定方式には、画素循環アルゴリズム（Pel −
Reculsive Algorithm ）とブロック整合アルゴリズム
（Block Matching Algorithm）があり、ブロック整合ア
ルゴリズムが画素循環アルゴリズムに比べて正確度が劣
るが、実時間処理とハードウェアが簡単である点から動
映像に多く使用されている。ブロック整合アルゴリズム
は映像を一定の大きさのブロック（例えば、１６×１６
或いは８×８）に分割した後、最小絶対エラーを利用し
てそれぞれブロックに対する動きベクトルを求める技法
である。
【０００５】該ブロック整合アルゴリズムは、既に現在
に国際標準案として確定されたＭＰＥＧ−１およびＭＰ
ＥＧ−２に利用されており、米国特許ＵＳＰ５，１５
１，７８４号、ＵＳＰ５，０６０，０６４号、ＵＳＰ
４，８６４，３９４号などでも前記アルゴリズムに対す
る技術をクレームしている。
に国際標準案として確定されたＭＰＥＧ−１およびＭＰ
ＥＧ−２に利用されており、米国特許ＵＳＰ５，１５
１，７８４号、ＵＳＰ５，０６０，０６４号、ＵＳＰ
４，８６４，３９４号などでも前記アルゴリズムに対す
る技術をクレームしている。
【０００６】これとは別に、ＦＦＴ（Fast Fourier Tra
nsform）係数を利用して空間座標から周波数座標に変換
した後、信号の周波数データのピーク分布を利用して動
きを推定する方式（′93 ICASSP ；Arica Kojima，Nori
hoko Sakurai and Junichi Kishikami，“Motion Detec
tion Using 3−D FFT Spectrum”，1993，4 ）が提案さ
れており、これに類似してＷＴ（Wavelet Transform ）
技法を利用して動きを推定する方式（′93 ICASSP ；C
， K Cheong ， K．Aizawa， T．Saito and M．Hator
i，“Motion Estimation with Wavelet Transform an
d the application to Motion Compensated Interpolat
ion”，1993．4 ） などが提案されている。
nsform）係数を利用して空間座標から周波数座標に変換
した後、信号の周波数データのピーク分布を利用して動
きを推定する方式（′93 ICASSP ；Arica Kojima，Nori
hoko Sakurai and Junichi Kishikami，“Motion Detec
tion Using 3−D FFT Spectrum”，1993，4 ）が提案さ
れており、これに類似してＷＴ（Wavelet Transform ）
技法を利用して動きを推定する方式（′93 ICASSP ；C
， K Cheong ， K．Aizawa， T．Saito and M．Hator
i，“Motion Estimation with Wavelet Transform an
d the application to Motion Compensated Interpolat
ion”，1993．4 ） などが提案されている。
【０００７】前記の方式は、大部分のビデオシーケンス
について割合に正確な動きを遂行するという長所を有す
る。しかしながら、ブロック整合アルゴリズムは、一定
のブロック内に相異なる動きを有する物体が含まれてい
る場合には動きベクトルを捜すのが不可能であり、ＦＦ
ＴやＷＴを使用する方式は、一定の空間に変換すること
による時間的な浪費や複雑性を伴う。また、画像に分布
する動く物体の構造的な解釈を考慮しないために、動く
物体単位への正確な動きが推定できなくなる。前記述べ
た方式の短所のために、非常に高い圧縮比を必要とする
次世代の動画像通信、例えば総合ディジタル情報サービ
ス網ＩＳＤＮを利用した画像電話、画像会議およびその
他の視聴覚通信のためのディジタルビデオ圧縮には前記
の方式を適用するのが不可能である。
について割合に正確な動きを遂行するという長所を有す
る。しかしながら、ブロック整合アルゴリズムは、一定
のブロック内に相異なる動きを有する物体が含まれてい
る場合には動きベクトルを捜すのが不可能であり、ＦＦ
ＴやＷＴを使用する方式は、一定の空間に変換すること
による時間的な浪費や複雑性を伴う。また、画像に分布
する動く物体の構造的な解釈を考慮しないために、動く
物体単位への正確な動きが推定できなくなる。前記述べ
た方式の短所のために、非常に高い圧縮比を必要とする
次世代の動画像通信、例えば総合ディジタル情報サービ
ス網ＩＳＤＮを利用した画像電話、画像会議およびその
他の視聴覚通信のためのディジタルビデオ圧縮には前記
の方式を適用するのが不可能である。
【０００８】
【発明が解決しようとする課題】本発明の目的は、前述
した問題点を解決するために、低伝送率の動画像コデッ
クシステムにおいて、一定領域内で動く物体を任意の形
態に抽出し、抽出された物体単位で両方向の動き予測を
遂行することにより、動きベクトルのみで一定領域を補
償するための動き推定方法を提供することである。
した問題点を解決するために、低伝送率の動画像コデッ
クシステムにおいて、一定領域内で動く物体を任意の形
態に抽出し、抽出された物体単位で両方向の動き予測を
遂行することにより、動きベクトルのみで一定領域を補
償するための動き推定方法を提供することである。
【０００９】本発明の他の目的は、前記動き推定方法を
実現するのに最も適した装置を提供することである。
実現するのに最も適した装置を提供することである。
【００１０】
【課題を解決するための手段】前記目的を達成するため
に本発明による両方向の動き推定方法は、低伝送率の動
画像コデックシステムにおいて、フレーム内の一定ブロ
ックで動きが発生した領域に対して同一の動きを有する
物体単位で動きを推定して現在のフレームで捜された物
体がどの方向へ移動したかを示す動き情報と前記物体の
形状情報とを抽出する後方動き予測過程と、前記後方動
き予測過程を通じて現在のフレームで捜された物体の形
状情報を利用して次のフレームで物体がどの方向へ移動
するかを示す動き情報と物体のインデックス情報とを抽
出する前方動き予測過程と、予め設定されたフレームの
動き予測モードに応じて前記後方動き予測過程で出力さ
れる動き情報および形状情報あるいは前方動き予測過程
で出力される動き情報およびインデックス情報を選択し
て伝送するデータ伝送過程とを含むことを特徴とする。
に本発明による両方向の動き推定方法は、低伝送率の動
画像コデックシステムにおいて、フレーム内の一定ブロ
ックで動きが発生した領域に対して同一の動きを有する
物体単位で動きを推定して現在のフレームで捜された物
体がどの方向へ移動したかを示す動き情報と前記物体の
形状情報とを抽出する後方動き予測過程と、前記後方動
き予測過程を通じて現在のフレームで捜された物体の形
状情報を利用して次のフレームで物体がどの方向へ移動
するかを示す動き情報と物体のインデックス情報とを抽
出する前方動き予測過程と、予め設定されたフレームの
動き予測モードに応じて前記後方動き予測過程で出力さ
れる動き情報および形状情報あるいは前方動き予測過程
で出力される動き情報およびインデックス情報を選択し
て伝送するデータ伝送過程とを含むことを特徴とする。
【００１１】前記他の目的を達成するために本発明によ
る両方向動き推定装置は、低伝送率の動画像コデックシ
ステムにおいて、フレーム内の一定のブロックで動きが
発生した領域に対して同一の動きを有する物体単位で動
きを推定して現在のフレームで捜された物体がどの方向
へ移動したかを示す動き情報と前記物体の形状情報とを
抽出するための後方動き予測手段と、前記後方動き予測
手段を通じて現在フレームで捜された物体の形状情報を
利用して次のフレームで物体がどの方向へ移動するかを
示す動き情報と前記物体のインデックス情報とを抽出す
るための前方動き予測手段と、予め設定されたフレーム
の動き予測モードに応じて前記後方動き予測過程で出力
される動き情報および形状情報あるいは前方動き予測過
程で出力される動き情報およびインデックス情報を選択
して伝送するためのモードおよびデータ手段とを含むこ
とを特徴とする。
る両方向動き推定装置は、低伝送率の動画像コデックシ
ステムにおいて、フレーム内の一定のブロックで動きが
発生した領域に対して同一の動きを有する物体単位で動
きを推定して現在のフレームで捜された物体がどの方向
へ移動したかを示す動き情報と前記物体の形状情報とを
抽出するための後方動き予測手段と、前記後方動き予測
手段を通じて現在フレームで捜された物体の形状情報を
利用して次のフレームで物体がどの方向へ移動するかを
示す動き情報と前記物体のインデックス情報とを抽出す
るための前方動き予測手段と、予め設定されたフレーム
の動き予測モードに応じて前記後方動き予測過程で出力
される動き情報および形状情報あるいは前方動き予測過
程で出力される動き情報およびインデックス情報を選択
して伝送するためのモードおよびデータ手段とを含むこ
とを特徴とする。
【００１２】
【作用】以上のように構成された本発明によれば、一定
ブロックで同一の動きを有する物体単位で両方向の動き
推定を通じて動きベクトルを抽出し、予め設定されたフ
レームの動き予測モードに応じて前方動き予測結果、発
生する動きベクトル或いは後方動き予測結果、発生する
動きベクトルを利用して動きを補償するために、正確な
動きベクトルが捜せるだけでなく、小さい情報量でフレ
ーム間の動きが描写できる。
ブロックで同一の動きを有する物体単位で両方向の動き
推定を通じて動きベクトルを抽出し、予め設定されたフ
レームの動き予測モードに応じて前方動き予測結果、発
生する動きベクトル或いは後方動き予測結果、発生する
動きベクトルを利用して動きを補償するために、正確な
動きベクトルが捜せるだけでなく、小さい情報量でフレ
ーム間の動きが描写できる。
【００１３】
【実施例】以下、添付した図面に基づき本発明の実施例
を詳細に説明する。
を詳細に説明する。
【００１４】図１は本発明による両方向の動き推定装置
の一実施例によるブロック図である。
の一実施例によるブロック図である。
【００１５】図１に示したブロック図の構成は、入力さ
れる画像シーケンス１０を毎フレーム単位で貯蔵するた
めのフレームメモリ２０と、フレームメモリ２０に貯蔵
された画像シーケンス１０に対してそれぞれ前方動きお
よび後方動きを独立的に推定するための前方動き予測部
４０および後方動き予測部３０と、前方動き予測部４０
および後方動き予測部３０の動き予測結果を入力して現
在のフレームが前方予測モードを選択するか後方予測モ
ードを選択するかを決定し、現在のフレームの動き予測
モードに応じて該当するデータを選択して出力するモー
ドおよびデータ選択器５０と、モードおよびデータ選択
器５０から出力されるデータを一定速度で伝送するため
の伝送バッファー６０とからなる。
れる画像シーケンス１０を毎フレーム単位で貯蔵するた
めのフレームメモリ２０と、フレームメモリ２０に貯蔵
された画像シーケンス１０に対してそれぞれ前方動きお
よび後方動きを独立的に推定するための前方動き予測部
４０および後方動き予測部３０と、前方動き予測部４０
および後方動き予測部３０の動き予測結果を入力して現
在のフレームが前方予測モードを選択するか後方予測モ
ードを選択するかを決定し、現在のフレームの動き予測
モードに応じて該当するデータを選択して出力するモー
ドおよびデータ選択器５０と、モードおよびデータ選択
器５０から出力されるデータを一定速度で伝送するため
の伝送バッファー６０とからなる。
【００１６】ここで、前方動き予測部４０は、動き推定
部４１，第２動きベクトル抽出部４２および形状情報イ
ンデクシング４２からなり、後方動き予測部３０は、減
算器３１，動き成分抽出部３２，同一の動き物体抽出部
３３，第１動きベクトル抽出部３４，形状情報抽出部３
５，動き補償部３６および再生メモリ３７からなる。図
２は本発明に適用される前方動き予測と後方動き予測と
の関係を示したフレーム配列図であり、連続するビデオ
シーケンスで一番目のフレームのみイントラフレームＩ
として受信端に伝送された後、連続するフレームの奇数
番目は、後方予測モードＰB で動きを推定し、偶数番目
は前方予測モードＰF で動きを推定する。
部４１，第２動きベクトル抽出部４２および形状情報イ
ンデクシング４２からなり、後方動き予測部３０は、減
算器３１，動き成分抽出部３２，同一の動き物体抽出部
３３，第１動きベクトル抽出部３４，形状情報抽出部３
５，動き補償部３６および再生メモリ３７からなる。図
２は本発明に適用される前方動き予測と後方動き予測と
の関係を示したフレーム配列図であり、連続するビデオ
シーケンスで一番目のフレームのみイントラフレームＩ
として受信端に伝送された後、連続するフレームの奇数
番目は、後方予測モードＰB で動きを推定し、偶数番目
は前方予測モードＰF で動きを推定する。
【００１７】図３は動きの同一の物体を選択した後、該
物体に対して後方動き予測および前方動き予測をする例
を示すものであり、先ずＮ番目のフレームで抽出された
物体（中間の黒色で表示された物体）に基づき、（Ｎ−
１）番目のフレームから物体の移動された距離を推定す
るのを後方動き予測とし、（Ｎ＋１）番目のフレームを
対象にＮ番目にあった物体がどの程度移動したかを捜し
出すのを前方動き予測（図４において右側のフレームを
参照する場合）という。
物体に対して後方動き予測および前方動き予測をする例
を示すものであり、先ずＮ番目のフレームで抽出された
物体（中間の黒色で表示された物体）に基づき、（Ｎ−
１）番目のフレームから物体の移動された距離を推定す
るのを後方動き予測とし、（Ｎ＋１）番目のフレームを
対象にＮ番目にあった物体がどの程度移動したかを捜し
出すのを前方動き予測（図４において右側のフレームを
参照する場合）という。
【００１８】図４および図５は、現在フレームで捜され
た物体の境界成分（形状情報）あるいは非常に小さい単
位のブロックを利用し、物体単位で動きを推定して動き
ベクトルを捜し出す過程を示す。
た物体の境界成分（形状情報）あるいは非常に小さい単
位のブロックを利用し、物体単位で動きを推定して動き
ベクトルを捜し出す過程を示す。
【００１９】Ｎ番目のフレームで選択された物体の境界
成分を利用して（Ｎ＋１）番目のフレームの一定領域を
画素あるいは非常に小さいブロック単位で移動しながら
エラーの絶対値が最も小さくなる領域を選択することに
より、該移動距離を物体の動きベクトル（右側の太い矢
印）として選択する。
成分を利用して（Ｎ＋１）番目のフレームの一定領域を
画素あるいは非常に小さいブロック単位で移動しながら
エラーの絶対値が最も小さくなる領域を選択することに
より、該移動距離を物体の動きベクトル（右側の太い矢
印）として選択する。
【００２０】本発明の動作を図１ないし図５を参照して
説明する。
説明する。
【００２１】図２のような画像シーケンス配列を基準と
して後方予測と前方予測を交互に動き推定を施すが、こ
こでは図１を参照して説明する。
して後方予測と前方予測を交互に動き推定を施すが、こ
こでは図１を参照して説明する。
【００２２】本発明の核心は、捜された物体の形状情報
を利用して前方および後方動き予測に使用し、前方およ
び後方動き予測結果のうち、与えられたモード選択器に
選択されるデータのみを伝送させることである。
を利用して前方および後方動き予測に使用し、前方およ
び後方動き予測結果のうち、与えられたモード選択器に
選択されるデータのみを伝送させることである。
【００２３】先ず、後方動き予測過程を説明すると、次
の通りである。
の通りである。
【００２４】ディジタル化された画像シーケンス１０が
入力されると、これがフレームメモリ２０に１フレーム
ずつ順次に貯蔵される。
入力されると、これがフレームメモリ２０に１フレーム
ずつ順次に貯蔵される。
【００２５】減算器３１では、直ぐ以前に送られたフレ
ームの形状情報と動き情報を利用して伝送端で参照する
ために、局部的に再生された画像が貯蔵されている再生
メモリ３７の出力データとフレームメモリ２０に貯蔵さ
れた現在フレームデータの差成分を計算し、動き成分抽
出部３２では減算器３１から出力される差成分からフレ
ーム間の動き成分を抽出して実際に動きが発生した部分
のみを貯蔵する。
ームの形状情報と動き情報を利用して伝送端で参照する
ために、局部的に再生された画像が貯蔵されている再生
メモリ３７の出力データとフレームメモリ２０に貯蔵さ
れた現在フレームデータの差成分を計算し、動き成分抽
出部３２では減算器３１から出力される差成分からフレ
ーム間の動き成分を抽出して実際に動きが発生した部分
のみを貯蔵する。
【００２６】同一の動き物体抽出部３３では、動き成分
抽出部３２から抽出された実際に動きが発生した部分の
うち、同一の方向へ動きを有する成分を一団にして、同
一の物体を１つの単位でインデクシングした後、それぞ
れのインデクシングした物体を順に貯蔵する。
抽出部３２から抽出された実際に動きが発生した部分の
うち、同一の方向へ動きを有する成分を一団にして、同
一の物体を１つの単位でインデクシングした後、それぞ
れのインデクシングした物体を順に貯蔵する。
【００２７】第１動きベクトル抽出部３４では、同一動
き物体抽出部３３に貯蔵された同一の動きを有する物体
を利用し、以前に再生され再生メモリ３７に貯蔵された
画像を参照しながら、現在の物体がどの方向へ移動した
かを推定するが、この際物体を構成しているそれぞれの
画素値と再生された画素値との平均絶対値（ＭＡＥ：Me
an Absolute Error)が最小になる部分を動きベクトルと
して選択する。その結果、制限された一定の領域をサー
チしながら捜された動きベクトルは第１動きベクトル抽
出部３４に貯蔵され、物体の境界成分は形状情報抽出部
３５に貯蔵される。このように、求められた形状情報と
動き情報とはモードおよびデータ選択器５０に入力され
る。
き物体抽出部３３に貯蔵された同一の動きを有する物体
を利用し、以前に再生され再生メモリ３７に貯蔵された
画像を参照しながら、現在の物体がどの方向へ移動した
かを推定するが、この際物体を構成しているそれぞれの
画素値と再生された画素値との平均絶対値（ＭＡＥ：Me
an Absolute Error)が最小になる部分を動きベクトルと
して選択する。その結果、制限された一定の領域をサー
チしながら捜された動きベクトルは第１動きベクトル抽
出部３４に貯蔵され、物体の境界成分は形状情報抽出部
３５に貯蔵される。このように、求められた形状情報と
動き情報とはモードおよびデータ選択器５０に入力され
る。
【００２８】次に、前方動き予測過程について説明する
と次の通りである。
と次の通りである。
【００２９】先ず、フレームメモリ２０に貯蔵されてい
た現在のフレーム画像データと、再生メモリ３７に貯蔵
されていた以前フレーム画像データと、後方動き予測で
使用されたそれぞれのインデクシングされた物体の形状
情報と、現在フレームで以前フレームとの差により動い
たと判断され動き成分抽出部３２に貯蔵されていた実際
に動きが発生した部分に対するデータとが動き推定部４
１に入力される。
た現在のフレーム画像データと、再生メモリ３７に貯蔵
されていた以前フレーム画像データと、後方動き予測で
使用されたそれぞれのインデクシングされた物体の形状
情報と、現在フレームで以前フレームとの差により動い
たと判断され動き成分抽出部３２に貯蔵されていた実際
に動きが発生した部分に対するデータとが動き推定部４
１に入力される。
【００３０】動き推定部４１では、以前フレームから求
めた物体の形状情報と現在フレームの動き成分の領域に
よる情報とを利用して物体の動きを推定し、第２動きベ
クトル抽出部４２では、図４に示したように、以前フレ
ームから求めた形状情報のみを利用し、形状情報に該当
する再生画像が現在フレームのどの部分へ移動したかを
示す動きベクトルを捜し出す。この際、ＭＡＥ値が動き
推定の基準として用いられる。
めた物体の形状情報と現在フレームの動き成分の領域に
よる情報とを利用して物体の動きを推定し、第２動きベ
クトル抽出部４２では、図４に示したように、以前フレ
ームから求めた形状情報のみを利用し、形状情報に該当
する再生画像が現在フレームのどの部分へ移動したかを
示す動きベクトルを捜し出す。この際、ＭＡＥ値が動き
推定の基準として用いられる。
【００３１】こうして求められた動きベクトルを第２動
きベクトル抽出部４２に貯蔵し、この際に用いられた形
状情報のインデックスを形状情報抽出部３５から受け
て、該インデックス情報と動き情報のみをモードおよび
データ選択器５０に伝送する。モードおよびデータ選択
器５０では、図２に示したフレーム配列図により、現在
フレームの動き予測モードに応じて後方予測データを選
択するかあるいは前方予測データを選択するかを決定す
れば、受信端では以前フレームから伝送された形状情報
に対するインデックスを利用して簡単に現在フレームの
画像が再生できる。
きベクトル抽出部４２に貯蔵し、この際に用いられた形
状情報のインデックスを形状情報抽出部３５から受け
て、該インデックス情報と動き情報のみをモードおよび
データ選択器５０に伝送する。モードおよびデータ選択
器５０では、図２に示したフレーム配列図により、現在
フレームの動き予測モードに応じて後方予測データを選
択するかあるいは前方予測データを選択するかを決定す
れば、受信端では以前フレームから伝送された形状情報
に対するインデックスを利用して簡単に現在フレームの
画像が再生できる。
【００３２】現在フレームと以前フレームで移動成分が
一致しない場合には、その領域に対する情報を伝送する
イントラフレームモードを別に設けることにより、動き
情報抽出に失敗した領域に対して補完することができ
る。
一致しない場合には、その領域に対する情報を伝送する
イントラフレームモードを別に設けることにより、動き
情報抽出に失敗した領域に対して補完することができ
る。
【００３３】要約すると、後方動き予測では、同一の動
きを有する物体の形状情報および動き情報（動きベクト
ル）を伝送し、前方動き予測では予め伝送された物体の
形状情報を利用して動きを推定した後、動き情報のみを
伝送するので、形状情報ほどのデータが節約できて、圧
縮に用いられる情報量を非常に減らすことができる。本
発明は、現在のＰＳＤＮ（Public Switching Telephone
Network），ＬＡＮ（Local Area Network）およびワイ
ヤレスネット（Wireless Network）を通じたビデオ通信
に広範囲に使用されることができ、特にモビール通信に
おいて動画像伝送に核心的に使用され得るために、その
応用分野が非常に広く、次世代の国際標準技術にも使用
される可能性がある。
きを有する物体の形状情報および動き情報（動きベクト
ル）を伝送し、前方動き予測では予め伝送された物体の
形状情報を利用して動きを推定した後、動き情報のみを
伝送するので、形状情報ほどのデータが節約できて、圧
縮に用いられる情報量を非常に減らすことができる。本
発明は、現在のＰＳＤＮ（Public Switching Telephone
Network），ＬＡＮ（Local Area Network）およびワイ
ヤレスネット（Wireless Network）を通じたビデオ通信
に広範囲に使用されることができ、特にモビール通信に
おいて動画像伝送に核心的に使用され得るために、その
応用分野が非常に広く、次世代の国際標準技術にも使用
される可能性がある。
【００３４】
【発明の効果】前述したように、低伝送率の動画像コデ
ックシステムにおいて、本発明による両方向動き推定方
法および装置では既存のブロック整合アルゴリズムに比
べて正確な動きベクトルが捜せるだけでなく、小さい情
報量でフレーム間の動きが描写できるために、圧縮に必
要なデータの量が既存の方式に比べて著しく小さいの
で、圧縮比および相対的な画質向上を可能にする。
ックシステムにおいて、本発明による両方向動き推定方
法および装置では既存のブロック整合アルゴリズムに比
べて正確な動きベクトルが捜せるだけでなく、小さい情
報量でフレーム間の動きが描写できるために、圧縮に必
要なデータの量が既存の方式に比べて著しく小さいの
で、圧縮比および相対的な画質向上を可能にする。
【００３５】また、動く物体単位で動き情報を抽出し補
償するために補償後、画像のブロッキング効果がほぼ現
れず、特に動きが少なく物体の単位が大きい場合、例え
ばディジタルビデオフォン（Video Phone ）イメージの
場合には、時間が節約できる効果がある。
償するために補償後、画像のブロッキング効果がほぼ現
れず、特に動きが少なく物体の単位が大きい場合、例え
ばディジタルビデオフォン（Video Phone ）イメージの
場合には、時間が節約できる効果がある。
【図１】 本発明による両方向動き推定装置の一実施例
によるブロック図である。
によるブロック図である。
【図２】 本発明に適用される前方動き予測と後方動き
予測の関係を示したフレーム配列図である。
予測の関係を示したフレーム配列図である。
【図３】 現在のフレーム（Ｎ），以前フレーム（Ｎ−
１）および次のフレーム（Ｎ＋１）での物体の動き推定
方向を示した図面である。
１）および次のフレーム（Ｎ＋１）での物体の動き推定
方向を示した図面である。
【図４】 前方動き予測で以前に捜された物体の境界成
分から次のフレームの移動距離を捜す過程を示す図面で
ある。
分から次のフレームの移動距離を捜す過程を示す図面で
ある。
【図５】 前方動き予測で以前に捜された物体の境界成
分から次のフレームの移動距離を捜す過程を示す図面で
ある。
分から次のフレームの移動距離を捜す過程を示す図面で
ある。
４…対物レンズ、 ５…光ディスク、１２，
１３…集束レンズ、 １４…光検出器ユニット、１
５，１６…３分割光検出器。
１３…集束レンズ、 １４…光検出器ユニット、１
５，１６…３分割光検出器。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9365−5Ｈ Ｇ０６Ｆ 15/62 ３４０ Ｚ
Claims (4)
- 【請求項１】 低伝送率の動画像コデック(codec) シス
テムにおいて、 フレーム内の一定ブロックで動きが発生した領域に対し
て同一の動きを有する物体単位で動きを推定して現在の
フレームで捜された物体がどの方向へ移動したかを示す
動き情報と前記物体の形状情報とを抽出する後方動き予
測過程と、 前記後方動き予測過程を通じて現在のフレームで捜され
た物体の形状情報を利用して次のフレームで物体がどの
方向へ移動するかを示す動き情報と物体のインデックス
情報とを抽出する前方動き予測過程と、 予め設定されたフレームの動き予測モードに応じて前記
後方動き予測過程で出力される動き情報および形状情報
あるいは前方動き予測過程で出力される動き情報および
インデックス情報を選択して伝送するデータ伝送過程と
を含むことを特徴とする両方向の動き推定方法。 - 【請求項２】 前記データ伝送過程で、連続するビデオ
シーケンスで第１のフレームのみイントラフレームとし
て受信端に伝送した後、連続するフレームの奇数番目は
後方予測モードに動きを推定し、偶数番目は前方予測モ
ードに動きを推定することを特徴とする請求項１項記載
の両方向の動き推定方法。 - 【請求項３】 低伝送率の動画像コデックシステムにお
いて、 フレーム内の一定のブロックで動きが発生した領域に対
して同一の動きを有する物体単位で動きを推定して現在
のフレームで捜された物体がどの方向へ移動したかを示
す動き情報と前記物体の形状情報とを抽出するための後
方動き予測手段と、 前記後方動き予測手段を通じて現在捜された物体の形状
情報を利用して次のフレームで物体がどの方向へ移動す
るかを示す動き情報と前記物体のインデックス情報とを
抽出するための前方動き予測手段と、 予め設定されたフレームの動き予測モードに応じて前記
後方動き予測過程で出力される動き情報および形状情報
あるいは前方動き予測過程で出力される動き情報および
インデックス情報を選択して伝送するためのモードおよ
びデータ選択手段とを含むことを特徴とする両方向の動
き推定装置。 - 【請求項４】 前記モードおよびデータ選択手段では、
連続するビデオシーケンスで一番目のフレームのみイン
トラフレームとして受信端に伝送された後、連続するフ
レームの奇数番目は後方予測モードで動きを推定し、偶
数番目は前方予測モードで動きを推定することを特徴と
する請求項３項記載の両方向の動き推定装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR94P21560 | 1994-08-30 | ||
| KR1019940021560A KR100287211B1 (ko) | 1994-08-30 | 1994-08-30 | 양방향 움직임 추정방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0879768A true JPH0879768A (ja) | 1996-03-22 |
| JP3736869B2 JP3736869B2 (ja) | 2006-01-18 |
Family
ID=19391476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01818095A Expired - Fee Related JP3736869B2 (ja) | 1994-08-30 | 1995-02-06 | 両方向の動き推定方法および装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5642166A (ja) |
| JP (1) | JP3736869B2 (ja) |
| KR (1) | KR100287211B1 (ja) |
| DE (1) | DE19506372B4 (ja) |
| FR (1) | FR2724083B1 (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6052414A (en) * | 1994-03-30 | 2000-04-18 | Samsung Electronics, Co. Ltd. | Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation |
| US5959673A (en) * | 1995-10-05 | 1999-09-28 | Microsoft Corporation | Transform coding of dense motion vector fields for frame and object based video coding applications |
| EP0857392B1 (en) * | 1995-10-25 | 2004-08-11 | Sarnoff Corporation | Overlapping block zerotree wavelet image coder |
| US5778100A (en) * | 1996-03-08 | 1998-07-07 | Lucent Technologies Inc. | Method and apparatus for reducing the bit rate in a video object planes sequence coder |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| EP1120970B1 (en) | 1996-05-17 | 2003-01-29 | Matsushita Electric Industrial Co., Ltd. | Image decoding apparatus with object area decoding means and shape decoding means |
| KR100209413B1 (ko) * | 1996-05-23 | 1999-07-15 | 전주범 | 블럭-기반 비디오 신호 부호화 시스템에 이용하기 위한그리드 결정방법 |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| MY129665A (en) * | 1997-04-09 | 2007-04-30 | Matsushita Electric Ind Co Ltd | Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media |
| DE19746611A1 (de) * | 1997-10-22 | 1999-04-29 | Bosch Gmbh Robert | Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6249548B1 (en) | 1998-07-10 | 2001-06-19 | U.S. Phillips Corporation | Motion vector processing |
| JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
| US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| EP1139286A1 (en) * | 1999-05-18 | 2001-10-04 | Sanyo Electric Co., Ltd. | Dynamic image processing method and device and medium |
| SG89282A1 (en) | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
| GB2352076B (en) * | 1999-07-15 | 2003-12-17 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| US6738424B1 (en) | 1999-12-27 | 2004-05-18 | Objectvideo, Inc. | Scene model generation from video for use in video processing |
| KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| US7088776B2 (en) * | 2002-07-15 | 2006-08-08 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding |
| US8254461B2 (en) * | 2002-07-24 | 2012-08-28 | Apple Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
| US6728315B2 (en) | 2002-07-24 | 2004-04-27 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
| JP4462823B2 (ja) * | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
| EP2309758B1 (en) | 2002-11-20 | 2014-07-30 | Panasonic Intellectual Property Corporation of America | Moving image predicting method, moving image encoding method and device, and moving image decoding method and device |
| US7292635B2 (en) * | 2003-07-18 | 2007-11-06 | Samsung Electronics Co., Ltd. | Interframe wavelet video coding method |
| US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
| US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
| US7653255B2 (en) | 2004-06-02 | 2010-01-26 | Adobe Systems Incorporated | Image region of interest encoding |
| US7639886B1 (en) | 2004-10-04 | 2009-12-29 | Adobe Systems Incorporated | Determining scalar quantizers for a signal based on a target distortion |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| US8553758B2 (en) * | 2007-03-02 | 2013-10-08 | Sony Corporation | Motion parameter engine for true motion |
| US8363728B2 (en) * | 2008-04-18 | 2013-01-29 | Sony Corporation | Block based codec friendly edge detection and transform selection |
| US8139883B2 (en) * | 2008-07-29 | 2012-03-20 | Sony Corporation | System and method for image and video encoding artifacts reduction and quality improvement |
| US20100067818A1 (en) * | 2008-09-15 | 2010-03-18 | Sony Corporation, A Japanese Corporation | System and method for high quality image and video upscaling |
| US20120014451A1 (en) * | 2009-01-15 | 2012-01-19 | Wei Siong Lee | Image Encoding Methods, Image Decoding Methods, Image Encoding Apparatuses, and Image Decoding Apparatuses |
| US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
| US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
| WO2012099544A1 (en) * | 2011-01-21 | 2012-07-26 | Agency For Science, Technology And Research | A method, an apparatus and a computer program product for estimating motion between frames of a video sequence |
| CN104219532B (zh) | 2013-06-05 | 2017-10-17 | 华为技术有限公司 | 确定小物体区域的方法、视频帧之间插补帧的方法和装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0294961B1 (en) * | 1987-06-09 | 1994-10-12 | Sony Corporation | Motion vector selection in television images |
| US5136659A (en) * | 1987-06-30 | 1992-08-04 | Kokusai Denshin Denwa Kabushiki Kaisha | Intelligent coding system for picture signal |
| FR2630842B1 (fr) * | 1988-04-29 | 1994-04-08 | Labo Electronique Physique Appli | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
| FR2651399B1 (fr) * | 1989-08-29 | 1996-05-15 | Thomson Consumer Electronics | Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images. |
| JP2953712B2 (ja) * | 1989-09-27 | 1999-09-27 | 株式会社東芝 | 移動物体検知装置 |
| US5151784A (en) * | 1991-04-30 | 1992-09-29 | At&T Bell Laboratories | Multiple frame motion estimation |
| US5198901A (en) * | 1991-09-23 | 1993-03-30 | Matsushita Electric Corporation Of America | Derivation and use of motion vectors in a differential pulse code modulation system |
| ATE148607T1 (de) * | 1991-09-30 | 1997-02-15 | Philips Electronics Nv | Bewegungsvektorschätzung, bewegungsbildkodierung- und -speicherung |
| KR940011881B1 (ko) * | 1991-12-23 | 1994-12-27 | 주식회사 금성사 | 움직임 검출 및 추정장치 |
| KR950014862B1 (ko) * | 1992-02-08 | 1995-12-16 | 삼성전자주식회사 | 움직임추정방법 및 그 장치 |
| KR0160618B1 (ko) * | 1992-10-27 | 1999-01-15 | 윤종용 | 실시간 움직임 추정장치 및 그 방법 |
| EP0625853B1 (en) * | 1993-05-21 | 1999-03-03 | Nippon Telegraph And Telephone Corporation | Moving image encoder and decoder |
| EP1051038B1 (en) * | 1993-07-12 | 2009-10-14 | Sony Corporation | Processing digital video data |
-
1994
- 1994-08-30 KR KR1019940021560A patent/KR100287211B1/ko not_active IP Right Cessation
- 1994-12-29 US US08/366,096 patent/US5642166A/en not_active Expired - Lifetime
-
1995
- 1995-02-06 JP JP01818095A patent/JP3736869B2/ja not_active Expired - Fee Related
- 1995-02-22 FR FR9502034A patent/FR2724083B1/fr not_active Expired - Fee Related
- 1995-02-23 DE DE1995106372 patent/DE19506372B4/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR960009757A (ko) | 1996-03-22 |
| JP3736869B2 (ja) | 2006-01-18 |
| FR2724083B1 (fr) | 1998-03-06 |
| DE19506372B4 (de) | 2004-12-30 |
| US5642166A (en) | 1997-06-24 |
| FR2724083A1 (fr) | 1996-03-01 |
| KR100287211B1 (ko) | 2001-04-16 |
| DE19506372A1 (de) | 1996-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0879768A (ja) | 両方向の動き推定方法および装置 | |
| EP1262073B1 (en) | Methods and apparatus for motion estimation using neighboring macroblocks | |
| US6483876B1 (en) | Methods and apparatus for reduction of prediction modes in motion estimation | |
| US5781249A (en) | Full or partial search block matching dependent on candidate vector prediction distortion | |
| Nam et al. | A fast hierarchical motion vector estimation algorithm using mean pyramid | |
| EP0734165B1 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| JP3190529B2 (ja) | 映像データ・ブロック変換システム | |
| KR100659704B1 (ko) | 비디오 이미지 데이터의 제 1 및 제 2 프레임 사이의 움직임 벡터를 얻기 위한 방법, 장치, 및 시스템, 및 컴퓨터-판독가능 매체 | |
| US5583580A (en) | Method and apparatus for detecting motion vectors based on hierarchical motion estimation | |
| US6289052B1 (en) | Methods and apparatus for motion estimation using causal templates | |
| US20040114688A1 (en) | Device for and method of estimating motion in video encoder | |
| US6690728B1 (en) | Methods and apparatus for motion estimation in compressed domain | |
| US5654761A (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US5614954A (en) | Motion compensation apparatus for use in an image encoding system | |
| WO1999059341A1 (en) | Motion vector generation by temporal interpolation | |
| EP1084581B1 (en) | Method and apparatus for fast motion estimation in video coding | |
| US5838391A (en) | Method and apparatus for detecting optimum motion vectors | |
| US5689312A (en) | Block matching motion estimation method | |
| US5506622A (en) | Block matching type motion vector determination using correlation between error signals | |
| EP1472881A1 (en) | Unit for and method of estimating a current motion vector | |
| US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
| US5760845A (en) | Method for determining motion vectors based on a block matching motion estimation technique | |
| Jiang et al. | Stereo sequence coding | |
| JPH09261661A (ja) | ２つの基準ピクチャから双方向コード化ピクチャを形成するための方法 | |
| Yang et al. | Kalman filtering based motion estimation for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040123 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051025 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |