JP4417918B2 - 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム - Google Patents
補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム Download PDFInfo
- Publication number
- JP4417918B2 JP4417918B2 JP2006095941A JP2006095941A JP4417918B2 JP 4417918 B2 JP4417918 B2 JP 4417918B2 JP 2006095941 A JP2006095941 A JP 2006095941A JP 2006095941 A JP2006095941 A JP 2006095941A JP 4417918 B2 JP4417918 B2 JP 4417918B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- motion vector
- interpolation
- mismatch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 657
- 239000013598 vector Substances 0.000 title claims description 579
- 238000000034 method Methods 0.000 title claims description 86
- 238000001514 detection method Methods 0.000 title claims description 33
- 230000008569 process Effects 0.000 claims description 72
- 230000008859 change Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 56
- 238000010586 diagram Methods 0.000 description 30
- 230000002596 correlated effect Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 101100153172 Pisum sativum TIC32 gene Proteins 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
を前記コンピュータに実行させるための動きベクトル検出プログラムである。
図1は、実施の形態1にかかる補間フレーム作成装置10の機能構成を示すブロック図である。補間フレーム作成装置10は、補間フレームを作成する。図2は、補間フレームを説明するための図である。図2は、入力画像に含まれる連続する2つのフレーム、すなわち第1参照フレーム200と、第2参照フレーム300を示している。本実施の形態においては、第1参照フレーム200と第2参照フレーム300との間を補間する補間フレーム400を作成する場合を例に説明する。
次に、実施の形態2にかかる補間フレーム作成装置10について説明する。実施の形態2にかかる補間フレーム作成装置10においては、不一致動きベクトル付与部106は、不一致領域のうち適切な動きベクトルが見つからなかった領域、すなわち未検出領域を特定する。また、動き補償部108は、未検出領域には隣接する領域の動きベクトルを付与するのにかえて、隣接する画素の平均値を割り当てる。
図22は、実施の形態3にかかる動きベクトル検出装置12の機能構成を示すブロック図である。動きベクトル検出装置12は、動き推定部100と、領域判定部102と、一致動きベクトル付与部104と、不一致動きベクトル付与部106と、フレームメモリ110とを備えている。なお、各部の機能は、実施の形態1にかかる対応する各部の機能と同様である。実施の形態1にかかる補間フレーム作成装置10は、一致動きベクトル付与部104および不一致動きベクトル付与部106により付与された動きベクトルに基づいて、補間フレームを生成したが、実施の形態3にかかる動きベクトル検出装置12は、動きベクトル付与までの処理を行う。実施の形態3にかかる動きベクトル検出装置12によれば、マクロブロックよりも小さい領域単位で精度よく動きベクトルを算出することができる。
次に、実施の形態4にかかる補間フレーム作成装置10について説明する。実施の形態4にかかる補間フレーム作成装置10は、補間フレームをマクロブロック単位に分割し、補間フレーム中のマクロブロックを基準として、第1参照フレーム200および第2参照フレーム300の動き推定を行う。
次に、実施の形態5にかかる補間フレーム作成装置10について説明する。実施の形態5にかかる補間フレーム作成装置10は実施の形態4にかかる補間フレーム作成装置10と同様、補間フレーム400を基準として第1参照フレーム200と第2参照フレーム300の動き推定を行う。実施の形態5にかかる補間フレーム作成装置10は、さらに第1参照フレーム200および第2参照フレーム300以外のフレームを利用して不一致領域に付与する動きベクトルを決定する。
次に、実施の形態6にかかる補間フレーム作成装置10について説明する。図35は、実施の形態6にかかる補間フレーム作成装置10による不一致領域動きベクトル付与処理(ステップS208)における詳細な処理を示すフローチャートである。各フレーム中の画素同士の相関演算結果に基づいて、動きベクトルを選出した後(ステップS268)、この動きベクトルにより定まる2つの画素の間の絶対差分値と予め定めた閾値とを比較する。絶対差分値が閾値未満である場合、すなわち相関が高い場合には(ステップS280,Yes)、この動きベクトルを画素HP0pに対する動きベクトルと決定する(ステップS282)。一方、絶対差分値が閾値以上である場合、すなわち相関が低い場合には(ステップS280,No)、この動きベクトルは利用せず、画素HP0pを未検出領域と決定する(ステップS284)。
12 動きベクトル検出装置
51 CPU
52 ROM
53 RAM
57 通信I/F
62 バス
100 動き推定部
102 領域判定部
104 一致動きベクトル付与部
106 不一致動きベクトル付与部
108 動き補償部
110 フレームメモリ
200 第1参照フレーム
300 第2参照フレーム
400 補間フレーム
600 第3参照フレーム
700 第4参照フレーム
Claims (34)
- 第1参照フレームと第2参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第1参照フレーム中の第1参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第2参照フレーム中の第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第1参照領域中の一致領域と第2参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定手段と、
前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム作成装置。 - 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域に隣接する補間領域の動きベクトルに基づいて、前記不一致動きベクトルを決定することを特徴とする請求項1に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域の動きベクトルのうちいずれか1つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項2に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域に対して算出された動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第1参照領域中の領域と前記第2参照領域中の領域の相関に基づいて、前記複数の動きベクトルのうち1つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項3に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、最も高い相関が得られた動きベクトルを前記不一致動きベクトルとして決定することを特徴とする請求項4に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記補間領域の前記不一致領域の周辺の補間領域に対して算出された動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第1参照領域中の領域と前記第2参照領域中の領域の相関と、前記補間フレームを基準として前記第1参照フレームと時間的に同一方向にあるフレームである第3フレーム中の領域であって前記不一致領域と前記複数の動きベクトルそれぞれにより定まる領域と前記第1参照領域中の領域の相関と、前記補間フレームを基準として前記第2参照フレームと時間的に同一方向にあるフレームである第4参照フレーム中の領域であって前記不一致領域と前記複数の動きベクトルそれぞれにより定まる領域と前記第2参照領域中の領域の相関に基づいて、複数の動きベクトルのうち1つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項4または5に記載の補間フレーム作成装置。
- 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第1参照領域中の領域と前記第2参照領域中の領域の間の相関と、予め定めた閾値を比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項1から6のいずれか一項に記載の補間フレーム作成装置。
- 前記領域判定手段は、前記補間領域に対して算出された動きベクトルにより定まる前記第1参照領域中の領域の輝度値と前記第2参照領域中の領域の輝度値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項7に記載の補間フレーム作成装置。
- 前記領域判定手段は、前記補間領域に対して算出された動きベクトルにより定まる前記第1参照領域中の領域の色値と前記第2参照領域中の領域の色値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項7に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域との間の相関が予め定められた閾値より大きい場合に、前記補間領域の不一致領域の周囲の補間領域の動きベクトルに基づいて、不一致動きベクトルを決定することを特徴とする請求項1から9のいずれか一項に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域との間の相関が予め定められた閾値より小さい領域に対し、前記不一致補間領域と複数の動きベクトルそれぞれとにより定まる前記第1参照領域中の領域と前記補間フレームを基準として前記第1参照フレームと時間的に同一方向にあるフレームである第3フレーム中の第3参照領域中の領域の間の相関と、前記不一致補間領域と複数の動きベクトルそれぞれとにより定まる前記第2参照領域中の領域と前記補間フレームを基準として第2参照フレームと時間的に同一方向にあるフレームである第4参照フレーム中の領域の間の相関に基づいて、複数の動きベクトルのうち1つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項10に記載の補間フレーム作成装置。
- 前記動き補償手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域との間の相関が予め定められた閾値より小さい場合に、前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域の不一致領域に対し、当該不一致領域の周囲の補間領域の画素の平均値またはメディアン値を割り当てることを特徴とする請求項10に記載の補間フレーム作成装置。
- 前記一致動きベクトル付与手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域との組み合わせに対応する前記補間領域中の不一致領域に含まれる画素の数が予め定められた閾値よりも小さい場合に、前記補間領域中の前記不一致領域を一致領域に変更し、当該一致領域に対し、当該一致領域を含む前記補間領域に割り当てられている動きベクトルを付与することを特徴とする請求項1から12のいずれか一項に記載の補間フレーム作成装置。
- 第1参照フレームと第2参照フレームの間の補間フレームを作成する補間フレーム作成装置であって、
第1参照フレームを分割して得られる第1参照領域の動きベクトルを算出する第1参照領域動きベクトル算出手段と、
前記第1参照領域と、当該第1参照領域に対して算出された動きベクトルにより定まる領域であって、当該第1参照領域とサイズおよび形状が同一の前記第2参照フレーム中の領域である第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第1参照領域中の一致領域に対し、当該一致領域を含む第1参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第1参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第1参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定手段と、
前記一致動きベクトル付与手段により付与された前記一致動きベクトルおよび前記不一致動きベクトル決定手段により決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償手段と
を備えたことを特徴とする補間フレーム作成装置。 - 前記不一致動きベクトル決定手段は、前記不一致領域に隣接する第1参照領域の動きベクトルに基づいて、前記不一致動きベクトルを決定することを特徴とする請求項14に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第1参照領域対して算出された動きベクトルのうちいずれか1つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項15に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記不一致領域の周辺の第1参照領域対して算出された動きベクトルが複数ある場合に、前記不一致領域と複数の動きベクトルそれぞれとにより定まる前記第1参照領域中の領域と前記第2参照領域中の領域の相関に基づいて、複数の動きベクトルのうち1つの動きベクトルを前記不一致動きベクトルと決定することを特徴とする請求項16に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、最も高い相関が得られた動きベクトルを前記不一致動きベクトルとして決定することを特徴とする請求項17に記載の補間フレーム作成装置。
- 前記領域判定手段は、前記第1参照領域中の領域と、前記第2参照領域中の対応する領域の間の相関と、予め定めた閾値を比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項14から18のいずれか一項に記載の補間フレーム作成装置。
- 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第1参照領域中の領域の輝度値と前記第2参照領域中の領域の輝度値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項19に記載の補間フレーム作成装置。
- 前記領域判定手段は、前記補間領域の動きベクトルにより定まる前記第1参照領域中の領域の色値と前記第2参照領域中の領域の色値との間の相関と、予め定めた閾値とを比較することにより、対応する領域が一致するか否かを判定することを特徴とする請求項19に記載の補間フレーム作成装置。
- 前記不一致動きベクトル決定手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域との間の相関が予め定められた閾値より大きい場合に、前記第1参照領域中の不一致領域の周囲の第1参照領域の動きベクトルに基づいて前記不一致動きベクトルを決定することを特徴とする請求項14から21のいずれか一項に記載の補間フレーム作成装置。
- 前記動き補償手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域との間の相関が予め定められた閾値より小さい場合に、前記第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域の不一致領域に対し、当該不一致領域の周囲の補間領域の画素の平均値またはメディアン値を割り当てることを特徴とする請求項22に記載の補間フレーム作成装置。
- 前記一致動きベクトル付与手段は、前記領域判定手段により不一致と判定された前記第1参照領域中の不一致領域に含まれる画素の数が予め定められた閾値よりも小さい場合に、前記補間領域中の前記不一致領域を一致領域に変更し、当該一致領域に対し、当該一致領域を含む前記補間領域に割り当てられている動きベクトルを付与することを特徴とする請求項14から23のいずれか一項に記載の補間フレーム作成装置。
- 第1参照フレームと第2参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出装置であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出手段と、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第1参照フレーム中の第1参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第2参照フレーム中の第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第1参照領域中の一致領域と第2参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定手段と
を備えたことを特徴とする動きベクトル検出装置。 - 第1参照フレームと第2参照フレームの間の動きベクトルを検出する動きベクトル検出装置であって、
第1参照フレームを分割して得られる第1参照領域の動きベクトルを算出する第1参照領域動きベクトル算出手段と、
前記第1参照領域と、当該第1参照領域に対して算出された動きベクトルにより定まる領域であって、当該第1参照領域とサイズおよび形状が同一の前記第2参照フレーム中の領域である第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定手段と、
前記領域判定手段により一致と判定された画素の領域である第1参照領域中の一致領域に対し、当該一致領域を含む第1参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与手段と、
前記領域判定手段により不一致と判定された画素の領域である第1参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第1参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定手段と
を備えたことを特徴とする動きベクトル検出装置。 - 第1参照フレームと第2参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第1参照フレーム中の第1参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第2参照フレーム中の第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域と第2参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム作成方法。 - 第1参照フレームと第2参照フレームの間の補間フレームを作成する補間フレーム作成方法であって、
第1参照フレームを分割して得られる第1参照領域の動きベクトルを算出する第1参照領域動きベクトル算出ステップと、
前記第1参照領域と、当該第1参照領域に対して算出された動きベクトルにより定まる領域であって、当該第1参照領域とサイズおよび形状が同一の前記第2参照フレーム中の領域である第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域に対し、当該一致領域を含む第1参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第1参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を有することを特徴とする補間フレーム作成方法。 - 第1参照フレームと第2参照フレームの間の補間フレームの動きベクトルを検出する動きベクトル検出方法であって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第1参照フレーム中の第1参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第2参照フレーム中の第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域と第2参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を有することを特徴とする動きベクトル検出方法。 - 第1参照フレームと第2参照フレームの間の動きベクトルを検出する動きベクトル検出方法であって、
第1参照フレームを分割して得られる第1参照領域の動きベクトルを算出する第1参照領域動きベクトル算出ステップと、
前記第1参照領域と、当該第1参照領域に対して算出された動きベクトルにより定まる領域であって、当該第1参照領域とサイズおよび形状が同一の前記第2参照フレーム中の領域である第2参照領域とにおける対応する領域各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域に対し、当該一致領域を含む第1参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第1参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を有することを特徴とする動きベクトル検出方法。 - 第1参照フレームと第2参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させるための補間フレーム作成プログラムであって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第1参照フレーム中の第1参照領域と、前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第2参照フレーム中の第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域と第2参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に対して算出された前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を前記コンピュータに実行させるための補間フレーム作成プログラム。 - 第1参照フレームと第2参照フレームの間の補間フレームを作成する補間フレーム作成処理をコンピュータに実行させるための補間フレーム作成プログラムであって、
第1参照フレームを分割して得られる第1参照領域の動きベクトルを算出する第1参照領域動きベクトル算出ステップと、
前記第1参照領域と、当該第1参照領域に対して算出された動きベクトルにより定まる領域であって、当該第1参照領域とサイズおよび形状が同一の前記第2参照フレーム中の領域である第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域に対し、当該一致領域を含む第1参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第1参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと、
前記一致動きベクトル付与ステップにおいて付与された前記一致動きベクトルおよび前記不一致動きベクトル決定ステップにおいて決定された前記不一致動きベクトルに基づいて、前記補間フレームを生成する動き補償ステップと
を前記コンピュータに実行させるための補間フレーム作成プログラム。 - 第1参照フレームと第2参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させるための動きベクトル検出プログラムであって、
前記補間フレームを分割して得られる補間領域の動きベクトルを算出する補間領域動きベクトル算出ステップと、
前記補間領域に対して算出された動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第1参照フレーム中の第1参照領域と、前記補間領域に割り当てられた動きベクトルにより定まる領域であって、当該補間領域とサイズおよび形状が同一の前記第2参照フレーム中の第2参照領域とにおける対応する領域の各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域と第2参照領域中の一致領域の組み合わせに対応する前記補間領域中の一致領域に対し、当該補間領域に割り当てられている前記動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域と前記第2参照領域中の不一致領域の組み合わせに対応する前記補間領域中の不一致領域に付与すべき不一致動きベクトルを、当該補間領域中の不一致領域の周囲の補間領域の動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を前記コンピュータに実行させるための動きベクトル検出プログラム。 - 第1参照フレームと第2参照フレームの間の補間フレームの動きベクトル検出処理をコンピュータに実行させるための動きベクトル検出プログラムであって、
第1参照フレームを分割して得られる第1参照領域の動きベクトルを算出する第1参照領域動きベクトル算出ステップと、
前記第1参照領域と、当該第1参照領域に対して算出された動きベクトルにより定まる領域であって、当該第1参照領域とサイズおよび形状が同一の前記第2参照フレーム中の領域である第2参照領域とにおける対応する領域各画素が一致するか否かを判定する領域判定ステップと、
前記領域判定ステップにおいて一致と判定された画素の領域である第1参照領域中の一致領域に対し、当該一致領域を含む第1参照領域に対して算出された動きベクトルを付与する一致動きベクトル付与ステップと、
前記領域判定ステップにおいて不一致と判定された画素の領域である第1参照領域中の不一致領域に付与すべき不一致動きベクトルを、当該不一致領域の周囲の第1参照領域に対して算出された動きベクトルに基づいて決定する不一致動きベクトル決定ステップと
を前記コンピュータに実行させるための動きベクトル検出プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006095941A JP4417918B2 (ja) | 2006-03-30 | 2006-03-30 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
US11/674,503 US7936950B2 (en) | 2006-03-30 | 2007-02-13 | Apparatus for creating interpolation frame |
KR20070019581A KR100870278B1 (ko) | 2006-03-30 | 2007-02-27 | 보간 프레임 작성 장치 |
EP20070250809 EP1841234A3 (en) | 2006-03-30 | 2007-02-27 | Apparatus for creating interpolation frame |
CNA2007100850557A CN101047779A (zh) | 2006-03-30 | 2007-02-28 | 用于创建内插帧的设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006095941A JP4417918B2 (ja) | 2006-03-30 | 2006-03-30 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007274221A JP2007274221A (ja) | 2007-10-18 |
JP4417918B2 true JP4417918B2 (ja) | 2010-02-17 |
Family
ID=38190603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006095941A Active JP4417918B2 (ja) | 2006-03-30 | 2006-03-30 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7936950B2 (ja) |
EP (1) | EP1841234A3 (ja) |
JP (1) | JP4417918B2 (ja) |
KR (1) | KR100870278B1 (ja) |
CN (1) | CN101047779A (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100763917B1 (ko) * | 2006-06-21 | 2007-10-05 | 삼성전자주식회사 | 고속으로 움직임을 추정하는 방법 및 장치 |
JP4322904B2 (ja) * | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
US20100020879A1 (en) * | 2006-12-21 | 2010-01-28 | Thomson Licensing | Method for decoding a block of a video image |
JP5106203B2 (ja) * | 2008-03-27 | 2012-12-26 | 株式会社東芝 | 補間画像生成装置、方法およびプログラム |
US9001271B2 (en) * | 2008-06-20 | 2015-04-07 | Mediatek Inc. | Method and related apparatus for generating interpolated frame according to spatial relationship result and temporal matching difference |
CN101626508A (zh) * | 2008-07-11 | 2010-01-13 | 宝利微电子系统控股公司 | 一种判断帧率提升中闭塞区域的方法 |
CN101753795B (zh) * | 2008-12-16 | 2012-05-16 | 晨星软件研发(深圳)有限公司 | 用以决定插补画面的移动向量的影像处理方法及其相关装置 |
TWI423666B (zh) * | 2008-12-31 | 2014-01-11 | Altek Corp | Image elimination method for image sequence |
KR101573400B1 (ko) * | 2009-02-18 | 2015-12-02 | 삼성디스플레이 주식회사 | 액정 표시 장치 및 그 구동 방법 |
US8289444B2 (en) * | 2009-05-06 | 2012-10-16 | Samsung Electronics Co., Ltd. | System and method for reducing visible halo in digital video with covering and uncovering detection |
CA2714932A1 (en) * | 2009-09-23 | 2011-03-23 | Her Majesty The Queen In The Right Of Canada As Represented By The Minister Of Industry | Image interpolation for motion/disparity compensation |
TWI408621B (zh) * | 2009-11-17 | 2013-09-11 | Mstar Semiconductor Inc | 影像插補處理裝置及其方法 |
JP5669523B2 (ja) * | 2010-07-06 | 2015-02-12 | 三菱電機株式会社 | フレーム補間装置及び方法、並びにプログラム及び記録媒体 |
KR101138922B1 (ko) | 2010-07-07 | 2012-05-14 | 중앙대학교 산학협력단 | 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법 |
JP5791241B2 (ja) * | 2010-07-16 | 2015-10-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、およびプログラム |
EP2421266A1 (en) * | 2010-08-19 | 2012-02-22 | Thomson Licensing | Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream |
CN102413270B (zh) * | 2011-11-21 | 2014-02-19 | 晶门科技(深圳)有限公司 | 校正边界区域运动向量的方法和装置 |
TW201322777A (zh) * | 2011-11-25 | 2013-06-01 | Novatek Microelectronics Corp | 偵測背景移動向量的方法 |
CN112770015B (zh) * | 2020-12-29 | 2022-09-13 | 紫光展锐(重庆)科技有限公司 | 一种数据处理方法及相关装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5400076A (en) * | 1991-11-30 | 1995-03-21 | Sony Corporation | Compressed motion picture signal expander with error concealment |
JPH08149421A (ja) * | 1994-11-22 | 1996-06-07 | Oki Electric Ind Co Ltd | 動きベクトルを用いた動き内挿方法および動き内挿回路 |
JP3573176B2 (ja) * | 1995-12-15 | 2004-10-06 | Kddi株式会社 | 動画像符号化方法及び装置 |
JP4092778B2 (ja) | 1997-06-04 | 2008-05-28 | 株式会社日立製作所 | 画像信号の方式変換装置及びテレビジョン受像機 |
EP0883298A3 (en) | 1997-06-04 | 2000-03-29 | Hitachi, Ltd. | Conversion apparatus for image signals and TV receiver |
JP3840129B2 (ja) | 2002-03-15 | 2006-11-01 | 株式会社東芝 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
JP2003339029A (ja) * | 2002-05-20 | 2003-11-28 | Sony Corp | 動きベクトル補正回路及び方法 |
JP4198550B2 (ja) | 2002-09-10 | 2008-12-17 | 株式会社東芝 | フレーム補間方法およびこのフレーム補間方法を用いた装置 |
JP3898606B2 (ja) | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
JP4053490B2 (ja) | 2003-03-25 | 2008-02-27 | 株式会社東芝 | フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置 |
JP4220284B2 (ja) | 2003-03-28 | 2009-02-04 | 株式会社東芝 | フレーム補間方法、装置及びこれを用いた画像表示システム |
JP4080951B2 (ja) | 2003-05-30 | 2008-04-23 | 株式会社東芝 | フレーム補間方法及び装置並びに画像表示システム |
US7336707B2 (en) * | 2003-06-06 | 2008-02-26 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting improper area for motion compensation in video signal |
KR100657261B1 (ko) * | 2003-12-10 | 2006-12-14 | 삼성전자주식회사 | 적응적 움직임 보상 보간 방법 및 장치 |
JP4198608B2 (ja) | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
EP1578137A2 (en) * | 2004-03-17 | 2005-09-21 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding apparatus with multistep interpolation process |
JP4198624B2 (ja) | 2004-03-29 | 2008-12-17 | 株式会社東芝 | 補間画像生成装置、方法およびプログラム |
JP4398925B2 (ja) | 2005-03-31 | 2010-01-13 | 株式会社東芝 | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム |
-
2006
- 2006-03-30 JP JP2006095941A patent/JP4417918B2/ja active Active
-
2007
- 2007-02-13 US US11/674,503 patent/US7936950B2/en active Active
- 2007-02-27 EP EP20070250809 patent/EP1841234A3/en not_active Withdrawn
- 2007-02-27 KR KR20070019581A patent/KR100870278B1/ko not_active IP Right Cessation
- 2007-02-28 CN CNA2007100850557A patent/CN101047779A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR100870278B1 (ko) | 2008-11-25 |
US7936950B2 (en) | 2011-05-03 |
EP1841234A3 (en) | 2011-03-16 |
JP2007274221A (ja) | 2007-10-18 |
US20070230830A1 (en) | 2007-10-04 |
EP1841234A2 (en) | 2007-10-03 |
KR20070098496A (ko) | 2007-10-05 |
CN101047779A (zh) | 2007-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4417918B2 (ja) | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム | |
JP4398925B2 (ja) | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム | |
CN101422047B (zh) | 图像边界处的运动估计方法及显示设备 | |
JP4322904B2 (ja) | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム | |
US8929451B2 (en) | External vectors in a motion estimation system | |
RU2454721C2 (ru) | Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу | |
CA2702163C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
KR20070055212A (ko) | 프레임 보간장치, 프레임 보간방법 및 움직임 신뢰성평가장치 | |
KR101756842B1 (ko) | 영상 프레임의 보간 방법 및 장치 | |
US20180144485A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US20050195324A1 (en) | Method of converting frame rate of video signal based on motion compensation | |
JP4385077B1 (ja) | 動きベクトル検出装置および画像処理装置 | |
WO2012066866A1 (ja) | 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法 | |
JP2007195062A (ja) | 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置 | |
JP2008242839A (ja) | 画像処理装置及びその方法 | |
KR100969420B1 (ko) | 프레임 레이트 변환 방법 | |
JP5059855B2 (ja) | 大域的動き推定方法 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP5824937B2 (ja) | 動きベクトル導出装置および方法 | |
JP2014007658A (ja) | 動きベクトル導出装置、方法およびプログラム | |
JP2010016447A (ja) | 画像処理装置および画像処理方法 | |
JP2013157667A (ja) | 補間フレーム生成装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4417918 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131204 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |