JP3955297B2 - デジタル動画像トランスコーディングのためのモーションベクトル推定方法 - Google Patents

デジタル動画像トランスコーディングのためのモーションベクトル推定方法 Download PDF

Info

Publication number
JP3955297B2
JP3955297B2 JP2004339676A JP2004339676A JP3955297B2 JP 3955297 B2 JP3955297 B2 JP 3955297B2 JP 2004339676 A JP2004339676 A JP 2004339676A JP 2004339676 A JP2004339676 A JP 2004339676A JP 3955297 B2 JP3955297 B2 JP 3955297B2
Authority
JP
Japan
Prior art keywords
sad
vector
adjustment vector
adjustment
smaller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004339676A
Other languages
English (en)
Other versions
JP2005160100A (ja
Inventor
カン−デオック セオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2005160100A publication Critical patent/JP2005160100A/ja
Application granted granted Critical
Publication of JP3955297B2 publication Critical patent/JP3955297B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

本発明は、デジタル動画像に関し、特に、デジタル動画像トランスコーディングのためのモーションベクトル推定方法に関する。
最近、動画像(video)標準が次第に多様になり、動画像を受信する端末機のディスプレイ解像度と、前記動画像を伝送するネットワークが多様になるにつれて、デジタル動画像をトランスコーディングする必要性が次第に増大している。
一般的に、トランスコーディングは、1つの動画像を多様な端末機で再生できるように前記動画像のサイズまたはフォーマットを各端末機に合わせて変換する技術であり、3種類に分類することができる。
第1に、特定動画像標準により符号化されたビットストリーム(bitstream)を他の動画像標準に変換すること、第2に、動画像の解像度を受信端末機のディスプレイ解像度に合わせて変換すること、第3に、動画像を伝送しようとするネットワークの帯域幅に合わせて動画像の伝送ビット率を変換することである。
図4は、一般的な動画像トランスコーダー(transcoder)の構成を示すブロック図である。
図4に示すように、前記動画像トランスコーダーは、入力ビットストリームを復号化(decoding)する復号器(decoder)10と、復号器10から出力された信号をトランスコーディングするために信号処理する信号処理部20と、信号処理部20から出力された信号のモーションベクトルを推定して符号化(encoding)する符号器30と、から構成される。
前記動画像トランスコーダーを通じて動画像をトランスコーディングするとき、最も重要なことは、効果的なモーション推定を通じて最適のモーションベクトルを設定することである。従って、動画像符号化において、モーションベクトル推定が最も複雑であり、トランスコーディングにおいても、モーションベクトル推定が他の過程に比べて複雑である。
以下、従来の動画像トランスコーディングのためのモーション推定方法を簡単に説明する。
まず、前記トランスコーダーは、入力されるビットストリームに含まれているモーションベクトルから基本モーションベクトル(base motion vector:BMV)の情報を得る。このとき、前記入力されるビットストリームは、圧縮された動画像ビットストリームである。
前記入力されたビットストリームをトランスコーディングするときに適用する新しいモーションベクトルを推定するために、前記基本モーションベクトルの周辺に探索領域(search range)を設定する。一般的に、前記探索領域は、前記基本モーションベクトル周辺の[−2,+2]程度の大きさのウィンドウである。
前記[−2,+2]探索領域に対して、全域探索(full search)方法を実施して各ピクセルのSADを求め、算出されたSADのうち最小のSADを有するピクセルにおけるモーションベクトルを計算した後、前記基本モーションベクトルと前記最小のSADを有するピクセルのモーションベクトルとを合せて新しいモーションベクトルを推定する。
つまり、従来の技術によるモーションベクトル推定方法は、全域探索方法によってモーションベクトルを推定するので、前記[−2,+2]探索領域に含まれる25個のピクセルに対するSADを全て計算するためには、25回の計算過程を遂行しなければならない。
前述したように、従来のデジタル動画像トランスコーディングのためのモーションベクトル推定方法は、全域探索によりモーションベクトルを推定するため、探索領域に含まれたピクセルの個数だけSADを計算する過程が必要であるので、計算の複雑度が増加するという問題点がある。
従って、本発明の目的は、基本モーションベクトルを利用して動画像をトランスコーディングするとき、新しいモーションベクトルを推定するために必要な探索点の個数を減らすことのできるデジタル動画像トランスコーディングのためのモーションベクトル推定方法を提供することにある。
このような目的を達成するために、本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法は、入力ビットストリームから算出された基本モーションベクトルを中心とする所定の探索領域で新しいモーションベクトルの推定のための最適の調整ベクトル(δ)の方向を設定する過程と、前記最適の調整ベクトル(δ)方向に該当する探索領域に含まれた各調整ベクトルのSAD中から最小のSADを有する調整ベクトルを前記最適の調整ベクトル(δ)に設定する過程と、から構成されることを特徴とする。
本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法は、基本モーションベクトルを利用して新しいモーションベクトルを推定するための最適の調整ベクトルを算出するモーションベクトル推定方法において、所定の探索領域の中心座標から1ピクセル以内の位置にある各調整ベクトル(δ)のSAD(δ)を利用して第1調整ベクトル(δ)及び第2調整ベクトル(δ)を算出し、前記最適の調整ベクトル(δ)の方向を設定する過程と、前記最適の調整ベクトル(δ)方向が任意の軸方向である場合、前記第1調整ベクトル(δ)から外側に1ピクセルだけ離れた第4調整ベクトルのSAD(δ)と前記第1調整ベクトル(δ)のSAD(δ)とを比較して前記最適の調整ベクトル(δ)を決定する過程と、前記最適の調整ベクトル(δ)方向が任意の四分面である場合、該四分面に含まれた第3調整ベクトル(δ’)のSAD(δ’)と、残りの調整ベクトルから算出したSAD(

)とを比較して前記最適の調整ベクトル(δ)を決定する過程と、から構成されることを特徴とする。
本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法は、基本モーションベクトルを中心座標として有する所定の探索領域で前記中心座標から1ピクセル以内の位置にある各調整ベクトルのSADを計算する過程と、前記SADのうち最小のSADを有する第1調整ベクトル(δ)と、前記第1調整ベクトルを除いて最小のSADを有する第2調整ベクトル(δ)を合算して第3調整ベクトル(δ’)を計算する過程と、前記第3調整ベクトル(δ’)のx,y成分に少なくとも1つの0が存在するか否かを判断し、最適の調整ベクトル(δ)方向を決定する過程と、前記最適の調整ベクトル(δ)方向が任意の軸方向である場合、前記第1調整ベクトル(δ)から外側に1ピクセルだけ離れた調整ベクトルのSAD(δ)と前記第1調整ベクトル(δ)のSAD(δ)とを比較することで、前記最適の調整ベクトル(δ)を決定する過程と、前記最適の調整ベクトル(δ)方向が任意の四分面である場合、該当四分面に含まれた第3調整ベクトル(δ’)のSAD(δ’)と、残りの調整ベクトルで算出したSAD(δ)とを比較することで、前記最適の調整ベクトル(δ)を決定する過程と、から構成されることを特徴とする。
従って、本発明は、以下を提供する:
1. 入力ビットストリームから算出された基本モーションベクトルを中心とする所定の探索領域で新しいモーションベクトルの推定のための最適の調整ベクトル(δ)の方向を設定する過程と、
前記最適の調整ベクトル(δ)方向に該当する探索領域に含まれた各調整ベクトルのSAD中から最小のSADを有する調整ベクトルを前記最適の調整ベクトル(δ)に設定する過程と、
から構成されることを特徴とするデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
2. 前記探索領域は、
前記基本モーションベクトルを中心とする[−2,+2]のウィンドウであることを特徴とする項目1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
3. 前記最適の調整ベクトルの方向は、
前記探索領域の任意の軸方向であるか、それとも、任意の四分面方向であることを特徴とする項目1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
4. 前記最適の調整ベクトルの方向を設定する過程は、
前記基本モーションベクトルを中心に1ピクセル以内の各調整ベクトル(δ)に対するSAD(δ)を算出する過程と、
前記SAD(δ)のうち、最小の第1SAD(δ)を有する第1調整ベクトル(δ)と、前記第1SADを除いて最小の第2SAD(δ)を有する第2調整ベクトル(δ)とを合せて第3調整ベクトル(δ’)を算出する過程と、
前記第3調整ベクトル(δ’)値によって、最適の調整ベクトル方向を決定する過程と、から構成されることを特徴とする項目1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
5. 前記最適の調整ベクトル方向を決定する過程は、
前記第3調整ベクトルのx,y成分のうち、少なくとも1つの0が存在する場合、前記第1調整ベクトルを前記最適の調整ベクトル方向として決定する過程と、
前記第3調整ベクトルのx,y成分に0が存在したい場合、前記第3調整ベクトルが位置する任意の四分面を最適の調整ベクトル方向として決定する過程と、から構成されることを特徴とする項目4に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
6. 前記最適の調整ベクトルと前記基本モーションベクトルを合算して新しいモーションベクトルを推定する過程をさらに含むことを特徴とする項目1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
7. 基本モーションベクトルを利用して新しいモーションベクトルを推定するための最適の調整ベクトルを算出するモーションベクトル推定方法であって、
所定の探索領域の中心座標から1ピクセル以内の位置にある各調整ベクトル(δ)のSAD(δ)を利用して第1調整ベクトル(δ)及び第2調整ベクトル(δ)を算出し、前記最適の調整ベクトル(δ)の方向を設定する過程と、
前記最適の調整ベクトル(δ)方向が任意の軸方向である場合、前記第1調整ベクトル(δ)から外側に1ピクセルだけ離れた第4調整ベクトルのSAD(δ)と前記第1調整ベクトル(δ)のSAD(δ)とを比較して前記最適の調整ベクトル(δ)を決定する過程と、
前記最適の調整ベクトル(δ)方向が任意の四分面である場合、該四分面に含まれた第3調整ベクトル(δ’)のSAD(δ’)と、残りの調整ベクトルから算出したSAD(δ)とを比較して前記最適の調整ベクトル(δ)を決定する過程と、
から構成されることを特徴とするデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
8. 前記探索領域は、前記基本モーションベクトルを中心座標にする[−2,+2]のウィンドウであることを特徴とする項目7に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
9. 前記第1調整ベクトル(δ)は、
前記中心座標から1ピクセル以内の位置にある各調整ベクトルのSAD(δ)のうち最小の第1SADを有する探索点であり、前記第2調整ベクトル(δ)は、前記第1SADを除いて最小の第2SADを有する探索点であることを特徴とする項目7に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
10. 前記最適のモーションベクトル方向は、
前記第1調整ベクトル(δ)と第2調整ベクトル(δ)とを合算した第3調整ベクトル(δ’)のx,y成分に0が存在するか否かによって決定されることを特徴とする項目7に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
11. 前記第3調整ベクトルのx,y成分に少なくとも1つの0が存在する場合、前記第1調整ベクトル(δ)が位置する任意の軸を最適のモーションベクトル方向として決定することを特徴とする項目10に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
12. 前記第3調整ベクトルのx,y成分に0が存在しない場合、前記第3調整ベクトルが位置する任意の四分面を最適のモーションベクトル方向として決定することを特徴とする項目10に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
13. 前記最適の調整ベクトル方向が任意の軸方向である場合、最適の調整ベクトルを決定する過程は、
前記第4調整ベクトルのSAD(δ)が前記第1調整ベクトルのSAD(δ)より 小さいと、前記第4調整ベクトルを最適の調整ベクトル(δ)として決定する過程と、
前記第4調整ベクトルのSAD(δ)が前記第1調整ベクトルのSAD(δ)より大きいと、
前記第1調整ベクトルを最適の調整ベクトル(δ)として決定する過程と、から構成されることを特徴とする項目7に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
14. 前記最適の調整ベクトル方向が任意の四分面方向である場合、最適の調整ベクトルを決定する過程は、
前記第3調整ベクトル(δ’)のSADが前記第3調整ベクトルのx座標を外側に1ピクセルだけ移動した第5調整ベクトルのSAD、及び前記第3調整ベクトルのy座標を外側に1ピクセルだけ移動した第6調整ベクトルのSADより小さいと、前記第3調整ベクトル(δ’)を最適の調整ベクトルとして決定する過程と、
前記第6調整ベクトルのSADが前記第3調整ベクトル(δ’)のSAD、及び前記第3調整ベクトルのx,y座標を外側にそれぞれ1ピクセルだけ移動した第7調整ベクトルのSADより小さいと、前記第6調整ベクトルを最適の調整ベクトルとして決定する過程と、
前記第7調整ベクトルのSADが前記第3調整ベクトルのSAD、及び第6調整ベクトルのSADより小さいと、前記第7調整ベクトルを最適の調整ベクトルとして決定する過程と、
前記第5調整ベクトルのSADが前記第3調整ベクトルのSAD及び第7調整ベクトルのSADより小さいと、前記第5調整ベクトルを最適の調整ベクトルとして決定する過程と、
前記第7調整ベクトルのSADが前記第3調整ベクトルのSAD及び第5調整ベクトルのSADより小さいと、前記第7調整ベクトルを最適の調整ベクトルとして決定する過程と、から構成されることを特徴とする項目7に記載のデジタル動画像トランスコーディングのためのモーションベクトル設定方法。
15. 基本モーションベクトルを中心座標として有する所定の探索領域で前記中心座標から1ピクセル以内の位置にある各調整ベクトルのSADを計算する過程と、
前記SADのうち最小のSADを有する第1調整ベクトル(δ)と、前記第1調整ベクトルを除いて最小のSADを有する第2調整ベクトル(δ)を合算して第3調整ベクトル(δ’)を計算する過程と、
前記第3調整ベクトル(δ’)のx,y成分に少なくとも1つの0が存在するか否かを判断し、最適の調整ベクトル(δ)方向を決定する過程と、
前記最適の調整ベクトル(δ)方向が任意の軸方向である場合、前記第1調整ベクトル(δ)から外側に1ピクセルだけ離れた調整ベクトルのSAD(δ)と前記第1調整ベクトル(δ)のSAD(δ)とを比較することで、前記最適の調整ベクトル(δ)を決定する過程と、
前記最適の調整ベクトル(δ)方向が任意の四分面である場合、該当四分面に含まれた第3調整ベクトル(δ’)のSAD(δ’)と、残りの調整ベクトルで算出したSAD(δ)とを比較することで、前記最適の調整ベクトル(δ)を決定する過程と、
から構成されることを特徴とするデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
16. 最適の調整ベクトル(δ)方向を決定する過程は、
前記第3調整ベクトルのx,y成分に少なくとも1つの0が存在する場合、前記第1調整ベクトル(δ)が位置する任意の軸を最適のモーションベクトル方向として決定する過程と、
前記第3調整ベクトルのx,y成分に0が存在しない場合、前記第3調整ベクトルが位置する任意の四分面を最適のモーションベクトル方向として決定する過程と、から構成されることを特徴とする項目15に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
17. 前記最適の調整ベクトル方向が任意の軸方向である場合、最適の調整ベクトルを決定する過程は、
前記調整ベクトルのSAD(δ)が前記第1調整ベクトルのSAD(δ)より小さいと、前記調整ベクトルを最適の調整ベクトル(δ)として決定する過程と、
前記調整ベクトルのSAD(δ)が前記第1調整ベクトルのSAD(δ)より大きいと、前記第1調整ベクトルを最適の調整ベクトル(δ)として決定する過程と、から構成されることを特徴とする項目15に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
18. 前記最適の調整ベクトル方向が第1四分面である場合、最適の調整ベクトルを決定する過程は、
前記SAD(δ’)がSAD(δ’+(1,0))及びSAD(δ’+(0,−1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(0,−1))がSAD(δ’)及びSAD(1,−1)より小さいと、前記δ’+(0,−1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(1,−1))がSAD(δ’)及びSAD(δ’+(0,−1))より小さいと、前記δ’+(1,−1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(1,0))がSAD(δ’)及びSAD(δ’+(1,−1))より小さいと、前記δ’+(1,0)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(1,−1))がSAD(δ’)及びSAD(δ’+(1,0))より小さいと、前記δ’+(1,−1)を最適の調整ベクトル(δ)として決定する過程と、から構成されることを特徴とする項目15に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
19. 前記最適の調整ベクトル方向が第2四分面である場合、最適の調整ベクトルを決定する過程は、
前記SAD(δ’)がSAD(δ’+(−1,0))及びSAD(δ’+(0,−1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(0,−1))がSAD(δ’)及びSAD(−1,−1)より小さいと、前記δ’+(0,−1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(−1,−1))がSAD(δ’)及びSAD(δ’+(0,−1))より小さいと、前記δ’+(−1,−1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(−1,0))がSAD(δ’)及びSAD(δ’+(−1,−1))より小さいと、前記δ’+(−1,0)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(−1,−1))がSAD(δ’)及びSAD(δ’+(−1,0))より小さいと、前記δ’+(−1,−1)を最適の調整ベクトル(δ)として決定する過程と、から構成されることを特徴とする項目15に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
20. 前記最適の調整ベクトル方向が第3四分面である場合、最適の調整ベクトルを決定する過程は、
前記SAD(δ’)がSAD(δ’+(−1,0))及びSAD(δ’+(0,1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(0,1))がSAD(δ’及びとSAD(−1,1)より小さいと、前記

+(0,1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(−1,1))がSAD(δ’)及びSAD(δ’+(0,1))より小さいと、前記δ’+(−1,1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(−1,0))がSAD(δ’)及びSAD(δ’+(−1,1))より小さいと、前記δ’+(−1,0)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(−1,1))がSAD(δ’)及びSAD(δ’+(−1,0))より小さいと、前記δ’+(−1,1)を最適の調整ベクトル(δ)として決定する過程と、から構成されることを特徴とする項目15に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
21. 前記最適の調整ベクトル方向が第4四分面である場合、最適の調整ベクトルを決定する過程は、
前記SAD(δ’)がSAD(δ’+(1,0))及びSAD(δ’+(0,1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(0,1))がSAD(δ’)及びSAD(1,1)より小さいと、前記

+(0,1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(1,1))がSAD(δ’)及びSAD(δ’+(0,1))より小さいと、前記δ’+(1,1)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(1,0))がSAD(δ’)及びSAD(δ’+(1,1))より小さいと、前記δ’+(1,0)を最適の調整ベクトル(δ)として決定する過程と、
前記SAD(δ’+(1,1))がSAD(δ’)及びSAD(δ’+(1,0))より小さいと、前記δ’+(1,1)を最適の調整ベクトル(δ)として決定する過程と、から構成されることを特徴とする項目15に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法は、基本モーションベクトルを利用して動画像をトランスコーディングするとき、新しいモーションベクトルを推定するために必要な探索点の個数を減らすことで、従来の方法に比べて計算複雑度を約70%程度減らすことができるという効果がある。
また、本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法は、全域探索方法を利用してモーションベクトルを推定する方法と同様のPSNR性能を示すと共に、計算複雑度は減少させることができるという効果がある。
以下、図面を参照して本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法の実施形態を説明する。
基本モーションベクトル(V )からδだけ離れている探索点のSADを数式によって表現すると、式1のようである。
Figure 0003955297
ここで、基本モーションベクトル(V )は、トランスコーダーに入力されるビットストリームから算出されることができ、fは、k番目のフレーム、Ωは、前記のn番目のマクロブロック(macroblock)、pは、イメージにおける位置ベクトル[x,y]、前記δは、調整ベクトル(adjustment vector)である。
本発明によるモーションベクトル推定方法は、式1を利用して探索領域[−2,+2]においてSADを最小化するδを効率的な方法を利用して算出することにより、最適の調整ベクトルδを算出する。このとき、前記最適の調整ベクトルδは、式2のようである。
Figure 0003955297
ここで、Sは、スモール(small)探索領域(例えば、[−2,+2])である。
図1は、本発明によるデジタル動画像のトランスコーディングのためのモーションベクトル推定方法を示すフローチャートであり、図2は、図1のモーションベクトル推定方法を適用するための探索パターンを示す例示図である。
以下、図1及び図2を参照して、本発明によるモーションベクトル推定方法を詳細に説明する。
前記基本モーションベクトルの周辺に探索領域[−2,+2]を設定し、前記式1を利用して前記探索領域に含まれた所定の調整ベクトルに対するSAD(SAD(0,0),SAD(0,1),SAD(0,−1),SAD(1,0),SAD(−1,0))を計算する(S11)。このとき、前記調整ベクトル(0,0)、(0,1)、(0,−1)、(1,0)、(−1,0)は、図2において第1探索点(1)で表示された位置である。
前記計算されたSADのうち最小の値を有するSAD(δ)をSAD1と言い、前記SAD1を除外した残りのSADのうち最小の値を有するSAD(δ)をSAD2と定義する(S12)。このとき、前記SAD1に使用された調整ベクトルδはδで表示し、前記SAD2に使用された調整ベクトルδはδで表示し、δ’は、前記δとδとの合計(δ’=δ+δ)で定義する(S13)。
前記δ’のx,y成分のうち少なくとも1つが0である場合(S14)、前記δをモーションベクトルフィールドの方向に設定する(S15)。
つまり、前記δ’のx,y成分のうち少なくとも1つの0が存在するためには、同一軸線上に位置した調整ベクトル同士が合算されるか、(0,0)と任意の軸線上に位置した調整ベクトルとが合算されるべきである。従って、前記δ’のx,y成分のうち少なくとも1つの0が存在すると、任意の軸がモーションベクトルフィールドの方向になり、前記軸のうち最小のSADを有するδが存在する軸方向がモーションベクトルフィールドの方向になる。
前記δがモーションベクトルフィールドの方向に設定されると、前記δにおいて探索領域の外側に1ピクセルだけ離れた位置のSAD(δ)を計算する(S16)。このとき、前記δは、第2探索点(2)で表示された位置であり、δ=2×δに定義する。
前記δを利用して最適の調整ベクトルδを算出する過程は、式3及び式4のようである。
Figure 0003955297
前記SAD(δ)とSAD(δ)を比較し(S17)、前記SAD(δ)の値が小さい場合、最適の調整ベクトルδはδであり(S18)、前記SAD(δ)の値が小さい場合、最適の調整ベクトルδはδである(S19)。つまり、前記SADが最小値を有するときの調整ベクトルが最適の調整ベクトルである。
しかしながら、前記のx,y成分に0が存在しないと(S14)、前記δ’をモーションベクトルフィールドの方向に設定する(S20)。
つまり、前記δ’のx,y成分に0が存在しないためには、隣接した軸に存在する調整ベクトル間(例えば、(0,1)と(1,0)、(0,1)と(−1,0)、(0,−1)と(1,0)、(0,−1)と(−1,0))の合算が遂行されるべきである。従って、前記のx,y成分に0が存在しないと、前記

が位置した任意の四分面がモーションベクトルフィールドの方向になり、前記δ’は、第3探索点(3)によって表示された位置である。
前記δ’が1四分面から4四分面のうちどの四分面に位置するかを判断し(S21)、該当四分面の第3探索点(3)の位置におけるSADと所定の間隔離れた残りの位置(4)におけるSAD値とを比較して最適の調整ベクトルδを算出する(S22)。
第1に、前記δ’が1四分面に位置する場合、最適の調整ベクトルδを算出する過程は、式5ないし式9のようである。
Figure 0003955297
第2に、前記δ’が2四分面に位置する場合、最適の調整ベクトルδを算出する過程は式10ないし式14のようである。
Figure 0003955297
第3に、前記δ’が3四分面に位置する場合、最適の調整ベクトルδを算出する過程は式15ないし式19のようである。
Figure 0003955297
第4に、前記δ’が4四分面に位置する場合、最適の調整ベクトルδを算出する過程は、式20ないし式24のようである。
Figure 0003955297
前記のような過程によって算出された最適の調整ベクトルδを前記基本モーションベクトル(V )と合算することにより、n番目のマクロブロックに割り当てられる最終モーションベクトルVを計算する。
Figure 0003955297
本発明によるモーションベクトル推定方法と従来の技術によるモーションベクトル推定方法との計算複雑度を比較すると、従来のモーションベクトル推定方法は、全域探索方法を使用して前記探索領域の全ての探索点でSADを計算すべきであるため、前記計算複雑度が25回のSAD計算量である。
しかしながら、本発明によるモーションベクトル推定方法は、所定の軸に最適の調整ベクトルδが存在する場合に6回のSADを計算し、任意の四分面に最適の調整ベクトルδが存在する場合には8回または9回のSADを計算する。つまり、前記式5、式7、式8、式9から算出された最適の調整ベクトルδを計算するためには、8回のSADを計算すべきであり、式6から算出された最適の調整ベクトルδを計算するためには9回のSADを計算すべきである。
前記最適の調整ベクトルが所定の軸に存在する場合と任意の四分面に存在する場合の確率が同一であると仮定する場合、1つのマクロブロックに対するSAD平均計算量は、約7回のSAD計算量である。つまり、本発明によるモーションベクトル推定方法は、従来のモーションベクトル推定方法で要求される25回の28%に対応する計算複雑度を有するので、従来に比べて約70%以上の計算複雑度を減少することができる。
本発明において、前記探索領域を[−2,+2]に限定した理由は、以下のようである。
『T.Shanableh and M.Ghanbari、“Heterogeneous video transcoding to lower spatio−temporal resolutions and different encoding formats”(IEEE Trans. Multimedia, Vol.2, No.2, pp.101−110, June 2000)』を参照すると、[−2,+2]以上の探索領域でモーションベクトルを推定する場合、前記モーションベクトル推定に必要な計算量が急激に増加するだけでなく、正確度も非常に減少する。従って、前記探索領域が[−2,+2]である場合が、前記計算複雑度及び効果を考慮すると、最も望ましい。
図3は、高ビット率(high bit−rate)のMPEG−1映像を低ビット率(low bit−rate)の同一のMPEG−1映像にトランスコーディングする時、本発明によるモーションベクトル推定方法及び従来のモーションベクトル推定方法によってモーションベクトルを推定する場合と、モーションベクトルを推定しない場合とのPSNR(peak signal to noise ratio)実験結果を比較したグラフである。このとき、使用されるテスト映像は、MPEG−1に符号化された‘Football’50フレームであり、GOPサイズは12であり、B−フレームは存在しない。
図3に示すように、モーションベクトルを推定しない場合より、モーションベクトルを推定する場合にPSNR性能が向上し、本発明によるモーションベクトル推定方法は、全域探索方法によりモーションベクトルを推定する従来の方法とPSNR性能がほぼ同様であることが分かる。
つまり、本発明によるモーションベクトル推定方法は、従来の方法に比べて計算 複雑度が約70%程度減少するが、前記PSNR性能は、前記全域探索を利用した従来のモーションベクトル推定方法とほぼ同様である。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
本発明によるデジタル動画像トランスコーディングのためのモーションベクトル推定方法を示すフローチャートである。 本発明を適用するための探索パターンを示す例示図である。 本発明によるモーションベクトル推定方法と従来の技術によるモーションベクトル推定方法とのPSNR(Peaking Signal to Noise Ratio)性能を比較したグラフである。 一般的な動画像トランスコーダーの構成を示すブロック図である。

Claims (8)

  1. 入力ビットストリームから算出された初期モーションベクトルである基本モーションベクトルを中心とする所定の探索領域で新しいモーションベクトルの推定のための最適の調整ベクトル(δ)の方向を設定する過程と、
    前記最適の調整ベクトル(δ)方向に該当する探索領域に含まれた各調整ベクトルのSAD中から最小のSADを有する調整ベクトルを前記最適の調整ベクトル(δ)に設定する過程と、
    前記最適の調整ベクトルと前記基本モーションベクトルを合算して新しいモーションベクトルを推定して符号化する過程と
    を包含し、
    前記最適の調整ベクトルの方向を設定する過程は、
    前記基本モーションベクトルを中心に1ピクセル以内の各調整ベクトル(δ)に対するSAD(δ)を算出する過程と、
    前記SAD(δ)のうち、最小の第1SAD(δ)を有する第1調整ベクトル(δ )と、前記第1SADを除いて最小の第2SAD(δ)を有する第2調整ベクトル(δ )とを合せて第3調整ベクトル(δ’)を算出する過程と、
    前記第3調整ベクトルのx,y成分のうち、少なくとも1つの0が存在する場合、前記第1調整ベクトルを前記最適の調整ベクトル方向として決定する過程と、
    前記第3調整ベクトルのx,y成分に0が存在しない場合、前記第3調整ベクトルが位置する任意の四分面方向を最適の調整ベクトル方向として決定する過程と
    を包含することを特徴とするデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
  2. 前記探索領域は、
    前記基本モーションベクトルを中心とする[−2,+2]のウィンドウであることを特徴とする請求項1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
  3. 前記第3調整ベクトルのx,y成分のうち、少なくとも1つの0が存在する場合、前記第1調整ベクトル(δ)から外側に1ピクセルだけ離れた第4調整ベクトルのSAD(δ)と前記第1調整ベクトル(δ)のSAD(δ)とを比較して、前記第4調整ベクトルのSAD(δ)が前記第1調整ベクトルのSAD(δ )より小さいと、前記第4調整ベクトルを最適の調整ベクトル(δ )として決定する過程と、
    前記第4調整ベクトルのSAD(δ)が前記第1調整ベクトルのSAD(δ )より大きいと、前記第1調整ベクトルを最適の調整ベクトル(δ )として決定する過程と
    を包含することを特徴とする請求項1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
  4. 前記最適の調整ベクトル(δ)方向が任意の四分面である場合、該四分面に含まれた第3調整ベクトル(δ’)のSAD(δ’)と、残りの調整ベクトルから算出したSAD(δ)とを比較し、前記第3調整ベクトル(δ’)のSADが前記第3調整ベクトルのx座標を外側に1ピクセルだけ移動した第5調整ベクトルのSAD、及び前記第3調整ベクトルのy座標を外側に1ピクセルだけ移動した第6調整ベクトルのSADより小さいと、前記第3調整ベクトル(δ’)を最適の調整ベクトルとして決定する過程と、
    前記第6調整ベクトルのSADが前記第3調整ベクトル(δ’)のSAD、及び前記第3調整ベクトルのx,y座標を外側にそれぞれ1ピクセルだけ移動した第7調整ベクトルのSADより小さいと、前記第6調整ベクトルを最適の調整ベクトルとして決定する過程と、
    前記第7調整ベクトルのSADが前記第3調整ベクトルのSAD、及び第6調整ベクトルのSADより小さいと、前記第7調整ベクトルを最適の調整ベクトルとして決定する過程と、
    前記第5調整ベクトルのSADが前記第3調整ベクトルのSAD及び第7調整ベクトルのSADより小さいと、前記第5調整ベクトルを最適の調整ベクトルとして決定する過程と、
    前記第7調整ベクトルのSADが前記第3調整ベクトルのSAD及び第5調整ベクトルのSADより小さいと、前記第7調整ベクトルを最適の調整ベクトルとして決定する過程と、
    前記最適の調整ベクトルと前記基本モーションベクトルを合算して新しいモーションベクトルを推定して符号化する過程と
    を包含することを特徴とする請求項1に記載のデジタル動画像のトランスコーディングのためのモーションベクトル推定方法。
  5. 前記最適の調整ベクトル方向が第1四分面である場合、最適の調整ベクトルを決定する過程は、
    前記SAD(δ’)がSAD(δ’+(1,0))及びSAD(δ’+(0,−1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(0,−1))がSAD(δ’)及びSAD(1,−1)より小さいと、前記δ’+(0,−1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(1,−1))がSAD(δ’)及びSAD(δ’+(0,−1))より小さいと、前記δ’+(1,−1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(1,0))がSAD(δ’)及びSAD(δ’+(1,−1))より小さいと、前記δ’+(1,0)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(1,−1))がSAD(δ’)及びSAD(δ’+(1,0))より小さいと、前記δ’+(1,−1)を最適の調整ベクトル(δ)として決定する過程と
    を包含することを特徴とする請求項1に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
  6. 前記最適の調整ベクトル方向が第2四分面である場合、最適の調整ベクトルを決定する過程は、
    前記SAD(δ’)がSAD(δ’+(−1,0))及びSAD(δ’+(0,−1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(0,−1))がSAD(δ’)及びSAD(−1,−1)より小さいと、前記δ’+(0,−1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(−1,−1))がSAD(δ’)及びSAD(δ’+(0,−1))より小さいと、前記δ’+(−1,−1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(−1,0))がSAD(δ’)及びSAD(δ’+(−1,−1))より小さいと、前記δ’+(−1,0)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(−1,−1))がSAD(δ’)及びSAD(δ’+(−1,0))より小さいと、前記δ’+(−1,−1)を最適の調整ベクトル(δ)として決定する過程と
    を包含することを特徴とする請求項1に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
  7. 前記最適の調整ベクトル方向が第3四分面である場合、最適の調整ベクトルを決定する過程は、
    前記SAD(δ’)がSAD(δ’+(−1,0))及びSAD(δ’+(0,1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(0,1))がSAD(δ’SAD(−1,1)より小さいと、前記δ’+(0,1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(−1,1))がSAD(δ’)及びSAD(δ’+(0,1))より小さいと、前記δ’+(−1,1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(−1,0))がSAD(δ’)及びSAD(δ’+(−1,1))より小さいと、前記δ’+(−1,0)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(−1,1))がSAD(δ’)及びSAD(δ’+(−1,0))より小さいと、前記δ’+(−1,1)を最適の調整ベクトル(δ)として決定する過程と
    を包含することを特徴とする請求項1に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
  8. 前記最適の調整ベクトル方向が第4四分面である場合、最適の調整ベクトルを決定する過程は、
    前記SAD(δ’)がSAD(δ’+(1,0))及びSAD(δ’+(0,1))より小さいと、前記δ’を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(0,1))がSAD(δ’)及びSAD(1,1)より小さいと、前記δ’+(0,1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(1,1))がSAD(δ’)及びSAD(δ’+(0,1))より小さいと、前記δ’+(1,1)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(1,0))がSAD(δ’)及びSAD(δ’+(1,1))より小さいと、前記δ’+(1,0)を最適の調整ベクトル(δ)として決定する過程と、
    前記SAD(δ’+(1,1))がSAD(δ’)及びSAD(δ’+(1,0))より小さいと、前記δ’+(1,1)を最適の調整ベクトル(δ)として決定する過程と
    を包含することを特徴とする請求項1に記載のデジタル動画像トランスコーディングのためのモーションベクトル推定方法。
JP2004339676A 2003-11-24 2004-11-24 デジタル動画像トランスコーディングのためのモーションベクトル推定方法 Expired - Fee Related JP3955297B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030083745A KR100595616B1 (ko) 2003-11-24 2003-11-24 디지털 동영상 트랜스코딩을 위한 움직임 추정 방법

Publications (2)

Publication Number Publication Date
JP2005160100A JP2005160100A (ja) 2005-06-16
JP3955297B2 true JP3955297B2 (ja) 2007-08-08

Family

ID=34431818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004339676A Expired - Fee Related JP3955297B2 (ja) 2003-11-24 2004-11-24 デジタル動画像トランスコーディングのためのモーションベクトル推定方法

Country Status (5)

Country Link
US (1) US7720155B2 (ja)
EP (1) EP1534017B1 (ja)
JP (1) JP3955297B2 (ja)
KR (1) KR100595616B1 (ja)
CN (1) CN100367801C (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742525B1 (en) * 2002-07-14 2010-06-22 Apple Inc. Adaptive motion estimation
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
US20070064809A1 (en) * 2005-09-14 2007-03-22 Tsuyoshi Watanabe Coding method for coding moving images
KR100891768B1 (ko) * 2007-05-02 2009-04-07 삼성전자주식회사 모션 벡터 탐색 방법
WO2009045178A1 (en) * 2007-10-05 2009-04-09 Agency For Science, Technology And Research A method of transcoding a data stream and a data transcoder
US8498493B1 (en) * 2009-06-02 2013-07-30 Imagination Technologies Limited Directional cross hair search system and method for determining a preferred motion vector
US20110138018A1 (en) * 2009-12-04 2011-06-09 Qualcomm Incorporated Mobile media server
EP2424243B1 (en) * 2010-08-31 2017-04-05 OCT Circuit Technologies International Limited Motion estimation using integral projection
US8495087B2 (en) * 2011-02-22 2013-07-23 International Business Machines Corporation Aggregate contribution of iceberg queries
KR102131903B1 (ko) * 2015-10-21 2020-07-08 삼성전자주식회사 모션 벡터 추정 방법 및 모션 벡터 추정 장치
CN110351571B (zh) * 2019-07-05 2020-09-25 清华大学 基于深度强化学习的直播视频云转码资源分配与调度方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014181A (en) 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
CN1156164C (zh) * 1997-11-27 2004-06-30 英国电讯有限公司 代码转换器及其方法
US7624337B2 (en) * 2000-07-24 2009-11-24 Vmark, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
KR20020010171A (ko) 2000-07-27 2002-02-04 오길록 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
KR100460950B1 (ko) * 2001-12-18 2004-12-09 삼성전자주식회사 트랜스코더 및 트랜스코딩 방법

Also Published As

Publication number Publication date
KR20050049966A (ko) 2005-05-27
CN100367801C (zh) 2008-02-06
KR100595616B1 (ko) 2006-06-30
US20050111555A1 (en) 2005-05-26
EP1534017A2 (en) 2005-05-25
EP1534017A3 (en) 2006-10-18
EP1534017B1 (en) 2016-01-20
JP2005160100A (ja) 2005-06-16
CN1622630A (zh) 2005-06-01
US7720155B2 (en) 2010-05-18

Similar Documents

Publication Publication Date Title
AU2002324085C1 (en) Method for sub-pixel value interpolation
US7983493B2 (en) Adaptive overlapped block matching for accurate motion compensation
JP3431331B2 (ja) 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
US8571106B2 (en) Digital video compression acceleration based on motion vectors produced by cameras
US7899120B2 (en) Method for selecting output motion vector based on motion vector refinement and transcoder using the same
US6785333B2 (en) Motion vector coding method
JP4847076B2 (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
US20060062299A1 (en) Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks
JP2006041943A (ja) 動きベクトル検出・補償装置
JP2002534014A (ja) ビデオ用途における増加されたビデオ再生フレームレート
JP4518111B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP3955297B2 (ja) デジタル動画像トランスコーディングのためのモーションベクトル推定方法
JP2007515115A (ja) 内挿される画素値の計算方法の改良
JPH1066033A (ja) 動画像符号化ビットストリーム変換装置
US6912296B2 (en) Motion estimation method
JP4083159B2 (ja) デジタル動画像のモーションベクトル設定方法
EP1484925A2 (en) Method and device for compressing image data
JP2004056461A (ja) 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
Nakajima et al. Motion vector re-estimation for fast video transcoding from MPEG-2 to MPEG-4
JP3625771B2 (ja) 動き推定方法
Sugano et al. An efficient transcoding from MPEG-2 to MPEG-1
JP4118526B2 (ja) 画像符号化装置
Lei et al. Direct migration motion estimation and mode decision to decoder for a low-complexity decoder Wyner–Ziv video coding
JP4723541B2 (ja) 画像符号化装置
JP4603019B2 (ja) 画像符号化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061004

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070501

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees