JP4883029B2 - Motion vector detection circuit, motion vector detection device, and integrated circuit - Google Patents
Motion vector detection circuit, motion vector detection device, and integrated circuit Download PDFInfo
- Publication number
- JP4883029B2 JP4883029B2 JP2008054417A JP2008054417A JP4883029B2 JP 4883029 B2 JP4883029 B2 JP 4883029B2 JP 2008054417 A JP2008054417 A JP 2008054417A JP 2008054417 A JP2008054417 A JP 2008054417A JP 4883029 B2 JP4883029 B2 JP 4883029B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- estimated
- reference block
- correlation value
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、画像信号から動きベクトルを検出する技術に関し、特に、動きベクトルの検出精度を向上させる動きベクトル検出回路、動きベクトル検出装置、当該機能を組み込んだ集積回路に関する。 The present invention relates to a technique for detecting a motion vector from an image signal, and more particularly to a motion vector detection circuit, a motion vector detection device, and an integrated circuit incorporating the function, which improve motion vector detection accuracy.
従来の画像信号の動きベクトル検出装置としては、ブロックマッチング法に基づいた構成がある。すなわち、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域(候補ブロック)との相関度をそれぞれ評価して、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとするものである。 As a conventional motion vector detection device for an image signal, there is a configuration based on a block matching method. That is, the target image is divided into a plurality of blocks, and the degree of correlation between the target block whose motion is to be detected and a plurality of candidate regions (candidate blocks) within a predetermined search range in the frame before or after the target image is calculated. Each of the candidate blocks is evaluated to determine a candidate block having the highest correlation, and the displacement between the candidate block and the target block is used as a motion vector.
また、上述の複数の候補ブロックの一つとして、その注目ブロックを含むライン方向のブロック、あるいは、その注目ブロックを含むカラム方向のブロックにおいて、検出された動きベクトルの平均結果を使用することにより、検出性能を向上する構成もある。 Further, as one of the plurality of candidate blocks described above, by using the average result of the detected motion vectors in the block in the line direction including the target block or the block in the column direction including the target block, Some configurations improve detection performance.
また、その注目ブロックが画像の境界ブロックである場合に、その注目ブロックを含むライン方向のブロック、あるいは、その注目ブロックを含むカラム方向のブロックにおいて、検出された動きベクトルの代表値を割り当てることにより、検出性能を向上する構成もある。
画像信号の動きベクトル検出において、本来検出されるべき正しい動きベクトルが効果的に検出できないという問題がある。例えば、物体と背景が違う方向に動くような、動きの異なるものが複数混在する画像において、その複数存在する動きにより、動く物体の境界領域等において上述の問題が発生しやすい。 In motion vector detection of an image signal, there is a problem that a correct motion vector that should be detected cannot be detected effectively. For example, in an image in which a plurality of objects with different motions are mixed such that the object and the background move in different directions, the above-described problem is likely to occur in the boundary region of the moving object due to the plurality of motions.
本発明は、上述した従来の課題を解決するもので、正しい動きベクトルを効果的に検出することを目的とする。 An object of the present invention is to solve the above-described conventional problems and to effectively detect a correct motion vector.
上述した目的を達成するために、本発明は、入力される画像信号から動きベクトルを検出する動きベクトル検出回路において、画像信号を構成する表示画の部分領域である基準ブロックの動きベクトルを推定した推定動きベクトルと、推定動きベクトルの指し示す推定ブロックと該基準ブロックとの相関値を算出する動きベクトル推定部と、動きベクトル推定部を第1の基準ブロックに適用した際に算出される第1の推定動きベクトルに応じて第2の基準ブロックを算出する動きベクトル変換部と、前記動きベクトル推定部を第2の基準ブロックに適用した際に算出される相関値である第2の相関値を取得する相関値計算部と、前記動きベクトル推定部を第1の基準ブロックに適用した際に算出される第1の相関値と前記第2の相関値に応じて、第2の基準ブロックの動きベクトルを生成して出力する動きベクトル決定部とを備えることを特徴とする。 To achieve the above object, the present invention estimates a motion vector of a reference block, which is a partial region of a display image constituting an image signal, in a motion vector detection circuit that detects a motion vector from an input image signal. An estimated motion vector, a motion vector estimator that calculates a correlation value between the estimated block indicated by the estimated motion vector and the reference block, and a first calculated when the motion vector estimator is applied to the first reference block A motion vector conversion unit that calculates a second reference block according to the estimated motion vector, and a second correlation value that is a correlation value calculated when the motion vector estimation unit is applied to the second reference block Corresponding to the first correlation value and the second correlation value calculated when the correlation value calculation unit and the motion vector estimation unit are applied to the first reference block , Characterized in that it comprises a motion vector determination unit that generates and outputs a motion vector of a second reference block.
なお、動きベクトル変換部は、第1の推定動きベクトルと略同一方向又は略反対方向をもつベクトルが指し示す位置のブロックを第2の基準ブロックすることや、さらに第1の推定動きベクトルと同じ絶対値の大きさを持つベクトルが指し示す位置のブロックを第2の基準ブロックとしてもよい。 Note that the motion vector conversion unit performs a second reference block on a block at a position indicated by a vector having substantially the same direction or a substantially opposite direction as the first estimated motion vector, and further the same absolute value as the first estimated motion vector. The block at the position indicated by the vector having the magnitude of the value may be used as the second reference block.
また、動きベクトル変換部は、一つの第1の推定動きベクトルに対して複数の第2の基準ブロックを算出するものであってもよい。 In addition, the motion vector conversion unit may calculate a plurality of second reference blocks for one first estimated motion vector.
さらに、動きベクトル変換部は、第1の推定動きベクトルにある大きさのベクトルを加算したベクトルや、第1の推定動きベクトルをある大きさの値で乗算したベクトルが指し示す位置のブロックを第2の基準ブロックとしてもよい。 Further, the motion vector conversion unit outputs a block at a position indicated by a vector obtained by adding a vector having a certain size to the first estimated motion vector or a vector obtained by multiplying the first estimated motion vector by a certain value. The reference block may be used.
また、動きベクトル決定部は、第1の相関値とある閾値を比較して動きベクトルを決定してもよいし、反対に第2の相関値とある閾値を比較して動きベクトルを決定してもよい。 In addition, the motion vector determination unit may determine a motion vector by comparing the first correlation value with a certain threshold value, or conversely, determine a motion vector by comparing the second correlation value with a certain threshold value. Also good.
本発明は、電気回路又は電子回路のような装置等の一部の機能であるモジュールや、当該機能を目的とした動きベクトル検出装置のような処理装置、又は当該機能を組み込んだ集積回路といったハードウェア構成だけでなく、CPU、MPU,DSP等の演算装置上で動作するソフトウェアとしても実現可能である。 The present invention relates to a module that is a partial function of a device such as an electric circuit or an electronic circuit, a processing device such as a motion vector detection device for the function, or a hardware such as an integrated circuit incorporating the function. It can be realized not only as a hardware configuration but also as software operating on an arithmetic device such as a CPU, MPU, DSP, or the like.
本発明の目的は、動きベクトルをより高精度に検出することである。 An object of the present invention is to detect a motion vector with higher accuracy.
以下、本発明の実施の形態に関する例について、図面を参照しながら説明する。なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
(第1の実施の形態)
図1は、第1の実施の形態の動きベクトル検出装置の構成を示す機能ブロック図である。第1の実施の形態の動きベクトル検出装置は、動画又は静止画等の画像信号としてRGB信号を入力し、動きベクトルを出力するものである。動きベクトル検出装置100は、YUV変換部101、動きベクトル推定部102、動きベクトル変換部103、相関値計算部104、動きベクトル決定部105を備える。
Hereinafter, examples relating to embodiments of the present invention will be described with reference to the drawings. In addition, all the numbers described in the following are illustrated in order to specifically explain the present invention, and the present invention is not limited to the illustrated numbers.
(First embodiment)
FIG. 1 is a functional block diagram illustrating a configuration of the motion vector detection device according to the first embodiment. The motion vector detection apparatus according to the first embodiment inputs an RGB signal as an image signal such as a moving image or a still image, and outputs a motion vector. The motion
YUV変換部101は、入力されるRGB色空間の画像信号をYUV色空間の画像信号に変換する。YUV変換部101は入力される画像信号と後段の処理に入力される信号との整合性を保つために挿入されるものであり、動きベクトル検出装置100と動きベクトル推定部102の入力が共通である場合には、必ずしも必要ではない。また、外部から入力される信号と後段で必要とされる信号の組み合わせによりこの部分の変換機能は適宜変更が必要である。
The
動きベクトル推定部102は、YUV色空間信号で入力される画像信号から動きベクトルを推定するものである。具体的構成を図2に示す。
The motion
ブロック分割部201で、入力された画像信号のフレーム画像(表示画)を複数の領域(ブロック)に分割する(図3)。基準ブロック決定部202は、分割されたブロックからフレーム画像のすべての領域を網羅するように基準ブロックを順に設定する。ここで、基準ブロックとは、動きベクトルを推定又は検出する対象となる際の動きベクトルの起点となるブロックを意味する。
The block dividing
候補ブロック決定部203は、基準ブロック決定部202で基準ブロックに指定されたブロックをそれぞれ起点とした推定動きベクトルの候補となる所定の探索範囲内の複数のブロック(候補ブロック)を決定する。
ここで、所定の探索範囲の設定方法の一つとしてフレーム全体を探索範囲とすることもできる。この場合、フレームに含まれるすべてのブロックについて探索をおこなうこととなり(全探索)、算出される動きベクトルの信頼性は向上する。反対に、フレームの一部のみを探索範囲(部分探索)とすることもできる。この場合は、計算量を相対的に軽減させることが可能である。
The candidate
Here, as one method for setting a predetermined search range, the entire frame can be set as the search range. In this case, all blocks included in the frame are searched (full search), and the reliability of the calculated motion vector is improved. On the contrary, only a part of the frame can be set as a search range (partial search). In this case, the calculation amount can be relatively reduced.
また、上記の探索範囲は、基準ブロックが含まれるフレームに対して、時間軸上の前および/または後の1つ以上のフレームにわたる所定の範囲に設定される(図3)。 The search range is set to a predetermined range over one or more frames before and / or after on the time axis with respect to the frame including the reference block (FIG. 3).
候補ブロック相関値計算部204は、基準ブロックと個々の候補ブロック間の相関値を全ての候補ブロックについてそれぞれ求める。相関値は、基準ブロックと候補ブロックのそれぞれに対応する画素同士の差分絶対値の総和、あるいは、それぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度合いが大きい程、示す値が小さくなるものでよい。
The candidate block correlation
差分値の計算は、YUVの画像信号の場合の各画素はY、Cb,Crそれぞれの信号から構成されているため(図4)、全ての成分(Y、Cb、Cr)について差分を求めてもよいが、この場合には計算量が増大する。より高速に計算するには、画像構成に影響度の大きい輝度(Y)信号のみに着目して相関値を算出してもよい。この場合は、Cb、Crについての計算を省略することができ、高速に相関値を計算することができる。 In the calculation of the difference value, since each pixel in the case of a YUV image signal is composed of Y, Cb, and Cr signals (FIG. 4), the difference is obtained for all components (Y, Cb, and Cr). However, in this case, the calculation amount increases. In order to calculate at higher speed, the correlation value may be calculated by paying attention only to the luminance (Y) signal having a large influence on the image configuration. In this case, the calculation for Cb and Cr can be omitted, and the correlation value can be calculated at high speed.
なお、図4に示す場合において、YUV全ての画素を考慮した際における相関値は、差分絶対値総和は77となり、差分二乗総和は411となる。また、輝度信号(Y)のみを考慮した場合の相関値は、差分絶対値総和が52、差分二乗総和は236となる。 In the case shown in FIG. 4, the correlation value when considering all the pixels of YUV is 77 for the absolute difference total and 411 for the square difference. The correlation value when only the luminance signal (Y) is considered is 52 for the sum of absolute differences and 236 for the sum of squared differences.
推定動きベクトル決定部205は、候補ブロック相関値計算部204で計算されたそれぞれの候補ブロックの相関値から最も相関が高い(相関値の小さい)ブロックを基準ブロックの移動先ブロック(推定ブロック)とする。そして、推定動きベクトル、推定動きベクトル相関値、基準位置を出力する。推定動きベクトルは、基準ブロックを起点、推定ブロックを終点とするものである。推定動きベクトル相関値は、該推定動きベクトルで示される基準ブロックと推定ブロック間の相関値である。基準位置は、基準ブロックがフレーム上で配置されている位置である。
The estimated motion
動きベクトル推定部102は、ブロック分割部201で分割された全てのブロックを順に基準ブロックとし、それぞれ基準ブロックについて推定動きベクトルと他のブロックとの相関値を計算し出力する。
The motion
ここで、
動きベクトル変換部103は、動きベクトル推定部102が算出した推定動きベクトルに基づいて、入力された推定動きベクトルを変換して別の新たな動きベクトル(変換ベクトル)を生成し対象ブロックを参照するものである。
here,
The motion
動きベクトルの変換の方法として幾つかの考え方がある。例えば上記のような動きベクトル推定部102における推定動きベクトルの算出に関しては、画面全体が一様に動く場合、画面を構成する主要な被写体等が動く場合など、画像内の比較的大きな領域が同様な動き状態となる場合には、その基準ブロックの周辺のブロックが、基準ブロックと同様な動きベクトルを持つ可能性が高いこと考えられる。
There are several ways to convert motion vectors. For example, regarding the calculation of the estimated motion vector in the motion
また、画像の動きに関して、画面全体あるいは被写体等の動きにおいての方向の一様性を考慮すれば、基準ブロックの周辺のブロックのうち、基準ブロックを起点として、動きベクトル推定部102により推定された推定動きベクトルと略同一方向に位置するブロックについても、基準ブロックと類似した動きベクトル値となる可能性が高いことが考えられる。
In addition, regarding the movement of the image, if the uniformity of the direction in the movement of the entire screen or the subject is taken into consideration, the motion
そこで、動きベクトル変換部103は、上記動きベクトル推定部102の出力である、推定動きベクトル値に対して、そのベクトルが持つ方向に関する変換を主として行う。
Therefore, the motion
具体的な変換内容としては、入力された動きベクトルに対して、そのベクトルと反対向きでかつ大きさのほぼ等しい動きベクトルを算出する、あるいは、そのベクトルと同じ向きでかつ大きさのほぼ等しい動きベクトルを算出するなどである。要するに、入力された動きベクトルが持つ方向と略同一方向又は略反対方向に大きさの等しいベクトルを算出するものである。 As specific conversion contents, for the input motion vector, a motion vector opposite in direction to the vector and approximately equal in size is calculated, or motion in the same direction as the vector and approximately equal in size. Such as calculating a vector. In short, a vector having the same magnitude in the direction substantially the same as or substantially opposite to the direction of the input motion vector is calculated.
動きベクトル変換部103における変換の内容を、動きベクトル推定部102の推定動きベクトルに対して、そのベクトルと反対向きでかつ大きさの等しい動きベクトル値にする場合と、そのベクトルと同じ向きでかつ大きさの等しい動きベクトル値にする場合とでは、基準ブロックにおいて検出された動きに関して、その動きの前方向への推測を行うか、あるいは後方向への推測を行うか、とを制御することができる。
The content of the conversion in the motion
また、入力された動きベクトルと、略同一方向の予め定められた大きさを持つベクトルとを加算して得られるベクトルを算出する、あるいは、入力された動きベクトルに、予め定められた乗算値を乗算して得られるベクトルを算出するなどの変換もある。 Also, a vector obtained by adding the input motion vector and a vector having a predetermined magnitude in substantially the same direction is calculated, or a predetermined multiplication value is added to the input motion vector. There is also conversion such as calculating a vector obtained by multiplication.
ここで、動きベクトル変換部103において、変換されたベクトルである変換ベクトルにより特定されるブロックを対象ブロックとすると、動きベクトル変換部103は、変換ベクトルの起点となる基準ブロックと、変換ベクトルの終点となる対象ブロックの組み合わせを新たに生成する(組み合わせる)ものと言い換えることもできる。
Here, in the motion
ベクトル変換部103における変換の内容を、動きベクトル推定部102の推定動きベクトルと、略同一方向又は略反対方向の予め定められた大きさを持つベクトルとを加算して、その推定動きベクトルを変化させるような算出とした場合は、基準ブロックと対象ブロックとの変位距離を、基準ブロックにおいて検出された推定動きベクトルに対して独立的に増減させる制御とすることができる。
The content of the conversion in the
また、ベクトル変換部103における変換の内容を、動きベクトル推定部102の推定動きベクトルと、予め定められた乗算値とを乗算して、その大きさを変化させるような算出とした場合は、基準ブロックと対象ブロックとの変位距離を、基準ブロックにおいて検出された推定動きベクトルに対して従属的に増減させる制御とすることができる。
In addition, when the content of the conversion in the
このような、動きベクトル推定部102および動きベクトル変換部103の出力である推定動きベクトル、変換された動きベクトルは、画像信号の水平方向および垂直方向の成分を有するものであり、それらの成分は有限な値である。
Such an estimated motion vector output from the motion
したがって、現フレーム内での基準ブロックの位置(基準位置)に対して、動きベクトル変換部103で変換されたベクトル値を設定すると、基準ブロック位置を起点として、そのベクトル値の方向(略正方向又は略反対方向)および大きさに対応した新たなブロック(対象ブロック)の位置を決定することができる(図5)。この対象ブロックは、基準ブロックの周辺において、当該基準ブロックと同様な動きベクトルを取る可能性が高いブロックである。
Therefore, when the vector value converted by the motion
また、対象ブロックは一つの基準ブロックに対して一つに限定されるものではない。例えば、画面上において基準ブロックの位置を起点とし、ある対象ブロックの位置を終点とするベクトルが通過する他のブロックについても、同様に対象ブロックとすることができる(図6)。この場合は、基準ブロックが複数の対象ブロックへの動きベクトルを持つ可能性があることとなる。また、反対にすべての基準ブロックに対して、一つも対象ブロックが割当てられないとすることもできる。この場合は、当該基準ブロックが画面内で移動する動き先がないこととなる。 Further, the target block is not limited to one for one reference block. For example, other blocks through which a vector whose starting point is the position of the reference block on the screen and whose end point is the position of a certain target block can be similarly set as the target block (FIG. 6). In this case, the reference block may have motion vectors for a plurality of target blocks. Conversely, no target block can be assigned to all the reference blocks. In this case, there is no movement destination where the reference block moves within the screen.
なお、上述では、推定動きベクトルに略同一方向の予め定められた大きさのベクトルを加算したが、さらに、入力された画像信号の特徴、例えば、画面全体の動きの方向や、動きの大きさ、または画面内での明確な境界が存在する位置等により、加算するベクトルの大きさを動的に変化させてもよい。 In the above description, a vector having a predetermined magnitude in substantially the same direction is added to the estimated motion vector. However, the characteristics of the input image signal, for example, the direction of movement of the entire screen and the magnitude of the movement are also included. Alternatively, the size of the vector to be added may be dynamically changed depending on the position where a clear boundary exists in the screen.
同様に、推定動きベクトルに予め定められた乗算値を乗算したが、これも入力される画像信号の特徴を用いることで動的に変化させてもよい。その場合には、入力された画像信号により適切な動きベクトルの検出が可能となる。 Similarly, the estimated motion vector is multiplied by a predetermined multiplication value, but this may also be dynamically changed by using the characteristics of the input image signal. In that case, an appropriate motion vector can be detected from the input image signal.
相関値計算部104は、動きベクトル変換部103から算出される対象ブロックを基準ブロックとした際の動きベクトル推定部102が算出する相関値を算出する(図5)。つまり相関値計算部104は、動きベクトル推定部102が対象ブロックについて算出する相関値と同じものを算出するものである。
The correlation
なお、動きベクトル推定部102においてフレームを構成するすべてのブロックについて相関値が計算されていれば、相関値計算部104は、動きベクトル推定部102で行った同じ計算を繰り返さなくても、その計算結果を利用(取得)することで当該対象ブロックが本来持つ相関値を得ることも可能である。
Note that if the correlation value is calculated for all the blocks constituting the frame in the motion
また、別の方法として、相関値計算部104が、動きベクトル推定部102が算出した全てのブロックについての相関値を継承/保持し、そこから対象ブロックの相関値を選択する構成とすることも可能である。
As another method, the correlation
これら動きベクトル推定部102および相関値計算部104における相関値は、基準ブロック、対象ブロックにおいて検出されたそれぞれの動きベクトルに対する相関度合い(関連性の度合い)を示すものであり、相関値の大きさが小さい程、動きベクトルが指し示すブロックとの相関度が高いことを表わし、算出された動きベクトル値の確からしさ、すなわち信頼性が高いことを示すものである。
The correlation values in the motion
次に、動きベクトル決定部105は、基準ブロックについて算出された推定動きベクトルと相関値、及び、対象ブロックについて算出された推定動きベクトルと相関値(図5)を取込む。動きベクトル決定部105は、この二つの相関値を利用して対象ブロックの動きベクトルを決定する。
Next, the motion
具体的には動きベクトル推定部102で算出された基準ブロックの相関値と、相関値計算部104で算出された対象ブロックの相関値を用い、この両者を比較、又は他の閾値等を利用して動きベクトルを決定する。
Specifically, the correlation value of the reference block calculated by the motion
例えば、動きベクトル推定部102で算出された相関値(基準ブロックの相関値)が相関値計算部104で算出された相関値(対象ロックの相関値)より小さい場合、動きベクトル推定部102で算出された基準ブロックの推定動きベクトルを、対象ブロックの動きベクトルとして決定する。
For example, when the correlation value calculated by the motion vector estimation unit 102 (correlation value of the reference block) is smaller than the correlation value calculated by the correlation value calculation unit 104 (correlation value of the target lock), it is calculated by the motion
反対に、対象ブロックの相関値が基準ブロックの相関値より小さい場合は対象ブロックの推定動きベクトルの信頼性が高いと判断し、当該推定動きベクトルを当該ブロックにおける動きベクトルとして決定する。 On the other hand, if the correlation value of the target block is smaller than the correlation value of the reference block, it is determined that the estimated motion vector of the target block is highly reliable, and the estimated motion vector is determined as a motion vector in the block.
なお、基準ブロックの相関値と対象ブロックの相関値が等しい場合、若しくは、両者の差が一定範囲内に収まる場合は、予め定めておいた一方のベクトルを動きベクトルとして決定する。ここで、一定の範囲とは、例えば
(ブロックを構成する画素の数)×(各画素が取りえる値の範囲)×許容範囲(%)
で示されるような計算によって定めることもできる。
When the correlation value of the reference block is equal to the correlation value of the target block, or when the difference between the two is within a certain range, one of the predetermined vectors is determined as the motion vector. Here, the certain range is, for example, (number of pixels constituting a block) × (range of values that each pixel can take) × allowable range (%)
It can also be determined by calculation as shown in.
別の決定方法として、基準ブロックの相関値と予め決定された閾値とを比較し、相関値が閾値よりも小さい場合に基準ブロックの推定動きベクトルを採用し、閾値と等しい場合または大きい場合は対象ブロックの推定動きベクトルを採用する方法もある。この方法によれば、基準ブロックの相関値が、対象ブロックの相関値よりも小さい場合であっても、基準ブロックの相関値が概して大きい場合には、基準ブロックの推定動きベクトルの信頼性が低いとして、対象ブロックの推定動きベクトルを優先的に採用することができる。 As another determination method, the correlation value of the reference block is compared with a predetermined threshold, and when the correlation value is smaller than the threshold, the estimated motion vector of the reference block is adopted, and when it is equal to or larger than the threshold, the target There is also a method of using an estimated motion vector of a block. According to this method, even when the correlation value of the reference block is smaller than the correlation value of the target block, the reliability of the estimated motion vector of the reference block is low when the correlation value of the reference block is generally large. As above, the estimated motion vector of the target block can be preferentially adopted.
反対に、対象ブロックの相関値と、予め決定された閾値とを比較し、相関値が閾値よりも大きい場合に、基準ブロックの推定動きベクトルを採用し、閾値と等しい又は小さい場合は対象ブロックの推定動きベクトルを採用する方法もある。この方法によれば、基準ブロックの相関値が、対象ブロックの相関値よりも小さい場合であって、対象ブロックの相関値が一定の閾値よりも小さい場合には、対象ブロックの推定動きベクトルの信頼性が高いとして、当該推定動きベクトルを優先的に採用することができる。 On the contrary, the correlation value of the target block is compared with a predetermined threshold value, and when the correlation value is larger than the threshold value, the estimated motion vector of the reference block is adopted. There is also a method that employs an estimated motion vector. According to this method, when the correlation value of the reference block is smaller than the correlation value of the target block and the correlation value of the target block is smaller than a certain threshold, the reliability of the estimated motion vector of the target block is determined. Therefore, the estimated motion vector can be preferentially adopted.
また、対象ブロックの相関値が最低値及び最大値で定められた範囲に含まれる場合に対象ブロックの推定動きベクトルを採用し、これ以外は基準ブロックの推定動きベクトルを採用することもできる。この場合には、対象ブロックの相関値の信頼性が高いと評価できる範囲は変換された対象ブロックの推定動きベクトルを優先的に採用することができる。 In addition, when the correlation value of the target block is included in the range determined by the minimum value and the maximum value, the estimated motion vector of the target block can be adopted, and otherwise, the estimated motion vector of the reference block can be adopted. In this case, the estimated motion vector of the converted target block can be preferentially adopted as the range in which the correlation value of the target block can be evaluated as having high reliability.
さらに、基準ブロックの推定動きベクトルと対象ブロックの推定動きベクトルのいずれかのみを選択するだけでなく、これらの複数のベクトルから新たなベクトルを算出してもよい。例えば、複数のベクトルが持つそれぞれの相関値の信頼性の大きさに比例してそれぞれのベクトルを加算して新たなベクトルを生成することも出来る。 Furthermore, not only the estimated motion vector of the reference block and the estimated motion vector of the target block may be selected, but a new vector may be calculated from the plurality of vectors. For example, a new vector can be generated by adding each vector in proportion to the reliability of each correlation value of a plurality of vectors.
このように、基準ブロックについて推定した動きベクトルだけでなく、他のブロックの動きベクトルをも用いて算出された対象ブロックとしての推定動きベクトルを用いることで、より精度の高い動きベクトル値を効果的に検出することが可能となる。 In this way, by using the estimated motion vector as the target block calculated using not only the motion vector estimated for the reference block but also the motion vector of another block, a more accurate motion vector value can be effectively obtained. Can be detected.
本発明の上記の特徴を活かした利用には、動きベクトルを使用して動き補償処理される画像信号の圧縮符号化、および補間画像の生成等において、高品質で高効率の処理を提供することが可能となる。 To utilize the above features of the present invention, to provide high-quality and high-efficiency processing in compression coding of an image signal subjected to motion compensation processing using a motion vector and generation of an interpolated image. Is possible.
また、動きベクトル推定部102、相関値計算部104は、YUV信号を入力とし、輝度信号(Y)により動きベクトルを推定したが、HSV(色相、彩度、明度)色空間の画像信号を入力し、これらの要素の少なくとも一つを用いて動きベクトルを推定することも可能である。この場合には、輝度では検出しにくい要素(色相、彩度、明度等)の変化で動きベクトルを推定することが可能となる。
The motion
また、相関値計算部104では、動きベクトル推定部102で算出した相関値を利用する方法を記載したが、これ以外の方法も可能である。例えば、相関値計算部104で再度計算することも可能であり、その際には、動きベクトル推定部102とは異なる計算方法で相関値を計算することも可能である。動きベクトル推定部102での相関値計算が輝度信号のみを利用している場合には、相関値計算部104では、すべての画素要素を用いて計算する方法がある。こうすることで、動きベクトル推定部102とは異なる指標で相関値を算出するので、より高精度な動きベクトルの検出が可能となる。
Further, although the correlation
なお、本発明では基準ブロック、対象ブロックとして説明したが、基準ブロックを第1の基準ブロック、推定ブロックを第1の推定ブロック、対象ブロックを第2の基準ブロック、対象ブロックの推定ブロックを第2の推定ブロック、第1の基準ブロックの推定動きベクトルを第1の推定動きベクトル、第2の基準ブロックの推定動きベクトルを第2の推定動きベクトルとして本発明を理解することも可能である。
(第2の実施の形態)
本実施の形態と第1の実施の形態との相違点は、新たに代表ベクトル生成部706が追加されている点及び動きベクトル決定部705の内部処理が一部異なる点である。そのため、本実施の形態の説明においては、第1の実施の形態と相違する点のみについて記載し、その他の点については第1の実施の形態と同様であるため説明を省略する。
In the present invention, the reference block and the target block have been described. However, the reference block is the first reference block, the estimation block is the first estimation block, the target block is the second reference block, and the target block estimation block is the second. It is also possible to understand the present invention using the estimated motion vector of the first reference block as the first estimated motion vector and the estimated motion vector of the second reference block as the second estimated motion vector.
(Second Embodiment)
The difference between the present embodiment and the first embodiment is that a representative
字幕やテロップ等に代表されるような、画面上の特定の垂直位置における文字等の水平方向への動き、あるいは、映画のエンドロール等のような、画面上の特定の水平位置における文字等の垂直方向への動きがある画像の場合において、基準ブロックと画面上で同じ垂直位置にある他のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある他のブロック、基準ブロックとその周辺の位置にあるブロックについては推定された動きベクトルが同様または類似したものになる可能性が高いことが容易に推測できる。 Vertical movement of characters at a specific horizontal position on the screen, such as horizontal movement of characters at a specific vertical position on the screen, such as subtitles and telops, or an end roll of a movie In the case of an image with direction movement, the reference block and other blocks in the same vertical position on the screen, or the reference block and other blocks in the same horizontal position on the screen, the reference block and its surrounding positions It can be easily estimated that there is a high possibility that the estimated motion vector is the same or similar for a block in
そこで、代表ベクトル生成部706は上述の特性を活かして動きベクトルを算出するものである。
Therefore, the representative
代表ベクトル生成部706は、動きベクトル推定部102が算出した推定動きベクトルとその相関値を入力とする。そして、基準ブロックの周辺の複数のブロック、あるいは、基準ブロックと画面上で同じ垂直位置にある複数のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある複数のブロックについての動きベクトル値に対して、平均値算出に代表される統計処理を実施し、基準ブロックの周辺の複数のブロック、あるいは、基準ブロックと画面上で同じ垂直位置にある複数のブロック、あるいは、基準ブロックと画面上で同じ水平位置にある複数のブロックにおいて代表的な動きを示す、代表ベクトル値を生成する。
The representative
ここで、基準ブロックの周辺の複数のブロックの設定方法としては、例えば、基準ブロックに隣接するブロック、又はある点から一定の距離(範囲)に含まれるブロック、基準ブロックと一定の距離離れているブロック、あるいは基準ブロックと同じフレームにある全てのブロック等様々な方法がある。 Here, as a setting method of a plurality of blocks around the reference block, for example, a block adjacent to the reference block, a block included in a certain distance (range) from a certain point, or a certain distance from the reference block There are various methods such as a block or all blocks in the same frame as the reference block.
代表ベクトル生成部706の構成例を図8に示す。代表ベクトル生成部706は、動きベクトル推定部102から出力された推定動きベクトル相関値、推定動きベクトル、基準位置を入力とする。切り替え部801は入力されたこれらの情報に基づいて、当該基準位置(基準ブロック)において、代表ベクトルを生成すべきか否かを判断する。
A configuration example of the representative
代表ベクトル生成の可否判断は、例えば、基準ブロックの表示画面上での位置が画面端に該当するか否かで判断することができる。画面端は、動きベクトルの算出が比較的困難なため、代表ベクトルを動きベクトルに利用することで動きベクトルを得ることが可能となる。 For example, whether or not the representative vector can be generated can be determined based on whether or not the position of the reference block on the display screen corresponds to the screen edge. Since it is relatively difficult to calculate a motion vector at the screen edge, a motion vector can be obtained by using a representative vector as a motion vector.
また、より高度に判断する場合には、入力される画像信号から論理的に画像の境界を検出し、当該境界付近において動きベクトルの算出に代表ベクトルを利用することができる。さらに、画像信号の内容から、字幕やテロップ等が表示されている位置、若しくは文字列が垂直方向に流れていく状況(例えば、映画のエンドロール等)等を検出して、動きベクトルの算出に代表ベクトルを利用することができる。切り替え部801は複数のブロックの推定動きベクトルに基づいて代表ベクトル生成の可否を判断する必要があるため、複数の推定動きベクトル及びその相関値を保持しておくバッファ(記憶領域)等を備えておいても良い。
In the case of more advanced determination, it is possible to logically detect an image boundary from an input image signal and use a representative vector for calculating a motion vector near the boundary. Furthermore, it is representative of motion vector calculation by detecting the position where subtitles, telops, etc. are displayed, or the situation where a character string flows in the vertical direction (for example, end roll of a movie, etc.) from the content of the image signal. Vectors can be used. Since the
代表ベクトルを生成しない場合は、入力されたこれらの情報をそのまま出力する。この場合、動きベクトル検出装置100は、第1の実施の形態と同様の内容となる。
When the representative vector is not generated, the input information is output as it is. In this case, the motion
切り替え部801において、代表ベクトルを生成する場合は、入力された情報を代表ベクトル算出部802へ送る。
When the
代表ベクトル算出部802は、入力される情報から代表ベクトルを生成する範囲、例えば、同じ水平位置に属するブロック、同じ垂直位置に属するブロック、又は基準ブロックの周囲のブロック等を特定する。そして、特定された範囲内の推定動きベクトルから加算平均等により代表ベクトルを生成する。
The representative
上述の処理により代表ベクトル生成部706は代表動きベクトルを出力する。
The representative
このように代表ベクトル生成部706で生成された代表ベクトルは、基準ブロック及び基準ブロックの周辺のブロックにおける、画像の動きの状態を表すものであり、基準ブロック及び基準ブロックの周辺のブロックについての動きベクトルとして適応が可能である。
Thus, the representative vector generated by the representative
また、字幕、テロップ等の画面の一部が一様に動くような状態において、動きベクトルの方向の一様性を考慮すれば、基準ブロックの周辺のブロックは、基準ブロックを起点として、代表ベクトル生成部706により生成された代表ベクトルと同じ方向にあるブロックについては、この代表ベクトルと同様の動きとなると考えることが可能である。
In addition, in the state where a part of the screen such as subtitles and telops moves uniformly, if the uniformity of the direction of the motion vector is taken into consideration, the blocks around the reference block start from the reference block as a representative vector. A block in the same direction as the representative vector generated by the
代表ベクトル生成部706が生成した代表ベクトルは、動きベクトル変換部103及び動きベクトル決定部705へ出力される。動きベクトル変換部103で第1の実施の形態と同様にそのベクトルが変換され、相関値計算部104で相関値が求められる。動きベクトル決定部805は代表ベクトルと変換された動きベクトルに応じて、動きベクトルを決定して出力する。
The representative vector generated by the representative
動きベクトル決定部705は、代表ベクトル生成部706からの代表動きベクトルと、動きベクトル変換部103及び相関値計算部104からの相関値に基づいて動きベクトルを決定する。
The motion
ここで第1の実施の形態と異なるのは、代表ベクトル生成部706からは代表動きベクトルのみが入力され相関値が入力されないことから、動きベクトル決定部705は、相関値計算部104からの相関値と予め決定した閾値とを比較していずれのベクトルを動きベクトルとして用いるかを決定する。閾値と相関値の比較方法については第1の実施の形態とおなじであるので説明を省略する。
Here, the difference from the first embodiment is that only the representative motion vector is input from the representative
なお、その他の部分の構成については、第1の実施の形態と同様であるため説明を省略する。 The configuration of other parts is the same as that of the first embodiment, and the description thereof is omitted.
以上より、代表ベクトル生成部706を追加することで、画面の動きに特徴のある場合、より高精度に動きベクトルの算出が可能となる。
As described above, by adding the representative
なお、上記いずれの実施の形態においても、入力される画像信号をフレーム単位で構成するものとして説明したが、本発明はこれに限定されるものではない。入力される画像信号はフィールド単位で構成しても同様に本発明を適用することは可能である。その際は、動きベクトル推定部が設定する所定の探索範囲は、基準ブロックを含むフィールドの前/後のすくなくとも一つ以上のフィールドが対象となる。 In any of the above embodiments, the input image signal has been described as being configured in units of frames, but the present invention is not limited to this. It is possible to apply the present invention in the same manner even if the input image signal is composed of field units. In that case, the predetermined search range set by the motion vector estimation unit is at least one or more fields before / after the field including the reference block.
なお、上記いずれの実施の形態においても、動きベクトル検出装置として説明を行ったが、本発明は当該実施態様に特定されるものではない。本発明は、上記の機能を電子回路、電気回路として実現可能である。また、当該電子回路を含んだ集積(IC化、半導体チップ化)した集積回路として具現化してもよい。さらに、当該発明をCPU上で動作するソフトウェアとして実現してもより。 In any of the above embodiments, the motion vector detection device has been described. However, the present invention is not limited to this embodiment. The present invention can realize the above functions as an electronic circuit or an electric circuit. Further, it may be embodied as an integrated circuit (integrated IC or semiconductor chip) including the electronic circuit. Furthermore, the present invention may be realized as software operating on a CPU.
ソフトウェアとして実現する場合には、ソフトウェアが実行されるハードウェアの構成例は図9で示される。例えば、入力されたアナログビデオ信号をビデオA/D変換でRGBのデジタル信号に変換し、CPU(DSP)に入力する。CPU(DSP)では、上述の実施の形態で示したような機能構成を備えるソフトウェアを実行することにより、動きベクトルを検出することができる。この際、動きベクトル推定部102や、相関値計算部104等で一時的に保持する必要のある前後のフレームデータや相関値のデータはCPU(DSP)に接続されるメモリに記録される。
When implemented as software, an example of the hardware configuration in which the software is executed is shown in FIG. For example, the input analog video signal is converted into an RGB digital signal by video A / D conversion and input to a CPU (DSP). The CPU (DSP) can detect a motion vector by executing software having a functional configuration as described in the above embodiment. At this time, previous and subsequent frame data and correlation value data that need to be temporarily stored in the motion
上述のいずれの実施の形態も本発明を説明するために例示したものであり、上述の実施の形態に制限するものではない。 Any of the above-described embodiments is illustrated for explaining the present invention, and is not limited to the above-described embodiment.
本発明は、動きベクトル検出回路および動きベクトル検出装置、およびこれらの機能を組み込んだ集積回路又はソフトウェアとしても実現可能であり、画像をデジタル圧縮するMPEGやH262の符号化技術や、表示装置におけるフレーム/フィールド補間技術に利用できる。 The present invention can also be realized as a motion vector detection circuit and a motion vector detection device, and an integrated circuit or software incorporating these functions. MPEG or H262 encoding technology for digitally compressing an image, or a frame in a display device / Can be used for field interpolation technology.
100 動きベクトル検出装置
101 YUV変換部
102 動きベクトル推定部
103 動きベクトル変換部
104 相関値計算部
105、705 動きベクトル決定部
201 ブロック分割部
202 基準ブロック決定部
203 候補ブロック決定部
204 候補ブロック相関値計算部
205 推定動きベクトル決定部
706 代表ベクトル生成部
801 切り替え部
802 代表ベクトル算出部
DESCRIPTION OF
Claims (10)
前記画像信号を構成する表示画の部分領域である第1の基準ブロックに対して、該第1の基準ブロックの動きを推定した第1の推定動きベクトルと、該第1の推定動きベクトルの指し示す第1の推定ブロックと該第1の基準ブロックとの相関の大きさを示す第1の相関値と、を算出する動きベクトル推定部と、
前記第1の推定動きベクトルと略同一方向又は略反対方向に、該推定動きベクトルの大きさを所定の方法で変換した変換ベクトルを算出する動きベクトル変換部と、
前記第1の基準ブロックに対して前記変換ベクトルを適用した場合に指し示される第2の基準ブロックに、前記動きベクトル推定部を適用した際に算出される第2の相関値を取得する相関値計算部と、
前記第1の相関値と前記第2の相関値とに基づいて、前記第1の推定動きベクトルと、前記第2の基準ブロックに前記動きベクトル推定部を適用した際に算出される第2の推定動きベクトルと、から前記第2の基準ブロックの動きベクトルを決定する動きベクトル決定部とを備えることを特徴とする動きベクトル検出回路。 In a motion vector detection circuit that detects a motion vector from an input image signal,
With respect to the first reference block is a display image of the partial area configuring the image signal, a first estimated motion vector estimating motion of the first reference block, pointed to the first estimated motion vector a motion vector estimation unit calculating a first correlation value indicating the magnitude of the correlation between the first estimation block and said first reference block, and
A motion vector conversion unit that calculates a conversion vector obtained by converting the size of the estimated motion vector in a predetermined method in a direction substantially the same as or substantially opposite to the first estimated motion vector ;
Correlation value for obtaining a second correlation value calculated when the motion vector estimation unit is applied to a second reference block indicated when the transformation vector is applied to the first reference block A calculation unit;
Based on the first correlation value and the second correlation value, and said first estimated motion vector, a second, which is calculated when applying the motion vector estimation unit in the second reference block A motion vector detection circuit comprising: an estimated motion vector; and a motion vector determination unit that determines a motion vector of the second reference block from the estimated motion vector .
請求項1に記載の動きベクトル検出回路。 The motion vector conversion unit calculates a conversion vector having substantially the same magnitude as the first estimated motion vector in a direction substantially the same as or substantially opposite to the first estimated motion vector ;
The motion vector detection circuit according to claim 1 .
請求項1に記載の動きベクトル検出回路。 The motion vector conversion unit calculates a conversion vector obtained by adding a predetermined magnitude to the first estimated motion vector in a direction substantially the same as or substantially opposite to the estimated motion vector ;
The motion vector detection circuit according to claim 1 .
請求項1に記載の動きベクトル検出回路。 The motion vector conversion unit calculates a conversion vector having a magnitude obtained by multiplying a magnitude of the first estimated motion vector by a predetermined value in a direction substantially the same as or substantially opposite to the first estimated motion vector. ,
The motion vector detection circuit according to claim 1 .
請求項1乃至4のいずれかに記載の動きベクトル検出回路。 The motion vector conversion unit calculates a plurality of conversion vectors for one first estimated motion vector .
The motion vector detection circuit according to claim 1 .
請求項1に記載の動きベクトル検出回路。 The motion vector determination unit determines and outputs the first estimated motion vector as a motion vector of the second reference block when the first correlation value is smaller than or equal to the second correlation value ;
The motion vector detection circuit according to claim 1 .
請求項1に記載の動きベクトル検出回路。 The motion vector determination unit determines the first estimated motion vector as a motion vector of the second reference block when the first correlation value is smaller than a threshold ;
The motion vector detection circuit according to claim 1 .
請求項1に記載の動きベクトル検出回路。 The motion vector determination unit determines the first estimated motion vector as a motion vector of the second reference block when the second correlation value is greater than a threshold ;
The motion vector detection circuit according to claim 1 .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008054417A JP4883029B2 (en) | 2008-03-05 | 2008-03-05 | Motion vector detection circuit, motion vector detection device, and integrated circuit |
US12/397,737 US20090225227A1 (en) | 2008-03-05 | 2009-03-04 | Motion vector detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008054417A JP4883029B2 (en) | 2008-03-05 | 2008-03-05 | Motion vector detection circuit, motion vector detection device, and integrated circuit |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009212884A JP2009212884A (en) | 2009-09-17 |
JP4883029B2 true JP4883029B2 (en) | 2012-02-22 |
Family
ID=41185598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008054417A Expired - Fee Related JP4883029B2 (en) | 2008-03-05 | 2008-03-05 | Motion vector detection circuit, motion vector detection device, and integrated circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4883029B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1472881B1 (en) * | 2002-01-17 | 2007-08-08 | Koninklijke Philips Electronics N.V. | Unit for and method of estimating a current motion vector |
JP3840129B2 (en) * | 2002-03-15 | 2006-11-01 | 株式会社東芝 | Motion vector detection method and apparatus, interpolation image generation method and apparatus, and image display system |
DE602004030993D1 (en) * | 2004-04-30 | 2011-02-24 | Panasonic Corp | Motion estimation using adaptive spatial refinement vectors |
-
2008
- 2008-03-05 JP JP2008054417A patent/JP4883029B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009212884A (en) | 2009-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8724022B2 (en) | Frame rate conversion using motion estimation and compensation | |
TWI455588B (en) | Bi-directional, local and global motion estimation based frame rate conversion | |
KR101135454B1 (en) | Temporal interpolation of a pixel on basis of occlusion detection | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
JP4564564B2 (en) | Moving picture reproducing apparatus, moving picture reproducing method, and moving picture reproducing program | |
US8503531B2 (en) | Image processing apparatus and method, recording medium, and program | |
JP2006041943A (en) | Motion vector detecting/compensating device | |
US20140375843A1 (en) | Image processing apparatus, image processing method, and program | |
WO2013100791A1 (en) | Method of and apparatus for scalable frame rate up-conversion | |
KR20050012766A (en) | Unit for and method of estimating a motion vector | |
US8509303B2 (en) | Video descriptor generation device | |
CN110855958A (en) | Image adjusting method and device, electronic equipment and storage medium | |
KR100855976B1 (en) | Frame interpolate device for estimating motion by separating static object and moving object and frame interpolate method using the device | |
JP2005341580A (en) | Method and apparatus for image interpolation system based on motion estimation and compensation | |
US20120274845A1 (en) | Image processing device and method, and program | |
US8379146B2 (en) | Deinterlacing method and apparatus for digital motion picture | |
US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
US20090141802A1 (en) | Motion vector detecting apparatus, motion vector detecting method, and program | |
US8305500B2 (en) | Method of block-based motion estimation | |
JP4883029B2 (en) | Motion vector detection circuit, motion vector detection device, and integrated circuit | |
JP5082933B2 (en) | Motion vector detection circuit, motion vector detection device, and integrated circuit | |
US20090225227A1 (en) | Motion vector detecting device | |
US20190005633A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP4608136B2 (en) | Motion vector and parallax vector detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101122 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20101214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |