JPH0759093A - Motion quantity detector and motion quantity detection method - Google Patents
Motion quantity detector and motion quantity detection methodInfo
- Publication number
- JPH0759093A JPH0759093A JP20503593A JP20503593A JPH0759093A JP H0759093 A JPH0759093 A JP H0759093A JP 20503593 A JP20503593 A JP 20503593A JP 20503593 A JP20503593 A JP 20503593A JP H0759093 A JPH0759093 A JP H0759093A
- Authority
- JP
- Japan
- Prior art keywords
- motion amount
- motion
- block
- image data
- matching method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ブロック化された時間
的に異なる２つのディジタル画像データから動き量を検
出する動き量検出装置及び動き量検出方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion amount detecting device and a motion amount detecting method for detecting a motion amount from two temporally different digital image data which are divided into blocks.
【０００２】[0002]
【従来の技術】従来より、画像の３次元信号処理が進む
につれて、動きベクトル、即ち画像中の物体の動きの方
向と大きさ（速さ）を用いて各種画像処理が行われるよ
うになり、例えば、画像の高能率符号化における動き補
償フレーム間符号化、フレーム間時間領域フィルタによ
るＴＶ雑音軽減装置における動きによるパラメータ制
御、気象衛星から連続画像による雲の速度の計測、道路
監視における速度測定などが動きベクトルを用いて行わ
れている。2. Description of the Related Art Conventionally, as three-dimensional signal processing of an image progresses, various image processings are performed using a motion vector, that is, a direction and size (speed) of movement of an object in the image. For example, motion-compensated interframe coding in high-efficiency image coding, parameter control by motion in a TV noise reduction device using an interframe time domain filter, cloud velocity measurement from a meteorological satellite using continuous images, speed measurement in road monitoring, etc. Is performed using motion vectors.
【０００３】この動画像の動き量を求める動き量検出方
法には、一般的にブロックマッチング法が用いられる。
このブロックマッチング法では、１つの画面を適当な数
画素から成るブロックに分割し、ブロック化した画像デ
ータと、この画像データが動いた領域を検索するための
上記画面と時間的に異なる画面の画像データがブロック
化されたサーチ領域との間で、所定の評価関数を用いて
画素単位で評価し、この評価値から最適値を求めること
により、２つのブロック化された画像データ間の動き量
を検出することができる。このブロックマッチング法に
より検出される動き量の検出精度は良い。A block matching method is generally used as a motion amount detecting method for obtaining the motion amount of the moving image.
In this block matching method, one screen is divided into blocks composed of a suitable number of pixels, and the image data of the block and the image of the screen different from the above screen for searching the area where the image data has moved are temporally separated. The amount of motion between two image data blocks is evaluated by evaluating each pixel with a search area in which the data is blocked using a predetermined evaluation function and obtaining an optimum value from this evaluation value. Can be detected. The detection accuracy of the motion amount detected by this block matching method is good.
【０００４】[0004]
【発明が解決しようとする課題】ところで、上記ブロッ
クマッチング法における画像の分解能は画素単位である
ので、上記ブロックマッチング法のみによって画素以下
の単位で動き量を求める場合には、評価関数の周辺の値
を用いて最適値を補間する等の処理が必要となる。例え
ば、評価値の最適値の周辺の８点の評価値を用いて線形
当てはめを行うことにより、画素以下の単位で最適値を
求めることができる。しかし、この最適値は線形により
簡略化されているので、このときの検出精度は、通常の
ブロックマッチング法による検出精度よりも劣る。By the way, since the resolution of an image in the block matching method is in units of pixels, when the amount of motion is calculated in units of pixels or less by only the block matching method, the amount of motion in the vicinity of the evaluation function is Processing such as interpolating the optimum value using the value is required. For example, by performing linear fitting using evaluation values at eight points around the optimum evaluation value, the optimum value can be obtained in units of pixels or less. However, since this optimum value is linearly simplified, the detection accuracy at this time is inferior to the detection accuracy by the normal block matching method.
【０００５】そこで、本発明は上述の実情に鑑み、検出
精度を低めずに、簡易に画素以下の単位の動き量を検出
することができる動き量検出装置及び動き量検出方法を
提供するものである。In view of the above situation, the present invention provides a motion amount detecting device and a motion amount detecting method capable of easily detecting a motion amount in units of pixels or less without lowering the detection accuracy. is there.
【０００６】[0006]
【課題を解決するための手段】本発明に係る動き量検出
装置は、入力された画像データのブロック化を行うブロ
ック化手段と、上記ブロック化手段によりブロック化さ
れた時間的に異なる２つの画像データのマッチングをと
ることにより評価を行い、画素単位での動き量を検出す
るブロックマッチング法動き量検出手段と、上記ブロッ
クマッチング法動き量検出手段により検出された動き量
に基づいて上記２つの画像データを勾配法を用いて画素
以下の単位の動き量を検出する勾配法動き量検出手段
と、上記ブロックマッチング法動き量検出手段からの画
素単位の動き量と上記勾配法動き量検出手段からの画素
以下の単位の動き量とを加算合成して最終的な動き量を
求める動き量演算手段とから成ることにより上述した課
題を解決する。A motion amount detecting apparatus according to the present invention comprises a blocking means for blocking input image data and two temporally different images blocked by the blocking means. The block matching method motion amount detecting means for evaluating the motion amount in pixel units by performing data matching, and the two images based on the motion amount detected by the block matching method motion amount detecting means. Gradient method motion amount detecting means for detecting the amount of motion in units of pixels or less using the gradient method for data; pixel-based motion amount from the block matching method motion amount detecting means; The above-mentioned problem is solved by the addition of the motion amount in units of pixels or less and the motion amount calculation means for obtaining the final motion amount.
【０００７】また、上記ブロックマッチング法動き量検
出手段において、時間的に異なる２つの画像データの評
価を行う際に得られた画素間のレベル差分の値を上記勾
配法動き量検出手段において用いることを特徴とする。Further, in the block matching method motion amount detecting means, the value of the level difference between pixels obtained when evaluating two image data different in time is used in the gradient method motion amount detecting means. Is characterized by.
【０００８】ここで、上記ブロックマッチング法動き量
検出手段により用いられるブロック化された２つの画像
データは、フレーム間隔で異なっている。Here, the two block image data used by the block matching method motion amount detecting means are different in the frame interval.
【０００９】また、上記ブロックマッチング法動き量検
出手段では、上記ブロック化された２つの画像データの
一方のブロック領域を固定し、他方のブロック領域はフ
レーム内で移動させて最適な評価値を求めることによ
り、画素単位の動き量を求めている。これにより、上記
勾配法動き量検出手段では、上記ブロックマッチング法
動き量検出手段により最適な評価値が求められたブロッ
ク領域と一方の固定されたブロック領域とを用いて画素
以下の単位の動き量を求めている。Further, in the block matching method motion amount detecting means, one block area of the two block image data is fixed, and the other block area is moved within a frame to obtain an optimum evaluation value. As a result, the amount of movement in pixel units is obtained. As a result, the gradient method motion amount detecting means uses the block area for which the optimum evaluation value is obtained by the block matching method motion amount detecting means and the one fixed block area to calculate the motion amount in units of pixels or less. Are seeking.
【００１０】本発明に係る動き量検出方法は、入力され
た画像データのブロック化を行うブロック化工程と、上
記ブロック化工程によりブロック化された時間的に異な
る２つの画像データのマッチングをとることにより評価
を行い、画素単位での動き量を検出するブロックマッチ
ング法動き量検出工程と、上記ブロックマッチング法動
き量検出工程により検出された動き量に基づいて上記２
つの画像データを勾配法を用いて画素以下の単位の動き
量を検出する勾配法動き量検出工程と、上記ブロックマ
ッチング法動き量検出工程からの画素単位の動き量と上
記勾配法動き量検出工程からの画素以下の単位の動き量
とを加算合成して最終的な動き量を求める動き量演算工
程とから成ることにより上述した課題を解決する。A motion amount detecting method according to the present invention comprises a block forming step of dividing input image data into blocks, and matching of two image data different in time divided into blocks by the block forming step. And the block matching method motion amount detecting step of detecting the motion amount in pixel units, and the motion amount detected by the block matching method motion amount detecting step.
Gradient method motion amount detecting step for detecting the amount of movement of one image data or less by using the gradient method for one image data, pixel unit movement amount from the block matching method motion amount detecting step, and the gradient method motion amount detecting step The above-described problem is solved by a motion amount calculation step of adding and synthesizing the motion amount in units of pixels or less from and calculating a final motion amount.
【００１１】また、上記ブロックマッチング法動き量検
出工程において、時間的に異なる２つの画像データの評
価を行う際に得られた画素間のレベル差分の値を上記勾
配法動き量検出工程において用いることを特徴とする。Further, in the block matching method motion amount detecting step, the value of the level difference between the pixels obtained when the two image data temporally different from each other is evaluated is used in the gradient method motion amount detecting step. Is characterized by.
【００１２】[0012]
【作用】本発明においては、ブロックマッチング法によ
り検出される画素単位の動き量と勾配法により検出され
る画素以下の単位の動き量とを加算合成することによ
り、画素以下の単位の動き量を検出することができる。According to the present invention, the amount of motion in units of pixels or less detected by the block matching method and the amount of motion in units of pixels or less detected by the gradient method are added and combined to determine the amount of motion in units of pixels or less. Can be detected.
【００１３】[0013]
【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。図１には、本発明に係る動
き量検出装置の概略的な構成を示す。この実施例におい
ては、次フレーム内の画像データのブロック領域を固定
し、前フレーム内の画像データから動き量を検出するた
めのブロック領域を切り出す場合を説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT A preferred embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows a schematic configuration of a motion amount detecting device according to the present invention. In this embodiment, the case where the block area of the image data in the next frame is fixed and the block area for detecting the motion amount is cut out from the image data in the previous frame will be described.
【００１４】図１の入力端子１からはコンポーネント信
号の輝度信号が画像データとして入力され、ブロック化
部２に供給される。このブロック化部２では、上記画像
データを所定数の画素毎にブロック化する。このブロッ
ク化された画像データは、信号切換スイッチ３に送られ
る。The luminance signal of the component signal is input as image data from the input terminal 1 of FIG. 1 and is supplied to the blocking unit 2. The blocking unit 2 blocks the image data for each predetermined number of pixels. The blocked image data is sent to the signal changeover switch 3.
【００１５】上記信号切換スイッチ３は、画像データと
共に記録されている画像データの各フィールドを示す識
別情報であるフィールドＩＤにより切り換えられ、上記
ブロック化部２からのフィールド毎の画像データが、フ
ィールドメモリ４又はフィールドメモリ５に記憶され
る。例えば、上記信号切換スイッチ３が始めに端子ａに
切り換えられ、上記ブロック化部２からの偶数フィール
ドの１フィールド分のブロック化された画像データが上
記フィールドメモリ４に記憶される。次に、奇数フィー
ルドの１フィールド分のブロック化された画像データが
上記ブロック化部２から送られたときには、上記信号切
換スイッチ３は端子ｂに切り換えられ、上記ブロック化
された画像データは上記フィールドメモリ５に記憶され
ることになる。上述のように、上記フィールドメモリ４
及びフィールドメモリ５に記憶された画像データは、上
記ブロック化部２において次フレームのブロック化され
た画像データの動き量を求めるために用いられる。The signal changeover switch 3 is changed over by a field ID which is identification information indicating each field of the image data recorded together with the image data, and the image data for each field from the blocking section 2 is stored in a field memory. 4 or the field memory 5. For example, the signal changeover switch 3 is first switched to the terminal a, and the blocked image data for one field of the even field from the blocking unit 2 is stored in the field memory 4. Next, when the blocked image data for one field of the odd field is sent from the blocking unit 2, the signal changeover switch 3 is switched to the terminal b, and the blocked image data is the field. It will be stored in the memory 5. As described above, the field memory 4
The image data stored in the field memory 5 is used by the blocking unit 2 to obtain the motion amount of the blocked image data of the next frame.
【００１６】次に、上記フィールドメモリ４又はフィー
ルドメモリ５に記憶された画像データの次フレームの画
像データが上記ブロック化部２においてブロック化さ
れ、このブロック化された１つのブロックに対する動き
量検出のためのサーチを行っている間は、当該ブロック
領域の画像データが加算器７に送られる。Next, the image data of the next frame of the image data stored in the field memory 4 or the field memory 5 is divided into blocks by the blocking unit 2, and the amount of motion detection for one block is detected. While performing the search for, the image data of the block area is sent to the adder 7.
【００１７】データ切り出し部６では、上記フィールド
メモリ４又はフィールドメモリ５に記憶された前フレー
ムの画像データの所定のサーチ領域内から、上記加算器
７に送られた画像データのブロック領域と同じ大きさの
ブロック領域を上記サーチ領域内で移動させて、複数切
り出し、上記加算器７に供給する。The data cut-out section 6 has the same size as the block area of the image data sent to the adder 7 from within a predetermined search area of the image data of the previous frame stored in the field memory 4 or the field memory 5. The block area is moved within the search area, and a plurality of pieces are cut out and supplied to the adder 7.
【００１８】この加算器７では、上記サーチ領域内から
切り出された複数のブロックの内の１つのブロック領域
内の画像データと、上記ブロック化部２からの上記１つ
のブロック領域の画像データとのそれぞれ対応する画素
毎の差が取られる。この画素毎の差分データは、ブロッ
クマッチング法演算・動き量検出部８に送られる。この
ような処理が、上記サーチ領域内から切り出される複数
のブロックのそれぞれについて順次行われる。In the adder 7, the image data in one block area of the plurality of blocks cut out from the search area and the image data of the one block area from the blocking unit 2 are combined. The difference for each corresponding pixel is taken. The difference data for each pixel is sent to the block matching method calculation / motion amount detection unit 8. Such processing is sequentially performed for each of the plurality of blocks cut out from the search area.
【００１９】上記ブロックマッチング法演算・動き量検
出部８では、ブロックマッチング法により、送られた複
数のブロック領域の画像データを所定の評価関数を用い
てそれぞれ演算し、それぞれのブロック領域の評価値を
算出する。この後、これらの評価値から最適値を求める
ことにより、動き量が検出される。In the block matching method operation / motion amount detecting section 8, the image data of the plurality of block areas sent by the block matching method are respectively calculated using a predetermined evaluation function, and the evaluation values of the respective block areas are calculated. To calculate. After that, the amount of motion is detected by obtaining the optimum value from these evaluation values.
【００２０】ここで、偶数フィールド間又は奇数フィー
ルド間の２つの画像を用いて、ブロックマッチング法に
おける評価値の算出を具体的に説明する。例えば、図２
に示す偶数フィールド又は奇数フィールドであるｋフィ
ールド上のブロック化されたブロック領域ＢＬ1 を固定
されたブロック領域とし、このｋフィールドの前フレー
ムである偶数フィールド又は奇数フィールドである（ｋ
−２）フィールド上のサーチ領域ＳＨ内のブロック領域
ＢＬ2 の評価値を算出するときには、上記ブロック領域
ＢＬ2 の位置を、所定の評価関数を用いて評価し、評価
値を算出する。Here, the calculation of the evaluation value in the block matching method will be specifically described by using two images between even fields or between odd fields. For example, in FIG.
The fixed block area is the block area BL 1 on the k field, which is the even field or the odd field shown in FIG. 3, and is the even field or the odd field (k which is the previous frame of this k field.
When calculating the evaluation value of the block area BL 2 search region SH on -2) field, the position of the block area BL 2, and evaluated using a predetermined evaluation function, calculates an evaluation value.
【００２１】上記評価関数としては、ブロック領域ＢＬ
1 のブロックサイズをＭ行Ｎ列（Ｎ×Ｍ）、このブロッ
ク領域ＢＬ1 内の画素の位置座標を（ｍ，ｎ）、上記サ
ーチ領域ＳＨを±ｄｍ、このサーチ領域ＳＨ内のブロッ
ク領域ＢＬ2 の位置座標を（ｉ，ｊ）、画像データをｓ
としたときに、以下の（１）、（２）、（３）式を用い
ることができる。As the evaluation function, the block area BL
The block size of 1 is M rows and N columns (N × M), the position coordinates of pixels in this block area BL 1 are (m, n), the search area SH is ± dm, and the block area BL in this search area SH is The position coordinate of 2 is (i, j), and the image data is s
Then, the following equations (1), (2), and (3) can be used.
【００２２】[0022]
【数１】 [Equation 1]
【００２３】相関を用いる場合には（１）式が用いら
れ、相関が最も大きくなった位置を検出する。この
（１）式の評価関数は、（２）、（３）式より計算量が
多くなる。また、差分の２乗和で評価を行う場合には
（２）式が用いられ、差分の絶対値和で評価を行う場合
には（３）式が用いられる。（２）式及び（３）式は、
評価値が最小となった場合を最適値とするものである。
この実施例においては、（３）式を用いて評価点の評価
を行う。When the correlation is used, the equation (1) is used to detect the position where the correlation is the largest. The evaluation function of the expression (1) requires a larger amount of calculation than the expressions (2) and (3). Further, when the sum of squares of the difference is used for evaluation, the expression (2) is used, and when the sum of absolute values of the differences is used for evaluation, the expression (3) is used. Equations (2) and (3) are
The optimum value is set when the evaluation value becomes the minimum.
In this embodiment, the evaluation points are evaluated using the formula (3).
【００２４】上記ブロック化部２からの画像データのブ
ロック領域は、上記ブロックマッチング法演算・動き量
検出部８に送られると同時に勾配法演算・動き量検出部
９にも送られている。また、この勾配法演算・動き量検
出部９には、最適値が算出されたブロック領域の画像デ
ータが上記データ切り出し部６から供給される。よっ
て、この勾配法演算・動き量検出部９では、上記ブロッ
ク化部２からのブロック領域とこのブロック領域に対応
する上記データ切り出し部６からの最適値が算出された
ブロック領域とを用いて、勾配法により動き量が検出さ
れる。The block area of the image data from the blocking unit 2 is sent to the block matching method calculation / motion amount detection unit 8 and simultaneously to the gradient method calculation / motion amount detection unit 9. Further, the image data of the block area for which the optimum value is calculated is supplied to the gradient method calculation / motion amount detection unit 9 from the data cutout unit 6. Therefore, the gradient method calculation / motion amount detection unit 9 uses the block region from the blocking unit 2 and the block region corresponding to this block region from which the optimum value from the data cutout unit 6 has been calculated, The amount of motion is detected by the gradient method.
【００２５】ここで、勾配法について詳細に説明する。
この勾配法は、動きが比較的小さいときに有効であり、
動き量を画素以下の精度で求めることができる。Here, the gradient method will be described in detail.
This gradient method is effective when the movement is relatively small,
The amount of motion can be calculated with an accuracy of pixels or less.
【００２６】この勾配法においては、フィールド内の所
定の画像データの動き量を（ｖx ，ｖy ）とするとき、
この画像データの動き量のｘ座標ｖx 及びｙ座標ｖ
y は、（４）、（５）式により求められる。In this gradient method, when the amount of motion of predetermined image data in the field is (v x , v y ),
The x-coordinate v x and y-coordinate v of the amount of movement of this image data
y is calculated by the equations (4) and (5).
【００２７】[0027]
【数２】 [Equation 2]
【００２８】上記Δx は空間勾配における水平勾配、Δ
y は空間勾配における垂直勾配、Δ t はフレーム間差
分、sign()は勾配の符号を示している。[Delta] abovexIs the horizontal gradient in the spatial gradient, Δ
yIs the vertical gradient in the spatial gradient, Δ tIs the difference between frames
Min, sign () indicates the sign of the gradient.
【００２９】上記（４）、（５）式に示すように、フレ
ーム画像間のフレーム間差分に空間勾配の符号を掛け、
ブロック領域内で積算した結果を空間勾配の大きさの積
算値で除算することにより、フレーム間差分と空間勾配
から動き量が検出される。As shown in the equations (4) and (5), the inter-frame difference between the frame images is multiplied by the sign of the spatial gradient,
The amount of motion is detected from the inter-frame difference and the spatial gradient by dividing the integrated result in the block area by the integrated value of the magnitude of the spatial gradient.
【００３０】上記勾配法における同一のフィールドにお
ける画像データの変化率、即ちフレーム勾配を示す空間
勾配には、所定の画素と所定の画素の右側の画素とで求
める右勾配と、所定の画素と所定の画素の左側の画素と
で求める左勾配が存在する。図３には、所定の画素及び
所定の画素の左右の画素の水平方向の空間位置と輝度と
の関係を示す。上記（ｋ−２）フィールド内とｋフィー
ルドとの間の所定のブロック領域における動き量を検出
する場合には、所定の画素の水平位置をｘ、輝度をｆp
（ｘ）とすると、所定の画素の右側の画素の水平位置は
（ｘ＋１）、輝度はｆp （ｘ＋１）であり、所定の画素
の左側の画素の水平位置は（ｘ−１）、輝度はｆp （ｘ
−１）である。よって、所定の画素の右勾配はｆp （ｘ
＋１）−ｆp （ｘ）、左勾配はｆp （ｘ）−ｆp （ｘ−
１）として求めることができる。また、所定の画素の水
平方向の右勾配及び左勾配と同様に考えることにより、
所定の画素の垂直方向の右勾配はｆp （ｙ＋１）−ｆp
（ｙ）、左勾配はｆp （ｙ）−ｆp （ｙ−１）となる。In the gradient method, the change rate of image data in the same field, that is, the spatial gradient indicating the frame gradient, includes a right gradient determined by a predetermined pixel and a pixel on the right side of the predetermined pixel, and a predetermined pixel and a predetermined pixel. There is a left gradient calculated by the pixel on the left side of the pixel of. FIG. 3 shows the relationship between the horizontal spatial position of a predetermined pixel and the pixels on the left and right of the predetermined pixel and the luminance. When detecting a motion amount in a predetermined block area between the (k-2) field and the k field, the horizontal position of a predetermined pixel is x and the luminance is f p.
If (x), the horizontal position of the pixel on the right side of the predetermined pixel is (x + 1), the brightness is f p (x + 1), the horizontal position of the pixel on the left side of the predetermined pixel is (x−1), and the brightness is f p (x
-1). Therefore, the right slope of a given pixel is f p (x
+1) -f p (x), the left gradient is f p (x) -f p (x-
It can be obtained as 1). Further, by considering the same as the rightward gradient and the leftward gradient in the horizontal direction of a predetermined pixel,
The vertical right gradient of a given pixel is f p (y + 1) −f p
(Y), the left gradient becomes f p (y) -f p ( y-1).
【００３１】上記ブロックマッチング法演算・動き量検
出部８においてブロックマッチング法により検出された
動き量及び上記勾配法演算・動き量検出部９において勾
配法により検出された動き量は、動き量演算部１０に送
られて加算合成される。この動き量演算部１０では、固
定された所定のブロック領域における画素以下の単位の
位置精度の高い最終的な動き量が求められる。The motion amount detected by the block matching method in the block matching method calculation / motion amount detection unit 8 and the motion amount detected by the gradient method in the gradient method calculation / motion amount detection unit 9 are the motion amount calculation unit. It is sent to 10 and added and synthesized. The motion amount calculator 10 obtains a final motion amount with high positional accuracy in units of pixels or less in a fixed predetermined block area.
【００３２】この勾配法のみで動き量を求める場合に
は、大きな動きに対してはほとんど誤検出となってしま
うが、予めブロックマッチング法により画素単位で最適
値を求め、この最適値を求めたブロック領域を用いるこ
とにより、位置精度が高い動き量の検出を行うことがで
きる。When the amount of motion is obtained only by the gradient method, a large amount of motion is erroneously detected, but the optimum value is obtained in advance by the pixel unit by the block matching method, and the optimum value is obtained. By using the block area, it is possible to detect a motion amount with high positional accuracy.
【００３３】ここで、上記ブロックマッチング法により
求められた動き量を（ｖx1、ｖy1）、上記勾配法により
求められた動き量を（ｖx2、ｖy2）としたときの最終的
な動き量（ｖx 、ｖy ）は、 ｖx ＝ｖx1＋ｖx2 ・・・（６） ｖy ＝ｖy1＋ｖy2 ・・・（７） として算出される。Here, when the amount of movement obtained by the block matching method is (v x1 , v y1 ) and the amount of movement obtained by the gradient method is (v x2 , v y2 ), the final movement is obtained. The quantities (v x , v y ) are calculated as v x = v x1 + v x2 (6) v y = v y1 + v y2 (7).
【００３４】上述したように、上記ブロック化部２から
は１フィールド分のブロック化された画像データのブロ
ック領域が出力されており、これらの全てのブロック領
域について、上述のような最終的な動き量を求める。こ
の算出された最終的な動き量は出力端子１１より出力さ
れる。As described above, the block area of the block-shaped image data for one field is output from the blocking unit 2, and the final motion as described above is performed for all of these block areas. Find the amount. The calculated final motion amount is output from the output terminal 11.
【００３５】次に、本発明に係る動き量検出装置の第２
の実施例の概略的な構成を図４に示す。Next, the second motion amount detecting apparatus according to the present invention will be described.
FIG. 4 shows a schematic configuration of the embodiment of FIG.
【００３６】この第２の実施例においては、第１の実施
例と同様に、図４の入力端子１からはコンポーネント信
号の輝度信号が画像データとして入力され、ブロック化
部２に供給される。このブロック化部２では、上記画像
データを所定数の画素毎にブロック化する。１フィール
ド分のブロック化された画像データは、信号切換スイッ
チ３に切り換え動作により、フィールドメモリ４又はフ
ィールドメモリ５に記憶される。In the second embodiment, similarly to the first embodiment, the luminance signal of the component signal is input as image data from the input terminal 1 of FIG. 4 and is supplied to the blocking unit 2. The blocking unit 2 blocks the image data for each predetermined number of pixels. The image data blocked for one field is stored in the field memory 4 or the field memory 5 by the switching operation of the signal changeover switch 3.
【００３７】次に、上記フィールドメモリ４又はフィー
ルドメモリ５に記憶された画像データの次フレームの画
像データが上記ブロック化部２においてブロック化さ
れ、このブロック化された１つのブロックに対する動き
量検出のためのサーチを行っている間は、当該ブロック
領域の画像データが加算器７に送られる。Next, the image data of the next frame of the image data stored in the field memory 4 or the field memory 5 is divided into blocks by the blocking unit 2, and the amount of motion detection for one block is detected. While performing the search for, the image data of the block area is sent to the adder 7.
【００３８】データ切り出し部６では、上記フィールド
メモリ４又はフィールドメモリ５に記憶された前フレー
ムの画像データの所定のサーチ領域内から、上記加算器
７に送られた画像データのブロック領域と同じ大きさの
ブロック領域を上記サーチ領域内で移動させて、複数切
り出し、上記加算器７に供給する。The data cut-out section 6 has the same size as the block area of the image data sent to the adder 7 from within a predetermined search area of the image data of the previous frame stored in the field memory 4 or the field memory 5. The block area is moved within the search area, and a plurality of pieces are cut out and supplied to the adder 7.
【００３９】この加算器７では、上記サーチ領域内から
切り出された複数のブロックの内の１つのブロック領域
内の画像データと、上記ブロック化部２からの上記１つ
のブロック領域の画像データとのそれぞれ対応する画素
毎の差が取られる。この画素毎の差分データは、ブロッ
クマッチング法演算部１２に送られる。このような処理
が、上記サーチ領域内から切り出される複数のブロック
のそれぞれについて順次行われる。In the adder 7, the image data in one block area out of the plurality of blocks cut out from the search area and the image data in the one block area from the blocking unit 2 are combined. The difference for each corresponding pixel is taken. The difference data for each pixel is sent to the block matching method calculation unit 12. Such processing is sequentially performed for each of the plurality of blocks cut out from the search area.
【００４０】このブロックマッチング法演算部１２で
は、ブロックマッチング法により、送られた複数のブロ
ック領域の画像データを所定の評価関数を用いてそれぞ
れ演算し、それぞれのブロック領域の評価値を算出す
る。算出された複数の評価値は、ブロックマッチング法
動き量検出部１３に送られる。このブロックマッチング
法動き量検出部１３では、これらの評価値から最適値を
動き量として検出する。The block matching method computing section 12 computes the sent image data of a plurality of block areas by using a predetermined evaluation function by the block matching method, and calculates the evaluation value of each block area. The calculated plurality of evaluation values are sent to the block matching method motion amount detection unit 13. The block matching method motion amount detection unit 13 detects an optimum value as a motion amount from these evaluation values.
【００４１】一方、勾配法演算部１４には、上記データ
切り出し部６から切り出された複数のブロック領域で最
適値が得られたブロック領域が送られる。この勾配法演
算部１４では上記送られたブロック領域を用いて水平勾
配及び垂直勾配から成る空間勾配が算出され、勾配法動
き量検出部１５に送られる。この勾配法動き量検出部１
５には、上記ブロックマッチング法演算部１２から、固
定されたブロック領域と最適値が得られたブロック領域
とのフレーム間差分が送られており、このフレーム間差
分と上記空間勾配とから勾配法による動き量が求められ
る。On the other hand, the gradient method computing unit 14 is sent with the block area for which the optimum value has been obtained from the plurality of block areas cut out from the data cutting section 6. The gradient method computing unit 14 calculates a spatial gradient consisting of a horizontal gradient and a vertical gradient using the sent block area, and sends the spatial gradient to the gradient method motion amount detecting unit 15. This gradient method motion amount detection unit 1
The inter-frame difference between the fixed block area and the block area for which the optimum value is obtained is sent from the block matching method computing unit 12 to the gradient method from the inter-frame difference and the spatial gradient. Is calculated.
【００４２】上記ブロックマッチング法動き量検出部１
３においてブロックマッチング法により検出された動き
量及び上記勾配法動き量検出部１５において勾配法によ
り検出された動き量は、動き量演算部１０に送られて加
算合成される。この動き量演算部１０では、所定のブロ
ック領域における画素以下の単位の位置精度の高い最終
的な動き量が求められる。Block matching method motion amount detecting section 1
The motion amount detected by the block matching method in 3 and the motion amount detected by the gradient method in the gradient method motion amount detection unit 15 are sent to the motion amount calculation unit 10 to be added and combined. The motion amount calculator 10 obtains a final motion amount with high positional accuracy in units of pixels or less in a predetermined block area.
【００４３】上述にようにして、１フレーム内の全ての
ブロック領域における最終的な動き量を検出することに
より、そのフレームにおける動き量が検出される。As described above, by detecting the final motion amount in all the block areas in one frame, the motion amount in that frame is detected.
【００４４】次に、上述した動き量検出装置をソフトウ
ェアにより実現するときのフローチャートを図５に示
す。Next, FIG. 5 shows a flowchart for implementing the above-described motion amount detecting device by software.
【００４５】先ず、ステップＳ１で、フレーム画像毎の
入力コンポーネント信号の輝度信号を所定数に分割して
画像のブロック化を行う。ステップＳ２で、上記ブロッ
ク化された画像の１フィールド分の画像に対応する全ブ
ロックにおいてそれぞれマッチングによる評価が行わ
れ、各ブロック毎の最終的な動き量が全て得られたか否
かを判別する。１フィールド分の全ブロックにおいて最
終的な動き量が得られたならば操作を終了するが、１フ
ィールド分の全ブロックにおいて最終的な動き量が得ら
れていなければ、ステップＳ３に進んで、現在探索中の
ブロック領域に対してブロックマッチング法による画素
単位の評価が行われたか否かを判別する。First, in step S1, the luminance signal of the input component signal for each frame image is divided into a predetermined number to divide the image into blocks. In step S2, all blocks corresponding to the image of one field of the blocked image are evaluated by matching, and it is determined whether or not all the final motion amounts for each block have been obtained. If the final motion amount is obtained in all blocks for one field, the operation is ended. If the final motion amount is not obtained in all blocks for one field, the process proceeds to step S3 It is determined whether or not the pixel area is evaluated by the block matching method with respect to the block area being searched.
【００４６】このステップＳ３において、現在探索中の
ブロック領域に対する評価が全て行われたと判別される
ならば、ステップＳ５に進んで、その全ての評価により
得られた最適値に基づいて動き量を決定する。さらに、
ステップＳ６で、上記探索したブロック領域の画素以下
の単位の動き量を勾配法により求め、ステップＳ７で、
上記ステップＳ５において求められた画素単位の動き量
とステップＳ６において求められた画素以下の単位の動
き量とを加算合成して、最終的な動き量を算出する。こ
の後、ステップＳ２に戻り、１フィールド分の分割され
た画像の全ブロックについて最終的な動き量が得られた
か否かを判別する。If it is determined in step S3 that all the block areas currently being searched for have been evaluated, the process proceeds to step S5 and the motion amount is determined based on the optimum values obtained by all the evaluations. To do. further,
In step S6, the amount of motion in units of pixels or less in the searched block area is obtained by the gradient method, and in step S7,
The final motion amount is calculated by adding and synthesizing the motion amount in pixel units calculated in step S5 and the motion amount in pixels or less calculated in step S6. After that, the process returns to step S2, and it is determined whether or not the final motion amount has been obtained for all blocks of the image divided for one field.
【００４７】ステップＳ３において、現在探索中のブロ
ック領域に対する評価が全て行われていないと判別され
たならば、ステップＳ４に進んで、現在探索中のブロッ
ク領域をマッチングしてフレーム間差分の絶対値和の評
価を行う。この後、ステップＳ３に戻り、再び、現在探
索中のブロック領域に対する評価が全て行われたか否か
を判別する。If it is determined in step S3 that the block area currently being searched has not been evaluated, the process proceeds to step S4 in which the block area currently being searched is matched to obtain the absolute value of the inter-frame difference. Evaluate the sum. After that, the process returns to step S3, and again it is determined whether or not the evaluation of all the block areas currently being searched for has been performed.
【００４８】このようにして、１フィールド分の画像デ
ータの全ブロックに対して処理を行い、画素以下の単位
の最終的な動き量を求める。In this way, processing is performed on all blocks of image data for one field, and the final motion amount in units of pixels or less is obtained.
【００４９】尚、実施例では、偶数フィールド間もしく
は奇数フィールド間の画像において評価を行っている
が、偶数フィールドの画像と奇数フィールドの画像との
間で評価を行ったり、偶数フィールドと奇数フィールド
の画像をフレームに直してフレーム間で評価を行っても
よい。In the embodiment, images are evaluated between even fields or odd fields. However, evaluation is performed between even field images and odd field images, or even field and odd field images are performed. The image may be converted into frames and evaluation may be performed between frames.
【００５０】また、実施例では、時間的に異なる２つの
ブロック化された画像データの内の前フレームのブロッ
ク領域においてブロックマッチング法及び勾配法により
動き量を検出しているが、２つのブロック化された画像
データの内の次フレームのブロック領域においてブロッ
クマッチング法及び勾配法により動き量を検出するよう
にしてもよい。Further, in the embodiment, the motion amount is detected by the block matching method and the gradient method in the block area of the previous frame in the two blocks of image data which are temporally different. The motion amount may be detected by the block matching method and the gradient method in the block area of the next frame in the obtained image data.
【００５１】[0051]
【発明の効果】以上の説明からも明らかなように、本発
明に係る動き量検出装置は、入力された画像データのブ
ロック化を行うブロック化手段と、上記ブロック化手段
によりブロック化された時間的に異なる２つの画像デー
タのマッチングをとることにより評価を行い、画素単位
での動き量を検出するブロックマッチング法動き量検出
手段と、上記ブロックマッチング法動き量検出手段によ
り検出された動き量に基づいて上記２つの画像データを
勾配法を用いて画素以下の単位の動き量を検出する勾配
法動き量検出手段と、上記ブロックマッチング法動き量
検出手段からの画素単位の動き量と上記勾配法動き量検
出手段からの画素以下の単位の動き量とを加算合成して
最終的な動き量を求める動き量演算手段とから成ること
により、最終的に得られた動き量は画素以下の単位の動
き量であるため、ブロックマッチング法のみを用いて求
められる動き量の精度よりも動き量の精度が向上する。As is apparent from the above description, the motion amount detecting apparatus according to the present invention comprises a blocking means for blocking the input image data, and a time period blocked by the blocking means. Evaluation is performed by matching two image data that are different from each other, and a block matching method motion amount detecting means for detecting a motion amount in pixel units and a motion amount detected by the block matching method motion amount detecting means are used. Based on the two image data based on the gradient method, a gradient method motion amount detecting means for detecting a motion amount in units of pixels or less, a pixel matching motion amount from the block matching method motion amount detecting means, and the gradient method. Finally, by including the motion amount calculating unit for adding and synthesizing the motion amount in units of pixels or less from the motion amount detecting unit to obtain the final motion amount, It was motion amount for a motion amount of the following unit pixels, thus improving the amount of motion of accuracy than the motion amount of precision required with only the block matching method.
【００５２】また、上記ブロックマッチング法動き量検
出手段において、時間的に異なる２つの画像データの評
価を行う際に得られた画素間のレベル差分の値を上記勾
配法動き量検出手段において用いることにより、本発明
の動き量検出装置におけるブロックマッチング法に用い
られるフレーム間差分データと勾配法に用いられるフレ
ーム間差分データとを求める部分の共通化を図ることが
できるので、ハードウェアの規模を増加することなく実
現することができる。Further, in the block matching method motion amount detecting means, the value of the level difference between pixels obtained when evaluating two image data different in time is used in the gradient method motion amount detecting means. As a result, it is possible to share the portion for obtaining the inter-frame difference data used in the block matching method and the inter-frame difference data used in the gradient method in the motion amount detection device of the present invention, so that the scale of hardware is increased. It can be realized without doing.
【００５３】さらに、本発明に係る動き量検出方法は、
入力された画像データのブロック化を行うブロック化工
程と、上記ブロック化工程によりブロック化された時間
的に異なる２つの画像データのマッチングをとることに
より評価を行い、画素単位での動き量を検出するブロッ
クマッチング法動き量検出工程と、上記ブロックマッチ
ング法動き量検出工程により検出された動き量に基づい
て上記２つの画像データを勾配法を用いて画素以下の単
位の動き量を検出する勾配法動き量検出工程と、上記ブ
ロックマッチング法動き量検出工程からの画素単位の動
き量と上記勾配法動き量検出工程からの画素以下の単位
の動き量とを加算合成して最終的な動き量を求める動き
量演算工程とから成ることにより、最終的に得られた動
き量は画素以下の単位の動き量であるため、ブロックマ
ッチング法のみを用いて求められる動き量の精度よりも
動き量の精度が向上する。Further, the motion amount detecting method according to the present invention is
An evaluation is performed by matching a block forming process for dividing the input image data into two blocks and temporally different image data blocked by the block forming process, and detects a motion amount in pixel units. Block matching method motion amount detecting step, and a gradient method for detecting a motion amount in units of pixels or less using a gradient method on the two image data based on the motion amount detected by the block matching method motion amount detecting step. The motion amount detection step, the pixel-unit motion amount from the block matching method motion amount detection step, and the pixel or less pixel unit motion amount from the gradient method motion amount detection step are added and combined to obtain a final motion amount. Since the motion amount finally obtained is a motion amount in units of pixels or less, only the block matching method is used. Some from the motion amount of precision required by improving the motion amount of accuracy.
【００５４】また、上記ブロックマッチング法動き量検
出工程において、時間的に異なる２つの画像データの評
価を行う際に得られた画素間のレベル差分の値を上記勾
配法動き量検出工程において用いることにより、本発明
の動き量検出方法におけるブロックマッチング法に用い
られるフレーム間差分と勾配法に用いられるフレーム間
差分とを求める部分の共通化を図ることができるので、
ソフトウェアの規模を増加することなく実現することが
できる。Further, in the block matching method motion amount detecting step, the value of the level difference between the pixels obtained when evaluating two image data different in time is used in the gradient method motion amount detecting step. By doing so, it is possible to standardize the portion for obtaining the interframe difference used in the block matching method and the interframe difference used in the gradient method in the motion amount detection method of the present invention.
It can be realized without increasing the scale of software.
【図１】本発明に係る動き量検出装置の概略的な構成を
示す図である。FIG. 1 is a diagram showing a schematic configuration of a motion amount detecting device according to the present invention.
【図２】（ｋ−２）フィールド内のブロック領域ＢＬ1
及びｋフィールド内のブロック領域ＢＬ2 を示す図であ
る。FIG. 2 is a block region BL 1 in a (k-2) field.
FIG. 3 is a diagram showing a block area BL 2 in the k field.
【図３】勾配法による所定の画素の水平方向の空間位置
と輝度との関係を示す図である。FIG. 3 is a diagram showing a relationship between a horizontal spatial position of a predetermined pixel and luminance by a gradient method.
【図４】本発明に係る動き量検出装置の第２の概略的な
構成を示す図である。FIG. 4 is a diagram showing a second schematic configuration of a motion amount detecting device according to the present invention.
【図５】本発明に係る動き量検出方法の手順を示すフロ
ーチャートである。FIG. 5 is a flowchart showing a procedure of a motion amount detecting method according to the present invention.
２・・・・・・・ブロック化部 ３・・・・・・・信号切換スイッチ ４、５・・・・・フィールドメモリ ６・・・・・・・データ切り出し部 ７・・・・・・・加算器 ８・・・・・・・ブロックマッチング法演算・動き量検
出部 ９・・・・・・・勾配法演算・動き量検出部 １０・・・・・・動き量演算部 １２・・・・・・ブロックマッチング法演算部 １３・・・・・・ブロックマッチング法動き量検出部 １４・・・・・・勾配法演算部 １５・・・・・・勾配法動き量検出部2 ... Blocking unit 3 ... Signal changeover switch 4, 5 ... Field memory 6 ... Data cutout unit 7 ...・ Adder 8 ・ ・ ・ ・ ・ ・ Block matching method operation / Motion amount detection unit 9 ・ ・ ・ ・ ・ ・ Gradient method operation / Motion amount detection unit 10 ・ ・ ・ ・ ・ ・ Motion amount operation unit 12 ・ ・... Block matching method operation unit 13 ... Block matching method motion amount detection unit 14 ... Gradient method operation unit 15 ... Gradient method motion amount detection unit
Claims (4)
うブロック化手段と、 上記ブロック化手段によりブロック化された時間的に異
なる２つの画像データのマッチングをとることにより評
価を行い、画素単位での動き量を検出するブロックマッ
チング法動き量検出手段と、 上記ブロックマッチング法動き量検出手段により検出さ
れた動き量に基づいて上記２つの画像データを勾配法を
用いて画素以下の単位の動き量を検出する勾配法動き量
検出手段と、 上記ブロックマッチング法動き量検出手段からの画素単
位の動き量と上記勾配法動き量検出手段からの画素以下
の単位の動き量とを加算合成して最終的な動き量を求め
る動き量演算手段とから成ることを特徴とする動き量検
出装置。1. An evaluation is carried out by matching a block forming means for dividing input image data into blocks and two image data different in time divided into blocks by the block forming means, in pixel units. Block matching method motion amount detecting means for detecting the amount of motion of each of the two image data by using the gradient method based on the amount of motion detected by the block matching method motion amount detecting means. The gradient method motion amount detecting means, the block matching method motion amount detecting means pixel-wise motion amount, and the gradient method motion amount detecting means motion amount in pixels or less are added and combined to obtain a final value. Amount of motion detecting device for calculating a typical amount of motion.
段において、時間的に異なる２つの画像データの評価を
行う際に得られた画素間のレベル差分の値を上記勾配法
動き量検出手段において用いることを特徴とする請求項
１記載の動き量検出装置。2. The block matching method motion amount detecting means uses the level difference value between pixels obtained when evaluating two image data temporally different from each other in the gradient method motion amount detecting means. The motion amount detecting device according to claim 1, wherein
うブロック化工程と、 上記ブロック化工程によりブロック化された時間的に異
なる２つの画像データのマッチングをとることにより評
価を行い、画素単位での動き量を検出するブロックマッ
チング法動き量検出工程と、 上記ブロックマッチング法動き量検出工程により検出さ
れた動き量に基づいて上記２つの画像データを勾配法を
用いて画素以下の単位の動き量を検出する勾配法動き量
検出工程と、 上記ブロックマッチング法動き量検出工程からの画素単
位の動き量と上記勾配法動き量検出工程からの画素以下
の単位の動き量とを加算合成して最終的な動き量を求め
る動き量演算工程とから成ることを特徴とする動き量検
出方法。3. An evaluation is performed by performing a blocking process for blocking the input image data and matching of two temporally different image data blocked by the blocking process, in pixel units. Block matching method motion amount detecting step for detecting the amount of motion of the image, and a motion amount in units of pixels or less using the gradient method for the two image data based on the motion amount detected by the block matching method motion amount detecting step. A gradient method motion amount detecting step, a pixel unit motion amount from the block matching method motion amount detecting step, and a pixel or less unit motion amount from the gradient method motion amount detecting step are added and combined to obtain a final value. Amount of motion detection step for obtaining a dynamic amount of motion.
程において、時間的に異なる２つの画像データの評価を
行う際に得られた画素間のレベル差分の値を上記勾配法
動き量検出工程において用いることを特徴とする請求項
３記載の動き量検出方法。4. The value of the level difference between pixels obtained when evaluating two image data different in time in the block matching method motion amount detecting step is used in the gradient method motion amount detecting step. The motion amount detection method according to claim 3, wherein
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20503593A JP3271387B2 (en) | 1993-08-19 | 1993-08-19 | Motion amount detection device and motion amount detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20503593A JP3271387B2 (en) | 1993-08-19 | 1993-08-19 | Motion amount detection device and motion amount detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0759093A true JPH0759093A (en) | 1995-03-03 |
| JP3271387B2 JP3271387B2 (en) | 2002-04-02 |
Family
ID=16500370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20503593A Expired - Fee Related JP3271387B2 (en) | 1993-08-19 | 1993-08-19 | Motion amount detection device and motion amount detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3271387B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7800624B2 (en) | 2002-07-30 | 2010-09-21 | Sony Corporation | Memory device signal processing apparatus image signal processing apparatus and methods of the same |
-
1993
- 1993-08-19 JP JP20503593A patent/JP3271387B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7800624B2 (en) | 2002-07-30 | 2010-09-21 | Sony Corporation | Memory device signal processing apparatus image signal processing apparatus and methods of the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3271387B2 (en) | 2002-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100362038B1 (en) | Computationally Efficient Method for Estimating Burn Motion | |
| US8340186B2 (en) | Method for interpolating a previous and subsequent image of an input image sequence | |
| CN102124745A (en) | Apparatus and method for converting 2D image signals into 3D image signals | |
| JP2947360B2 (en) | Method and apparatus for measuring image motion | |
| JP3604752B2 (en) | Apparatus and method for detecting motion vector | |
| KR101161706B1 (en) | Image processing device, learning device, and coefficient generating device and method | |
| US20130235274A1 (en) | Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method | |
| JP2001061152A (en) | Motion detection method and motion detector | |
| JPH089379A (en) | Motion vector detection method | |
| JPH0478286A (en) | Detection method for moving vector using initial deviation vector | |
| JPH0759093A (en) | Motion quantity detector and motion quantity detection method | |
| JP3786300B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JPH05236452A (en) | Method and device for detection motion vector | |
| JPH09182077A (en) | Image encoding method and device | |
| JP2001025021A (en) | Motion detection method and motion detector | |
| JP3615970B2 (en) | Moving object detection method | |
| JPH0614316A (en) | Motion vector detector | |
| JP2810528B2 (en) | Motion vector search circuit in motion compensated interframe predictive coding | |
| JPH08242454A (en) | Method for detecting global motion parameter | |
| JPH04192787A (en) | Method and device for motion detection | |
| JPH11243546A (en) | Image coder and method | |
| JPH0746457A (en) | Motion quantity detector and motion quantity detection method | |
| JP2878580B2 (en) | Hierarchical motion vector detection method | |
| JPH0795587A (en) | Method for detecting moving vector | |
| JPH07222158A (en) | Method and device for detecting moving amount |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |