JP5309097B2 - Motion estimation apparatus and program - Google Patents
Motion estimation apparatus and program Download PDFInfo
- Publication number
- JP5309097B2 JP5309097B2 JP2010180478A JP2010180478A JP5309097B2 JP 5309097 B2 JP5309097 B2 JP 5309097B2 JP 2010180478 A JP2010180478 A JP 2010180478A JP 2010180478 A JP2010180478 A JP 2010180478A JP 5309097 B2 JP5309097 B2 JP 5309097B2
- Authority
- JP
- Japan
- Prior art keywords
- motion estimation
- frequency band
- frequency
- motion
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 386
- 238000000354 decomposition reaction Methods 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 26
- 238000001228 spectrum Methods 0.000 abstract description 36
- 238000000926 separation method Methods 0.000 abstract 5
- 238000001514 detection method Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012887 quadratic function Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像の時間方向及び空間方向のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動きベクトルを高精度に検出する動き推定装置及びプログラムに関する。 The present invention relates to a motion estimation apparatus and program for hierarchically analyzing the amount of motion of a moving image based on the temporal and spatial spectral power of the moving image and detecting the motion vector of the moving image with high accuracy.
従来からの動き推定の基本的なやり方は、全探索ブロックマッチング法である。この全探索ブロックマッチング法を発展させたやり方として、動画像に対して空間方向の周波数帯域分解処理を行って異なる解像度の階層的画像を取得し、異なる解像度の階層的画像を用いて階層型動き推定を行う方法(例えば、特許文献1,2参照)や、ダイヤモンドサーチ法(例えば、特許文献3参照)などが知られている。
The conventional basic method of motion estimation is the full search block matching method. As a way to develop this full search block matching method, a hierarchical image with different resolutions is obtained by performing frequency band resolution processing on the moving image in the spatial direction, and hierarchical motions using the hierarchical images with different resolutions are obtained. Methods for performing estimation (see, for example,
前述したような階層型動き推定やダイヤモンドサーチ法は、動画像における大きな動き量を検出するために有効な技法であり、全探索ブロックマッチング法と比較して計算コストを低減する効果もある。 Hierarchical motion estimation and the diamond search method as described above are effective techniques for detecting a large amount of motion in a moving image, and have an effect of reducing the calculation cost as compared with the all-search block matching method.
つまり、空間高周波成分の多い絵柄は、小さいブロックサイズ(例えば、2×2画素)を用いた動き推定装置が適している。一方、空間高周波成分が少ない絵柄は、小さいブロックサイズでは誤った動き推定装置となる可能性が高くなるため、大きなブロックサイズ(例えば、16×16画素)を用いた動き推定装置が有効である。このため、階層型動き推定を行うことで、等価的に複数種類のブロックサイズを用いた動き推定を行うこととなり、計算コストの低減に有利となる。 That is, a motion estimation device using a small block size (for example, 2 × 2 pixels) is suitable for a pattern having a large number of spatial high-frequency components. On the other hand, since a pattern with a small number of spatial high-frequency components is likely to be an erroneous motion estimation device with a small block size, a motion estimation device using a large block size (for example, 16 × 16 pixels) is effective. Therefore, by performing hierarchical motion estimation, motion estimation using a plurality of types of block sizes is equivalently performed, which is advantageous in reducing calculation cost.
一方で、大きな動き量は、動領域の動きぼけ量が増し、空間高周波領域のパワー割合を低下させる。また、大きな動領域面積は、動領域の時間変動面積を増し、時間高周波領域のパワー割合を増加させる。したがって、空間周波領域のパワーに基づいて階層化するのみでは、大小様々な動き量を十分にカバーできるとは云えず、改善の余地がある。 On the other hand, a large amount of motion increases the amount of motion blur in the motion region and decreases the power ratio in the spatial high frequency region. Also, a large dynamic area increases the time variation area of the dynamic area and increases the power ratio of the time high frequency area. Therefore, it cannot be said that the amount of movement of various sizes can be sufficiently covered only by hierarchizing based on the power in the spatial frequency domain, and there is room for improvement.
そこで、本発明の目的は、動画像の時間方向及び空間方向(即ち、時空間方向)のスペクトルパワーによって動画像の動き量を階層的に分析し、動画像の動き推定情報を高精度且つ高確度に求める動き推定装置及びプログラムを提供することにある。 Accordingly, an object of the present invention is to hierarchically analyze the amount of motion of a moving image based on the spectral power of the moving image in the time direction and the spatial direction (that is, the spatio-temporal direction), and to obtain motion estimation information of the moving image with high accuracy and high accuracy. The object is to provide a motion estimation device and a program for obtaining accuracy.
前述のように、動き量と時空間方向の高周波領域のパワーとの間には一定の相関を持つことが多いため、動画像の時間及び空間スペクトルのパワー分析を行って、動き推定装置における適切なブロックサイズを推定するとともに、推定したブロックサイズを空間的に階層化して動きベクトルを検出することが有効である。 As described above, there is often a certain correlation between the amount of motion and the power in the high-frequency region in the space-time direction. It is effective to estimate a block size and detect a motion vector by spatially hierarchizing the estimated block size.
動画像の時空間方向のスペクトルを考察すると、動領域における空間方向の高周波領域のパワーは、動き量の面積が大きくなるにつれて減少する。即ち、大面積の動オブジェクトが大きな動き量を持つ動画像は、空間方向の高周波領域のパワーが小さくなるが、時間方向の高周波領域のパワーは大きくなる傾向がある。これは、画面中で大きな面積のオブジェクトが大きく動く場合は、時間方向の変動が大きくなることに起因する。 Considering the spectrum in the spatio-temporal direction of the moving image, the power of the high-frequency region in the moving direction in the moving region decreases as the area of the motion amount increases. That is, a moving image in which a large-area moving object has a large amount of motion has a tendency that the power in the high-frequency region in the spatial direction decreases, but the power in the high-frequency region in the time direction tends to increase. This is because when a large area object moves greatly on the screen, the variation in the time direction becomes large.
そこで、本発明の動き推定装置は、処理対象の動画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出し、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて第1の階層型動き推定を行い、周波数帯域分解処理を施した各階層(計算コストを考慮する場合、好適には1階層目)の水平低・垂直高周波画像群を用いて第2の階層型動き推定を行い、周波数帯域分解処理を施した各階層(計算コストを考慮する場合、好適には1階層目)の水平高・垂直低周波画像群を用いて第3の階層型動き推定を行い、周波数帯域分解処理を施した各階層(計算コストを考慮する場合、好適には1階層目)の水平高・垂直高周波画像群を用いて第4の階層型動き推定を行い、それぞれの動き推定によって得られる動き推定情報から、時空間方向の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する。 Therefore, the motion estimation apparatus of the present invention performs spatio-temporal frequency band decomposition processing on a moving image to be processed, calculates spatio-temporal frequency band power information, and performs each frequency band decomposition processing on each layer. Horizontal low / vertical high-frequency images of each layer (preferably the first layer when calculation cost is taken into account) subjected to the first hierarchical motion estimation using the spatial low-frequency image group and subjected to frequency band decomposition processing By using the horizontal high / vertical low frequency image group of each layer (preferably the first layer when calculation cost is considered), the second hierarchical motion estimation is performed using the group, and the frequency band decomposition processing is performed. A fourth hierarchical type using a horizontal high / vertical high-frequency image group of each layer (preferably the first layer in consideration of calculation cost) subjected to the third hierarchical motion estimation and subjected to the frequency band decomposition processing. Motion estimation, and each motion estimation From the motion estimation information obtained Te, determines a motion estimation value by the motion estimation percentage based on the information of the frequency band power of the space-time direction.
即ち、本発明の動き推定装置は、動画像の動き推定値を求める動き推定装置であって、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第1の動き推定手段と、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行う第2の動き推定手段と、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行う第3の動き推定手段と、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行う第4の動き推定手段と、前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、を備えることを特徴とする。 That is, the motion estimation apparatus of the present invention is a motion estimation apparatus that obtains a motion estimation value of a moving image, performs a spatiotemporal frequency band decomposition process on the processing target image, and calculates a spatiotemporal frequency band power. Frequency band decomposition processing means for calculating information, first motion estimation means for performing hierarchical motion estimation using spatial low frequency image groups of each layer subjected to frequency band decomposition processing, and frequency band decomposition processing A second motion estimation unit that performs hierarchical motion estimation using a horizontal low / vertical high-frequency image group of each layer, and a hierarchical type using a horizontal high / vertical low-frequency image group of each layer subjected to frequency band decomposition processing Third motion estimation means for performing motion estimation, fourth motion estimation means for performing hierarchical motion estimation using a horizontal high / vertical high-frequency image group of each hierarchy subjected to frequency band decomposition processing, and the first Motion estimation means, the second Motion estimation value based on the motion estimation ratio based on the information on the frequency band power of the spatio-temporal for each motion estimation information obtained from the motion estimation means, the third motion estimation means, and the fourth motion estimation means And means for determining.
また、本発明の動き推定装置において、動画像の動き推定値を求める動き推定装置であって、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第1の動き推定手段と、周波数帯域分解処理を施した1階層目の水平低・垂直高周波画像群を用いて動き推定を行う第2の動き推定手段と、周波数帯域分解処理を施した1階層目の水平高・垂直低周波画像群を用いて動き推定を行う第3の動き推定手段と、周波数帯域分解処理を施した1階層目の水平高・垂直高周波画像群を用いて動き推定を行う第4の動き推定手段と、前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、を備えることを特徴とする。 The motion estimation apparatus of the present invention is a motion estimation apparatus for obtaining a motion estimation value of a moving image, performing a spatio-temporal frequency band decomposition process on a processing target image, and also calculating a spatio-temporal frequency band power. Frequency band decomposition processing means for calculating information, first motion estimation means for performing hierarchical motion estimation using spatial low frequency image groups of each layer subjected to frequency band decomposition processing, and frequency band decomposition processing Motion estimation using a second motion estimation unit that performs motion estimation using a first layer of horizontal low / vertical high-frequency images and a first layer of horizontal high / vertical low-frequency images subjected to frequency band decomposition processing 3rd motion estimation means for performing motion estimation, 4th motion estimation means for performing motion estimation using a horizontal high / vertical high frequency image group in the first layer subjected to frequency band decomposition processing, and the first motion estimation means , The second motion estimation A motion estimation value is determined by a motion estimation ratio based on the information on the frequency band power of the spatio-temporal for each motion estimation information obtained from the means, the third motion estimation means, and the fourth motion estimation means And means for performing.
また、本発明の動き推定装置において、前記周波数帯域分解処理は、ウェーブレット変換によるオクターブ分解処理とすることを特徴とする。 In the motion estimation apparatus of the present invention, the frequency band decomposition processing is octave decomposition processing by wavelet transform.
また、本発明のプログラムは、動画像の動き推定値を求める動き推定装置として構成するコンピュータに、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行うステップと、前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、を実行させるためのプログラムとして構成される。 In addition, the program of the present invention performs spatio-temporal frequency band decomposition processing on an image to be processed on a computer that is configured as a motion estimation device that obtains a motion estimation value of a moving image, and also calculates spatio-temporal frequency band power. A step of calculating information, a step of performing hierarchical motion estimation using a spatial low-frequency image group of each layer subjected to frequency band decomposition processing, and a horizontal low / vertical high-frequency image of each layer subjected to frequency band decomposition processing Performing hierarchical motion estimation using a group, performing hierarchical motion estimation using a horizontal high / vertical low frequency image group of each layer subjected to frequency band decomposition processing, and applying frequency band decomposition processing A step of performing a hierarchical motion estimation using a horizontal high / vertical high-frequency image group of each layer; the first motion estimation means; the second motion estimation means; and the third motion estimation means. And a step of determining a motion estimation value for each motion estimation information obtained from the fourth motion estimation means based on a motion estimation ratio based on information of the frequency band power of the spatio-temporal space. Configured as a program.
また、本発明のプログラムは、動画像の動き推定値を求める動き推定装置として構成するコンピュータに、処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、周波数帯域分解処理を施した1階層目の水平低・垂直高周波画像群を用いて動き推定を行うステップと、周波数帯域分解処理を施した1階層目の水平高・垂直低周波画像群を用いて動き推定を行うステップと、周波数帯域分解処理を施した1階層目の水平高・垂直高周波画像群を用いて動き推定を行うステップと、前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、を実行させるためのプログラムとして構成される。 In addition, the program of the present invention performs spatio-temporal frequency band decomposition processing on an image to be processed on a computer that is configured as a motion estimation device that obtains a motion estimation value of a moving image, and also calculates spatio-temporal frequency band power. A step of calculating information, a step of performing hierarchical motion estimation using a group of spatial low-frequency images subjected to frequency band decomposition processing, and a horizontal low / vertical high frequency of the first layer subjected to frequency band decomposition processing A step of performing motion estimation using an image group, a step of performing motion estimation using a horizontal high / vertical low frequency image group of a first layer subjected to frequency band decomposition processing, and a layer subjected to frequency band decomposition processing A step of performing motion estimation using a horizontal high / vertical high-frequency image group of eyes, the first motion estimation means, the second motion estimation means, the third motion estimation means, and the fourth And a step of determining a motion estimation value based on a motion estimation ratio based on the information on the frequency band power of the spatio-temporal for each motion estimation information obtained from the motion estimation means. .
本発明によれば、時空間方向に周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うだけでなく、空間高周波成分を含む画像を用いた動き推定処理を行い、周波数帯域分解処理で得られた時空間方向の周波数帯域パワーの情報を用いて、空間低周波画像で求めた動き推定情報と空間高周波成分を含む画像で求めた動き推定情報に対する動き推定割合を制御して動き推定値を決定することで動き推定の精度を向上することが可能である。 According to the present invention, not only hierarchical motion estimation is performed using a spatial low-frequency image group of each layer subjected to frequency band decomposition processing in the spatio-temporal direction, but also motion estimation processing using an image including spatial high-frequency components. Using the frequency band power information in the spatio-temporal direction obtained by the frequency band decomposition process, and motion estimation for motion estimation information obtained from spatial low-frequency images and motion estimation information obtained from images containing spatial high-frequency components It is possible to improve the accuracy of motion estimation by determining the motion estimation value by controlling the ratio.
以下、本発明による一実施例の動き推定装置について説明する。 Hereinafter, a motion estimation apparatus according to an embodiment of the present invention will be described.
一実施例の動き推定装置1として、時間方向及び空間方向の周波数解析にウェーブレット変換によるオクターブ分解処理を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はFFT(Fast Fourier Transform)を用いることができるが、画像を低解像度化するにしたがってくり返し同じ処理を行って、時間方向及び空間方向の周波数解析を行う点を考慮すれば、ウェーブレット変換によるオクターブ分解処理を用いることが特に処理効率が向上する点で有利である。
As a
[装置構成]
図1に、本発明による一実施例の動き推定装置1を示す。本実施例の動き推定装置1は、ブロック分割部10と、時空間帯域スペクトラム情報検出部11と、動き推定階数決定部12と、動き推定部13とを備える。尚、各構成要素で処理するのに必要な画像データは、動き推定装置1が備える記憶部(図示せず)に適宜格納して読み出すように構成することができる。
[Device configuration]
FIG. 1 shows a
ブロック分割部10は、フレーム画像をブロック分割する機能部であり、動き推定基準フレームの時間情報tcと、時刻tcにおけるフレーム画像F(tc)の情報と、予め指定されるブロックサイズ情報Bx,Byとを入力して、フレーム画像F(tc)を、ブロックサイズ水平Bx画素×垂直By画素のブロックに分割し、分割後の水平i番目及び垂直j番目のブロック位置B(i,j,tc)を示す、ブロック分割情報を出力するブロック分割情報生成部101を有するように構成される(図2参照)。
The
時空間帯域スペクトラム情報検出部11は、動き推定基準フレームの時間位置情報tcと、動き推定参照フレームの時間位置情報trと、フレーム画像列F(t)の情報と、ブロック位置B(i,j,tc)の情報(ブロック分割情報B(i,j,tc)とも表す)と、動き推定探索範囲情報Sx,Syと、予め定めた最大階層数情報Dとを入力して、フレーム画像F(tc)上のブロック位置B(i,j,tc)において、ブロック位置B(i,j,tc)の中心から±Sx,±Sy画素の空間領域をSA(i,j,t)とし、フレーム画像F(tc)の前後2D−1フレームの同じ空間領域SA(i,j,t);tc−2D−1≦t≦tc+2D−1を利用して時空間パワー検出を行なう機能部である。
Space-time band spectrum
より具体的には、図3に示すように、時空間帯域スペクトラム情報検出部11は、分解階数・空間領域決定部111と、1次元D階ウェーブレット分解部112と、時空間帯域スペクトラム情報生成部113とを備える。
More specifically, as shown in FIG. 3, the spatiotemporal band spectrum
分解階数・空間領域決定部111は、ブロック位置B(i,j,tc)の情報と、動き推定探索範囲情報Sx,Syと、予め定めた最大階層数情報Dとを入力して、分解階数Dでオクターブ分解するよう1次元D階ウェーブレット分解部112に指示を送出するとともに、ブロック位置B(i,j,tc)を中心とした±Sx,±Syを動き探索空間領域情報SA(i,j,tc)として1次元D階ウェーブレット分解部112及び動き推定階数決定部12に送出する。
Decomposition rank / space region determination unit 111 receives block position B (i, j, t c ) information, motion estimation search range information Sx, Sy, and predetermined maximum hierarchy number information D, and decomposes them. An instruction is sent to the one-dimensional D-th floor
1次元D階ウェーブレット分解部112は、分解階層Dで、フレーム画像F(tc)の前後2D−1フレームの同じ空間領域SA(i,j,t);tc−2D−1≦t≦tc+2D−1を利用して、入力されるフレーム画像列F(t)における時間方向、水平方向、垂直方向の各々について1次元D階ウェーブレット分解を行ない、分解した時空間方向の周波数成分の情報を時空間帯域スペクトラム情報生成部113に送出する。
The one-dimensional D-th floor
時空間帯域スペクトラム情報生成部113は、フレーム画像F(tc)の前後2D−1フレームの同じ空間領域SA(i,j,t);tc−2D−1≦t≦tc+2D−1における時間・水平・垂直方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)を生成し、動き推定階数決定部12に送出する。
The spatio-temporal band spectrum
動き推定階数決定部12は、時空間方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)と、動き探索の空間領域SA(i,j,t)と、ブロック位置B(i,j,tc)の情報を入力し、時空間方向の各スペクトラムパワーと、時空間方向の各スペクトラムパワーに対してそれぞれ定めたスペクトラムパワー閾値とを比較して、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、予め定めた2つの階層数設定値(例えば、最大階層D>1と1階層の2つの階層数)のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた2つの階層数設定値のうち小さい方を動き推定階層数として決定する。
The motion estimation
より具体的には、図4に示すように、動き推定階数決定部12は、比較制御部121と、比較部122,123,124と、動き推定階層数決定部125とを備える。
More specifically, as shown in FIG. 4, the motion estimation
比較制御部121は、動き探索の空間領域SA(i,j,t)と、ブロック位置B(i,j,tc)の情報を入力して、比較部122,123,124にそれぞれ入力される時空間方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)とそれぞれ定めたスペクトラムパワー閾値Thτ(i,j),Thμ(i,j),Thv(i,j)との比較を制御する。
The
動き推定階層数決定部125は、比較部122,123,124による比較結果に基づいて、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、当該予め定めた2つの階層数設定値のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた2つの階層数設定値のうち小さい方を動き推定階層数として決定し、決定した動き推定階層数の情報を動き推定階層数R(i,j,tc)として出力する。
The motion estimation hierarchy
例えば、フレーム画像列F(t)上に存在する動オブジェクトの動き面積をMA(i,j,t)とし、動オブジェクトの静止時にアウトフォーカス等でぼけた画像ではないと想定すると、動オブジェクトの動き量が大きい場合と、動オブジェクトの動き量が小さい場合のいずれであるかの判別に、時空間方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)のそれぞれのパワー割合の大きさを4種類の場合分けによって行うようになる。
〔1.動オブジェクトの動き量が大きい場合〕
(1.1)空間領域SA(i,j,t)の空間面積に対して大きな動オブジェクトの動き面積MA(i,j,t)は、時間方向の高周波帯域のパワー割合が高く、且つ空間方向の高周波帯域のパワー割合が高い。
(1.2)空間領域SA(i,j,t)の空間面積に対して小さな動オブジェクトの動き面積MA(i,j,t)は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が低い。
〔2.動オブジェクトの動き量が小さい場合〕
(2.1)空間領域SA(i,j,t)の空間面積に対して大きな動オブジェクトの動き面積MA(i,j,t)は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が高い。
(2.2)空間領域SA(i,j,t)の空間面積に対して小さな動オブジェクトの動き面積MA(i,j,t)は、時間方向の高周波帯域のパワー割合が低く、且つ空間方向の高周波帯域のパワー割合が低い。
For example, assuming that the moving area of a moving object existing on the frame image sequence F (t) is MA (i, j, t) and it is not an image that is blurred due to out-of-focus or the like when the moving object is stationary, To determine whether the amount of motion is large or the amount of motion of the moving object is small, band spectrum information P τ (i, j, t), P μ (i, j, t) in the spatio-temporal direction , P v (i, j, t), the power ratios are divided into four cases.
[1. (When the amount of motion of the moving object is large)
(1.1) The motion area MA (i, j, t) of a moving object that is large relative to the spatial area of the spatial region SA (i, j, t) has a high power ratio in the high-frequency band in the time direction, and the space The power ratio of the high frequency band in the direction is high.
(1.2) The motion area MA (i, j, t) of the moving object that is small relative to the spatial area of the spatial region SA (i, j, t) has a low power ratio in the high-frequency band in the time direction, and the space The power ratio in the high frequency band in the direction is low.
[2. (When the amount of motion of the moving object is small)
(2.1) The movement area MA (i, j, t) of a moving object that is large relative to the spatial area of the spatial area SA (i, j, t) has a low power ratio in the high-frequency band in the time direction, and the space The power ratio of the high frequency band in the direction is high.
(2.2) The moving area MA (i, j, t) of the moving object that is small relative to the spatial area of the spatial area SA (i, j, t) has a low power ratio in the high-frequency band in the time direction, and the space The power ratio in the high frequency band in the direction is low.
そこで、動き推定階数決定部12は、上記の4種類の動オブジェクトの動きパターン(1.1)〜(2.2)に対応するために、時間方向のスペクトラムパワー閾値Thτ(i,j)、水平方向のスペクトラムパワー閾値Thμ(i,j)、垂直方向のスペクトラムパワー閾値Thv(i,j)をそれぞれ設定して基準にすることで、動オブジェクトの動き量が大きい場合と、動オブジェクトの動き量が小さい場合のいずれであるかの判別を行う。
Therefore, the motion estimation
動き推定階数決定部12は、時空間方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)の各々が、動きパターン(1.1)及び(1.2)に該当する場合、動オブジェクトの動き量が大きいとして判別し、当該予め定めた2つの階層数設定値のうち大きい方を動き推定階層数として決定する。
The motion estimation
動き推定階数決定部12は、時空間方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)の各々が、動きパターン(2.1)及び(2.2)に該当する場合、動オブジェクトの動き量が小さいとして判別し、当該予め定めた2つの階層数設定値のうち小さい方を動き推定階層数として決定する。
The motion estimation
このようにして、動き推定階数決定部12は、決定した動き推定階層数R(i,j,tc)を出力することができる。
In this way, the motion estimation
動き推定部13は、水平方向及び垂直方向の帯域スペクトラム情報Pμ(i,j,t),Pv(i,j,t)と、動き推定基準フレームの時間位置情報tcと、動き推定参照フレームの時間位置情報trと、フレーム画像列情報F(t)と、動き推定階層数情報R(i,j,tc)と、ブロック分割情報B(i,j,tc)と、予め定めた最大階層数Dの情報を入力して、ブロックB(i,j,tc)ごとに、動き探索空間領域SA(i,j,t)内で再構成した各階層の空間低周波画像群を用いて階層型動き推定を行い、0階層における動き推定情報を取得するとともに、さらに、1階層目(1階ウェーブレット分解)の水平低周波成分・垂直高周波成分からなる画像(以下、「水平低・垂直高周波画像」と称する)を再構成して動き推定を行い、1階層目(1階ウェーブレット分解)の水平高周波成分・垂直低周波成分からなる画像(以下、「水平高・垂直低周波画像」と称する)を再構成して動き推定を行い、1階層目(1階ウェーブレット分解)の水平高周波成分・垂直高周波成分からなる画像(以下、「水平高・垂直高周波画像」と称する)を再構成して動き推定を行うことにより、4種類の動き推定情報を取得し、この4種類の動き推定情報について、水平方向及び垂直方向の帯域スペクトラム情報Pμ(i,j,t),Pv(i,j,t)を用いて、4種類の動き推定情報に対応する周波数帯域パワーの割合を算出し、この周波数帯域パワーの割合に応じて4種類の動き推定情報を重み付け加算することにより、最終的な動き推定値を決定する。
The
より具体的には、図5に示すように、動き推定部13は、階層型動き推定部131と、空間階層ウェーブレット再構成部132と、2次元R階ウェーブレット分解部133と、オクターブ分解パワー成分算出部134と、帯域別パワー推定部135と、空間1階ウェーブレット再構成部136と、1階ウェーブレット分解水平・垂直高周波成分抽出部137と、動きベクトル修正部138とを備える。
More specifically, as shown in FIG. 5, the
はじめに、動き推定部13は、2次元R階ウェーブレット分解部133によって、まず、フレーム画像列F(tc),F(tr)について最大階層数Dの2次元D階ウェーブレット分解処理を施し、オクターブ分解パワー成分算出部134によって、低周波画像の各階層をd=1,・・・,Dとすると、それぞれのフレーム画像についてオクターブ分解パワー成分P(d) LL(tc),P(d) LH(tc),P(d) HL(tc),P(d) HH(tc)と、P(d) LL(tr),P(d) LH(tr),P(d) HL(tr),P(d) HH(tr)を得る。ここで、LL,LH,HL,HHは、それぞれ、水平低周波成分・垂直低周波成分からなる帯域成分、水平低周波成分・垂直高周波成分からなる帯域成分、水平高周波成分・垂直低周波成分からなる帯域成分、水平高周波成分・垂直高周波成分からなる帯域成分を示す。
First, the
次に、動き推定部13は、階層型動き推定部131によって、フレーム画像F(tc)上のすべてのブロックB(i,j,tc)について、動き探索空間領域SA(i,j,t)内で動き推定階層数情報R(i,j,tc)を基に再構成した各階層の空間画像群を用いて階層型動き推定を行い、各ブロックの動きベクトルvr(i,j,tc)(ここで、r=0,・・・,R)を求める。ここで、2次元R階ウェーブレット分解部133によって、説明の便宜のために最大階層数Dの2次元D階ウェーブレット分解処理を施すものとして説明しているが、R≦Dであることから、予め2次元R階ウェーブレット分解処理を施巣用に構成してもよい。r=0は、フレーム原画像であるフレーム画像F(tc),F(tr)に相当する階層である。尚、空間階層ウェーブレット再構成部132は、動き推定階層数R(i,j,tc)とオクターブ分解パワー成分算出部134からのオクターブ分解パワー成分を用いて各階層の空間画像を再構成する。
Next, the
例えば、階層型動き推定部131では、階層r=Rから動き推定を開始する。任意のブロックB(i,j,tc)について、R階ウェーブレット分解の水平低・垂直低周波帯域成分P(r) LL(tc)の同じ空間位置のブロックを基準に、参照フレーム画像F(tr)のR階ウェーブレット分解の水平低・垂直低周波帯域成分P(r) LL(tr)の当該同じ空間位置から式(1)に示すvar−1(2i,2j,tc)だけずらした場所を中心に、±Sx,±Sy画素の空間領域で探索し、得られた動き推定量にvar−1(2i,2j,tc)を加えたものをvar(i,j,tc)とする。これをr=r−1としながらr=0となるまで繰り返すことにより階層型動き推定による動き推定情報を取得する。 For example, the hierarchical motion estimation unit 131 starts motion estimation from the hierarchy r = R. For an arbitrary block B (i, j, t c ), a reference frame image F based on a block at the same spatial position of the horizontal low / vertical low frequency band components P (r) LL (t c ) of the R-order wavelet decomposition (t r) R floor wavelet decomposition horizontal low and vertical low frequency band component P of the (r) LL (t r) of the va r-1 (2i shown from the same spatial location in the formula (1), 2j, t c mainly) shifted by location, ± Sx, searching in the spatial domain of ± Sy pixels, va r-1 to the motion estimator obtained (2i, 2j, a plus t c) va r (i , J, t c ). By repeating this until r = 0 while r = r−1, motion estimation information by hierarchical motion estimation is acquired.
var−1(2i,2j,tc)=(vr−1(2i,2j,tc)
+vr−1(2i,2j−1,tc)
+vr−1(2i−1,2j,tc)
+vr−1(2i−1,2j−1,tc))/4 (1)
va r-1 (2i, 2j , t c) = (v r-1 (2i, 2j, t c)
+ V r-1 (2i, 2j-1, t c )
+ V r-1 (2i-1, 2j, t c )
+ V r-1 (2i- 1,2j-1, t c)) / 4 (1)
これにより、動き推定部13は、各階層の空間低周波画像群を用いて階層型動き推定を行い、0階層における動き推定情報を取得することができる。尚、階層型動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。つまり、階層型動き推定部131により、空間R階分解低周波数成分による階層型動き推定で、ブロックB(i,j,tc)の動きベクトルv0(i,j,tc)が求められる。
Thereby, the
動き推定部13は、階層型動き推定部131によってr=0まで階層型動き推定を行なった後、この階層型動き推定で得られた動き推定情報(動きベクトルv0)の補正を行なうために、帯域別動き推定を行う。
The
より具体的には、動き推定部13は、帯域別動き推定部135によって、まず、1階ウェーブレット分解の水平低・垂直高周波帯域画像情報を用いて動き推定を行う。帯域別動き推定部135は、ブロックB(i,j,tc)について、1階ウェーブレット分解の水平低・垂直高周波帯域成分P(1) LH(tc)の同じ空間位置のブロックを基準に、参照フレーム画像F(tr)のR階ウェーブレット分解の水平低・垂直高周波帯域成分P(1) LH(tr)の同じ空間位置から式(1)に示すva2(2i,2j,tc)だけずらした場所を中心に、±Sx,±Sy画素の空間領域で探索し、得られた動き推定量にva2(2i,2j,tc)を加えたものを動きベクトルv1 LH(i,j,tc)として求める。尚、この動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。尚、空間1階ウェーブレット再構成部136は、動き推定階層数R(i,j,tc)とオクターブ分解パワー成分算出部134からのオクターブ分解パワー成分を用いて1階層目の空間画像を再構成する。
More specifically, the
さらに、帯域別動き推定部135は、同様にして、1階ウェーブレット分解の水平高・垂直低周波帯域画像情報を用いて動き推定を行い、動きベクトルv1 HL(i,j,tc)を求め、さらに、同様に、1階ウェーブレット分解の水平高・垂直高周波帯域画像情報を用いて動き推定を行い、動きベクトルv1 HH(i,j,tc)を求める。いずれも、この動き推定は、パラボラフィッティングブロックマッチング法により、小数画素精度で行なう。
Further, the motion estimation unit for each
また、1階ウェーブレット分解水平・垂直高周波成分抽出部137は、水平方向及び垂直方向の帯域スペクトラム情報Pμ(i,j,t),Pv(i,j,t)を入力して、1階ウェーブレット分解の水平高周波成分P1 μと垂直高周波成分P1 vを抽出する。
The first-order wavelet decomposition horizontal / vertical high-frequency
動きベクトル修正部138は、既算出の動きベクトルv0(i,j,tc)の水平方向動き量をvx、垂直方向動き量をvyとし、既算出の動きベクトルv1 LH(i,j,tc),v1 HL(i,j,tc),v1 HH(i,j,tc)と、水平高周波成分P1 μと垂直高周波成分P1 vを用いて、式(2)に従って、動きベクトルv0(i,j,tc)を微修正して動き推定情報v0 ADJ(i,j,tc)を算出する。
The motion
式(2)にて、水平方向、垂直方向の動き量割合に応じて調整するための重み係数を乗じているのは、動オブジェクトの動いている方向の動きぼけ量が大きいことから動き方向を加味して重み割合を調整するためである。また、水平方向、垂直方向の帯域スペクトラム情報Pμ(i,j,t),Pv(i,j,t)における1階ウェーブレット分解の水平高周波成分P1 μと垂直高周波成分P1 vから水平方向、垂直方向の高周波帯域パワーの割合を算出するのは、高周波帯域パワーが高い方向の動きぼけ量が小さいことから高周波帯域パワーの方向を加味して重み割合を調整するためである。 In equation (2), the weighting factor for adjustment according to the rate of movement in the horizontal and vertical directions is multiplied by the amount of motion blur in the direction in which the moving object is moving. This is to adjust the weight ratio in consideration. Further, from the horizontal high-frequency component P 1 μ and the vertical high-frequency component P 1 v of the first-order wavelet decomposition in the band spectrum information P μ (i, j, t) and P v (i, j, t) in the horizontal and vertical directions. The reason for calculating the ratio of the high-frequency band power in the horizontal direction and the vertical direction is to adjust the weight ratio in consideration of the direction of the high-frequency band power because the amount of motion blur in the direction in which the high-frequency band power is high is small.
このようにして、本実施例の動き推定装置1は、時空間方向に周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うだけでなく、空間高周波成分を含む画像を用いた動き推定処理を行い、周波数帯域分解処理で得られた時空間方向の周波数帯域パワーの情報を用いて、空間低周波画像で求めた動き推定情報と空間高周波成分を含む画像で求めた動き推定情報に対する動き推定割合を制御して動き推定値を決定することで動き推定の精度を向上させる。
As described above, the
以下、本発明による一実施例の動き推定装置1の動作について更に詳細に説明する。
Hereinafter, the operation of the
[装置動作]
図6は、本発明による一実施例の動き推定装置の動作を示す動作フローである。ステップS1にて、動き推定装置1は、基準フレームF(tc)及び参照フレームF(tr)を含む、時刻t=t0・・・tmにおけるフレーム画像列F(t0),・・・,F(tc),・・・,F(tr),・・・,F(tm)を入力して、動き推定装置1が備える記憶部(図示せず)に適宜読み出し可能に格納する。
[Device operation]
FIG. 6 is an operation flow showing the operation of the motion estimation apparatus of one embodiment according to the present invention. In step S1, the
ステップS2にて、ブロック分割部10により、基準フレームF(tc)のブロック分割を実行する(図7参照)。
In step S2, the
ステップS3にて、時空間帯域スペクトラム情報検出部11により、ブロック位置B(i,j,tc)の情報と、動き推定探索範囲情報Sx,Syと、予め定めた最大階層数情報Dとを入力して、ブロック位置B(i,j,tc)を中心とした±Sx,±Syを動き探索空間領域情報SA(i,j,tc)として決定する(図8参照)。図8に示すように、フレーム画像F(tc)の前後2D−1フレームの同じ空間領域SA(i,j,t);tc−2D−1≦t≦tc+2D−1が決定される。
In step S3, the spatio-temporal band spectrum
ステップS4にて、時空間帯域スペクトラム情報検出部11により、入力されるフレーム画像列F(t)における時間方向、水平方向、垂直方向の各々について1次元D階ウェーブレット分解を行ない、フレーム画像F(tc)の前後2D−1フレームの同じ空間領域SA(i,j,t);tc−2D−1≦t≦tc+2D−1における時間・水平・垂直方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)を生成する(図9参照)。
In step S4, the spatio-temporal band spectrum
時空間帯域スペクトラム情報検出部11は、フレーム画像列F(t0),・・・,F(tc),・・・,F(tr),・・・,F(tm)における空間領域SA(i,j,t)について、時空間方向に予め規定した最大階数(D階)の周波領域に分解した後、全画素における時空間方向周波数帯域毎のパワーを算出することができる。例えば、図9に示すように、前後2D−1フレームのフレーム画像列F(t)を時空間方向にD階に分解するとすれば、D=1では、低周波領域L1及び高周波領域H1として分割することができ(図9(a)参照)、D=2では、低周波領域L2及び高周波領域H1,H2として分割することができ(図9(b)参照)、D=3では、低周波領域L3及び高周波領域H1,H2,H3として分割することができ(図9(c)参照)、D=4では、低周波領域L4及び高周波領域H1,H2,H3,H4として分割することができる(図9(d)参照)。
The spatio-temporal band spectrum
ステップS5にて、動き推定階数決定部12により、時空間方向の帯域スペクトラム情報Pτ(i,j,t),Pμ(i,j,t),Pv(i,j,t)と、動き探索の空間領域SA(i,j,t)と、ブロック位置B(i,j,tc)の情報を入力し、時空間方向の各スペクトラムパワーと、時空間方向の各スペクトラムパワーに対してそれぞれ定めたスペクトラムパワー閾値とを比較して、動オブジェクトの動き量が大きいか否かを判別し、動オブジェクトの動き量が大きいと判断される場合には、予め定めた2つの階層数設定値(例えば、最大階層D>1と1階層の2つの階層数)のうち大きい方を動き推定階層数として決定し、動オブジェクトの動き量が小さいと判断される場合には、当該予め定めた2つの階層数設定値のうち小さい方を動き推定階層数として決定する。
In step S5, the motion estimation
ステップS6にて、動き推定部13により、動き推定基準フレームの時間位置情報tcと、動き推定参照フレームの時間位置情報trと、フレーム画像列情報F(t)と、動き推定階層数情報R(i,j,tc)と、ブロック分割情報B(i,j,tc)に基づいて、空間R階分解低周波数成分による再構成画像を用いて、最上位の階層(即ち、元の画像レベル)となるまで順次階数をデクリメントして動き推定の処理を繰り返し(ステップS7)、小数画素位置のブロックマッチングの動きベクトル検出を実行し、動きベクトルv0(i,j,tc)を決定することができる(ステップS8)。
In step S6, the
例えば、図10(a)に示すように、基準フレームF(tc)の全画素に対して空間方向に2次元2階離散ウェーブレット分解を実行して、周波数帯域毎のパワー値を算出することができ、図10(b)に示すように、基準フレームF(tc)の空間方向の低周波領域(例えば、LL2)のみを抽出して基準フレームF(tc)の低周波領域のみの画像を再構成することができる。 For example, as shown in FIG. 10A, a power value for each frequency band is calculated by performing a two-dimensional second-order discrete wavelet decomposition in the spatial direction on all the pixels of the reference frame F (t c ). can be, as shown in FIG. 10 (b), the low-frequency region of the spatial direction of the reference frame F (t c) (e.g., LL 2) low-frequency region only extracted by the reference frame F (t c) only Can be reconstructed.
つまり、図11に示すように、空間R階分解低周波数成分による再構成画像を用いて、階層型の動き検出を行うことができる。例えば、R=4のとき、動き検出開始階数ns=4として4階層の低周波領域のみの画像を再構成することができる(図11(d)参照)。また、動き検出開始階数ns=3として3階層の低周波領域(この場合、LL3)のみの画像を再構成することができる(図11(c)参照)。同様に、動き検出開始階数ns=2として2階層の低周波領域(この場合、LL2)のみの画像を再構成することができ(図11(b)参照)、動き検出開始階数ns=1として1階層の低周波領域(この場合、LL1)のみの画像を再構成することができる。 That is, as shown in FIG. 11, hierarchical motion detection can be performed using a reconstructed image based on spatial R-order decomposition low frequency components. For example, when R = 4, the motion detection start rank n s = 4 can be used to reconstruct an image of only the four-layer low-frequency region (see FIG. 11D). In addition, it is possible to reconstruct an image of only three layers of low-frequency regions (in this case, LL 3 ) with motion detection start rank n s = 3 (see FIG. 11C). Similarly, it is possible to reconstruct an image of only two layers of low-frequency regions (in this case, LL 2 ) with the motion detection start rank n s = 2 (see FIG. 11B), and the motion detection start rank n s. = 1, it is possible to reconstruct an image of only one layer of a low frequency region (in this case, LL 1 ).
尚、2次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数(即ち、1階)でのみ行うのが好適であり、式(3)で与えられる(図12参照)。 It is preferable to use the block matching method of decimal pixel positions by quadratic function approximation only for the highest rank (that is, the first floor), which is given by equation (3) (FIG. 12). reference).
尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるSSD値(誤差二乗和)を表し、より具体的には、SSD(0)は中心位置におけるSSD値、SSD(−1)は中心位置から−Sx(Sy)画素の位置におけるSSD値、SSD(1)は中心位置から+Sx(Sy)画素の位置におけるSSD値を表す。式(1)から、水平又は垂直方向の小数画素精度の画素位置(小数画素位置)をそれぞれ算出することができる。例えば、図12の例では、式(3)から2次関数近似して、小数画素位置として例えば−0.33を得ることができる。 When the pixel position at the search position is x, SSD (x) represents the SSD value (sum of squares of error) at the pixel position. More specifically, SSD (0) is the SSD value at the center position, SSD (−1) represents the SSD value at the position of −Sx (Sy) pixel from the center position, and SSD (1) represents the SSD value at the position of + Sx (Sy) pixel from the center position. From equation (1), pixel positions (decimal pixel positions) with decimal pixel precision in the horizontal or vertical direction can be calculated respectively. For example, in the example of FIG. 12, a quadratic function approximation can be performed from Equation (3) to obtain, for example, −0.33 as the decimal pixel position.
ステップS9にて、動き推定部13により、ブロックB(i,j,tc)ごとに、動き探索空間領域SA(i,j,t)内で再構成した各階層の空間低周波画像群を用いて階層型動き推定を行い、0階層における動き推定情報を取得するとともに、さらに、1階層目(1階ウェーブレット分解)の水平低周波成分・垂直高周波成分からなる画像(「水平低・垂直高周波画像」)を再構成して動き推定を行い、1階層目(1階ウェーブレット分解)の水平高周波成分・垂直低周波成分からなる画像(「水平高・垂直低周波画像」)を再構成して動き推定を行い、1階層目(1階ウェーブレット分解)の水平高周波成分・垂直高周波成分からなる画像(「水平高・垂直高周波画像」)を再構成して動き推定を行うことにより、動きベクトルv1 LH(i,j,tc),v1 HL(i,j,tc),v1 HH(i,j,tc)を算出する。
In step S9, a spatial low-frequency image group of each layer reconstructed in the motion search space area SA (i, j, t) by the
ステップS10にて、動き推定部13により、水平方向及び垂直方向の帯域スペクトラム情報Pμ(i,j,t),Pv(i,j,t)から、1階ウェーブレット分解の水平高周波成分P1 μと垂直高周波成分P1 vを抽出する。
In step S10, the
ステップS11にて、動き推定部13により、既算出の動きベクトルv0(i,j,tc)と、既算出の動きベクトルv1 LH(i,j,tc),v1 HL(i,j,tc),v1 HH(i,j,tc)と、水平高周波成分P1 μと垂直高周波成分P1 vを用いて、式(2)に従って、動きベクトルv0(i,j,tc)を微修正した動きベクトル、即ち動き推定情報v0 ADJ(i,j,tc)を算出する。
In step S11, the
このように高精度で効率的に求めた動きベクトルを既存の符号化装置の符号化処理や超解像処理に適用することで、更なる高品質化が期待できる。 By applying the motion vector obtained with high accuracy and efficiency in this way to encoding processing and super-resolution processing of an existing encoding device, further improvement in quality can be expected.
また、上述の実施例では、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行って得られた動きベクトルに対して、周波数帯域分解処理を施した1階層目の水平低・垂直高周波画像を用いて動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した1階層目の水平高・垂直低周波画像を用いて動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した1階層目の水平高・垂直高周波画像を用いて動き推定を行って得られた動きベクトルとを用いて、時空間の周波数帯域パワーの情報に基づいて修正する例を説明した。本発明は、これに限定されず、周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行って得られた動きベクトルに対して、周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行って得られた動きベクトルと、周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行って得られた動きベクトルとを用いて、時空間の周波数帯域パワーの情報に基づいて修正することも可能である。 In the above-described embodiment, the frequency band decomposition processing is performed on the motion vector obtained by performing the hierarchical motion estimation using the spatial low-frequency image group of each layer subjected to the frequency band decomposition processing. Motion estimation is performed using the motion vector obtained by performing the motion estimation using the horizontal low / vertical high-frequency image of the hierarchy and the horizontal high / vertical low-frequency image of the first hierarchy subjected to the frequency band decomposition processing. Spatio-temporal frequency band power information using the obtained motion vector and the motion vector obtained by performing motion estimation using the first-level horizontal high / vertical high-frequency image subjected to frequency band decomposition processing. An example of correction based on the above has been described. The present invention is not limited to this, and the frequency band decomposition processing is performed on the motion vector obtained by performing the hierarchical motion estimation using the spatial low-frequency image group of each layer subjected to the frequency band decomposition processing. Hierarchy using the motion vector obtained by performing hierarchical motion estimation using the horizontal low / vertical high-frequency image group of each layer and the horizontal high / vertical low-frequency image group of each layer subjected to frequency band decomposition processing Using the motion vector obtained by performing the motion estimation and the motion vector obtained by performing the hierarchical motion estimation using the horizontal high / vertical high frequency image group of each layer subjected to the frequency band decomposition process, It is also possible to make corrections based on information on the spatio-temporal frequency band power.
更に、本発明の一態様として、本発明の動き推定装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の動き推定装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはROM又はRAMなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置(CPU)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。 Furthermore, as one aspect of the present invention, the motion estimation apparatus of the present invention can be configured as a computer. A program for causing a computer to realize each component of the motion estimation device of the present invention described above is stored in a storage unit provided inside or outside the computer. Such a storage unit can be realized by an external storage device such as an external hard disk or an internal storage device such as ROM or RAM. The control unit provided in the computer can be realized by controlling a central processing unit (CPU) or the like. In other words, the CPU can appropriately read from the storage unit a program in which the processing content for realizing the function of each component is described, and realize the function of each component on the computer. Here, the function of each component may be realized by a part of hardware.
また、この処理内容を記述したプログラムを、例えばDVD又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。 In addition, the program describing the processing contents can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM, and such a program can be distributed on a server on a network, for example. Can be distributed by transferring the program from the server to another computer via the network.
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。 In addition, a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit. As another embodiment of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer. In addition, the processing according to the received program may be executed sequentially.
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。 While the embodiments of the present invention have been described in detail with specific examples, it will be apparent to those skilled in the art that various modifications and changes can be made without departing from the scope of the claims of the present invention.
本発明によれば、フレーム内挿、画像符号化、画像超解像処理など、動画像の動き推定を用いるあらゆる技術に適用が可能である。 According to the present invention, the present invention can be applied to any technique that uses motion estimation of moving images, such as frame interpolation, image coding, and image super-resolution processing.
1 動き推定装置
10 ブロック分割部
11 時空間帯域スペクトラム情報検出部
12 動き推定階数決定部
13 動き推定部
101 ブロック分割情報生成部
111 分解階数・空間領域決定部
112 1次元D階ウェーブレット分解部
113 時空間帯域スペクトラム情報生成部
121 比較制御部
122,123,124 比較部
125 動き推定階層数決定部
131 階層型動き推定部
132 空間階層ウェーブレット再構成部
133 2次元R階ウェーブレット分解部
134 オクターブ分解パワー成分算出部
135 帯域別パワー推定部
136 空間1階ウェーブレット再構成部
137 1階ウェーブレット分解水平・垂直高周波成分抽出部
138 動きベクトル修正部
DESCRIPTION OF
Claims (5)
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第1の動き推定手段と、
周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行う第2の動き推定手段と、
周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行う第3の動き推定手段と、
周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行う第4の動き推定手段と、
前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、
を備えることを特徴とする動き推定装置。 A motion estimation device for obtaining a motion estimation value of a moving image,
A frequency band decomposition processing unit that performs spatio-temporal frequency band decomposition processing on an image to be processed, and calculates information of spatio-temporal frequency band power;
First motion estimation means for performing hierarchical motion estimation using a spatial low-frequency image group of each layer subjected to frequency band decomposition processing;
Second motion estimation means for performing hierarchical motion estimation using a horizontal low / vertical high frequency image group of each layer subjected to frequency band decomposition processing;
Third motion estimation means for performing hierarchical motion estimation using a horizontal high / vertical low frequency image group of each layer subjected to frequency band decomposition processing;
Fourth motion estimation means for performing hierarchical motion estimation using horizontal and vertical high-frequency image groups of each layer subjected to frequency band decomposition processing;
For each motion estimation information obtained from the first motion estimation means, the second motion estimation means, the third motion estimation means, and the fourth motion estimation means, the spatio-temporal frequency band power Means for determining a motion estimation value by a motion estimation ratio based on the information of
A motion estimation device comprising:
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出する周波数帯域分解処理手段と、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行う第1の動き推定手段と、
周波数帯域分解処理を施した1階層目の水平低・垂直高周波画像群を用いて動き推定を行う第2の動き推定手段と、
周波数帯域分解処理を施した1階層目の水平高・垂直低周波画像群を用いて動き推定を行う第3の動き推定手段と、
周波数帯域分解処理を施した1階層目の水平高・垂直高周波画像群を用いて動き推定を行う第4の動き推定手段と、
前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定する手段と、
を備えることを特徴とする動き推定装置。 A motion estimation device for obtaining a motion estimation value of a moving image,
A frequency band decomposition processing unit that performs spatio-temporal frequency band decomposition processing on an image to be processed, and calculates information of spatio-temporal frequency band power;
First motion estimation means for performing hierarchical motion estimation using a spatial low-frequency image group of each layer subjected to frequency band decomposition processing;
Second motion estimation means for performing motion estimation using a horizontal low / vertical high frequency image group in the first layer subjected to frequency band decomposition processing;
A third motion estimator that performs motion estimation using a first-level horizontal high / vertical low-frequency image group subjected to frequency band decomposition processing;
A fourth motion estimation means for performing motion estimation using a first-level horizontal high / vertical high-frequency image group subjected to frequency band decomposition processing;
For each motion estimation information obtained from the first motion estimation means, the second motion estimation means, the third motion estimation means, and the fourth motion estimation means, the spatio-temporal frequency band power Means for determining a motion estimation value by a motion estimation ratio based on the information of
A motion estimation device comprising:
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した各階層の水平低・垂直高周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した各階層の水平高・垂直低周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した各階層の水平高・垂直高周波画像群を用いて階層型動き推定を行うステップと、
前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、
を実行させるためのプログラム。 In a computer configured as a motion estimation device for obtaining a motion estimation value of a moving image,
Performing a spatio-temporal frequency band decomposition process on the image to be processed and calculating spatio-temporal frequency band power information;
Performing hierarchical motion estimation using spatial low-frequency image groups of each layer subjected to frequency band decomposition processing;
Performing hierarchical motion estimation using a horizontal low / vertical high frequency image group of each layer subjected to frequency band decomposition processing;
Performing hierarchical motion estimation using a horizontal high / vertical low frequency image group of each layer subjected to frequency band decomposition processing;
Performing hierarchical motion estimation using horizontal and vertical high-frequency image groups of each layer subjected to frequency band decomposition processing;
For each motion estimation information obtained from the first motion estimation means, the second motion estimation means, the third motion estimation means, and the fourth motion estimation means, the spatio-temporal frequency band power Determining a motion estimation value based on a motion estimation ratio based on the information of;
A program for running
処理対象の画像に対して時空間の周波数帯域分解処理を施すとともに、時空間の周波数帯域パワーの情報を算出するステップと、
周波数帯域分解処理を施した各階層の空間低周波画像群を用いて階層型動き推定を行うステップと、
周波数帯域分解処理を施した1階層目の水平低・垂直高周波画像群を用いて動き推定を行うステップと、
周波数帯域分解処理を施した1階層目の水平高・垂直低周波画像群を用いて動き推定を行うステップと、
周波数帯域分解処理を施した1階層目の水平高・垂直高周波画像群を用いて動き推定を行うステップと、
前記第1の動き推定手段、前記第2の動き推定手段、前記第3の動き推定手段及び前記第4の動き推定手段から得られるそれぞれの動き推定情報に対して、前記時空間の周波数帯域パワーの情報に基づいた動き推定割合によって動き推定値を決定するステップと、
を実行させるためのプログラム。
In a computer configured as a motion estimation device for obtaining a motion estimation value of a moving image,
Performing a spatio-temporal frequency band decomposition process on the image to be processed and calculating spatio-temporal frequency band power information;
Performing hierarchical motion estimation using spatial low-frequency image groups of each layer subjected to frequency band decomposition processing;
Performing motion estimation using a first layer horizontal low / vertical high frequency image group subjected to frequency band decomposition processing;
Performing motion estimation using a first-level horizontal high / vertical low-frequency image group subjected to frequency band decomposition processing;
Performing motion estimation using a horizontal high / vertical high frequency image group in the first layer subjected to frequency band decomposition processing;
For each motion estimation information obtained from the first motion estimation means, the second motion estimation means, the third motion estimation means, and the fourth motion estimation means, the spatio-temporal frequency band power Determining a motion estimation value based on a motion estimation ratio based on the information of;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010180478A JP5309097B2 (en) | 2010-08-11 | 2010-08-11 | Motion estimation apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010180478A JP5309097B2 (en) | 2010-08-11 | 2010-08-11 | Motion estimation apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012039569A JP2012039569A (en) | 2012-02-23 |
JP5309097B2 true JP5309097B2 (en) | 2013-10-09 |
Family
ID=45851014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010180478A Expired - Fee Related JP5309097B2 (en) | 2010-08-11 | 2010-08-11 | Motion estimation apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5309097B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7311972B2 (en) * | 2019-01-25 | 2023-07-20 | 日本放送協会 | GOP sizing device and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04322593A (en) * | 1991-04-22 | 1992-11-12 | Victor Co Of Japan Ltd | Picture coder and its decoder |
JPH0591498A (en) * | 1991-09-30 | 1993-04-09 | Mitsubishi Electric Corp | Band division moving picture encoder |
JP4124436B2 (en) * | 2002-11-13 | 2008-07-23 | 株式会社リコー | Motion estimation device, program, storage medium, and motion estimation method |
JP2006014121A (en) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | Image encoding method, image encoding apparatus, and imaging apparatus |
-
2010
- 2010-08-11 JP JP2010180478A patent/JP5309097B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012039569A (en) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8958484B2 (en) | Enhanced image and video super-resolution processing | |
KR102263625B1 (en) | Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy | |
US9589328B2 (en) | Globally dominant point spread function estimation | |
CN105469363B (en) | Method and apparatus based on blurred picture generation clear image | |
JP5727873B2 (en) | Motion vector detection device, encoding device, and program thereof | |
KR102481882B1 (en) | Method and apparaturs for processing image | |
JP2013059016A (en) | Image processing device, method, and program | |
JP2023521734A (en) | Method and apparatus for deep neural network-based inter-frame prediction in video coding, and computer program | |
US8253854B2 (en) | Image processing method and system with repetitive pattern detection | |
KR102244187B1 (en) | Method for video frame interpolation robust to exceptional motion and the apparatus thereof | |
JP6462372B2 (en) | Super-resolution device and program | |
JP2021184594A (en) | Video frame interpolation device and method | |
JP5014987B2 (en) | Motion compensation by video mode detection | |
CN114651270A (en) | Depth loop filtering by time-deformable convolution | |
JP2008544676A (en) | Motion estimation method | |
WO2010023982A1 (en) | Motion vector detection device and image processing device | |
JP5717548B2 (en) | Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof | |
JP7002213B2 (en) | Spatial / gradation super-resolution device and program | |
JP5309097B2 (en) | Motion estimation apparatus and program | |
KR101341617B1 (en) | Apparatus and method for super-resolution based on error model of single image | |
JP5331643B2 (en) | Motion vector detection apparatus and program | |
JP5498970B2 (en) | Image reduction device, image enlargement device, and program thereof | |
GB2325581A (en) | Local relaxation method for estimating optical flow | |
JP6817784B2 (en) | Super-resolution device and program | |
JP5511628B2 (en) | Frame rate conversion apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130701 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5309097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |