JPH09214899A - Image prediction processing method an its device - Google Patents

Image prediction processing method an its device

Info

Publication number
JPH09214899A
JPH09214899A JP1534596A JP1534596A JPH09214899A JP H09214899 A JPH09214899 A JP H09214899A JP 1534596 A JP1534596 A JP 1534596A JP 1534596 A JP1534596 A JP 1534596A JP H09214899 A JPH09214899 A JP H09214899A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
uncovered
region
motion vector
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1534596A
Other languages
Japanese (ja)
Inventor
Kazuhisa Iguchi
Yuji Nojiri
Hajime Sonehara
和久 井口
源 曽根原
裕司 野尻
Original Assignee
Nippon Hoso Kyokai <Nhk>
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To decide a correct motion vector by using two motion vector fields and using a detected motion vector so as to predict an uncovered area on an interpolated image. SOLUTION: Let the motion vector of a background be V14, the motion vector of an object be V13, a covered background area on a f(t) be M, and an uncovered area on an interpolated image be N, then the background motion vector V14 and the object motion vector 13 are detected in an area in the vicinity of the covered background area M. The uncovered area in the interpolated image is predicted by using the two motion vector fields consisting of the motion vector in the forward direction detected between f(t) and f(t+1) based on the f(t) and of the motion vector in the opposite direction detected between f(t) and f(t+1) based on the f(t+1) and the uncovered area on the f(t) and f(t+1) detected by using each motion vector to decide the motion vector in the predicted uncovered area.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、画像予測処理方法および装置に係り、特に動き補正型画像内挿処理装置(例えば、動き補正型テレビジョン方式変換装置、動き補正型スローモーション装置など)において、内挿画像上において、物体が移動することにより現れる領域(アンカバード・バックグラウンド領域)、および物体が移動することにより隠れる領域(カバード・バックグラウンド領域)であるアンカバー領域の予測と、その予測領域における動きベクトルの決定を行う方法および装置に関する。 BACKGROUND OF THE INVENTION The present invention relates to an image prediction processing method and apparatus, in particular a motion-corrected image interpolation processing apparatus (e.g., motion compensated television standards converter, a motion compensation type slow-motion device) in , on the interpolation image, and the prediction of the uncovered area which is an area which appears by object moves (uncovered background region), and the object is hidden by moving region (covered background region), the to a method and apparatus for determination of the motion vector in the prediction region.

【0002】 [0002]

【従来の技術】テレビジョン信号の時間軸方向にサンプリングされた動画像の時間軸方向の内挿処理を行う場合、内挿画像上における動きベクトルを決定する必要があるが、アンカバー領域と、そうでない領域とでは、同様の手段で動きベクトルを決定することができない。 If BACKGROUND ART performs interpolation processing in the time axis direction of the time axis direction in the moving image which is sampled television signal, it is necessary to determine the motion vector in the interpolation image, the uncovered region, in a otherwise region, it is not possible to determine the motion vector in the same unit. 現実の動き物体の移動に適合した画像内挿を行うためには、内挿画像におけるアンカバー領域の正確な予測とアンカバー領域の妥当な動きベクトルの決定が必要である。 In order to perform image interpolation adapted to the movement of the actual moving object, it is necessary to determine the appropriate motion vectors accurate prediction and uncovered areas uncovered area in the interpolation image.

【0003】いま、時間的に連続した4つの画像をf [0003] Now, the four consecutive images temporally f
(t−1),f(t),f(t+1),f(t+2)とし、内挿画像を時間的にf(t)とf(t+1)の間に位置する画像とする。 (T-1), f (t), f (t + 1), and f (t + 2), and image located between the f the interpolation image temporally (t) f (t + 1). また、内挿画像の時間的位置は内挿比に従うものとする。 Further, the temporal position of the interpolation image is assumed to follow the interpolation ratio. 動き補正型画像内挿処理を行うためには、内挿画像上で動きベクトルを決定する必要がある。 In order to perform motion compensation type image interpolation process, it is necessary to determine the motion vector on an interpolation image. その理由は、f(t)およびf(t+1)上の動きベクトルだけでは内挿画像を作成するために使用する領域が定まらない場合があるためである。 The reason is that the only motion vector on f (t) and f (t + 1) there may be a case that area used to create the interpolated image is not determined. 例えば、図1 For example, Figure 1
5は、静止した背景の前を、ボールが移動する場合を示している。 5, in front of static background, shows the case where the ball moves. 時刻tにおいてSの位置にあったボールが時刻t+1ではTの位置に移動し、時刻tにおいてUの位置の背景は時刻t+1でVの位置にある(静止している)とき、動きベクトル検出の結果、V5で示すボールの動きベクトルと、V6で示す背景の動きベクトルが検出される。 There ball to the position of S is moved to the position at time t + 1 At T at time t, the background of the position of the U at time t is in the position of the V at time t + 1 (still to have) the time, the motion vector detection result, the motion vector of the ball indicated by V5, the motion vector of the background indicated by V6 is detected.

【0004】このとき、内挿画像上の領域Rにおいて、 [0004] In the region R on this time, the interpolation image,
動きベクトルV5を使用する領域Sと領域Tを用いた画像内挿と、動きベクトルV6を使用する領域Uと領域V An image interpolation using the area S and the area T that uses motion vectors V5, region using the motion vector V6 U and the region V
を用いた画像内挿の、いずれを行うかを決定する必要がある。 Image interpolation using, it is necessary to determine whether to one. そのため、動き補正型画像内挿処理装置では、内挿画像上の動きベクトルを決定することが必要となる。 Therefore, the motion compensation type image interpolation processing apparatus, it is necessary to determine the motion vector of the interpolation image.

【0005】内挿画像上のアンカバー領域における動きベクトルを決定する従来の方法は、f(t−1)とf Conventional methods of determining the motion vector in the uncovered areas on the [0005] the interpolation image is, f (t-1) and f
(t)の間でf(t−1)を基準として、例えば勾配法やブロックマッチング法により検出した動きベクトル、 Motion vector detected on the basis of the f (t-1), for example, block matching method, or between the (t),
f(t)とf(t+1)の間でf(t)を基準として検出した動きベクトル、およびf(t+1)とf(t+ Motion vector was detected f a (t) as a reference between the f (t) and f (t + 1), and f (t + 1) and f (t +
2)の間でf(t+1)を基準として検出した動きベクトルの合計3つの動きベクトル場を用いる手法である。 A method using a total of three motion vector field motion vector detected f a (t + 1) as a reference between the two).

【0006】この従来の手法においては、まず、f [0006] In this conventional approach is, first, f
(t)とf(t+1)上のアンカバー領域の検出を以下の手順で行う。 (T) and f a (t + 1) on detection of the uncovered region of the following procedure. すなわち、図16でAとBで示す領域のように、f(t)を基準として検出した動きベクトルでf(t+1)上に移動したときに対応する位置(領域E)が重なっているf(t)上の複数の領域を検出し、 That is, as in the region indicated by A and B in FIG. 16, f f in the detected motion vector (t) as a reference (t + 1) corresponding position when moved over (region E) is overlapped and f ( detecting a plurality of areas on t),
カバード・バッググラウンド領域(f(t+1)上で隠れる領域)の候補とする。 As a candidate of the covered bag ground area (f (t + 1) region hidden on). これら候補の領域のうち、f Of these candidates of the area, f
(t+1)上の対応する領域との間で画像情報の相関が小さいものを、f(t)上のカバード・バックグラウンド領域とする。 (T + 1) on the corresponding ones correlation of the image information is small between the area, the covered background area on the f (t). 相関としては2つの領域に含まれる画素の輝度レベルの差の絶対値の総和(以下、DFDという)を用いる(DFDが小さいほど2つの領域の相関が高い)。 The sum of the absolute value of the difference of luminance levels of pixels included in the two regions as a function (hereinafter, referred to as DFD) (high correlation enough two regions DFD is small) is used. 図16の例では、AとEの相関およびBとEの相関を求め、相関の小さい(DFDの大きい)方の領域をf(t)上のカバード・バックグラウンド領域とする。 In the example of FIG. 16, the correlation of the correlation and B and E A and E, the region towards the correlation of small (large DFD) and covered background area on the f (t). また、図16のf(t+1)上の領域Fのように、 Further, as a region F on f (t + 1) in FIG. 16,
f(t)上の領域をその動きベクトルによってf(t+ By the motion vector space on f (t) f (t +
1)上に割り付けていったとき、f(t+1)上に割り付けが行われない領域、すなわちf(t)と対応をもたないf(t+1)上のいわば穴あき領域を、f(t+ When went assigned to 1) on, f (t + 1) allocated on is not performed regions, namely a speak perforated area on f (t) and no corresponding f (t + 1), f (t +
1)上のアンカバード・バックグラウンド領域(f(t 1) on the uncovered background area (f (t
+1)上で現れる領域)とする。 And area) that appear on the +1).

【0007】次に、以下の手順で内挿画像上のアンカバー領域を予測する。 [0007] Next, predicts the uncovered areas on the interpolated image by the following procedure. 上述のf(t)上のカバード・バックグラウンド領域をその位置で検出した動きベクトルで内挿比に応じて内挿画像上に移動したときに内挿画像上の対応する位置の領域を、内挿画像上のカバード・バックグラウンド領域とする。 The area of ​​the corresponding position on the interpolated image when moving on the interpolated image according to the interpolation ratio of the covered background area on the above-mentioned f (t) by the motion vector detected at that position, the inner and covered background area on the image interpolation. また、f(t)上の非アンカバー領域をその位置で検出した動きベクトルで内挿比に応じて内挿画像上に移動したときに内挿画像上の対応する位置の領域を内挿画像上の非アンカバー領域とする。 Further, f (t) non-uncovered region of the corresponding interpolation image area position on the interpolated image when moving on the interpolated image according to the interpolation ratio in the detected motion vector at the position on the a non-uncovered area of ​​the above.
この内挿画像上の非アンカバー領域が内挿画像上のカバード・バックグラウンド領域に重なった部分は、非アンカバー領域とする。 Non uncovered area overlap to the covered background area on the interpolated image part on the interpolated image, a non-uncovered region. このようにして求めた、内挿画像上のカバード・バックグラウンド領域および非アンカバー領域以外の内挿画像上のいわば穴あき領域を内挿画像上のアンカバード・バックグラウンド領域とする。 There was thus determined, and covered background area and speak perforated area on the interpolation image uncovered background area on the interpolated image other than the non-uncovered region of the interpolation image.

【0008】例えば、図17では、f(t)上の領域B [0008] For example, in FIG. 17, the region on the f (t) B
がf(t)上のカバード・バックグラウンド領域であるとする。 There is to be a covered background area on the f (t). このとき、領域Bをその動きベクトルで内挿画像上に移動したときに対応する位置の領域B′を求め、 At this time, obtains the region B 'of the corresponding position when moved on an interpolation image area B in the motion vector,
その求めた領域B′を内挿画像上のカバード・バックグラウンド領域とする。 And the determined region B 'of the interpolation image covered background area. f(t)上の非アンカバー領域A Non-uncovered area A on the f (t)
を、その動きベクトルで内挿画像上に移動したときに対応する位置の領域A′を求め、その領域A′を内挿画像上の非アンカバー領域とする。 And the motion vector 'seek, the region A' region A at a corresponding position when moved on an interpolation image at a non-uncovered region of the interpolation image to. また、非アンカバー領域A′が内挿画像上のカバード・バックグラウンド領域B′と重なる部分は、非アンカバー領域とする。 Further, the overlap portions 'covered background area B on the interpolated image is' non-uncovered region A, and non-uncovered region. さらに、f(t)と対応をもたないいわば穴あき領域の領域Hを、内挿画像上のアンカバード・バックグラウンド領域とする。 Furthermore, the region H as it were perforated area do not have a corresponding and f (t), and the uncovered background area on the interpolation image.

【0009】次に、内挿画像上のアンカバー領域における動きベクトルを決定する。 [0009] Next, to determine the motion vector in the uncovered region on the interpolation image. ここでは、f(t−1), Here, f (t-1),
f(t)の間でf(t−1)を基準として検出した動きベクトルを用いる。 Using the motion vector detected f a (t-1) as a reference between the f (t). すなわち、f(t−1)上の領域を内挿画像上に移動したときに対応する位置の領域もしくは対応する位置の領域の一部が、内挿画像上のカバード・バックグラウンド領域と重なるとき、その動きベクトルを重なった内挿画像上のカバード・バックグラウンド領域の動きベクトルとする。 That is, part of the area of ​​the region or the corresponding position in the corresponding position when moved onto the interpolation image areas on the f (t-1) is, when overlapping the covered background area on the interpolation image , the motion vector of the covered background area on the interpolated image among an overlapped motion vector. また、f(t+1),f In addition, f (t + 1), f
(t+2)の間でf(t+1)を基準として検出した動きベクトルを用い、f(t+1)上の領域を逆向きに内挿画像上に移動したときに対応する位置の領域もしくは対応する位置の領域の一部が、内挿画像上のアンカバード・バックグラウンド領域と重なるとき、その動きベクトルを重なった内挿画像上のアンカバード・バックグラウンド領域の動きベクトルとする。 (T + 2) using the detected motion vector, based on the f (t + 1) between, f (t + 1) on the region of the position corresponding to when it moves on the interpolated image in the reverse direction region or at a corresponding position some areas, when overlapping the uncovered background area on the interpolated image, the motion vector of the uncovered background area on the interpolated image among an overlapped motion vector.

【0010】例えば、図18の、内挿画像上の領域Iをアンカバード・バックグラウンド領域(f(t+1)上で現れる領域)、領域Jをカバード・バックグラウンド領域(f(t+1)上で隠れる領域)とする。 [0010] For example, hidden in the top of FIG. 18, on the interpolated image area I of the uncovered background area (f (t + 1) regions appearing on), the region J covered background area (f (t + 1) and area). f(t− f (t-
1)上の領域G1をその位置で検出した動きベクトルV Motion vector V regions G1 on 1) was detected at the position
11で、内挿画像上に移動したときに対応する位置の領域G1′は、内挿画像上のカバード・バックグラウンド領域とは重ならないため、V11は内挿画像上のカバード・バックグラウンド領域の動きベクトルとはならない。 11, area at a position corresponding to when it moves on an interpolation image G1 'is the internal order interpolation does not overlap the covered background area on the image, V11 is on the interpolation image in the covered background area not a motion vector. f(t−1)上の領域G2をその位置で検出した動きベクトルV12で、内挿画像上に移動したときに対応する位置の領域G2′は、内挿画像上のカバード・バックグラウンド領域Jと重なるため、重なった部分J′ f in (t-1) on the motion vector V12 to the region G2 detected at that position of the interpolated area corresponding when moved over the image G2 'is covered background area J on the interpolation image order to overlap with the, overlapping part J '
(図18の斜線の領域)の動きベクトルをV12とする。 The (shaded areas in FIG. 18) the motion vectors of the V12. 同様に、f(t+1)とf(t+2)の間でf(t Similarly, f (t + 1) and f (t + 2) between at f (t
+1)を基準として検出した動きベクトルを用い、f +1) using the detected motion vector as a reference, f
(t+1)上の領域を内挿画像上に移動したときに対応する位置の領域もしくは対応する位置の領域の一部が、 Some (t + 1) at the corresponding position when moved onto the interpolated image regions on the region or in the corresponding location area,
内挿画像上のアンカバード・バックグラウンド領域Iと重なる場合、その動きベクトルを、重なった領域Iの動きベクトルとする。 When overlapping the uncovered background area I on interpolation image, the motion vector, the motion vector of the overlapping region I.

【0011】また、内挿画像上のカバード/アンカバード・バックグラウンド領域(/は、「および」を意味する、以下同じ)に複数の異なる動きベクトルが候補となる場合には、以下の手順で内挿画像上のカバード/アンカバード・バックグラウンド領域における動きベクトルを決定する。 Further, the covered / uncovered background area (/ means "and", the same below) on the interpolation image when the plurality of different motion vectors in the candidate by the following procedure determining the motion vector in the covered / uncovered background area on the interpolation image. すなわち、図19に示すように、内挿画像上のカバード・バックグラウンド領域をJとし、f(t That is, as shown in FIG. 19, the covered background area on the interpolation image and J, f (t
−1)上の領域J′ t- 1で検出した動きベクトルV9 -1) was detected in the region J 't-1 on the motion vector V9
と、f(t−1)上の領域J″ t-1で検出した動きベクトルV10が、領域Jの候補となったとき、動きベクトルV9で領域J′ When, f motion vector V10 detected by (t-1) region J "t-1 on the, when a candidate region J, region motion vector V9 J ' t-1をf(t)上に移動したときに対応する位置の領域J′ tと、動きベクトルV10で領域J″ t-1をf(t)上に移動したときに対応する位置の領域J″ tを求め、J′ t-1とJ′ tの画像情報の相関と、J″ t-1とJ″ tの画像情報の相関を求め、相関の大きい方の動きベクトルを、領域Jの動きベクトルとする。 and region J 't the corresponding position when moving the t-1 on f (t), area at a position corresponding to when the region J "t-1 moved over f (t) by the motion vector V10 "seek t, the correlation of the image information of J 't-1 and J' t, J" J the correlation of the image information of the t-1 and J 't, the motion vector having a larger correlation, region J and of the motion vector. アンカバード・バックグラウンド領域に異なる複数の動きベクトルが候補となるときも同様に、内挿画像上のアンカバード・バックグラウンド領域をIとし、f Similarly, when a plurality of motion vectors that are different to the uncovered background area are candidates, the uncovered background area on the interpolation image and I, f
(t+1)上の領域I′ t+1で検出した動きベクトルV (T + 1) on the area I 'motion detected by the t + 1 vector V
7と、f(t+1)上の領域I″ t+1で検出した動きベクトルV8が、領域Iの候補となったとき、動きベクトルV7で領域I′ t+1をf(t+2)上に移動したときに対応する位置の領域I′ t+2と、動きベクトルV8で領域I″ t+1をf(t+2)上に移動したときに対応する位置の領域I″ t+2を求め、I′ t+1とI′ t+2の画像情報の相関と、I″ t+1とI″ t+2の画像情報の相関を求め、相関の大きい方の動きベクトルを、領域Iの動きベクトルとする。以上が、従来技術における内挿画像上のアンカバー領域の予測、およびそのアンカバー領域における動きベクトルの決定の方法であった。 7, the motion vector V8 detected in the area I "t + 1 on f (t + 1) moving, when a candidate region I, the region I 't + 1 on f (t + 2) by the motion vector V7 an area I 't + 2 at the corresponding position when the t + 2 "region I at a corresponding position when moving the t + 1 on f (t + 2)" region I by the motion vector V8 determined, I a correlation of 't + 1 and I' t + 2 of the image information, I "t + 1 and I" the correlation of t + 2 of the image information, the motion vector having a larger correlation, motion area I vector to. over the prediction uncovered areas on the interpolated image in the prior art, and a method of determining the motion vector in the uncovered region.

【0012】 [0012]

【発明が解決しようとする課題】以上説明したように、 As explained in the invention Problems to be Solved] or more,
内挿画像上のカバード/アンカバード・バックグラウンド領域の予測、およびカバード/アンカバード・バックグラウンド領域における動きベクトルを決定するために、従来の技術では時間的に連続する4つの画像間でしかも順方向に検出した3つの動きベクトル場を用い、かつ時間的に連続する画像間で検出した動きベクトルを使用して内挿画像上のアンカバー領域における動きベクトルを決定していたため、動きベクトル決定のための装置が大規模となり、また、決定された動きベクトルの正確さにも欠けるという問題があった。 Prediction of the covered / uncovered background area on the interpolated image, and to determine the motion vector in the covered / uncovered background area, in the prior art Moreover forward a between four temporally continuous images using three motion vector field has been detected in the direction, and because it was determined motion vectors in uncovered areas on the interpolated image using the detected motion vector between temporally continuous images, a motion vector determination apparatus for becomes large, also there is a problem that also lacks the accuracy of the determined motion vector.

【0013】 [0013]

【課題を解決するための手段】上記従来技術の問題点を解決するために、本発明は、時間的に連続した2つの画像間で双方向に検出した2つの動きベクトル場を用い、 In order to solve the problems of the prior art SUMMARY OF THE INVENTION The present invention uses two motion vector fields detected in both directions between two consecutive images in time,
かつ空間的に隣接する領域で検出した動きベクトルを使用して内挿画像上のアンカバー領域を予測し、またそのアンカバー領域における動きベクトルを決定するものである。 And predicting the uncovered areas on the interpolated image using the motion vector detected in a region spatially adjacent and is what determines the motion vector in the uncovered region.

【0014】まず、本発明による内挿画像上のアンカバー領域を予測する方法は、連続した2つの画像f [0014] First, a method of predicting the uncovered areas on the interpolation image according to the present invention, two consecutive images f
(t),f(t+1)間で双方向に動きベクトルを検出してf(t),f(t+1)上のアンカバー領域と非アンカバー領域を特定する。 (T), f (t + 1) f (t) by detecting a motion vector in both directions between, identifies the f (t + 1) uncovered region and the non-uncovered areas on. 次いで、双方向動きベクトルに基づき、内挿画像上に非アンカバー領域を割り付けていき、最後まで割り付けが行われなかったいわば穴あき領域を内挿画像上のアンカバー領域として予測する。 Then, based on the bidirectional motion vector to predict on an interpolation image will allocate non uncovering region, so to speak perforated area assignment has not been made to the end as uncovered areas on the interpolated image.

【0015】次に、本発明による内挿画像上のアンカバー領域における動きベクトルを決定する方法は、上記f Next, a method of determining a motion vector in the uncovered region on the interpolation image according to the present invention, the f
(t),f(t+1)上のアンカバー領域近傍に存在する動きベクトルを上記方法によって予測した内挿画像上のアンカバー領域の動きベクトルの候補として選ぶ。 (T), selecting the motion vectors present in the uncovered region near the f (t + 1) as a candidate for the motion vector of the uncovered areas on the interpolated image among predicted by the above method. そして、この候補ベクトルを用いて内挿画像上に上記f Then, the f on an interpolation image by using the candidate vectors
(t),f(t+1)上のアンカバー領域を移動させてみて、予測した内挿画像上のアンカバー領域と重なる場合に、この候補ベクトルを順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて内挿画像上のそのアンカバー領域における動きベクトルとして決定する。 (T), f (t + 1) a uncovered areas on try to move, when overlapping with the uncovered areas on the interpolated image among expected, it is the forward motion vector of the candidate vector, the backward motion vector the determined as a motion vector in the uncovered areas on the interpolated image by inverting the orientation.

【0016】すなわち、本発明画像予測処理方法は、内挿画像を挟む時間的に連続した2つの画像f(t),f [0016] Namely, the present invention image prediction processing method, temporally sandwiching the interpolation image two consecutive images f (t), f
(t+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出し、該検出した動きベクトルに基づき前記画像f (T + 1) between, each block having a predetermined size predetermined, the motion vector is detected separately in both directions, the image f on the basis of the motion vector the detected
(t),f(t+1)上のアンカバー領域を検出し、該検出したf(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する画像予測処理方法において、前記f(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する方法は、それぞれ、前記画像f(t), (T), f (t + 1) detecting the uncovered areas on, 該検 out was f (t), f (t + 1) image prediction for predicting the uncovered region on the inside interpolated image based on the uncovered areas on in the processing method, the f (t), f (t + 1) a method of predicting the uncovered region on the inside interpolated image based on the uncovered areas on each, the image f (t),
f(t+1)上でアンカバー領域以外の領域を各別に抽出し、該抽出した抽出領域のそれぞれに含まれ、対応する前記動きベクトルが相互に逆向きで対応する一部領域であって、前記画像f(t)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t+1)上に移動した範囲が、前記f(t+1)上の抽出領域に含まれ、かつ、前記画像f(t+1)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f f (t + 1) a region other than the uncovered areas on the extracted separately, ie, each extraction region the extracted, the motion vector corresponding is a part area corresponding in opposite directions to each other, the It said partial region of the image f (t), ranges moved on the image f (t + 1) based on said corresponding motion vector is included in the extraction area on the f (t + 1), and the image the image f on the basis of the partial area on the f (t + 1), the said corresponding motion vector
(t)上に移動した範囲が、前記f(t)上の抽出領域に含まれる、前記抽出領域の一部領域を各別に検出し、 (T) range hovers over it, the included in the extracted area on the f (t), to detect the partial region of the extraction region in each other,
該検出した一部領域を、対応する前記動きベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付け、該割り付けた領域以外の前記内挿画像上の領域を前記内挿画像上のアンカバー領域と判定するという順次のステップを含んでいることを特徴とするものである。 Some areas the detected, assigned as corresponding predicted image on said interpolated image according to interpolation ratio in based on the motion vector, the assignment and the region on the inside interpolated image other than the area on said interpolation image and it is characterized in that it includes successive steps of determining the uncovered area.

【0017】また、本発明画像予測処理方法は、内挿画像を挟む時間的に連続した2つの画像f(t),f(t Further, the present invention image prediction processing method, temporally sandwiching the interpolation image two consecutive images f (t), f (t
+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出し、該検出した動きベクトルに基づき前記画像f +1) between, each block having a predetermined size predetermined, the motion vector is detected separately in both directions, the image f on the basis of the motion vector the detected
(t),f(t+1)上のアンカバー領域を検出し、該検出したf(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測し、該予測した内挿画像上のアンカバー領域の動きベクトルを決定する画像予測処理方法において、前記内挿画像上のアンカバー領域の動きベクトルを決定する方法は、それぞれ、前記画像f(t),f(t+1)上のアンカバー領域近傍の領域に対応する複数の前記動きベクトルを前記内挿画像上のアンカバー領域の動きベクトルの候補として選定し、前記画像f(t),f(t+1)上のアンカバー領域を前記複数の候補ベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付け、該割り付けた複数の予測画像のうち、1つの予測画像のみが前記内挿画像上のアン (T), to detect the uncovered areas on the f (t + 1), 該検 out was f (t), predicts uncovered regions on said interpolated image on the basis of the uncovered region of the f (t + 1), the in the image prediction processing method for determining a motion vector of the uncovered areas on the interpolated image among predicted, a method of determining the motion vector of the uncovered areas on said interpolated image, respectively, the image f (t), f (t + 1) a plurality of said motion vector corresponding to the uncovered region near the region on selected as a candidate of the motion vectors of the uncovered region on the inside interpolation image, the image f (t), f (t + 1) above Ann allocate uncovered region as a predicted image on said interpolated image according to interpolation ratio in based on the plurality of candidate vectors, among the plurality of prediction images allocation the only one prediction image on said interpolation image バー領域と重複を生じる場合は、前記1つの予測画像に対応する前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、前記内挿画像上のアンカバー領域のうち、前記予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域の動きベクトルとして決定し、前記割り付けた複数の予測画像のうち、2つ以上の予測画像が前記内挿画像上のアンカバー領域と重複を生じる場合は、前記各候補ベクトルに対応する前記画像f(t),f(t+1)上の各アンカバー領域の画像情報と、前記画像f(t),f(t+1)に対してそれぞれ前記内挿画像の時間的に反対側に位置する画像f If the bar area results in duplication, the candidate vector, for the forward motion vector as it is, by inverting the direction for backward motion vector, uncovered on said interpolated image corresponding to the one of the predicted images among regions, the determined as a motion vector of the uncovered areas on said interpolated image corresponding to the overlapping range of the predicted image from among the plurality of prediction images which the allocated two or more predicted images the interpolation If that occurs the overlap with uncovered areas on the image, the image f corresponding to each candidate vector (t), f (t + 1) and the image information of each uncovered region on the image f (t), f (t + 1) image temporally located opposite the inside interpolated image respectively f
(t−1),f(t+2)上の領域であって、前記各候補ベクトルに従い前記画像f(t),f(t+1)上の対応アンカバー領域を逆向きに移動させた範囲に対応する領域の画像情報との相関を算出して、相関が最大となる前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、前記内挿画像上のアンカバー領域のうち、前記2 (T-1), a region on the f (t + 2), corresponds to a range wherein the image f in accordance with each candidate vector (t), is moved a corresponding uncovered area on the opposite f (t + 1) by calculating the correlation between the image information of the area, the candidate vector, for the forward motion vector as it is, by inverting the direction for backward motion vector, uncovered on said interpolation image where the correlation is the maximum in the region, the 2
つ以上の予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域の動きベクトルとして決定するという順次のステップを含んでいることを特徴とするものである。 One or more is characterized in that it includes successive steps of determining a motion vector of the uncovered areas on said interpolated image corresponding to the overlapping range of the predicted image.

【0018】また、本発明画像予測処理方法は、前記画像f(t),f(t+1)上のアンカバー領域近傍の領域が、前記ブロックの8倍乃至200倍の面積範囲の近傍領域であることを特徴とするものである。 Further, the present invention image prediction processing method, the image f (t), f (t + 1) uncovered region near the area on the can is in the vicinity area of ​​8 times to 200 times the area range of the block it is characterized in.

【0019】また、本発明画像予測処理装置は、内挿画像を挟む時間的に連続した2つの画像f(t),f(t Further, the present invention image prediction processing apparatus, temporally successive two images f sandwiching the interpolation image (t), f (t
+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出する双方向動きベクトル検出部と、該検出部において検出した動きベクトルに基づき前記画像f(t),f(t+ +1) between, each block having a predetermined size that is determined in advance, and bidirectional motion vector detecting section for detecting a motion vector to each other bidirectionally, the image f on the basis of the motion vector detected in the detection portion (t), f (t +
1)上のアンカバー領域を検出するアンカバー領域検出部と、該検出部において検出したf(t),f(t+ And uncovered area detecting unit that detects the uncovered areas on the 1), f detected at the detection portion (t), f (t +
1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する内挿画像上のアンカバー領域予測部とを少なくとも有する画像予測処理装置において、前記内挿画像上のアンカバー領域予測部は、前記画像f In at least having an image prediction processor and uncovered region prediction unit on interpolation image among predicting the uncovered region on the inside interpolated image based on the uncovered areas on the 1), uncovered regions on said interpolation image prediction unit, the image f
(t),f(t+1)上でアンカバー領域以外の領域を各別に抽出する非アンカバー領域抽出手段と、前記抽出した領域のそれぞれに含まれ、対応する前記動きベクトルが相互に逆向きで対応する一部領域であって、前記画像f(t)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t+1)上に移動した範囲が、前記f(t+1)上の抽出領域に含まれ、かつ、前記画像f(t+1)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t)上に移動した範囲が、前記f(t)上の抽出領域に含まれる前記抽出領域の一部領域を各別に検出し、該検出した一部領域を、 (T), and a non-uncovered region extracting means for extracting f (t + 1) on a region other than the uncovered area to each other, ie, each of the extracted area, the motion vector corresponding in reverse directions to each other a corresponding partial area, the partial region on the image f (t), ranges moved on the image f on the basis of said corresponding motion vector (t + 1) is the f (t + 1) on the It included in the extraction area, and the partial region on the image f (t + 1), a range that has moved on the image f (t) on the basis of said corresponding motion vector is extracted on the f (t) detecting a partial area of ​​the extraction region included in the region to each other, a part the detected region,
対応する前記動きベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付ける領域比較手段と、 An area comparison means for allocating a predicted image on said interpolated image according to interpolation ratio in on the basis of said corresponding motion vector,
該領域比較手段において割り付けた領域以外の前記内挿画像上の領域を前記内挿画像上のアンカバー領域と判定する内挿画像上のアンカバー領域抽出手段とを含んでいることを特徴とするものである。 Characterized in that a region on said interpolated image other than the region allocated in the region comparison means and an uncovered region extraction means on determining the interpolated image and the uncovered areas on said interpolation image it is intended.

【0020】また、本発明画像予測処理装置は、内挿画像を挟む時間的に連続した2つの画像f(t),f(t Further, the present invention image prediction processing apparatus, temporally successive two images f sandwiching the interpolation image (t), f (t
+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出する双方向動きベクトル検出部と、該検出部において検出した動きベクトルに基づき前記画像f(t),f(t+ +1) between, each block having a predetermined size that is determined in advance, and bidirectional motion vector detecting section for detecting a motion vector to each other bidirectionally, the image f on the basis of the motion vector detected in the detection portion (t), f (t +
1)上のアンカバー領域を検出するアンカバー領域検出部と、該検出部において検出したf(t),f(t+ And uncovered area detecting unit that detects the uncovered areas on the 1), f detected at the detection portion (t), f (t +
1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する内挿画像上のアンカバー領域予測部と、該アンカバー領域予測部において予測した内挿画像上のアンカバー領域の動きベクトルを決定するアンカバー領域動きベクトル決定部とを少なくとも有する画像予測処理装置において、前記アンカバー領域動きベクトル決定部は、前記画像f(t),f(t+1)上のアンカバー領域近傍の領域に対応する複数の前記動きベクトルを前記内挿画像上のアンカバー領域の動きベクトルの候補として選定し、前記画像f(t),f(t+1)上のアンカバー領域を前記複数の候補ベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付け、 1) and uncovered region prediction unit on interpolation image among predicting the uncovered region on the inside interpolated image based on the uncovered areas on, uncovered regions on the interpolated image among predicted in the uncovered region prediction unit in the image predictive processing apparatus having at least a uncovered area motion vector determination unit that determines a motion vector of the uncovered area motion vector determination unit, the image f (t), uncovered region near the f (t + 1) the selected motion vector as a candidate of the motion vectors of the uncovered region on the inside interpolation image, the image f (t), f (t + 1) on the uncovered areas of the plurality of candidates of a plurality corresponding to the region of the assignment as a prediction image on said interpolated image according to interpolation ratio in based on the vector,
該割り付けた複数の予測画像のうち、1つの予測画像のみが前記内挿画像上のアンカバー領域と重複を生じる場合は、前記1つの予測画像に対応する前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、前記内挿画像上のアンカバー領域のうち、前記予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域の動きベクトルとして決定し、前記割り付けた複数の予測画像のうち、2つ以上の予測画像が前記内挿画像上のアンカバー領域と重複を生じる場合は、前記各候補ベクトルに対応する前記画像f(t),f(t+1)上の各アンカバー領域の画像情報と、前記画像f(t),f(t+1)に対してそれぞれ前記内挿画像の時間的に反対側に位置する画像f(t−1 Among the plurality of predicted image assignment said, if only one prediction image is generated to overlap with uncovered areas on said interpolation image is the candidate vector corresponding to the one predicted image, the forward motion vector intact, by reversing the direction for backward motion vector, among the uncovered region on the inside interpolation image, as a motion vector of the uncovered areas on said interpolated image corresponding to the overlapping range between the predicted image determined, among the plurality of prediction images which said assignment, if two or more predicted images cause overlap with uncovered areas on said interpolation image, the image f corresponding to each candidate vector (t), f (t + 1) and the image information of each uncovered region on the image f (t), f (t + 1) image temporally located opposite the inside interpolated image respectively f (t-1 ,f(t+2)上の領域であって、 , A region on the f (t + 2),
前記各候補ベクトルに従い前記画像f(t),f(t+ Wherein the image f in accordance with each candidate vector (t), f (t +
1)上の対応アンカバー領域を逆向きに移動させた範囲に対応する領域の画像情報との相関を算出して、相関が最大となる前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、前記内挿画像上のアンカバー領域のうち、前記2つ以上の予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域における動きベクトルとして決定する手段を含んでいることを特徴とするものである。 By calculating the correlation between the image information of a region corresponding to the range of moving the corresponding uncovered area on the 1) in the opposite direction, the candidate vector correlation is maximum, as it is for the forward motion vector, reverse by reversing the direction for forward motion vector, among the uncovered region on the inside interpolation image, as a motion vector in the uncovered region on the inside interpolated image corresponding to the overlapping range of the two or more predicted images and it is characterized in that it includes a decision to means.

【0021】また、本発明画像予測処理装置は、前記画像f(t),f(t+1)上のアンカバー領域近傍の領域が、前記ブロックの8倍乃至200倍の面積範囲の近傍領域であることを特徴とするものである。 Further, the present invention image prediction processing apparatus, the image f (t), f (t + 1) uncovered region near the area on the can is in the vicinity area of ​​8 times to 200 times the area range of the block it is characterized in.

【0022】 [0022]

【発明の実施の形態】以下に添付図面を参照し、実施の形態に基づいて本発明を詳細に説明する。 Referring to DETAILED DESCRIPTION OF THE INVENTION accompanying drawings, the present invention will be described in detail based on the embodiment. 図1は、本発明画像予測処理方法の実施に、具体的には、内挿画像上のアンカバー領域の予測、およびそのアンカバー領域における動きベクトルの決定を実施するために使用される本発明画像予測処理装置の一例のブロック図である。 1, the embodiment of the present invention an image prediction processing method, specifically, the prediction of the uncovered region of the interpolation image, and the present invention used to implement the determination of motion vectors in the uncovered areas it is a block diagram of an example of the image prediction processor. 図1において、当該装置は、その動きベクトル決定のための手順に従って、それぞれ破線にて囲んで示す双方向動きベクトル検出部1、アンカバー領域検出部2、内挿画像上のアンカバー領域予測部3、および内挿画像上のアンカバー領域における動きベクトル決定部4が順次に接続されている。 In Figure 1, the apparatus, the following procedure for the motion vector decision, the bidirectional motion vector detection unit 1 shown enclosed by a broken line, respectively, uncovered area detecting section 2, the uncovered region prediction unit on interpolation image 3, and the motion vector determination unit 4 in the uncovered region on the interpolated image is sequentially connected.

【0023】まず、双方向動きベクトル検出部1においては、遅延回路5(遅延回路17とともに時間調整用の遅延回路である)に縦続接続された遅延回路6のそれぞれ入・出力両端から取り出される時間的に連続した2つの画像信号f(t)、f(t+1)を、検出回路の基準入力端子と比較入力端子への供給が互いに入れ違いになるように、それぞれ動きベクトル検出回路(I)7および同(II)8に供給する。 [0023] First, bidirectional motion in the vector detecting unit 1, the delay circuit 5 (the delay circuit 17 is a delay circuit for time adjustment with) the cascade connected delay circuits each time taken from the input and output ends of the 6 specifically two consecutive image signals f (t) to, f a (t + 1), as supplied to the comparison input terminal and a reference input terminal of the detection circuit is Irechigai each other, each motion vector detection circuit (I) 7 and supplied to the same (II) 8. これらの動きベクトル検出回路(I),(II)は、勾配法やブロックマッチング法などによる従来の動きベクトル検出回路である。 These motion vector detection circuit (I), (II), the gradient method or block matching method is a conventional motion vector detecting circuit due. 動きベクトル検出はあらかじめ定められた一定の大きさを有するブロックごとに行われる。 Motion vector detection is performed for each block having a predetermined size set in advance. 2つの動きベクトル検出回路を用い、f(t)とf(t+1)の間で双方向動きベクトル検出を行う。 Using two motion vector detection circuit, it performs a bidirectional motion vector detected between the f (t) and f (t + 1). 即ち、動きベクトル検出回路(I)7 That is, the motion vector detection circuit (I) 7
はf(t)を基準とし、f(t)中の領域がf(t+ Is referenced to f (t), area in f (t) is f (t +
1)で対応する領域の位置を求めることで、f(t)を基準とした時間的に順方向の動きベクトルを求める。 By determining the position of the corresponding region in 1), in time relative to the f (t) obtaining a forward motion vector. また、動きベクトル検出回路(II)8はf(t+1)を基準とし、f(t+1)中の領域がf(t)で対応する領域の位置を求めることで、f(t+1)を基準とした時間的に逆方向の動きベクトルを求める。 The motion vector detection circuit (II) 8 is referenced to f (t + 1), the area in f (t + 1) is by obtaining the position of the corresponding area f (t), relative to the f (t + 1) temporally seek backward motion vector.

【0024】双方向動きベクトル検出部1からの出力である順方向動きベクトルおよび逆方向動きベクトルを、 [0024] The forward motion vector and backward motion vector which is the output from the bidirectional motion vector detecting section 1,
次段のアンカバー領域検出部2のそれぞれアンカバード・バックグラウンド領域検出回路9およびカバード・バックグラウンド領域検出回路10に供給して、f It is supplied to the respective uncovered background area detecting circuit 9 and the covered background area detection circuit 10 of the next stage uncovered area detecting section 2, f
(t),f(t+1)上のアンカバー領域を求める。 (T), determine the uncovered area of ​​the f (t + 1). アンカバー領域は、例えば、本出願人に係わる公開特許公報(特開平7−336688号「アンカバー領域の検出方法」)に記載されている第4の実施例を用いて、アンカバード・バックグラウンド領域検出回路9でf(t+ Uncovered region, for example, using a fourth embodiment which is described in patent publication relating to the present applicant (JP-A-7-336688 "detection method uncovered area"), the uncovered background in area detection circuit 9 f (t +
1)上のアンカバード・バックグラウンド領域U 1) on the uncovered background area U
t+1を、またカバード・バックグラウンド領域検出回路10でf(t)上のカバード・バックグラウンド領域U t + 1, and also covered background area detector 10 f (t) on the covered background area U
tを検出する。 to detect the t.

【0025】さらに、内挿画像上のアンカバー領域予測部3において内挿画像上のアンカバー領域を予測して求める。 Furthermore, determined by predicting the uncovered areas on the interpolated image in the uncovered region prediction unit 3 on the interpolated image. これには、まず、非アンカバー領域抽出回路1 To do this, first, the non-uncovered region extracting circuit 1
1,12で、f(t),f(t+1)上のアンカバー領域以外の領域を求める。 In 1, 12, determining the f (t), f (t + 1) areas other than uncovered areas on. それらの領域を用い、領域比較回路13で、図2にXとYで示す領域のように、動きベクトル検出回路(I)7で検出した順方向動きベクトルと動きベクトル検出回路(II)8で検出した逆方向動きベクトルが対応する領域をそれぞれ検出し、検出したそれぞれの領域の内挿画像上で対応する領域(図2でZで示す領域)を内挿画像上の非アンカバー領域とする。 Using those regions, a region comparator circuit 13, as in the region indicated by X and Y in Figure 2, the forward motion vector and the motion vector detection circuit (II) 8 detected by the motion vector detection circuit (I) 7 It detected backward motion region vectors corresponding respectively detected, and the corresponding region non uncovered areas on the interpolated image (the region indicated by Z in FIG. 2) on the interpolated image of each region detected .

【0026】内挿画像上アンカバー領域予測回路14でこのような対応関係の成立しないそれ以外の領域を求め、これを、それが求められることが本発明の1つの目的である内挿画像上のアンカバー領域とする。 [0026] Within the interpolation image on the uncovered region prediction circuit 14 obtains the other region does not hold such a relationship, which, interpolation on image among it be required is an object of the present invention and uncovered area.

【0027】次に、アンカバー領域動きベクトル決定部4で、本発明で、その決定を最終の目的とする内挿画像上のアンカバー領域における動きベクトルを決定する。 Next, in the uncovered area motion vector determination unit 4, in the present invention, to determine the motion vector in the uncovered region on the interpolation image among which the decision is the final objective of.
まず内挿画像上のカバード・バックグラウンド領域における動きベクトル決定回路15の動作について説明する。 The operation of the motion vector determination circuit 15 in the covered background area on the interpolation image first. f(t)上のカバード・バックグラウンド領域の空間的に近傍の領域で検出した複数の順方向動きベクトルを内挿画像上のカバード・バックグラウンド領域の候補とし、候補の動きベクトルのうち、f(t)上のカバード・バックグラウンド領域を候補ベクトルを用いて内挿画像上に移動したときに対応する位置の領域の全部または一部が、内挿画像上のアンカバー領域に重なるとき、 f (t) and covered background area spatially in the covered background area on the interpolated image a plurality of forward motion vectors detected in the area in the vicinity candidate on, among the motion vectors of the candidate, f all or part of the position of the region corresponding to when the user moves the covered background area on the (t) on the interpolated image using the candidate vectors, when overlapping with the uncovered areas on the interpolation image,
その順方向動きベクトルを重なった内挿画像上のアンカバー領域における動きベクトルとする。 The motion vectors in the uncovered region on the interpolated image among overlapping the forward motion vector.

【0028】例えば、図3で、それぞれ領域Kをf [0028] For example, in FIG. 3, respectively region K f
(t)上のカバード・バックグラウンド領域、領域Lを内挿画像上のアンカバー領域とする。 (T) on the covered background area, and uncovered area on the interpolation image the area L. 領域Kの近傍領域で図3のV1,V2で示す動きベクトルが検出されたとする。 A motion vector indicating the vicinity area of ​​V1, V2 3 region K is detected. このとき、図4に示すように、領域Kを動きベクトルV2を用いて内挿画像上に移動すると、内挿画像上のアンカバー領域Lに重なるので、内挿画像上の領域L At this time, as shown in FIG. 4, when moved over the interpolated image using vector V2 motion region K, since overlapping the uncovered region L on the interpolated image, the region of the interpolation image L
の動きベクトルをV2とする。 The motion vector and V2.

【0029】もし、内挿画像上のアンカバー領域に、複数の順方向動きベクトルが候補となるときは、それぞれの動きベクトルによりf(t)上のカバード・バックグラウンド領域を逆向きにf(t−1)上に移動したときに対応する位置のf(t−1)上の領域の画像情報と、 [0029] If, in uncovered areas on the interpolated image, when a plurality of forward motion vector becomes candidate, f the covered background area on the f the respective motion vector (t) in the opposite direction ( and the image information of a region on the f (t-1) at the corresponding position when moved onto the t-1),
f(t)上の着目カバード・バックグラウンド領域の画像情報との間の相関が最も大きくなる順方向動きベクトルを、内挿画像上のアンカバー領域における動きベクトルとする。 The forward motion vector correlation is largest between the image information of the target covered background area on the f (t), the motion vector in the uncovered region on the interpolation image.

【0030】例えば、図5で、静止した背景の前を、時刻tでO tにあった物体が時刻t+1でO t+1に移動したとする。 [0030] For example, in FIG. 5, and the front of the background stationary object that has been in O t at time t is moved to O t + 1 at time t + 1. このとき、背景の動きベクトルをV14、物体の動きベクトルをV13、f(t)上のカバード・バックグラウンド領域をM、内挿画像上のアンカバー領域をNとし、f(t)上のカバード・バックグラウンド領域Mの近傍の領域では、背景の動きベクトルV14と、 In this case, V14 motion vector of the background, the object of the motion vector to the covered background area on the V13, f (t) M, the uncovered region of the interpolation image and N, covered on f (t) the background of the region near the M region, a motion vector V14 background,
物体の動きベクトルV13が検出されたとする。 The motion vector V13 of the object is detected. いま、 Now,
図6に示すように、f(t)上のカバード・バックグラウンド領域Mを動きベクトルV14で内挿画像上に移動したとき、f(t)上のカバード・バックグラウンド領域の一部M1が内挿画像上のアンカバー領域Nと重なるため、動きベクトルV14は、領域Nの動きベクトルの候補となる。 As shown in FIG. 6, when the user moves on the interpolated image vector V14 motion covered background area M on f (t), the inner part M1 of the covered background area on the f (t) is since overlapping the uncovered region N on interpolation image, the motion vector V14 is a candidate of the motion vector of the region N. また、図7に示すように、f(t)上のカバード・バックグラウンド領域Mを動きベクトルV13 Further, as shown in FIG. 7, the vector V13 motion covered background area M on f (t)
で内挿画像上に移動したとき、f(t)上のカバード・ When it moves onto the interpolation image in, covered on f (t)
バックグラウンド領域の一部M2が内挿画像上のアンカバー領域Nと重なるため、動きベクトルV13も領域N Because some M2 background regions overlap with uncovered area N on the interpolated image, the motion vector V13 also regions N
の動きベクトルの候補となる。 It is a candidate for the motion vector of.

【0031】このとき図8に示すように、動きベクトルV14により領域M1を逆向きにf(t−1)上に移動したときに対応する位置のf(t−1)上の領域M As shown in FIG. 8 this time, the region of the f at the position corresponding to when it moves on f (t-1) a region M1 in the opposite direction by the motion vector V14 (t-1) M
1′、および動きベクトルV13により領域M2を逆向きにf(t−1)上に移動したときに対応する位置のf 1 ', and the opposite area M2 by the motion vector V13 f (t-1) f at the position corresponding to when moved over
(t−1)上の領域M2′を求め、M1とM1′の画像情報の相関、およびM2とM2′の画像情報の相関を求め、相関が大きくなる方の動きベクトルを、内挿画像上のアンカバー領域Nにおける動きベクトルとする。 (T-1) on the 'seek, M1 and M1' region M2 of the correlation of the image information, and M2 and the correlation of the image information of M2 ', the motion vector of the direction in which the correlation becomes larger, an interpolation on the image the motion vectors in the uncovered region N.

【0032】また、内挿画像上のアンカバード・バックグラウンド領域における動きベクトル決定回路16の動作は、上述のカバード・バックグラウンド領域における動きベクトル決定回路15の動作と同様、f(t+1) Further, the operation of the motion vector determination circuit 16 in the uncovered background area on the interpolated image, similar to the operation of the motion vector determination circuit 15 in the covered background area of ​​the above, f (t + 1)
上のアンカバード・バックグラウンド領域の空間的に近傍の領域で検出した複数の逆方向動きベクトルを内挿画像上のアンカバード・バックグラウンド領域の動きベクトルの候補とし、それら候補の動きベクトルのうち、f The candidate of the spatially motion vector of the uncovered background area on the interpolated image a plurality of backward motion vectors detected in the area in the vicinity of the uncovered background area above, among the motion vectors of those candidates , f
(t+1)上のアンカバード・バックグラウンド領域を候補ベクトルを用いて内挿画像上に移動したときに対応する位置の領域の全部または一部が、内挿画像上のアンカバー領域に重なるとき、その逆方向動きベクトルの向きを反転させた動きベクトルを重なった内挿画像上のアンカバー領域における動きベクトルとする。 (T + 1) all or part of the position of the region corresponding to when the uncovered background area is moved on the interpolated image using the candidate vectors on is when overlapping the uncovered region on the interpolation image, the motion vectors in the uncovered region on the interpolated image among an overlapped motion vector obtained by inverting the direction of the backward motion vector.

【0033】さらに、複数のベクトルが条件を満たすときは、それぞれの逆方向動きベクトルにより、f(t+ Furthermore, when a plurality of vectors condition is satisfied, by the respective backward motion vector, f (t +
1)上のアンカバード・バックグラウンド領域を逆向きにf(t+2)上に移動したときに対応する位置のf f the corresponding position when moved over f (t + 2) in the opposite direction to the uncovered background area on 1)
(t+2)上の領域の画像情報と、f(t+1)上の着目アンカバード・バックグラウンド領域の画像情報との間の相関が大きくなる逆方向動きベクトルの向きを反転させた動きベクトルを、内挿画像上のアンカバー領域における動きベクトルとする。 (T + 2) and the image information of the area on the motion vector obtained by inverting the direction of backward motion vector in which the correlation becomes larger between the f (t + 1) on interest uncovered background area image information of the inner the motion vectors in the uncovered region on the image interpolation.

【0034】以上説明したように、f(t)とf(t+ [0034] As described above, and f (t) f (t +
1)の間でf(t)を基準として検出した順方向の動きベクトルと、f(t)とf(t+1)の間でf(t+ A forward motion vector detected on the basis of the f (t) between 1), between the f (t) and f (t + 1) f (t +
1)を基準として検出した逆方向の動きベクトルの2つの動きベクトル場と、それらの動きベクトルを使用して検出したf(t)とf(t+1)上のアンカバー領域を用いることで、内挿画像上のアンカバー領域の予測を行い、その予測したアンカバー領域における動きベクトルを決定することができる。 1) and two motion vector fields of the backward motion vector detected as a reference, by using the uncovered areas on their movement was detected using vector f (t) and f (t + 1), the inner making predictions of uncovered areas on the interpolated image, it is possible to determine the motion vector in the uncovered regions that predicted.

【0035】以下においては、上述の説明と一部重複するが、本発明による内挿画像上のアンカバー領域の予測、およびそのアンカバー領域における動きベクトル決定の手順を、数式を用いて説明する。 [0035] In the following, partly overlapping with the above description, the prediction interpolated on images of uncovered regions of the present invention, and a procedure of motion vector determined in that the uncovered area will be described using equations . 上述の説明におけると同様、連続する2つの画像をf(t)、f(t+ As in the above description, the two consecutive images f (t), f (t +
1)とする。 1) to. これら時間的にt,t+1における画像に対し、図9に示すように、内挿画像(時間的に、t,t These temporally t, the image at t + 1, as shown in FIG. 9, an interpolation image (temporal, t, t
+1の間に位置する画像)の時間的位置を、t+α(0 The temporal position of the image) to be located between +1, t + α (0
<α<1)とする。 <And α <1). 内挿比はα:(1−α)である。 Interpolation ratio is α: a (1-α). また、f(t),f(t+1)および内挿画像上の各領域として、画像を一定の大きさの矩形に分割した複数の画素からなるブロックを用い、各領域を2次元座標で表す。 Further, f (t), as the area on the f (t + 1) and the interpolation image, using an image composed of a plurality of pixels divided into rectangles predetermined size blocks, representing each area in two-dimensional coordinates.

【0036】双方向動きベクトル検出部1を構成する動きベクトル検出回路(I)7(図1参照、以下同じ)はf(t)を基準としf(t+1)中の対応する領域を検出する順方向の動きベクトル検出を行い、動きベクトル検出回路(II)8はf(t+1)を基準としf(t)中の対応する領域を検出する逆方向の動きベクトル検出を行う。 The bidirectional motion motion vector detection circuit (I) 7 constituting the vector detecting unit 1 (see FIG. 1, hereinafter the same) is the order for detecting the corresponding region in the f with respect to the f (t) (t + 1) performs movement vector detection, motion vector detection circuit (II) 8 performs the backward motion vector detection for detecting the corresponding region in the f (t + 1) was used as a reference f (t). 動きベクトル検出法としては、例えば「曽根原、野尻、井口:“動物体の境界領域を考慮した動きベクトル検出”、信学技報,IE95−93,pp61−69 The motion vector detection method, for example, "Sonehara, Nojiri, Iguchi:" motion vector detection in consideration of the boundary region of a moving object, "IEICE, IE95-93, pp61-69
(1985)」を用いる。 (1985) "is used. ここで、図10に示すように、f(t)上の領域(i,j)で動きベクトル検出回路(I)7が検出した順方向の動きベクトルをVd Here, as shown in FIG. 10, f (t) on the region (i, j) in the motion vector detection circuit (I) 7 Vd a forward motion vector detected is
t (i,j),f(t+1)上の領域(i,j)で動きベクトル検出回路(II)8が検出した時間的に逆方向の動きベクトルをVd t+1 (i,j)とする。 t (i, j), f (t + 1) on the region (i, j) at Vd motion vectors of the motion vector detection circuit (II) 8 is temporally backward detected t + 1 (i, j) and to.

【0037】双方向動きベクトル検出に引き続き、アンカバー領域検出部2でf(t)、f(t+1)上のアンカバー領域をそれぞれ検出する。 [0037] Following the bidirectional motion vector detection, f (t) in the uncovered area detecting section 2 detects f (t + 1) a uncovered region on each. アンカバー領域検出には、例えば上述の公開特許公報(特開平7−33668 The uncovered area detecting, for example, above Patent Publication of (Hei 7-33668
8号「アンカバー領域の検出方法」)に記載されている手法を用いる。 Using the techniques described in JP 8 "detection method uncovered area"). ここで、アンカバー領域検出部2で検出したf(t)上のカバード・バックグラウンド領域の集合をU t 、f(t+1)上のアンカバード・バックグラウンド領域の集合をU t+1とする。 Here, the set of covered background area on the f detected by the uncovered area detecting unit 2 (t) U t, the set of uncovered background area on the f (t + 1) and U t + 1 .

【0038】まず、上記の動きベクトルVd t (i, [0038] First, the above-mentioned motion vector Vd t (i,
j)とVd t+1 (i,j)、およびf(t)上のカバード・バックグラウンド領域U tとf(t+1)上のアンカバード・バックグラウンド領域U t+1を用い、以下の1. j) and Vd t + 1 (i, j ), and using the uncovered background area U t + 1 on f (t) on the covered background area U t and f (t + 1), the following 1 . から3. 3 from. に示す手順で内挿画像上のアンカバー領域を求める。 Request uncovered areas on the interpolated image in the procedure shown in.

【0039】1. [0039] 1. 図11に示すように、f(t)上の領域(i,j)において動きベクトル検出回路(I)7が検出した動きベクトルVd t (i,j)を用いて、領域(i,j)をf(t+1)上に移動したときに対応する位置の領域を(k,l)とし、この領域(k,l)を As shown in FIG. 11, with f (t) on the region (i, j) in the motion vector detection circuit (I) 7 is detected motion vector Vd t (i, j), the region (i, j) was a f (t + 1) a region at a position corresponding to when moved over (k, l), the region (k, l)

【数1】 [Number 1] として求める。 Determined as.

【0040】2. [0040] 2. 領域(i,j)がU tに含まれず、かつ領域(k,l)がU t+1に含まれず、かつ、動きベクトルVd t (i,j)≒−Vd t+1 (k,l)のとき、 Region (i, j) is not included in the U t, and region (k, l) is not included in the U t + 1, and the motion vector Vd t (i, j) ≒ -Vd t + 1 (k, l )When,
内挿画像上の対応する領域Xを領域 The corresponding region X on the interpolation image area

【数2】 [Number 2] として求める。 Determined as. ここで、V1≒V2とは、2つの動きベクトルV1,V2を Here, the V1 ≒ V2, 2 one motion vector V1, the V2

【数3】 [Number 3] として、(V1.x −V2.x) 2 +(V1.y −V2. As, (V1.x -V2.x) 2 + ( V1.y -V2.
y) 2 ≦max(V TH ,(V1.x 2 +V1.y 2 )×TH) y) 2 ≦ max (V TH , (V1.x 2 + V1.y 2) × TH)
という関係であり、2つの動きベクトルV1,V2が類似している、ということを表す。 A relationship, two motion vectors V1, V2 represents that are similar. ここに、V THとTHは2つの動きベクトルの類似度を決める閾値である。 Here, V TH and TH is a threshold for determining the similarity between two motion vectors.

【0041】3. [0041] 3. f(t)上の全ての領域について上記の操作を繰り返し、Xの集合を求める。 The whole region of the f (t) repeating the above steps, obtaining a set of X. この集合に含まれない領域が、内挿画像上のアンカバー領域である。 A region not included in this set, which is uncovered areas on the interpolated image. このようにして予測した内挿画像上のアンカバー領域の集合をWとする。 Such a set of uncovered areas on the interpolated image among predicted in the a W. これら、内挿画像上のアンカバー領域を予測することも本発明の一つの目的である。 These, it is an object of the present invention for predicting the uncovered areas on the interpolated image.

【0042】次に、内挿画像上のアンカバー領域における動きベクトルを、以下の1. Next, the motion vector in the uncovered region on the interpolated image, I below. から2. 2 from. に示す手順で求める。 Obtained by the procedure shown in. 1. 1. f(t)上のカバード・バックグラウンド領域U t f (t) on the covered background area U t
に含まれる全ての領域に対し以下の処理を行う。 The following process is performed for all the areas included in the. ・f(t)上の領域(i t , j t )をU tに含まれる領域とする。 · F (t) on the region (i t, j t) to be a field contained in U t. 領域(x t , y t )を領域(i t , j t )の空間的近傍に位置する領域とする。 Region (x t, y t) the region (i t, j t) and a region located spatially near. 近傍の領域は着目ブロックを中心に5×5もしくは7×7ブロック、もしくはf(t)上に高い頻度で現れる動きベクトルを含むことのできる程度の範囲とする。 Region near to the range that can contain motion vectors that appear frequently on the 5 × 5 or 7 × 7 blocks around the target block, or f (t). 例えば、ブロックサイズが図12に示す大きさで、高い頻度で現れる動きベクトルがV15のとき、近傍の領域は7×5以上にすることが望ましい。 For example, the block size is a size shown in FIG. 12, when the motion vectors that appear at a high frequency of V15, region near the desirable to the 7 × 5 or more. これは、近傍の領域が狭いと、正しい動きベクトルが候補に含まれなくなる可能性が高くなるからである。 This is because when the area in the vicinity of narrow, because a possibility that the correct motion vector is not included in the candidate becomes higher. しかし、実在する物体の速さを考慮すればブロックサイズの上限として近傍に200ブロックが含まれる程度の領域の範囲を設定すれば十分である。 However, it is sufficient to set the range of the region of the extent including the 200 blocks in the vicinity as the upper limit of the block size considering the speed of real objects. ブロックサイズの下限は着目ブロックを中心にした3×3ブロックである。 The lower limit of the block size is 3 × 3 blocks around the target block.

【0043】・図13に示すように、f(t)上の領域(x t ,y t )において動きベクトル検出回路(I)7 [0043] - As shown in FIG. 13, f (t) on the region (x t, y t) the motion vector detection circuit (I) 7
で検出した順方向の動きベクトルVd t (x t ,y t In the detected forward motion vector Vd t (x t, y t )
を用いて、f(t)上の領域(i t ,j t )を内挿画像上に移動したときに、内挿画像上の対応する位置の領域を領域(p1,q1)とする。 Using, f (t) on the region (i t, j t) when moving on an interpolation image, and the area of the corresponding position on the interpolation image area (p1, q1). 領域(p1,q1)を Area (p1, q1)

【数4】 [Number 4] として求める。 Determined as. ・領域(p1,q1)が内挿画像上のアンカバー領域の集合Wに含まれるとき、領域(p1,q1)の動きベクトルをVd t (x t ,y t )とする。 - area (p1, q1) when is included in the set W uncovered areas on the interpolated image, the motion vector of the region (p1, q1) Vd t ( x t, y t) and.

【0044】もし、内挿画像上のアンカバー領域(p [0044] If, uncovered area on the interpolation image (p
1,q1)に、複数の異なる動きベクトルが候補となるときは、以下の(a)から(c)に示す手法で内挿画像上のアンカバー領域の動きベクトルを決定する。 1, the q1), when the plurality of different motion vectors are candidates determines the motion vector of the uncovered region of the interpolated image in the manner shown in the following (a) (c). 以下では、上記の複数の異なる動きベクトルをV′ 1 ,V′ 2 Hereinafter, V plurality of different motion vectors of the '1, V' 2
・・・,V′ mとすると、V′ 1 ,V′ 2・・・,V′ ..., 'When m, V' V 1, V '2 ···, V'
mについて、 For m,

【0045】(a)図14に示すように、動きベクトルV′ xにより、内挿画像上の領域(p1,q1)をf [0045] (a) As shown in FIG. 14, the motion vector V 'x, the area on the interpolation image (p1, q1) f
(t)上に時間的に逆方向に移動したときに対応する位置の領域を(i′ t ,j′ t )とする。 (T) the area corresponding to when the user moves temporally backwards on the (i 't, j' t ). 領域(i′ t Area (i 't,
j′ t )を the j 't)

【数5】 [Number 5] として求める。 Determined as.

【0046】(b)図14に示すように、動きベクトルV′ xにより、内挿画像上の領域(p1,q1)をf [0046] (b) As shown in FIG. 14, the motion vector V 'x, the area on the interpolation image (p1, q1) f
(t−1)上に時間的に逆方向に移動したときに対応する位置の領域を領域(k′ t-1 ,l′ t-1 )とする。 (T-1) The area corresponding to when the user moves temporally backwards over the region (k 't-1, l ' t-1) to. 領域(k′ t-1 ,l′ t-1 )を Area (k 't-1, l ' t-1)

【数6】 [6] として求める。 Determined as.

【0047】(c)f(t)上の領域(i′ t [0047] (c) f (t) on the area (i 't,
j′ t )と、f(t−1)上の領域(k′ j 't) and, f (t-1) on the region (k' t-1 ,l′ t-1, l '
t-1 )との間で画像情報の相関を求める。 correlating the image information between t-1) and. 相関としては、従来技術において説明したDFDを用いる。 The correlation used DFD described in the prior art. DFD DFD
が小さいほど2つの領域の相関が高い。 A high correlation of the two regions the smaller.

【0048】以上のようにして求めた相関のうち、最も相関が大きくなる(DFDが小さくなる)動きベクトルV′ xを、内挿画像上のアンカバー領域(p1,q1) The above manner of the correlation found, the most correlation increases (DFD decreases) the motion vector V 'x, uncovered regions on the interpolated image (p1, q1)
における動きベクトルとする。 As the motion vector in.

【0049】2. [0049] 2. 同様にして、f(t+1)上のアンカバード・バックグラウンド領域U t+ 1に含まれる全ての領域(i t+1 ,j t+1 )に対し以下の処理を行う。 Similarly, the following process is performed with respect to f (t + 1) on all areas included in the uncovered background area U t + 1 of the (i t + 1, j t + 1). ・領域(x t+1 ,y t+1 )を領域(i t+1 ,j t+1 )の近傍に位置する領域とする。 · Region and (x t + 1, y t + 1) a region (i t + 1, j t + 1) region located in the vicinity of. 近傍の領域の範囲は上述の1. 1 above the range of the vicinity of the region. の場合と同様である。 Is the same as in the case of. ・f(t+1)上の領域(x t+1 ,y t+1 )において動きベクトル検出回路(II)8で検出した逆方向動きベクトルVd t+1 (x t+1 ,y t+1 )を用いて、領域(i t+1 ,j t+1 )を内挿画像上に時間的に逆方向に移動したときに対応する位置の領域を(p2,q2)とする。 · F (t + 1) on the region (x t + 1, y t + 1) backward motion detected by the motion vector detection circuit (II) 8 in the vector Vd t + 1 (x t + 1, y t + 1) with, the region (i t + 1, j t + 1) region of the corresponding position when moved on an interpolated temporally backward on images to and (p2, q2). 領域(p2,q2)を Area (p2, q2)

【数7】 [Equation 7] として求める。 Determined as. ・領域(p2,q2)が内挿画像上のアンカバー領域の集合Wに含まれるとき、領域(p2,q2)の動きベクトルを逆方向動きベクトルの向きを反転したベクトル− • When the area (p2, q2) is included in the set W uncovered areas on the interpolated image, area (p2, q2) vector the motion vector obtained by inverting the direction of the backward motion vector of the -
Vd t+1 (x t+1 ,y t+1 )とする。 And Vd t + 1 (x t + 1, y t + 1).

【0050】もし、内挿画像上のアンカバー領域(p [0050] If, uncovered area on the interpolation image (p
2,q2)に、複数の異なる動きベクトルが候補となるときは、以下の(a)から(c)に示す手法で動きベクトルを決定する。 To 2, q2), when the plurality of different motion vectors are candidates determines the motion vector in the manner shown below (a) to (c). 以下では、上記の逆方向動きベクトルの向きを反転した複数の異なる動きベクトルをV″ 1 Hereinafter, the motion vector V "1 of the plurality of inverting the direction of backward motion vectors of the different,
V″ 2 ,・・・・・,V″ mとするとV″ 1 ,V″ 2 V "2, ·····, V" When m V "1, V" 2 ,
・・・・・,V″ mについて、 (a)動きベクトルV″ xにより、内挿画像上の領域(p2,q2)をf(t+1)上に移動したときに対応する位置の領域を(i′ t+1 ,j′ t+1 )とする。 ..., "for m, (a) motion vector V 'V a by x, area at a position corresponding to when the user moves the region of the interpolation image (p2, q2) on f (t + 1) ( i 't + 1, j' t + 1) to be. 領域(i′ t+1 ,j′ t+1 )を Area (i 't + 1, j ' t + 1)

【数8】 [Equation 8] として求める。 Determined as.

【0051】(b)動きベクトルV″ xにより、内挿画像上の領域(p2,q2)をf(t+2)上に移動したときに対応する位置の領域を領域(k′ t+2 [0051] (b) the motion vector V "by x, the area on the interpolation image (p2, q2) f (t + 2) region area corresponding to when moved over (k 't + 2,
l′ t+2 )とする。 l 't + 2) to. 領域(k′ t+2 ,l′ t+2 )を Area (k 't + 2, l ' t + 2)

【数9】 [Equation 9] として求める。 Determined as.

【0052】(c)f(t+1)上の領域(i′ t+1 [0052] (c) f (t + 1 ) on the area (i 't + 1,
j′ t+1 )と、f(t+2)上の領域(k′ t+2 ,l′ j 't + 1) and, f (t + 2) on the region (k' t + 2, l '
t+2 )との間で画像情報の相関を求める。 correlating the image information with the t + 2). 相関としては、上述のDFDを用いる。 The correlation used above DFD. 以上のようにして求めた相関のうち、最も相関が大きくなる(DFDが小さくなる)動きベクトルV″ xを、内挿画像上のアンカバー領域(p2,q2)における動きベクトルとする。以上により、本発明で最終的にその決定を目的とする内挿画像上のアンカバー領域における動きベクトルを求めることができた。 Of the correlation obtained as described above, the most correlation increases (the DFD decreases) the motion vector V "x, by the motion vectors. More in uncovered areas on the interpolated image (p2, q2) , finally the decision was possible to obtain a motion vector in the uncovered region on the interpolation image among aimed in the present invention.

【0053】 [0053]

【発明の効果】本発明によれば、連続する2つの画像間で双方向に検出した動きベクトルと、その双方向に検出した動きベクトルを用いて求めた2つの画像上のカバード/アンカバード・バックグラウンド領域とを用い、内挿画像上のアンカバー領域の予測を行い、さらに、内挿画像上のアンカバー領域における動きベクトルを決定することができる。 According to the present invention, a motion vector detected in both directions between two consecutive images, the covered / uncovered, on the two images obtained by using the motion vector detected in the two-way using the background area, making predictions of uncovered areas on the interpolated image, further, it is possible to determine the motion vector in the uncovered region on the interpolation image.

【0054】これにより、動き補正型テレビジョン方式変換装置や動き補正型スローモーション装置などの動き補正型画像内挿処理装置において必要となる内挿画像上のカバード/アンカバード・バックグラウンド領域における正しい動きベクトルを決定することができ、内挿画像の画質を向上させることができる。 [0054] Accordingly, the correct in the covered / uncovered background area on the interpolated image that is necessary in the motion compensation type image interpolation processing apparatus such as a motion compensated television standards converter or a motion compensation type slow-motion device can determine the motion vector, it is possible to improve the image quality of the interpolation image.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明による内挿画像上のアンカバー領域における動きベクトル検出装置の一例のブロック図である。 1 is a block diagram of an example of a motion vector detecting device in the uncovered region on the interpolation image in accordance with the present invention.

【図2】2つの動きベクトル検出装置で検出した動きベクトルが対応する領域の例の説明図である。 Figure 2 is a motion vector detected by the two motion vector detection apparatus is an explanatory diagram of an example of a corresponding region.

【図3】アンカバー領域の近傍で検出した動きベクトルの説明図である。 3 is an explanatory diagram of the motion vector detected in the vicinity of the uncovered area.

【図4】内挿画像上のアンカバー領域に適合する動きベクトルの説明図である。 Is an illustration of matching motion vector uncovered area on Figure 4 the interpolation image.

【図5】内挿画像上のアンカバー領域に複数の動きベクトルが候補となる例の説明図である。 A plurality of motion vectors to uncovered areas on Figure 5 the interpolated image is an explanatory view of an example of the candidate.

【図6】内挿画像上のアンカバー領域の動きベクトル候補の1つの説明図である。 6 is one illustration of the motion vector candidates of the uncovered areas on the interpolated image.

【図7】内挿画像上のアンカバー領域の動きベクトル候補の別の1つの説明図である。 7 is a one illustration movement of another vector candidates uncovered areas on the interpolated image.

【図8】内挿画像上のアンカバー領域の複数の動きベクトル候補から、アンカバー領域の動きベクトルを決定する例の説明図である。 A plurality of motion vector candidates of the uncovered areas on 8 the interpolation image is an explanatory diagram of an example of determining the motion vector of the uncovered area.

【図9】時間的に連続した2つの画像と内挿画像との時間的位置関係を示す説明図である。 9 is an explanatory view showing a temporal position relation between the temporally consecutive two images and the interpolation image.

【図10】本発明の実施の形態における双方向動きベクトル検出部で検出した双方向の動きベクトルの説明図である。 10 is an explanatory view of a bidirectional motion vector detected by the bidirectional motion vector detection unit in the embodiment of the present invention.

【図11】本発明における、内挿画像上のアンカバー領域を抽出する手順で用いる領域および動きベクトルの説明図である。 In [11] The present invention is an explanatory view of a region and the motion vector used in the procedure of extracting the uncovered areas on the interpolated image.

【図12】本発明における、アンカバー領域の動きベクトルを決定するために使用する近傍の領域の例の説明図である。 In [12] The present invention is an explanatory diagram of an example of a region near that used to determine the motion vector of the uncovered area.

【図13】本発明における、内挿画像上のアンカバー領域の動きベクトルを決定する手順で用いる領域および動きベクトルの説明図である。 In [13] The present invention is an explanatory view of a region and the motion vector used in the procedure of determining the motion vector of the uncovered region of the interpolation image.

【図14】本発明における、内挿画像上のアンカバー領域の動きベクトルに候補が複数あった場合の処理に用いる領域および動きベクトルの説明図である。 In [14] The present invention is an explanatory view of a region and the motion vector used in the process when the candidates are a plurality of the motion vector of the uncovered region of the interpolation image.

【図15】内挿画像上の動きベクトルの決定が必要な例の説明図である。 15 is an explanatory diagram of a decision is needed example of the motion vector on the interpolated image.

【図16】従来の手法によるアンカバー領域の検出の説明図である。 16 is an explanatory view of the detection of the uncovered region by conventional techniques.

【図17】従来の手法による内挿画像上のアンカバー領域の予測の説明図である。 17 is an explanatory diagram of prediction of the uncovered region of the interpolation image by a conventional technique.

【図18】従来の手法による内挿画像上のアンカバー領域における動きベクトルの決定法の説明図である。 18 is an explanatory diagram of a method for determining the motion vector in the uncovered region on the interpolation image by a conventional technique.

【図19】従来の手法において内挿画像上のアンカバー領域に複数の動きベクトルが候補となった場合の動きベクトルの決定法の説明図である。 19 is an explanatory diagram of a method for determining the motion vector when a plurality of motion vectors to uncovered areas on the interpolated image becomes a candidate in the conventional technique.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 双方向動きベクトル検出部 2 アンカバー領域検出部 3 内挿画像上のアンカバー領域予測部 4 内挿画像上のアンカバー領域における動きベクトル決定部 5,6,17 遅延回路 7 動きベクトル検出回路(I) 8 動きベクトル検出回路(II) 9 アンカバード・バックグラウンド領域検出回路 10 カバード・バックグラウンド領域検出回路 11,12 非アンカバー領域抽出回路 13 領域比較回路 14 内挿画像上のアンカバー領域予測回路 15 カバード・バックグラウンド領域における動きベクトル決定回路 16 アンカバード・バックグラウンド領域における動きベクトル決定回路 1 bidirectional motion vector detecting section 2 uncovered area detecting unit 3 in the interpolated motion in uncovered areas uncovered region of the prediction unit 4 in interpolated image on the image vector determining unit 5,6,17 delay circuit 7 motion vector detecting circuit (I) 8 motion vector detection circuit (II) 9 uncovered background area detector 10 covered background area detecting circuit 11 and 12 non-uncovered region extracting circuit 13 uncovered areas over a region comparator circuit 14 in the interpolation image prediction circuit 15 covered background motion in the region vector determination circuit 16 uncovered background motion in the region vector determining circuit

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 内挿画像を挟む時間的に連続した2つの画像f(t),f(t+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出し、該検出した動きベクトルに基づき前記画像f(t),f(t+1)上のアンカバー領域を検出し、該検出したf(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する画像予測処理方法において、 前記f(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する方法は、 1. A in interpolated image a sandwich temporally consecutive two images f (t), between f (t + 1), the motion for each block, each separate bidirectionally having a predetermined size a predetermined detecting a vector, the image f on the basis of the motion vector the detected (t), to detect the uncovered areas on the f (t + 1), 該検 out was f (t), the uncovered region of the f (t + 1) in the image prediction processing method for predicting the uncovered region on the inside interpolated image based, a method for predicting the f (t), f (t + 1) uncovered areas on said interpolated image on the basis of the uncovered areas on the ,
    それぞれ前記画像f(t),f(t+1)上でアンカバー領域以外の領域を各別に抽出し、 該抽出した抽出領域のそれぞれに含まれ、対応する前記動きベクトルが相互に逆向きで対応する一部領域であって、前記画像f(t)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t+1)上に移動した範囲が、前記f(t+1)上の抽出領域に含まれ、 Each of the image f (t), f (t + 1) on extracting the region other than the uncovered regions to each other in, ie, each extraction region the extracted, the motion vector corresponding the corresponding in opposite directions to each other a partial area, the partial region on the image f (t), ranges moved on the image f (t + 1) based on said corresponding motion vector, the f (t + 1) on the extraction region included in,
    かつ、前記画像f(t+1)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t)上に移動した範囲が、前記f(t)上の抽出領域に含まれる、 And, wherein the partial region of the image f (t + 1), a range that has moved on the image f (t) on the basis of said corresponding motion vector is included in the extraction area on the f (t),
    前記抽出領域の一部領域を各別に検出し、 該検出した一部領域を、対応する前記動きベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付け、 該割り付けた領域以外の前記内挿画像上の領域を前記内挿画像上のアンカバー領域と判定するの順次のステップを含んでいることを特徴とする画像予測処理方法。 A partial area of ​​the extraction area detected in each other, a part the detected area, assigned as corresponding predicted image on said interpolated image according to interpolation ratio in based on the motion vector, the other than the allocation region image prediction processing method characterized in that an area on the interpolated image includes sequential steps of determining the uncovered region on the inside interpolated image.
  2. 【請求項2】 内挿画像を挟む時間的に連続した2つの画像f(t),f(t+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出し、該検出した動きベクトルに基づき前記画像f(t),f(t+1)上のアンカバー領域を検出し、該検出したf(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測し、該予測した内挿画像上のアンカバー領域の動きベクトルを決定する画像予測処理方法において、 前記内挿画像上のアンカバー領域の動きベクトルを決定する方法は、それぞれ前記画像f(t),f(t+1) Wherein the interpolation image a sandwich temporally consecutive two images f (t), between f (t + 1), the motion for each block, each separate bidirectionally having a predetermined size a predetermined detecting a vector, the image f on the basis of the motion vector the detected (t), to detect the uncovered areas on the f (t + 1), 該検 out was f (t), the uncovered region of the f (t + 1) based predict uncovered areas on said interpolation image, the image prediction processing method for determining a motion vector of the uncovered region of the interpolated image within that the predicted motion vector of the uncovered areas on said interpolation image how determining each said image f (t), f (t + 1)
    上のアンカバー領域近傍の領域に対応する複数の前記動きベクトルを前記内挿画像上のアンカバー領域の動きベクトルの候補として選定し、 前記画像f(t),f(t+1)上のアンカバー領域を前記複数の候補ベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付け、 該割り付けた複数の予測画像のうち、1つの予測画像のみが前記内挿画像上のアンカバー領域と重複を生じる場合は、前記1つの予測画像に対応する前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、前記内挿画像上のアンカバー領域のうち、前記予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域の動きベクトルとして決定し、 前記割り付けた複数の予測画像のうち、2 Selects a plurality of the motion vector corresponding to the region of the uncovered region near the top as a candidate of the motion vectors of the uncovered region on the inside interpolation image, the image f (t), uncovered on f (t + 1) assignment as a prediction image on said interpolated image according to interpolation ratio in the basis of the region in the plurality of candidate vectors, among the plurality of prediction images which assignment the, and only one prediction image uncovered areas on said interpolation image when producing duplicates, the candidate vector corresponding to the one predicted image as it is for the forward motion vector, by reversing the direction for backward motion vector, among the uncovered areas on said interpolation image the corresponding overlapping range between the predicted image is determined as a motion vector of the uncovered region on the inside interpolated image, among the plurality of prediction images which said allocation, 2 以上の予測画像が前記内挿画像上のアンカバー領域と重複を生じる場合は、前記各候補ベクトルに対応する前記画像f The image f or more predicted images may be caused to overlap with uncovered areas on said interpolated image is corresponding to each candidate vector
    (t),f(t+1)上の各アンカバー領域の画像情報と、前記画像f(t),f(t+1)に対してそれぞれ前記内挿画像の時間的に反対側に位置する画像f(t− (T), f (t + 1) and the image information of each uncovered region on the image f (t), f (t + 1) image temporally located opposite the inside interpolated image respectively f ( t-
    1),f(t+2)上の領域であって、前記各候補ベクトルに従い前記画像f(t),f(t+1)上の対応アンカバー領域を逆向きに移動させた範囲に対応する領域の画像情報との相関を算出して、相関が最大となる前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、 1), f (t + 2) a region on the said image f in accordance each candidate vector (t), f (t + 1) on the image of the region corresponding to the range of moving the corresponding uncovered area in the opposite direction by calculating the correlation between the information, the candidate vector correlation is maximum, the forward motion vector as it is, by inverting the direction for backward motion vector,
    前記内挿画像上のアンカバー領域のうち、前記2つ以上の予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域の動きベクトルとして決定するの順次のステップを含んでいることを特徴とする画像予測処理方法。 Of uncovered areas on said interpolation image, to contain sequential steps to determine a motion vector of the uncovered areas on said interpolated image corresponding to the overlapping range of the two or more predicted images image prediction processing method comprising.
  3. 【請求項3】 請求項2記載の画像予測処理方法において、前記画像f(t),f(t+1)上のアンカバー領域近傍の領域は、前記ブロックの8倍乃至200倍の面積範囲の近傍領域であることを特徴とする画像予測処理方法。 3. An image prediction processing method according to claim 2, wherein said image f (t), f (t + 1) of the uncovered region near the region is in the vicinity of 8 times to 200 times the area range of the block image prediction processing method which is a region.
  4. 【請求項4】 内挿画像を挟む時間的に連続した2つの画像f(t),f(t+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出する双方向動きベクトル検出部と、 Wherein the interpolation image a sandwich temporally consecutive two images f (t), between f (t + 1), the motion for each block, each separate bidirectionally having a predetermined size a predetermined a bidirectional motion vector detecting section for detecting a vector,
    該検出部において検出した動きベクトルに基づき前記画像f(t),f(t+1)上のアンカバー領域を検出するアンカバー領域検出部と、該検出部において検出したf(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する内挿画像上のアンカバー領域予測部とを少なくとも有する画像予測処理装置において、 前記内挿画像上のアンカバー領域予測部は前記画像f Based on the motion vector detected in the detecting section and the image f (t), f (t + 1) and the uncovered area detecting unit that detects the uncovered areas on said detection detected in section f (t), f (t + 1 ) in the image prediction processing apparatus having at least a uncovered region prediction unit on interpolation image among predicting the uncovered region on the inside interpolated image based on the uncovered areas on, uncovered region prediction on said interpolation image parts are the image f
    (t),f(t+1)上でアンカバー領域以外の領域を各別に抽出する非アンカバー領域抽出手段と、 前記抽出した領域のそれぞれに含まれ、対応する前記動きベクトルが相互に逆向きで対応する一部領域であって、前記画像f(t)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t+1)上に移動した範囲が、前記f(t+1)上の抽出領域に含まれ、 (T), and a non-uncovered region extracting means for extracting f (t + 1) on a region other than the uncovered area to each other, ie, each of the extracted area, the motion vector corresponding in reverse directions to each other a corresponding partial area, the partial region on the image f (t), ranges moved on the image f on the basis of said corresponding motion vector (t + 1) is the f (t + 1) on the included in the extraction area,
    かつ、前記画像f(t+1)上の前記一部領域を、対応する前記動きベクトルに基づき前記画像f(t)上に移動した範囲が、前記f(t)上の抽出領域に含まれる前記抽出領域の一部領域を各別に検出し、該検出した一部領域を、対応する前記動きベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付ける領域比較手段と、 該領域比較手段において割り付けた領域以外の前記内挿画像上の領域を前記内挿画像上のアンカバー領域と判定する内挿画像上のアンカバー領域抽出手段とを含んでいることを特徴とする画像予測処理装置。 And said extraction of said partial area on the image f (t + 1), a range that has moved on the image f on the basis of said corresponding motion vector (t) is included in the extracted area on the f (t) detecting a partial area of ​​the region to each other, a part the detected region, and the region comparison means for allocating a predicted image on said interpolated image according to interpolation ratio in on the basis of said corresponding motion vector, in the region comparison means image prediction processor, wherein a region on the allocated other than the region wherein the interpolation image and an uncovered region extraction means on determining the interpolated image and the uncovered region on the inside interpolated image.
  5. 【請求項5】 内挿画像を挟む時間的に連続した2つの画像f(t),f(t+1)間で、あらかじめ定められた一定の大きさを有するブロック毎に、双方向に各別に動きベクトルを検出する双方向動きベクトル検出部と、 5. the interpolated two images f continuous temporally sandwiching the image (t), between f (t + 1), the motion for each block, each separate bidirectionally having a predetermined size a predetermined a bidirectional motion vector detecting section for detecting a vector,
    該検出部において検出した動きベクトルに基づき前記画像f(t),f(t+1)上のアンカバー領域を検出するアンカバー領域検出部と、該検出部において検出したf(t),f(t+1)上のアンカバー領域に基づき前記内挿画像上のアンカバー領域を予測する内挿画像上のアンカバー領域予測部と、該アンカバー領域予測部において予測した内挿画像上のアンカバー領域の動きベクトルを決定するアンカバー領域動きベクトル決定部とを少なくとも有する画像予測処理装置において、 前記アンカバー領域動きベクトル決定部は前記画像f Based on the motion vector detected in the detecting section and the image f (t), f (t + 1) and the uncovered area detecting unit that detects the uncovered areas on said detection detected in section f (t), f (t + 1 ) and uncovered region prediction unit on interpolation image among predicting the uncovered region on the inside interpolated image based on the uncovered areas on, the uncovered areas on the interpolated image among predicted in the uncovered region prediction unit in the image predictive processing apparatus having at least a uncovered area motion vector determination unit that determines a motion vector, the uncovered area motion vector determination unit the image f
    (t),f(t+1)上のアンカバー領域近傍の領域に対応する複数の前記動きベクトルを前記内挿画像上のアンカバー領域の動きベクトルの候補として選定し、 前記画像f(t),f(t+1)上のアンカバー領域を前記複数の候補ベクトルに基づき内挿比に従い前記内挿画像上に予測画像として割り付け、 該割り付けた複数の予測画像のうち、1つの予測画像のみが前記内挿画像上のアンカバー領域と重複を生じる場合は、前記1つの予測画像に対応する前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、前記内挿画像上のアンカバー領域のうち、前記予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域の動きベクトルとして決定し、 前記割り付けた複数 (T), f (t + 1) a plurality of said motion vector corresponding to the uncovered region near the region on selected as a candidate of the motion vectors of the uncovered region on the inside interpolation image, the image f (t), allocation f a (t + 1) uncovered areas on the predicted image on said interpolated image according to interpolation ratio in based on the plurality of candidate vectors, among the plurality of prediction images allocated said, in only one prediction image wherein If that occurs the overlap with uncovered areas on the interpolated image is the candidate vector corresponding to the one predicted image for the forward motion vector as it is, by inverting the direction for backward motion vector, the interpolation of uncovered areas on the image, a plurality of determining and allocating the as the motion vector of the uncovered areas on said interpolated image corresponding to the overlapping range between the predicted image 予測画像のうち、2つ以上の予測画像が前記内挿画像上のアンカバー領域と重複を生じる場合は、前記各候補ベクトルに対応する前記画像f Of the predicted image, if two or more predicted images cause overlap with uncovered areas on said interpolation image, the image f corresponding to each candidate vector
    (t),f(t+1)上の各アンカバー領域の画像情報と、前記画像f(t),f(t+1)に対してそれぞれ前記内挿画像の時間的に反対側に位置する画像f(t− (T), f (t + 1) and the image information of each uncovered region on the image f (t), f (t + 1) image temporally located opposite the inside interpolated image respectively f ( t-
    1),f(t+2)上の領域であって、前記各候補ベクトルに従い前記画像f(t),f(t+1)上の対応アンカバー領域を逆向きに移動させた範囲に対応する領域の画像情報との相関を算出して、相関が最大となる前記候補ベクトルを、順方向動きベクトルについてはそのまま、逆方向動きベクトルについては向きを反転させて、 1), f (t + 2) a region on the said image f in accordance each candidate vector (t), f (t + 1) on the image of the region corresponding to the range of moving the corresponding uncovered area in the opposite direction by calculating the correlation between the information, the candidate vector correlation is maximum, the forward motion vector as it is, by inverting the direction for backward motion vector,
    前記内挿画像上のアンカバー領域のうち、前記2つ以上の予測画像との重複範囲に対応する前記内挿画像上のアンカバー領域における動きベクトルとして決定する手段を含んでいることを特徴とする画像予測処理装置。 And characterized in that among the uncovered region on the inside interpolated image, including means for determining as a motion vector in the uncovered region on the inside interpolated image corresponding to the overlapping range of the two or more predicted images image prediction processing apparatus.
  6. 【請求項6】 請求項5記載の画像予測処理装置において、前記画像f(t),f(t+1)上のアンカバー領域近傍の領域は、前記ブロックの8倍乃至200倍の面積範囲の近傍領域であることを特徴とする画像予測処理装置。 6. The image predictive processing apparatus according to claim 5, wherein the image f (t), f (t + 1) of the uncovered region near the region is in the vicinity of 8 times to 200 times the area range of the block image prediction processor which is a region.
JP1534596A 1996-01-31 1996-01-31 Image prediction processing method an its device Pending JPH09214899A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1534596A JPH09214899A (en) 1996-01-31 1996-01-31 Image prediction processing method an its device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1534596A JPH09214899A (en) 1996-01-31 1996-01-31 Image prediction processing method an its device

Publications (1)

Publication Number Publication Date
JPH09214899A true true JPH09214899A (en) 1997-08-15

Family

ID=11886214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1534596A Pending JPH09214899A (en) 1996-01-31 1996-01-31 Image prediction processing method an its device

Country Status (1)

Country Link
JP (1) JPH09214899A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002071331A2 (en) * 2001-03-07 2002-09-12 Pulsent Corporation Predictive edge extension into uncovered regions
JP2004507943A (en) * 2000-08-24 2004-03-11 フランス テレコムFrance Telecom The method for calculating at least one of the image to be interpolated between the two images of the video sequence
US7058227B2 (en) 1998-08-21 2006-06-06 Koninklijke Philips Electronics N.V. Problem area location in an image signal
JP2007504700A (en) * 2003-09-02 2007-03-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィKoninklijke Philips Electronics N.V. Temporal interpolation of a pixel based on the occlusion detection
JP2007074586A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, program, and recording medium
JP2007074596A (en) * 2005-09-09 2007-03-22 Sony Corp An image processing apparatus and method, recording medium, and program
JP2007282155A (en) * 2006-04-12 2007-10-25 Sony Corp Image processing apparatus, image processing method and program
US7343044B2 (en) 2004-01-15 2008-03-11 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
JP2009200760A (en) * 2008-02-21 2009-09-03 Sony Corp Image processing apparatus and method, program, and storage medium
JP2010028478A (en) * 2008-07-18 2010-02-04 Sharp Corp Motion vector correction apparatus, motion vector correction method, image interpolation device, television receiver, video image reproducer, control program, and computer-readable recording medium
JP2010178216A (en) * 2009-01-30 2010-08-12 Sharp Corp Vector correction device, vector correction method, image interpolation device, television receiver, video reproducer, control program, and computer readable recording medium
JP2010212984A (en) * 2009-03-10 2010-09-24 Sharp Corp Image interpolation apparatus, image interpolation method, television receiver, video playback device, control program, and computer readable recording medium
CN101924936A (en) * 2009-06-12 2010-12-22 索尼公司 Image frame interpolation device, image frame interpolation method, and image frame interpolation program
US8144777B2 (en) 2002-03-15 2012-03-27 Kabushiki Kaisha Toshiba Motion vector detection method and apparatus
US8432495B2 (en) 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method
US9485453B2 (en) 2013-09-10 2016-11-01 Kabushiki Kaisha Toshiba Moving image player device

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058227B2 (en) 1998-08-21 2006-06-06 Koninklijke Philips Electronics N.V. Problem area location in an image signal
JP2004507943A (en) * 2000-08-24 2004-03-11 フランス テレコムFrance Telecom The method for calculating at least one of the image to be interpolated between the two images of the video sequence
JP4922536B2 (en) * 2000-08-24 2012-04-25 フランス・テレコム The method for calculating at least one of the image to be interpolated between the two images of the video sequence
WO2002071331A3 (en) * 2001-03-07 2004-03-18 Pulsent Corp Predictive edge extension into uncovered regions
WO2002071331A2 (en) * 2001-03-07 2002-09-12 Pulsent Corporation Predictive edge extension into uncovered regions
US8144777B2 (en) 2002-03-15 2012-03-27 Kabushiki Kaisha Toshiba Motion vector detection method and apparatus
JP2007504700A (en) * 2003-09-02 2007-03-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィKoninklijke Philips Electronics N.V. Temporal interpolation of a pixel based on the occlusion detection
US7697769B2 (en) 2004-01-15 2010-04-13 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
US7343044B2 (en) 2004-01-15 2008-03-11 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
JP4655217B2 (en) * 2005-09-09 2011-03-23 ソニー株式会社 An image processing apparatus and method, recording medium, and program
JP2007074596A (en) * 2005-09-09 2007-03-22 Sony Corp An image processing apparatus and method, recording medium, and program
JP2007074586A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, program, and recording medium
JP2007282155A (en) * 2006-04-12 2007-10-25 Sony Corp Image processing apparatus, image processing method and program
US8432495B2 (en) 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method
US8279930B2 (en) 2008-02-21 2012-10-02 Sony Corporation Image processing apparatus and method, program, and recording medium
JP2009200760A (en) * 2008-02-21 2009-09-03 Sony Corp Image processing apparatus and method, program, and storage medium
JP2010028478A (en) * 2008-07-18 2010-02-04 Sharp Corp Motion vector correction apparatus, motion vector correction method, image interpolation device, television receiver, video image reproducer, control program, and computer-readable recording medium
JP2010178216A (en) * 2009-01-30 2010-08-12 Sharp Corp Vector correction device, vector correction method, image interpolation device, television receiver, video reproducer, control program, and computer readable recording medium
JP2010212984A (en) * 2009-03-10 2010-09-24 Sharp Corp Image interpolation apparatus, image interpolation method, television receiver, video playback device, control program, and computer readable recording medium
CN101924936A (en) * 2009-06-12 2010-12-22 索尼公司 Image frame interpolation device, image frame interpolation method, and image frame interpolation program
US9485453B2 (en) 2013-09-10 2016-11-01 Kabushiki Kaisha Toshiba Moving image player device

Similar Documents

Publication Publication Date Title
US5387947A (en) Motion vector detecting method of a video signal
US5561475A (en) Variable block matching motion estimation apparatus
US5742710A (en) Computationally-efficient method for estimating image motion
US5991428A (en) Moving object detection apparatus and method
US6335985B1 (en) Object extraction apparatus
US6269174B1 (en) Apparatus and method for fast motion estimation
US6141460A (en) Method for detecting edges in an image signal
US6343100B1 (en) Motion-vector detecting device
US5034986A (en) Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US20080107307A1 (en) Motion Detection Method, Motion Detection Program, Storage Medium in Which Motion Detection Program is Stored, and Motion Detection Apparatus
US6842483B1 (en) Device, method and digital video encoder for block-matching motion estimation
US20040240551A1 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
US6549576B1 (en) Motion vector detecting method and apparatus
US4796187A (en) Method for processing image data to select a target aimpoint
US7346109B2 (en) Motion vector computation for video sequences
US6985527B2 (en) Local constraints for motion matching
US6219436B1 (en) Motion vector estimation and detection of covered/uncovered image parts
US20050259739A1 (en) Image processing apparatus and method, and recording medium and program used therewith
US20010014124A1 (en) Motion vector estimation circuit and method
EP0609022A2 (en) Image encoding apparatus
US6233008B1 (en) Target tracking method and device therefor
US20060285596A1 (en) Motion-vector detecting device, motion-vector detecting method, and computer program
US5650828A (en) Method and apparatus for detecting and thinning a contour image of objects
US6380986B1 (en) Motion vector search method and apparatus
US20050135483A1 (en) Temporal motion vector filtering

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050517