JPH09214899A - Image prediction processing method an its device - Google Patents
Image prediction processing method an its deviceInfo
- Publication number
- JPH09214899A JPH09214899A JP8015345A JP1534596A JPH09214899A JP H09214899 A JPH09214899 A JP H09214899A JP 8015345 A JP8015345 A JP 8015345A JP 1534596 A JP1534596 A JP 1534596A JP H09214899 A JPH09214899 A JP H09214899A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- motion vector
- uncovered
- interpolated image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像予測処理方法
および装置に係り、特に動き補正型画像内挿処理装置
（例えば、動き補正型テレビジョン方式変換装置、動き
補正型スローモーション装置など）において、内挿画像
上において、物体が移動することにより現れる領域（ア
ンカバード・バックグラウンド領域）、および物体が移
動することにより隠れる領域（カバード・バックグラウ
ンド領域）であるアンカバー領域の予測と、その予測領
域における動きベクトルの決定を行う方法および装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image prediction processing method and apparatus, and more particularly to a motion compensation type image interpolation processing apparatus (eg, motion compensation type television system conversion apparatus, motion compensation type slow motion apparatus, etc.). , Prediction of an area that appears when an object moves on the interpolated image (uncovered background area) and an uncovered area that is hidden when the object moves (covered background area), and The present invention relates to a method and apparatus for determining a motion vector in a prediction area.
【０００２】[0002]
【従来の技術】テレビジョン信号の時間軸方向にサンプ
リングされた動画像の時間軸方向の内挿処理を行う場
合、内挿画像上における動きベクトルを決定する必要が
あるが、アンカバー領域と、そうでない領域とでは、同
様の手段で動きベクトルを決定することができない。現
実の動き物体の移動に適合した画像内挿を行うために
は、内挿画像におけるアンカバー領域の正確な予測とア
ンカバー領域の妥当な動きベクトルの決定が必要であ
る。2. Description of the Related Art When performing interpolation processing in the time axis direction of a moving image sampled in the time axis direction of a television signal, it is necessary to determine a motion vector on the interpolated image. In other areas, the motion vector cannot be determined by the same means. In order to perform image interpolation adapted to the movement of a real moving object, it is necessary to accurately predict the uncovered area in the interpolated image and determine a proper motion vector for the uncovered area.
【０００３】いま、時間的に連続した４つの画像をｆ
（ｔ−１），ｆ（ｔ），ｆ（ｔ＋１），ｆ（ｔ＋２）と
し、内挿画像を時間的にｆ（ｔ）とｆ（ｔ＋１）の間に
位置する画像とする。また、内挿画像の時間的位置は内
挿比に従うものとする。動き補正型画像内挿処理を行う
ためには、内挿画像上で動きベクトルを決定する必要が
ある。その理由は、ｆ（ｔ）およびｆ（ｔ＋１）上の動
きベクトルだけでは内挿画像を作成するために使用する
領域が定まらない場合があるためである。例えば、図１
５は、静止した背景の前を、ボールが移動する場合を示
している。時刻ｔにおいてＳの位置にあったボールが時
刻ｔ＋１ではＴの位置に移動し、時刻ｔにおいてＵの位
置の背景は時刻ｔ＋１でＶの位置にある（静止してい
る）とき、動きベクトル検出の結果、Ｖ５で示すボール
の動きベクトルと、Ｖ６で示す背景の動きベクトルが検
出される。Now, four temporally continuous images are f
(T-1), f (t), f (t + 1), f (t + 2), and the interpolated image is an image located temporally between f (t) and f (t + 1). Also, the temporal position of the interpolated image shall follow the interpolation ratio. In order to perform the motion compensation type image interpolation process, it is necessary to determine the motion vector on the interpolated image. The reason is that there are cases where the motion vector on f (t) and f (t + 1) alone does not determine the area used to create the interpolated image. For example, FIG.
5 shows the case where the ball moves in front of the stationary background. When the ball at the position S at the time t moves to the position T at the time t + 1 and the background at the position U at the time t + 1 is at the position V (stationary) at the time t + 1, the motion vector is detected. As a result, the ball motion vector indicated by V5 and the background motion vector indicated by V6 are detected.
【０００４】このとき、内挿画像上の領域Ｒにおいて、
動きベクトルＶ５を使用する領域Ｓと領域Ｔを用いた画
像内挿と、動きベクトルＶ６を使用する領域Ｕと領域Ｖ
を用いた画像内挿の、いずれを行うかを決定する必要が
ある。そのため、動き補正型画像内挿処理装置では、内
挿画像上の動きベクトルを決定することが必要となる。At this time, in the area R on the interpolated image,
Image interpolation using area S and area T using motion vector V5, and area U and area V using motion vector V6
It is necessary to decide which of the image interpolation using is used. Therefore, in the motion compensation type image interpolation processing device, it is necessary to determine the motion vector on the interpolated image.
【０００５】内挿画像上のアンカバー領域における動き
ベクトルを決定する従来の方法は、ｆ（ｔ−１）とｆ
（ｔ）の間でｆ（ｔ−１）を基準として、例えば勾配法
やブロックマッチング法により検出した動きベクトル、
ｆ（ｔ）とｆ（ｔ＋１）の間でｆ（ｔ）を基準として検
出した動きベクトル、およびｆ（ｔ＋１）とｆ（ｔ＋
２）の間でｆ（ｔ＋１）を基準として検出した動きベク
トルの合計３つの動きベクトル場を用いる手法である。The conventional method for determining the motion vector in the uncovered area on the interpolated image is f (t-1) and f (t-1).
A motion vector detected by, for example, a gradient method or a block matching method with f (t-1) as a reference between (t),
A motion vector detected based on f (t) between f (t) and f (t + 1), and f (t + 1) and f (t +).
This is a method using a total of three motion vector fields of motion vectors detected with reference to f (t + 1) during 2).
【０００６】この従来の手法においては、まず、ｆ
（ｔ）とｆ（ｔ＋１）上のアンカバー領域の検出を以下
の手順で行う。すなわち、図１６でＡとＢで示す領域の
ように、ｆ（ｔ）を基準として検出した動きベクトルで
ｆ（ｔ＋１）上に移動したときに対応する位置（領域
Ｅ）が重なっているｆ（ｔ）上の複数の領域を検出し、
カバード・バッググラウンド領域（ｆ（ｔ＋１）上で隠
れる領域）の候補とする。これら候補の領域のうち、ｆ
（ｔ＋１）上の対応する領域との間で画像情報の相関が
小さいものを、ｆ（ｔ）上のカバード・バックグラウン
ド領域とする。相関としては２つの領域に含まれる画素
の輝度レベルの差の絶対値の総和（以下、ＤＦＤとい
う）を用いる（ＤＦＤが小さいほど２つの領域の相関が
高い）。図１６の例では、ＡとＥの相関およびＢとＥの
相関を求め、相関の小さい（ＤＦＤの大きい）方の領域
をｆ（ｔ）上のカバード・バックグラウンド領域とす
る。また、図１６のｆ（ｔ＋１）上の領域Ｆのように、
ｆ（ｔ）上の領域をその動きベクトルによってｆ（ｔ＋
１）上に割り付けていったとき、ｆ（ｔ＋１）上に割り
付けが行われない領域、すなわちｆ（ｔ）と対応をもた
ないｆ（ｔ＋１）上のいわば穴あき領域を、ｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域（ｆ（ｔ
＋１）上で現れる領域）とする。In this conventional method, first, f
The uncovered areas on (t) and f (t + 1) are detected by the following procedure. That is, as in the areas indicated by A and B in FIG. 16, the position (area E) corresponding to the position (area E) when moving to f (t + 1) by the motion vector detected with f (t) as a reference overlaps f ( t) detect multiple regions above,
The candidate is a covered background area (area hidden on f (t + 1)). Of these candidate areas, f
A covered background area on f (t) is defined as one having a small correlation of image information with the corresponding area on (t + 1). As the correlation, the sum of absolute values of the differences in the brightness levels of the pixels included in the two areas (hereinafter referred to as DFD) is used (the smaller the DFD, the higher the correlation between the two areas). In the example of FIG. 16, the correlation between A and E and the correlation between B and E are obtained, and the area with the smaller correlation (larger DFD) is set as the covered background area on f (t). In addition, like the region F on f (t + 1) in FIG.
The area on f (t) is f (t +
1) When allocation is performed on f (t + 1), an area that is not allocated on f (t + 1), that is, a perforated area on f (t + 1) that does not correspond to f (t) is f (t +).
1) uncovered background area (f (t
+1) Area that appears above).
【０００７】次に、以下の手順で内挿画像上のアンカバ
ー領域を予測する。上述のｆ（ｔ）上のカバード・バッ
クグラウンド領域をその位置で検出した動きベクトルで
内挿比に応じて内挿画像上に移動したときに内挿画像上
の対応する位置の領域を、内挿画像上のカバード・バッ
クグラウンド領域とする。また、ｆ（ｔ）上の非アンカ
バー領域をその位置で検出した動きベクトルで内挿比に
応じて内挿画像上に移動したときに内挿画像上の対応す
る位置の領域を内挿画像上の非アンカバー領域とする。
この内挿画像上の非アンカバー領域が内挿画像上のカバ
ード・バックグラウンド領域に重なった部分は、非アン
カバー領域とする。このようにして求めた、内挿画像上
のカバード・バックグラウンド領域および非アンカバー
領域以外の内挿画像上のいわば穴あき領域を内挿画像上
のアンカバード・バックグラウンド領域とする。Next, the uncovered area on the interpolated image is predicted by the following procedure. When the covered background area on f (t) is moved to the interpolated image according to the interpolation ratio by the motion vector detected at that position, the area at the corresponding position on the interpolated image is It is the covered background area on the inset image. Also, when the non-uncovered area on f (t) is moved onto the interpolated image according to the interpolation ratio by the motion vector detected at that position, the area at the corresponding position on the interpolated image is interpolated image. The upper uncovered area.
A portion where the non-uncovered area on the interpolated image overlaps the covered background area on the interpolated image is a non-uncovered area. The so-called perforated area on the interpolated image other than the covered background area and the non-uncovered area on the interpolated image obtained in this way is defined as the uncovered background area on the interpolated image.
【０００８】例えば、図１７では、ｆ（ｔ）上の領域Ｂ
がｆ（ｔ）上のカバード・バックグラウンド領域である
とする。このとき、領域Ｂをその動きベクトルで内挿画
像上に移動したときに対応する位置の領域Ｂ′を求め、
その求めた領域Ｂ′を内挿画像上のカバード・バックグ
ラウンド領域とする。ｆ（ｔ）上の非アンカバー領域Ａ
を、その動きベクトルで内挿画像上に移動したときに対
応する位置の領域Ａ′を求め、その領域Ａ′を内挿画像
上の非アンカバー領域とする。また、非アンカバー領域
Ａ′が内挿画像上のカバード・バックグラウンド領域
Ｂ′と重なる部分は、非アンカバー領域とする。さら
に、ｆ（ｔ）と対応をもたないいわば穴あき領域の領域
Ｈを、内挿画像上のアンカバード・バックグラウンド領
域とする。For example, in FIG. 17, a region B on f (t)
Is the covered background area on f (t). At this time, an area B ′ at a position corresponding to the area B moved on the interpolated image by the motion vector is obtained,
The obtained area B'is taken as the covered background area on the interpolated image. Non-covered area A on f (t)
Is obtained as a non-covered area on the interpolated image, and an area A'at a position corresponding to the movement on the interpolated image by the motion vector is obtained. A portion where the non-uncovered area A ′ overlaps the covered background area B ′ on the interpolated image is a non-uncovered area. Furthermore, the region H, which is a so-called perforated region that does not correspond to f (t), is set as the uncovered background region on the interpolated image.
【０００９】次に、内挿画像上のアンカバー領域におけ
る動きベクトルを決定する。ここでは、ｆ（ｔ−１），
ｆ（ｔ）の間でｆ（ｔ−１）を基準として検出した動き
ベクトルを用いる。すなわち、ｆ（ｔ−１）上の領域を
内挿画像上に移動したときに対応する位置の領域もしく
は対応する位置の領域の一部が、内挿画像上のカバード
・バックグラウンド領域と重なるとき、その動きベクト
ルを重なった内挿画像上のカバード・バックグラウンド
領域の動きベクトルとする。また、ｆ（ｔ＋１），ｆ
（ｔ＋２）の間でｆ（ｔ＋１）を基準として検出した動
きベクトルを用い、ｆ（ｔ＋１）上の領域を逆向きに内
挿画像上に移動したときに対応する位置の領域もしくは
対応する位置の領域の一部が、内挿画像上のアンカバー
ド・バックグラウンド領域と重なるとき、その動きベク
トルを重なった内挿画像上のアンカバード・バックグラ
ウンド領域の動きベクトルとする。Next, the motion vector in the uncovered area on the interpolated image is determined. Here, f (t-1),
A motion vector detected based on f (t-1) between f (t) is used. That is, when the area at the position corresponding to the area on f (t-1) is moved to the interpolated image or a part of the area at the corresponding position overlaps with the covered background area on the interpolated image. , That motion vector is used as the motion vector of the covered background area on the overlapped interpolated image. Also, f (t + 1), f
Using the motion vector detected based on f (t + 1) between (t + 2), when the area on f (t + 1) is moved backward on the interpolated image, the area at the corresponding position or the corresponding position When a part of the area overlaps with the uncovered background area on the interpolated image, the motion vector is taken as the motion vector of the uncovered background area on the overlapped interpolated image.
【００１０】例えば、図１８の、内挿画像上の領域Ｉを
アンカバード・バックグラウンド領域（ｆ（ｔ＋１）上
で現れる領域）、領域Ｊをカバード・バックグラウンド
領域（ｆ（ｔ＋１）上で隠れる領域）とする。ｆ（ｔ−
１）上の領域Ｇ１をその位置で検出した動きベクトルＶ
１１で、内挿画像上に移動したときに対応する位置の領
域Ｇ１′は、内挿画像上のカバード・バックグラウンド
領域とは重ならないため、Ｖ１１は内挿画像上のカバー
ド・バックグラウンド領域の動きベクトルとはならな
い。ｆ（ｔ−１）上の領域Ｇ２をその位置で検出した動
きベクトルＶ１２で、内挿画像上に移動したときに対応
する位置の領域Ｇ２′は、内挿画像上のカバード・バッ
クグラウンド領域Ｊと重なるため、重なった部分Ｊ′
（図１８の斜線の領域）の動きベクトルをＶ１２とす
る。同様に、ｆ（ｔ＋１）とｆ（ｔ＋２）の間でｆ（ｔ
＋１）を基準として検出した動きベクトルを用い、ｆ
（ｔ＋１）上の領域を内挿画像上に移動したときに対応
する位置の領域もしくは対応する位置の領域の一部が、
内挿画像上のアンカバード・バックグラウンド領域Ｉと
重なる場合、その動きベクトルを、重なった領域Ｉの動
きベクトルとする。For example, in FIG. 18, the area I on the interpolated image is hidden on the uncovered background area (area appearing on f (t + 1)) and the area J is hidden on the covered background area (f (t + 1)). Area). f (t-
1) A motion vector V obtained by detecting the upper area G1 at that position
In FIG. 11, since the area G1 ′ at the position corresponding to the position on the interpolated image does not overlap with the covered background area on the interpolated image, V11 is the covered background area on the interpolated image. It cannot be a motion vector. An area G2 'at a position corresponding to the area G2' on the interpolated image is a motion vector V12 obtained by detecting the area G2 on f (t-1) at that position. Since it overlaps with the overlapped part J ′
The motion vector of (hatched area in FIG. 18) is V12. Similarly, between f (t + 1) and f (t + 2), f (t
Using the motion vector detected with +1) as the reference, f
When the area on (t + 1) is moved to the interpolated image, the area at the corresponding position or a part of the area at the corresponding position is
When it overlaps with the uncovered background area I on the interpolated image, the motion vector is set as the motion vector of the overlapped area I.
【００１１】また、内挿画像上のカバード／アンカバー
ド・バックグラウンド領域（／は、「および」を意味す
る、以下同じ）に複数の異なる動きベクトルが候補とな
る場合には、以下の手順で内挿画像上のカバード／アン
カバード・バックグラウンド領域における動きベクトル
を決定する。すなわち、図１９に示すように、内挿画像
上のカバード・バックグラウンド領域をＪとし、ｆ（ｔ
−１）上の領域Ｊ′t- 1 で検出した動きベクトルＶ９
と、ｆ（ｔ−１）上の領域Ｊ″t-1 で検出した動きベク
トルＶ１０が、領域Ｊの候補となったとき、動きベクト
ルＶ９で領域Ｊ′ t-1 をｆ（ｔ）上に移動したときに対
応する位置の領域Ｊ′t と、動きベクトルＶ１０で領域
Ｊ″t-1 をｆ（ｔ）上に移動したときに対応する位置の
領域Ｊ″tを求め、Ｊ′t-1 とＪ′t の画像情報の相関
と、Ｊ″t-1 とＪ″t の画像情報の相関を求め、相関の
大きい方の動きベクトルを、領域Ｊの動きベクトルとす
る。アンカバード・バックグラウンド領域に異なる複数
の動きベクトルが候補となるときも同様に、内挿画像上
のアンカバード・バックグラウンド領域をＩとし、ｆ
（ｔ＋１）上の領域Ｉ′t+1 で検出した動きベクトルＶ
７と、ｆ（ｔ＋１）上の領域Ｉ″t+1 で検出した動きベ
クトルＶ８が、領域Ｉの候補となったとき、動きベクト
ルＶ７で領域Ｉ′t+1 をｆ（ｔ＋２）上に移動したとき
に対応する位置の領域Ｉ′t+2 と、動きベクトルＶ８で
領域Ｉ″t+1 をｆ（ｔ＋２）上に移動したときに対応す
る位置の領域Ｉ″t+2 を求め、Ｉ′t+1 とＩ′t+2 の画
像情報の相関と、Ｉ″t+1 とＩ″t+2 の画像情報の相関
を求め、相関の大きい方の動きベクトルを、領域Ｉの動
きベクトルとする。以上が、従来技術における内挿画像
上のアンカバー領域の予測、およびそのアンカバー領域
における動きベクトルの決定の方法であった。Also, the covered / uncovered image on the interpolated image
Background area (/ means "and"
Multiple different motion vectors as candidates.
If you want to cover / uncover the interpolated image, follow the procedure below.
Motion vector in covered background area
To determine. That is, as shown in FIG.
The upper covered background area is J, and f (t
-1) Upper area J 't- 1Motion vector V9 detected in
And the area J ″ on f (t−1)t-1Motion detected by
When Toru V10 becomes a candidate for area J, it moves
Area V'at Le V9 t-1When f is moved over f (t)
Area of corresponding position J 'tAnd the area with the motion vector V10
J ″t-1Of the corresponding position when is moved over f (t)
Area J ″t, J ′t-1And J ′tImage information correlation
And J ″t-1And J ″tOf the image information of
Let the larger motion vector be the motion vector of region J.
You. Multiple different in uncovered background areas
Similarly, when the motion vector of
Let I be the uncovered background area of f
Region I'on (t + 1)t + 1Motion vector V detected in
7 and the area I ″ on f (t + 1)t + 1Motion detected by
When Cutle V8 becomes a candidate for Region I, it moves
Area I'at Le V7t + 1Is moved to f (t + 2)
Region I'at a position corresponding tot + 2And the motion vector V8
Area I ″t + 1Corresponds to when f is moved to f (t + 2)
Area I ″t + 2And I 't + 1And I 't + 2Painting
Correlation of image information and I ″t + 1And I ″t + 2Image information correlation
And the motion vector with the larger correlation is calculated as the motion of region I.
As a vector. The above is the interpolated image in the prior art
Prediction of the uncovered area above and its uncovered area
Was the method of determining the motion vector in.
【００１２】[0012]
【発明が解決しようとする課題】以上説明したように、
内挿画像上のカバード／アンカバード・バックグラウン
ド領域の予測、およびカバード／アンカバード・バック
グラウンド領域における動きベクトルを決定するため
に、従来の技術では時間的に連続する４つの画像間でし
かも順方向に検出した３つの動きベクトル場を用い、か
つ時間的に連続する画像間で検出した動きベクトルを使
用して内挿画像上のアンカバー領域における動きベクト
ルを決定していたため、動きベクトル決定のための装置
が大規模となり、また、決定された動きベクトルの正確
さにも欠けるという問題があった。As described above,
In order to predict the covered / uncovered background area on the interpolated image and to determine the motion vector in the covered / uncovered background area, the conventional technique uses four successive pictures in time and forward. Since the motion vector in the uncovered area on the interpolated image is determined by using the three motion vector fields detected in the direction and the motion vector detected between the temporally consecutive images, However, there has been a problem that the device for this purpose becomes large in scale and the accuracy of the determined motion vector is lacking.
【００１３】[0013]
【課題を解決するための手段】上記従来技術の問題点を
解決するために、本発明は、時間的に連続した２つの画
像間で双方向に検出した２つの動きベクトル場を用い、
かつ空間的に隣接する領域で検出した動きベクトルを使
用して内挿画像上のアンカバー領域を予測し、またその
アンカバー領域における動きベクトルを決定するもので
ある。In order to solve the above-mentioned problems of the prior art, the present invention uses two motion vector fields detected bidirectionally between two temporally consecutive images,
The motion vector detected in the spatially adjacent regions is used to predict the uncovered region on the interpolated image, and the motion vector in the uncovered region is determined.
【００１４】まず、本発明による内挿画像上のアンカバ
ー領域を予測する方法は、連続した２つの画像ｆ
（ｔ），ｆ（ｔ＋１）間で双方向に動きベクトルを検出
してｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域と非ア
ンカバー領域を特定する。次いで、双方向動きベクトル
に基づき、内挿画像上に非アンカバー領域を割り付けて
いき、最後まで割り付けが行われなかったいわば穴あき
領域を内挿画像上のアンカバー領域として予測する。First, according to the method of predicting the uncovered area on the interpolated image according to the present invention, two consecutive images f are used.
A motion vector is bidirectionally detected between (t) and f (t + 1) to identify an uncovered area and a non-uncovered area on f (t) and f (t + 1). Next, based on the bidirectional motion vector, a non-uncovered area is allocated on the interpolated image, and a so-called perforated area that is not allocated until the end is predicted as an uncovered area on the interpolated image.
【００１５】次に、本発明による内挿画像上のアンカバ
ー領域における動きベクトルを決定する方法は、上記ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍に存在す
る動きベクトルを上記方法によって予測した内挿画像上
のアンカバー領域の動きベクトルの候補として選ぶ。そ
して、この候補ベクトルを用いて内挿画像上に上記ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を移動させて
みて、予測した内挿画像上のアンカバー領域と重なる場
合に、この候補ベクトルを順方向動きベクトルについて
はそのまま、逆方向動きベクトルについては向きを反転
させて内挿画像上のそのアンカバー領域における動きベ
クトルとして決定する。Next, the method of determining the motion vector in the uncovered area on the interpolated image according to the present invention is performed by the above f
The motion vector existing in the vicinity of the uncovered area on (t), f (t + 1) is selected as a candidate for the motion vector of the uncovered area on the interpolated image predicted by the above method. Then, using the candidate vector, the above f
When the uncovered area on (t), f (t + 1) is moved and overlaps with the uncovered area on the predicted interpolated image, this candidate vector is used as it is for the forward motion vector and the backward motion vector Is inverted and determined as the motion vector in the uncovered area on the interpolated image.
【００１６】すなわち、本発明画像予測処理方法は、内
挿画像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ
（ｔ＋１）間で、あらかじめ定められた一定の大きさを
有するブロック毎に、双方向に各別に動きベクトルを検
出し、該検出した動きベクトルに基づき前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出し、該
検出したｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に
基づき前記内挿画像上のアンカバー領域を予測する画像
予測処理方法において、前記ｆ（ｔ），ｆ（ｔ＋１）上
のアンカバー領域に基づき前記内挿画像上のアンカバー
領域を予測する方法は、それぞれ、前記画像ｆ（ｔ），
ｆ（ｔ＋１）上でアンカバー領域以外の領域を各別に抽
出し、該抽出した抽出領域のそれぞれに含まれ、対応す
る前記動きベクトルが相互に逆向きで対応する一部領域
であって、前記画像ｆ（ｔ）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ＋１）上
に移動した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含
まれ、かつ、前記画像ｆ（ｔ＋１）上の前記一部領域
を、対応する前記動きベクトルに基づき前記画像ｆ
（ｔ）上に移動した範囲が、前記ｆ（ｔ）上の抽出領域
に含まれる、前記抽出領域の一部領域を各別に検出し、
該検出した一部領域を、対応する前記動きベクトルに基
づき内挿比に従い前記内挿画像上に予測画像として割り
付け、該割り付けた領域以外の前記内挿画像上の領域を
前記内挿画像上のアンカバー領域と判定するという順次
のステップを含んでいることを特徴とするものである。That is, according to the image prediction processing method of the present invention, two temporally consecutive images f (t) and f sandwiching the interpolated image are inserted.
Between (t + 1), a motion vector is detected bidirectionally for each block having a predetermined constant size, and the image f is detected based on the detected motion vector.
Image prediction for detecting an uncovered area on (t), f (t + 1) and predicting an uncovered area on the interpolated image based on the detected uncovered area on f (t), f (t + 1) In the processing method, the method of predicting the uncovered area on the interpolated image based on the uncovered area on the f (t) and f (t + 1) is as follows.
Regions other than the uncovered region are separately extracted on f (t + 1), and the motion vectors included in each of the extracted regions are the partial regions corresponding to each other in opposite directions. A range obtained by moving the partial area on the image f (t) to the image f (t + 1) based on the corresponding motion vector is included in the extraction area on the f (t + 1), and The partial area on f (t + 1) is converted into the image f based on the corresponding motion vector.
The range moved to (t) is detected separately for each partial area of the extraction area included in the extraction area on f (t),
The detected partial area is allocated as a predicted image on the interpolated image according to an interpolation ratio based on the corresponding motion vector, and an area on the interpolated image other than the allocated area is placed on the interpolated image. It is characterized in that it includes sequential steps of determining an uncovered area.
【００１７】また、本発明画像予測処理方法は、内挿画
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出
し、該検出した動きベクトルに基づき前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出し、該
検出したｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に
基づき前記内挿画像上のアンカバー領域を予測し、該予
測した内挿画像上のアンカバー領域の動きベクトルを決
定する画像予測処理方法において、前記内挿画像上のア
ンカバー領域の動きベクトルを決定する方法は、それぞ
れ、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域に対応する複数の前記動きベクトルを前記
内挿画像上のアンカバー領域の動きベクトルの候補とし
て選定し、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカ
バー領域を前記複数の候補ベクトルに基づき内挿比に従
い前記内挿画像上に予測画像として割り付け、該割り付
けた複数の予測画像のうち、１つの予測画像のみが前記
内挿画像上のアンカバー領域と重複を生じる場合は、前
記１つの予測画像に対応する前記候補ベクトルを、順方
向動きベクトルについてはそのまま、逆方向動きベクト
ルについては向きを反転させて、前記内挿画像上のアン
カバー領域のうち、前記予測画像との重複範囲に対応す
る前記内挿画像上のアンカバー領域の動きベクトルとし
て決定し、前記割り付けた複数の予測画像のうち、２つ
以上の予測画像が前記内挿画像上のアンカバー領域と重
複を生じる場合は、前記各候補ベクトルに対応する前記
画像ｆ（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画
像情報と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそ
れぞれ前記内挿画像の時間的に反対側に位置する画像ｆ
（ｔ−１），ｆ（ｔ＋２）上の領域であって、前記各候
補ベクトルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の
対応アンカバー領域を逆向きに移動させた範囲に対応す
る領域の画像情報との相関を算出して、相関が最大とな
る前記候補ベクトルを、順方向動きベクトルについては
そのまま、逆方向動きベクトルについては向きを反転さ
せて、前記内挿画像上のアンカバー領域のうち、前記２
つ以上の予測画像との重複範囲に対応する前記内挿画像
上のアンカバー領域の動きベクトルとして決定するとい
う順次のステップを含んでいることを特徴とするもので
ある。In the image prediction processing method of the present invention, two temporally consecutive images f (t) and f (t sandwiching the interpolated image are inserted.
+1), a motion vector is detected bidirectionally for each block having a predetermined constant size, and the image f is detected based on the detected motion vector.
An uncovered area on (t), f (t + 1) is detected, and an uncovered area on the interpolated image is predicted based on the detected uncovered area on f (t), f (t + 1). In the image prediction processing method of determining the motion vector of the uncovered area on the predicted interpolated image, the method of determining the motion vector of the uncovered area on the interpolated image is performed by the images f (t), f, respectively. A plurality of the motion vectors corresponding to the area near the uncovered area on (t + 1) are selected as candidates for the motion vector of the uncovered area on the interpolated image, and on the images f (t) and f (t + 1). Of the plurality of candidate vectors are allocated as prediction images on the interpolated image according to an interpolation ratio based on the plurality of candidate vectors, and only one prediction image among the plurality of allocated prediction images is uncovered on the interpolated image. When overlapping with the bar area, the candidate vector corresponding to the one predicted image is uncovered on the interpolated image by reversing the direction of the forward motion vector and the direction of the backward motion vector. Of the regions, two or more predicted images are determined as the motion vector of the uncovered region on the interpolated image corresponding to the overlapping range with the predicted image, and two or more predicted images are interpolated among the plurality of allocated predicted images. When overlapping with the uncovered area on the image, image information of each uncovered area on the image f (t), f (t + 1) corresponding to each of the candidate vectors and the image f (t), f An image f located on the temporally opposite side of the interpolated image with respect to (t + 1)
The area on (t-1), f (t + 2) corresponds to the range in which the corresponding uncovered area on the image f (t), f (t + 1) is moved in the opposite direction according to each of the candidate vectors. The correlation with the image information of the area is calculated, and the candidate vector having the maximum correlation is uncovered on the interpolated image by reversing the direction of the forward motion vector and the direction of the backward motion vector. 2 of the areas
It is characterized in that it includes a sequential step of determining as a motion vector of an uncovered area on the interpolated image corresponding to an overlapping range with one or more predicted images.
【００１８】また、本発明画像予測処理方法は、前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領
域が、前記ブロックの８倍乃至２００倍の面積範囲の近
傍領域であることを特徴とするものである。Further, in the image prediction processing method of the present invention, a region near the uncovered region on the images f (t) and f (t + 1) is a neighboring region having an area range of 8 times to 200 times that of the block. It is characterized by that.
【００１９】また、本発明画像予測処理装置は、内挿画
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出す
る双方向動きベクトル検出部と、該検出部において検出
した動きベクトルに基づき前記画像ｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域を検出するアンカバー領域検出
部と、該検出部において検出したｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域に基づき前記内挿画像上のアン
カバー領域を予測する内挿画像上のアンカバー領域予測
部とを少なくとも有する画像予測処理装置において、前
記内挿画像上のアンカバー領域予測部は、前記画像ｆ
（ｔ），ｆ（ｔ＋１）上でアンカバー領域以外の領域を
各別に抽出する非アンカバー領域抽出手段と、前記抽出
した領域のそれぞれに含まれ、対応する前記動きベクト
ルが相互に逆向きで対応する一部領域であって、前記画
像ｆ（ｔ）上の前記一部領域を、対応する前記動きベク
トルに基づき前記画像ｆ（ｔ＋１）上に移動した範囲
が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、かつ、前
記画像ｆ（ｔ＋１）上の前記一部領域を、対応する前記
動きベクトルに基づき前記画像ｆ（ｔ）上に移動した範
囲が、前記ｆ（ｔ）上の抽出領域に含まれる前記抽出領
域の一部領域を各別に検出し、該検出した一部領域を、
対応する前記動きベクトルに基づき内挿比に従い前記内
挿画像上に予測画像として割り付ける領域比較手段と、
該領域比較手段において割り付けた領域以外の前記内挿
画像上の領域を前記内挿画像上のアンカバー領域と判定
する内挿画像上のアンカバー領域抽出手段とを含んでい
ることを特徴とするものである。Further, the image prediction processing apparatus of the present invention has two temporally consecutive images f (t) and f (t which sandwich the interpolated image.
+1), a bidirectional motion vector detection unit that bidirectionally detects a motion vector for each block having a predetermined fixed size, and the image f based on the motion vector detected by the detection unit. (T), f (t +
1) An uncover area detection unit that detects the upper uncover area, and f (t) and f (t +) detected by the detection unit.
1) An image prediction processing apparatus, which comprises at least an uncovered area prediction unit on an interpolated image that predicts an uncovered area on the interpolated image based on the uncovered area on the interpolated image, The prediction unit uses the image f
(T), f (t + 1), a non-uncovered area extracting means for individually extracting areas other than the uncovered area, and the corresponding motion vectors included in each of the extracted areas are in opposite directions to each other. A corresponding partial area, which is a range in which the partial area on the image f (t) is moved on the image f (t + 1) based on the corresponding motion vector, is on the f (t + 1). The range included in the extraction area and moved on the image f (t) based on the corresponding motion vector of the partial area on the image f (t + 1) is the extraction on the f (t). The partial areas of the extraction area included in the area are detected separately, and the detected partial areas are
Area comparison means for allocating as a predicted image on the interpolated image according to an interpolation ratio based on the corresponding motion vector,
An uncovered area extraction means on the interpolated image for determining an area on the interpolated image other than the area allocated by the area comparison means as an uncovered area on the interpolated image. It is a thing.
【００２０】また、本発明画像予測処理装置は、内挿画
像を挟む時間的に連続した２つの画像ｆ（ｔ），ｆ（ｔ
＋１）間で、あらかじめ定められた一定の大きさを有す
るブロック毎に、双方向に各別に動きベクトルを検出す
る双方向動きベクトル検出部と、該検出部において検出
した動きベクトルに基づき前記画像ｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域を検出するアンカバー領域検出
部と、該検出部において検出したｆ（ｔ），ｆ（ｔ＋
１）上のアンカバー領域に基づき前記内挿画像上のアン
カバー領域を予測する内挿画像上のアンカバー領域予測
部と、該アンカバー領域予測部において予測した内挿画
像上のアンカバー領域の動きベクトルを決定するアンカ
バー領域動きベクトル決定部とを少なくとも有する画像
予測処理装置において、前記アンカバー領域動きベクト
ル決定部は、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域近傍の領域に対応する複数の前記動きベクト
ルを前記内挿画像上のアンカバー領域の動きベクトルの
候補として選定し、前記画像ｆ（ｔ），ｆ（ｔ＋１）上
のアンカバー領域を前記複数の候補ベクトルに基づき内
挿比に従い前記内挿画像上に予測画像として割り付け、
該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、前記割り付けた複数の予測画像のう
ち、２つ以上の予測画像が前記内挿画像上のアンカバー
領域と重複を生じる場合は、前記各候補ベクトルに対応
する前記画像ｆ（ｔ），ｆ（ｔ＋１）上の各アンカバー
領域の画像情報と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に
対してそれぞれ前記内挿画像の時間的に反対側に位置す
る画像ｆ（ｔ−１），ｆ（ｔ＋２）上の領域であって、
前記各候補ベクトルに従い前記画像ｆ（ｔ），ｆ（ｔ＋
１）上の対応アンカバー領域を逆向きに移動させた範囲
に対応する領域の画像情報との相関を算出して、相関が
最大となる前記候補ベクトルを、順方向動きベクトルに
ついてはそのまま、逆方向動きベクトルについては向き
を反転させて、前記内挿画像上のアンカバー領域のう
ち、前記２つ以上の予測画像との重複範囲に対応する前
記内挿画像上のアンカバー領域における動きベクトルと
して決定する手段を含んでいることを特徴とするもので
ある。Further, the image prediction processing apparatus of the present invention has two temporally consecutive images f (t) and f (t which sandwich the interpolated image.
+1), a bidirectional motion vector detection unit that bidirectionally detects a motion vector for each block having a predetermined fixed size, and the image f based on the motion vector detected by the detection unit. (T), f (t +
1) An uncover area detection unit that detects the upper uncover area, and f (t) and f (t +) detected by the detection unit.
1) An uncovered area prediction unit on an interpolated image that predicts an uncovered area on the interpolated image based on the uncovered area above, and an uncovered area on the interpolated image predicted by the uncovered area prediction unit In the image prediction processing device, the uncovered area motion vector determination section determines at least the uncovered area motion vector determination section that determines the motion vector of the uncovered area on the image f (t), f (t + 1). Is selected as a candidate for the motion vector of the uncovered area on the interpolated image, and the uncovered areas on the images f (t) and f (t + 1) are selected as the candidates. Assigned as a predicted image on the interpolated image according to the interpolation ratio based on the vector,
When only one predicted image among the allocated predicted images overlaps the uncovered area on the interpolated image, the candidate vector corresponding to the one predicted image is set as the forward motion vector. As it is, the direction of the backward motion vector is reversed, and as a motion vector of the uncovered area on the interpolated image, which corresponds to the overlapping range with the predicted image among the uncovered areas on the interpolated image, If two or more predicted images of the determined predicted images that have been determined overlap with the uncovered area on the interpolated image, the image f (t) corresponding to each candidate vector, The image information of each uncovered area on f (t + 1) and the image f (t-1) located on the temporally opposite side of the interpolated image with respect to the images f (t) and f (t + 1). , A region on the f (t + 2),
The images f (t), f (t +
1) The correlation with the image information of the area corresponding to the range in which the corresponding uncovered area is moved in the reverse direction is calculated, and the candidate vector having the maximum correlation is used as it is for the forward motion vector. The direction of the directional motion vector is reversed, and as a motion vector in the uncovered area on the interpolated image corresponding to the overlapping range with the two or more predicted images among the uncovered area on the interpolated image, It is characterized in that it includes means for determining.
【００２１】また、本発明画像予測処理装置は、前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領
域が、前記ブロックの８倍乃至２００倍の面積範囲の近
傍領域であることを特徴とするものである。Further, in the image prediction processing apparatus of the present invention, the area in the vicinity of the uncovered area on the images f (t) and f (t + 1) is a neighboring area having an area range of 8 times to 200 times that of the block. It is characterized by that.
【００２２】[0022]
【発明の実施の形態】以下に添付図面を参照し、実施の
形態に基づいて本発明を詳細に説明する。図１は、本発
明画像予測処理方法の実施に、具体的には、内挿画像上
のアンカバー領域の予測、およびそのアンカバー領域に
おける動きベクトルの決定を実施するために使用される
本発明画像予測処理装置の一例のブロック図である。図
１において、当該装置は、その動きベクトル決定のため
の手順に従って、それぞれ破線にて囲んで示す双方向動
きベクトル検出部１、アンカバー領域検出部２、内挿画
像上のアンカバー領域予測部３、および内挿画像上のア
ンカバー領域における動きベクトル決定部４が順次に接
続されている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail based on embodiments with reference to the accompanying drawings. FIG. 1 is a block diagram of an embodiment of the present invention used for implementing the image prediction processing method of the present invention, specifically, for predicting an uncovered area on an interpolated image and for determining a motion vector in the uncovered area. It is a block diagram of an example of an image prediction processing device. In FIG. 1, according to the procedure for determining the motion vector, the apparatus includes a bidirectional motion vector detection unit 1, an uncovered region detection unit 2, and an uncovered region prediction unit on an interpolated image, each of which is surrounded by a broken line. 3 and the motion vector determination unit 4 in the uncovered area on the interpolated image are sequentially connected.
【００２３】まず、双方向動きベクトル検出部１におい
ては、遅延回路５（遅延回路１７とともに時間調整用の
遅延回路である）に縦続接続された遅延回路６のそれぞ
れ入・出力両端から取り出される時間的に連続した２つ
の画像信号ｆ（ｔ）、ｆ（ｔ＋１）を、検出回路の基準
入力端子と比較入力端子への供給が互いに入れ違いにな
るように、それぞれ動きベクトル検出回路（Ｉ）７およ
び同（II）８に供給する。これらの動きベクトル検出回
路（Ｉ），（II）は、勾配法やブロックマッチング法な
どによる従来の動きベクトル検出回路である。動きベク
トル検出はあらかじめ定められた一定の大きさを有する
ブロックごとに行われる。２つの動きベクトル検出回路
を用い、ｆ（ｔ）とｆ（ｔ＋１）の間で双方向動きベク
トル検出を行う。即ち、動きベクトル検出回路（Ｉ）７
はｆ（ｔ）を基準とし、ｆ（ｔ）中の領域がｆ（ｔ＋
１）で対応する領域の位置を求めることで、ｆ（ｔ）を
基準とした時間的に順方向の動きベクトルを求める。ま
た、動きベクトル検出回路(II)８はｆ（ｔ＋１）を基準
とし、ｆ（ｔ＋１）中の領域がｆ（ｔ）で対応する領域
の位置を求めることで、ｆ（ｔ＋１）を基準とした時間
的に逆方向の動きベクトルを求める。First, in the bidirectional motion vector detecting section 1, the time taken out from both the input and output ends of the delay circuit 6 cascade-connected to the delay circuit 5 (which is a delay circuit for adjusting the time together with the delay circuit 17). Two consecutively continuous image signals f (t) and f (t + 1) are supplied to the reference input terminal and the comparison input terminal of the detection circuit, respectively, so that the motion vector detection circuits (I) 7 and The same (II) 8 is supplied. These motion vector detection circuits (I) and (II) are conventional motion vector detection circuits based on the gradient method or the block matching method. Motion vector detection is performed for each block having a predetermined constant size. Two motion vector detection circuits are used to perform bidirectional motion vector detection between f (t) and f (t + 1). That is, the motion vector detection circuit (I) 7
Is based on f (t), and the area in f (t) is f (t +
By obtaining the position of the corresponding area in 1), a temporal forward motion vector based on f (t) is obtained. Further, the motion vector detection circuit (II) 8 uses f (t + 1) as a reference, and the area in f (t + 1) is f (t). Find a motion vector in the opposite direction in time.
【００２４】双方向動きベクトル検出部１からの出力で
ある順方向動きベクトルおよび逆方向動きベクトルを、
次段のアンカバー領域検出部２のそれぞれアンカバード
・バックグラウンド領域検出回路９およびカバード・バ
ックグラウンド領域検出回路１０に供給して、ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域を求める。ア
ンカバー領域は、例えば、本出願人に係わる公開特許公
報（特開平７−３３６６８８号「アンカバー領域の検出
方法」）に記載されている第４の実施例を用いて、アン
カバード・バックグラウンド領域検出回路９でｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域Ｕ
t+1 を、またカバード・バックグラウンド領域検出回路
１０でｆ（ｔ）上のカバード・バックグラウンド領域Ｕ
t を検出する。The forward motion vector and the backward motion vector output from the bidirectional motion vector detection unit 1 are
It is supplied to the uncovered background area detection circuit 9 and the covered background area detection circuit 10 of the uncovered area detection unit 2 in the next stage, respectively, and f
Find the uncovered area on (t), f (t + 1). The uncovered area is, for example, an uncovered background using the fourth embodiment described in Japanese Patent Application Laid-Open No. 7-336688 relating to the applicant of the present invention (“Uncovered Area Detection Method”). In the area detection circuit 9, f (t +
1) Upper uncovered background area U
t + 1 and the covered background area U on f (t) in the covered background area detection circuit 10.
detect t .
【００２５】さらに、内挿画像上のアンカバー領域予測
部３において内挿画像上のアンカバー領域を予測して求
める。これには、まず、非アンカバー領域抽出回路１
１，１２で、ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域以外の領域を求める。それらの領域を用い、領域比較
回路１３で、図２にＸとＹで示す領域のように、動きベ
クトル検出回路（Ｉ）７で検出した順方向動きベクトル
と動きベクトル検出回路(II)８で検出した逆方向動きベ
クトルが対応する領域をそれぞれ検出し、検出したそれ
ぞれの領域の内挿画像上で対応する領域（図２でＺで示
す領域）を内挿画像上の非アンカバー領域とする。Further, the uncovered area prediction unit 3 on the interpolated image predicts and obtains the uncovered area on the interpolated image. First, the non-uncovered area extraction circuit 1
In 1 and 12, areas other than the uncovered area on f (t) and f (t + 1) are obtained. Using these areas, the area comparison circuit 13 uses the forward motion vector detected by the motion vector detection circuit (I) 7 and the motion vector detection circuit (II) 8 as shown by the areas X and Y in FIG. Regions corresponding to the detected backward motion vector are detected, and corresponding regions on the interpolated image of the detected regions (regions indicated by Z in FIG. 2) are set as non-uncovered regions on the interpolated image. .
【００２６】内挿画像上アンカバー領域予測回路１４で
このような対応関係の成立しないそれ以外の領域を求
め、これを、それが求められることが本発明の１つの目
的である内挿画像上のアンカバー領域とする。On the interpolated image, it is an object of the present invention to find the other region where such a correspondence is not established by the uncovered region prediction circuit 14 and to find it. The uncovered area.
【００２７】次に、アンカバー領域動きベクトル決定部
４で、本発明で、その決定を最終の目的とする内挿画像
上のアンカバー領域における動きベクトルを決定する。
まず内挿画像上のカバード・バックグラウンド領域にお
ける動きベクトル決定回路１５の動作について説明す
る。ｆ（ｔ）上のカバード・バックグラウンド領域の空
間的に近傍の領域で検出した複数の順方向動きベクトル
を内挿画像上のカバード・バックグラウンド領域の候補
とし、候補の動きベクトルのうち、ｆ（ｔ）上のカバー
ド・バックグラウンド領域を候補ベクトルを用いて内挿
画像上に移動したときに対応する位置の領域の全部また
は一部が、内挿画像上のアンカバー領域に重なるとき、
その順方向動きベクトルを重なった内挿画像上のアンカ
バー領域における動きベクトルとする。Next, the uncovered area motion vector determination unit 4 determines the motion vector in the uncovered area on the interpolated image, which is the final object of the present invention, in the present invention.
First, the operation of the motion vector determination circuit 15 in the covered background area on the interpolated image will be described. A plurality of forward motion vectors detected in regions spatially close to the covered background region on f (t) are set as candidates for the covered background region on the interpolated image, and among the candidate motion vectors, f (T) When the covered background area above is moved onto the interpolated image using the candidate vector, all or part of the area at the corresponding position overlaps the uncovered area on the interpolated image,
The forward motion vector is used as the motion vector in the uncovered area on the interpolated image.
【００２８】例えば、図３で、それぞれ領域Ｋをｆ
（ｔ）上のカバード・バックグラウンド領域、領域Ｌを
内挿画像上のアンカバー領域とする。領域Ｋの近傍領域
で図３のＶ１，Ｖ２で示す動きベクトルが検出されたと
する。このとき、図４に示すように、領域Ｋを動きベク
トルＶ２を用いて内挿画像上に移動すると、内挿画像上
のアンカバー領域Ｌに重なるので、内挿画像上の領域Ｌ
の動きベクトルをＶ２とする。For example, in FIG.
Let (t) be the covered background area and area L be the uncovered area on the interpolated image. It is assumed that motion vectors indicated by V1 and V2 in FIG. 3 have been detected in a region near the region K. At this time, as shown in FIG. 4, when the area K is moved onto the interpolated image using the motion vector V2, the area K overlaps the uncovered area L on the interpolated image.
Let the motion vector of V2 be V2.
【００２９】もし、内挿画像上のアンカバー領域に、複
数の順方向動きベクトルが候補となるときは、それぞれ
の動きベクトルによりｆ（ｔ）上のカバード・バックグ
ラウンド領域を逆向きにｆ（ｔ−１）上に移動したとき
に対応する位置のｆ（ｔ−１）上の領域の画像情報と、
ｆ（ｔ）上の着目カバード・バックグラウンド領域の画
像情報との間の相関が最も大きくなる順方向動きベクト
ルを、内挿画像上のアンカバー領域における動きベクト
ルとする。If a plurality of forward motion vectors are candidates for the uncovered area on the interpolated image, the covered background area on f (t) is reversed to f (t) by each motion vector. image information of an area on f (t-1) at a position corresponding to when moving to t-1),
The forward motion vector having the largest correlation with the image information of the covered background region of interest on f (t) is taken as the motion vector in the uncovered region on the interpolated image.
【００３０】例えば、図５で、静止した背景の前を、時
刻ｔでＯt にあった物体が時刻ｔ＋１でＯt+1 に移動し
たとする。このとき、背景の動きベクトルをＶ１４、物
体の動きベクトルをＶ１３、ｆ（ｔ）上のカバード・バ
ックグラウンド領域をＭ、内挿画像上のアンカバー領域
をＮとし、ｆ（ｔ）上のカバード・バックグラウンド領
域Ｍの近傍の領域では、背景の動きベクトルＶ１４と、
物体の動きベクトルＶ１３が検出されたとする。いま、
図６に示すように、ｆ（ｔ）上のカバード・バックグラ
ウンド領域Ｍを動きベクトルＶ１４で内挿画像上に移動
したとき、ｆ（ｔ）上のカバード・バックグラウンド領
域の一部Ｍ１が内挿画像上のアンカバー領域Ｎと重なる
ため、動きベクトルＶ１４は、領域Ｎの動きベクトルの
候補となる。また、図７に示すように、ｆ（ｔ）上のカ
バード・バックグラウンド領域Ｍを動きベクトルＶ１３
で内挿画像上に移動したとき、ｆ（ｔ）上のカバード・
バックグラウンド領域の一部Ｍ２が内挿画像上のアンカ
バー領域Ｎと重なるため、動きベクトルＶ１３も領域Ｎ
の動きベクトルの候補となる。[0030] For example, in FIG. 5, and the front of the background stationary object that has been in O t at time t is moved to O t + 1 at time t + 1. At this time, the background motion vector is V14, the object motion vector is V13, the covered background area on f (t) is M, the uncovered area on the interpolated image is N, and the covered area on f (t) is In the area near the background area M, the background motion vector V14 and
It is assumed that the motion vector V13 of the object is detected. Now
As shown in FIG. 6, when the covered background area M on f (t) is moved onto the interpolated image by the motion vector V14, a part M1 of the covered background area on f (t) is inside. Since it overlaps with the uncovered area N on the inserted image, the motion vector V14 becomes a candidate for the motion vector of the area N. Further, as shown in FIG. 7, the covered background area M on f (t) is set to the motion vector V13.
When you move to the interpolated image with
Since a part M2 of the background area overlaps the uncovered area N on the interpolated image, the motion vector V13 also has an area N.
Is a candidate for the motion vector of.
【００３１】このとき図８に示すように、動きベクトル
Ｖ１４により領域Ｍ１を逆向きにｆ（ｔ−１）上に移動
したときに対応する位置のｆ（ｔ−１）上の領域Ｍ
１′、および動きベクトルＶ１３により領域Ｍ２を逆向
きにｆ（ｔ−１）上に移動したときに対応する位置のｆ
（ｔ−１）上の領域Ｍ２′を求め、Ｍ１とＭ１′の画像
情報の相関、およびＭ２とＭ２′の画像情報の相関を求
め、相関が大きくなる方の動きベクトルを、内挿画像上
のアンカバー領域Ｎにおける動きベクトルとする。At this time, as shown in FIG. 8, the area M on the position f (t-1) at the position corresponding to the area M1 moved backward in the direction f (t-1) by the motion vector V14.
1 ', and f at the position corresponding to the case where the region M2 is moved backward by f (t-1) by the motion vector V13.
The area M2 'on (t-1) is obtained, the correlation of the image information of M1 and M1' and the correlation of the image information of M2 and M2 'are obtained, and the motion vector having the larger correlation is calculated on the interpolated image. Is the motion vector in the uncovered area N.
【００３２】また、内挿画像上のアンカバード・バック
グラウンド領域における動きベクトル決定回路１６の動
作は、上述のカバード・バックグラウンド領域における
動きベクトル決定回路１５の動作と同様、ｆ（ｔ＋１）
上のアンカバード・バックグラウンド領域の空間的に近
傍の領域で検出した複数の逆方向動きベクトルを内挿画
像上のアンカバード・バックグラウンド領域の動きベク
トルの候補とし、それら候補の動きベクトルのうち、ｆ
（ｔ＋１）上のアンカバード・バックグラウンド領域を
候補ベクトルを用いて内挿画像上に移動したときに対応
する位置の領域の全部または一部が、内挿画像上のアン
カバー領域に重なるとき、その逆方向動きベクトルの向
きを反転させた動きベクトルを重なった内挿画像上のア
ンカバー領域における動きベクトルとする。The operation of the motion vector determination circuit 16 in the uncovered background area on the interpolated image is f (t + 1), similar to the operation of the motion vector determination circuit 15 in the covered background area described above.
A plurality of backward motion vectors detected in spatially neighboring areas of the above uncovered background area are set as candidates for the motion vector of the uncovered background area on the interpolated image, and among these candidate motion vectors, , F
When the uncovered background area on (t + 1) is moved onto the interpolated image using the candidate vector, all or part of the area at the corresponding position overlaps the uncovered area on the interpolated image, The motion vector obtained by reversing the direction of the backward motion vector is set as the motion vector in the uncovered area on the overlapped interpolated image.
【００３３】さらに、複数のベクトルが条件を満たすと
きは、それぞれの逆方向動きベクトルにより、ｆ（ｔ＋
１）上のアンカバード・バックグラウンド領域を逆向き
にｆ（ｔ＋２）上に移動したときに対応する位置のｆ
（ｔ＋２）上の領域の画像情報と、ｆ（ｔ＋１）上の着
目アンカバード・バックグラウンド領域の画像情報との
間の相関が大きくなる逆方向動きベクトルの向きを反転
させた動きベクトルを、内挿画像上のアンカバー領域に
おける動きベクトルとする。Further, when a plurality of vectors satisfy the condition, f (t +
1) When the uncovered background area above is moved upward by f (t + 2), the corresponding f
A motion vector obtained by reversing the direction of the backward motion vector, in which the correlation between the image information of the area on (t + 2) and the image information of the target uncovered background area on f (t + 1) becomes large, It is a motion vector in the uncovered area on the inset image.
【００３４】以上説明したように、ｆ（ｔ）とｆ（ｔ＋
１）の間でｆ（ｔ）を基準として検出した順方向の動き
ベクトルと、ｆ（ｔ）とｆ（ｔ＋１）の間でｆ（ｔ＋
１）を基準として検出した逆方向の動きベクトルの２つ
の動きベクトル場と、それらの動きベクトルを使用して
検出したｆ（ｔ）とｆ（ｔ＋１）上のアンカバー領域を
用いることで、内挿画像上のアンカバー領域の予測を行
い、その予測したアンカバー領域における動きベクトル
を決定することができる。As described above, f (t) and f (t +
1) the forward motion vector detected with f (t) as a reference, and f (t +) between f (t) and f (t + 1).
By using two motion vector fields of reverse motion vectors detected with reference to 1) and the uncovered regions on f (t) and f (t + 1) detected using those motion vectors, It is possible to predict the uncovered area on the inserted image and determine the motion vector in the predicted uncovered area.
【００３５】以下においては、上述の説明と一部重複す
るが、本発明による内挿画像上のアンカバー領域の予
測、およびそのアンカバー領域における動きベクトル決
定の手順を、数式を用いて説明する。上述の説明におけ
ると同様、連続する２つの画像をｆ（ｔ）、ｆ（ｔ＋
１）とする。これら時間的にｔ，ｔ＋１における画像に
対し、図９に示すように、内挿画像（時間的に、ｔ，ｔ
＋１の間に位置する画像）の時間的位置を、ｔ＋α（０
＜α＜１）とする。内挿比はα：（１−α）である。ま
た、ｆ（ｔ），ｆ（ｔ＋１）および内挿画像上の各領域
として、画像を一定の大きさの矩形に分割した複数の画
素からなるブロックを用い、各領域を２次元座標で表
す。In the following, although partially overlapping the above description, the procedure of predicting an uncovered area on an interpolated image and determining a motion vector in the uncovered area according to the present invention will be described using mathematical expressions. . As in the above description, two consecutive images are displayed as f (t), f (t +
1). As shown in FIG. 9, the interpolated image (temporally, t, t + 1
The temporal position of the image located between +1 and t + α (0
<Α <1). The interpolation ratio is α: (1-α). Further, as each area on f (t), f (t + 1) and the interpolated image, a block made up of a plurality of pixels obtained by dividing the image into rectangles of a certain size is used, and each area is represented by two-dimensional coordinates.
【００３６】双方向動きベクトル検出部１を構成する動
きベクトル検出回路（Ｉ）７（図１参照、以下同じ）は
ｆ（ｔ）を基準としｆ（ｔ＋１）中の対応する領域を検
出する順方向の動きベクトル検出を行い、動きベクトル
検出回路(II)８はｆ（ｔ＋１）を基準としｆ（ｔ）中の
対応する領域を検出する逆方向の動きベクトル検出を行
う。動きベクトル検出法としては、例えば「曽根原、野
尻、井口：“動物体の境界領域を考慮した動きベクトル
検出”、信学技報，ＩＥ９５−９３，ｐｐ６１−６９
（１９８５）」を用いる。ここで、図１０に示すよう
に、ｆ（ｔ）上の領域（ｉ，ｊ）で動きベクトル検出回
路（Ｉ）７が検出した順方向の動きベクトルをＶｄ
t （ｉ，ｊ），ｆ（ｔ＋１）上の領域（ｉ，ｊ）で動き
ベクトル検出回路(II)８が検出した時間的に逆方向の動
きベクトルをＶｄt+1 （ｉ，ｊ）とする。The motion vector detection circuit (I) 7 (see FIG. 1, hereinafter the same) constituting the bidirectional motion vector detection unit 1 uses f (t) as a reference to detect corresponding regions in f (t + 1). Directional motion vector detection is performed, and the motion vector detection circuit (II) 8 performs reverse direction motion vector detection in which a corresponding area in f (t) is detected based on f (t + 1). As a motion vector detection method, for example, "Sonehara, Nojiri, Iguchi:" Motion vector detection in consideration of the boundary area of a moving object ", IEICE Technical Report, IE95-93, pp61-69.
(1985) "is used. Here, as shown in FIG. 10, the forward motion vector detected by the motion vector detection circuit (I) 7 in the area (i, j) on f (t) is Vd.
The temporally backward motion vector detected by the motion vector detection circuit (II) 8 in the region (i, j) on t (i, j), f (t + 1) is defined as Vd t + 1 (i, j). To do.
【００３７】双方向動きベクトル検出に引き続き、アン
カバー領域検出部２でｆ（ｔ）、ｆ（ｔ＋１）上のアン
カバー領域をそれぞれ検出する。アンカバー領域検出に
は、例えば上述の公開特許公報（特開平７−３３６６８
８号「アンカバー領域の検出方法」）に記載されている
手法を用いる。ここで、アンカバー領域検出部２で検出
したｆ（ｔ）上のカバード・バックグラウンド領域の集
合をＵt 、ｆ（ｔ＋１）上のアンカバード・バックグラ
ウンド領域の集合をＵt+1 とする。Subsequent to the bidirectional motion vector detection, the uncovered area detection unit 2 detects uncovered areas on f (t) and f (t + 1), respectively. For detecting the uncovered area, for example, the above-mentioned Japanese Patent Laid-Open Publication (JP-A-7-33668).
No. 8 “Uncovered Area Detection Method”). Here, the set of covered background areas on f (t) detected by the uncovered area detection unit 2 is U t , and the set of uncovered background areas on f (t + 1) is U t + 1 . .
【００３８】まず、上記の動きベクトルＶｄt （ｉ，
ｊ）とＶｄt+1 （ｉ，ｊ）、およびｆ（ｔ）上のカバー
ド・バックグラウンド領域Ｕt とｆ（ｔ＋１）上のアン
カバード・バックグラウンド領域Ｕt+1 を用い、以下の
１．から３．に示す手順で内挿画像上のアンカバー領域
を求める。First, the motion vector Vd t (i,
j) and Vd t + 1 (i, j ), and using the uncovered background area U t + 1 on f (t) on the covered background area U t and f (t + 1), the following 1 ． From 3. The uncovered area on the interpolated image is obtained by the procedure shown in.
【００３９】１．図１１に示すように、ｆ（ｔ）上の領
域（ｉ，ｊ）において動きベクトル検出回路（Ｉ）７が
検出した動きベクトルＶｄt （ｉ，ｊ）を用いて、領域
（ｉ，ｊ）をｆ（ｔ＋１）上に移動したときに対応する
位置の領域を（ｋ，ｌ）とし、この領域（ｋ，ｌ）を1. As shown in FIG. 11, using the motion vector Vd t (i, j) detected by the motion vector detection circuit (I) 7 in the area (i, j) on f (t), the area (i, j) Let (k, l) be the region at the corresponding position when is moved to f (t + 1), and this region (k, l) is
【数１】 として求める。[Equation 1] Ask as.
【００４０】２．領域（ｉ，ｊ）がＵt に含まれず、か
つ領域（ｋ，ｌ）がＵt+1 に含まれず、かつ、動きベク
トルＶｄt （ｉ，ｊ）≒−Ｖｄt+1 （ｋ，ｌ）のとき、
内挿画像上の対応する領域Ｘを領域2. The region (i, j) is not included in U t , the region (k, l) is not included in U t + 1 , and the motion vector Vd t (i, j) ≈−Vd t + 1 (k, l) )When,
The corresponding area X on the interpolated image is the area
【数２】 として求める。ここで、Ｖ１≒Ｖ２とは、２つの動きベ
クトルＶ１，Ｖ２を[Equation 2] Ask as. Here, V1≈V2 means two motion vectors V1 and V2.
【数３】 として、（Ｖ１.x −Ｖ２.x）2 ＋（Ｖ１.y −Ｖ２.
y）2 ≦ｍａｘ（ＶTH,(Ｖ１.x2 ＋Ｖ１.y2 ）×ＴＨ）
という関係であり、２つの動きベクトルＶ１，Ｖ２が類
似している、ということを表す。ここに、ＶTHとＴＨは
２つの動きベクトルの類似度を決める閾値である。(Equation 3) As, (V1.x -V2.x) 2 + ( V1.y -V2.
y) 2 ≤ max (V TH , (V1.x 2 + V1.y 2 ) × TH)
And the two motion vectors V1 and V2 are similar. Here, V TH and TH are thresholds that determine the degree of similarity between two motion vectors.
【００４１】３．ｆ（ｔ）上の全ての領域について上記
の操作を繰り返し、Ｘの集合を求める。この集合に含ま
れない領域が、内挿画像上のアンカバー領域である。こ
のようにして予測した内挿画像上のアンカバー領域の集
合をＷとする。これら、内挿画像上のアンカバー領域を
予測することも本発明の一つの目的である。3. The above operation is repeated for all regions on f (t) to obtain a set of X. The area not included in this set is the uncovered area on the interpolated image. Let W be the set of uncovered areas on the interpolated image predicted in this way. Predicting the uncovered area on the interpolated image is also an object of the present invention.
【００４２】次に、内挿画像上のアンカバー領域におけ
る動きベクトルを、以下の１．から２．に示す手順で求
める。 １．ｆ（ｔ）上のカバード・バックグラウンド領域Ｕt
に含まれる全ての領域に対し以下の処理を行う。 ・ｆ（ｔ）上の領域（ｉt , ｊt ）をＵt に含まれる領
域とする。領域（ｘt, ｙt ）を領域（ｉt , ｊt ）の
空間的近傍に位置する領域とする。近傍の領域は着目ブ
ロックを中心に５×５もしくは７×７ブロック、もしく
はｆ（ｔ）上に高い頻度で現れる動きベクトルを含むこ
とのできる程度の範囲とする。例えば、ブロックサイズ
が図１２に示す大きさで、高い頻度で現れる動きベクト
ルがＶ１５のとき、近傍の領域は７×５以上にすること
が望ましい。これは、近傍の領域が狭いと、正しい動き
ベクトルが候補に含まれなくなる可能性が高くなるから
である。しかし、実在する物体の速さを考慮すればブロ
ックサイズの上限として近傍に２００ブロックが含まれ
る程度の領域の範囲を設定すれば十分である。ブロック
サイズの下限は着目ブロックを中心にした３×３ブロッ
クである。Next, the motion vector in the uncovered area on the interpolated image is calculated as follows in 1. To 2. Obtain by the procedure shown in. 1. Covered background area U t on f (t)
The following processing is performed on all the areas included in the. · F (t) on the region (i t, j t) to be a field contained in U t. Region (x t, y t) the region (i t, j t) and a region located spatially near. The neighboring area is a 5 × 5 or 7 × 7 block centered on the block of interest, or a range that can include a motion vector that frequently appears on f (t). For example, when the block size is the size shown in FIG. 12 and the motion vector that appears at high frequency is V15, it is desirable that the neighboring area be 7 × 5 or more. This is because if the area in the vicinity is narrow, there is a high possibility that the correct motion vector will not be included in the candidates. However, considering the speed of an existing object, it is sufficient to set the range of the area such that 200 blocks are included in the vicinity as the upper limit of the block size. The lower limit of the block size is 3 × 3 blocks centered on the block of interest.
【００４３】・図１３に示すように、ｆ（ｔ）上の領域
（ｘt ，ｙt ）において動きベクトル検出回路（Ｉ）７
で検出した順方向の動きベクトルＶｄt （ｘt ，ｙt ）
を用いて、ｆ（ｔ）上の領域（ｉt ，ｊt ）を内挿画像
上に移動したときに、内挿画像上の対応する位置の領域
を領域（ｐ１，ｑ１）とする。領域（ｐ１，ｑ１）をAs shown in FIG. 13, the motion vector detection circuit (I) 7 in the area (x t , y t ) on f (t)
Forward motion vector Vd t (x t , y t ) detected in
Using, f (t) on the region (i t, j t) when moving on an interpolation image, and the area of the corresponding position on the interpolation image area (p1, q1). Area (p1, q1)
【数４】 として求める。 ・領域（ｐ１，ｑ１）が内挿画像上のアンカバー領域の
集合Ｗに含まれるとき、領域（ｐ１，ｑ１）の動きベク
トルをＶｄt （ｘt ，ｙt ）とする。(Equation 4) Ask as. When the region (p1, q1) is included in the set W of uncovered regions on the interpolated image, the motion vector of the region (p1, q1) is Vd t (x t , y t ).
【００４４】もし、内挿画像上のアンカバー領域（ｐ
１，ｑ１）に、複数の異なる動きベクトルが候補となる
ときは、以下の（ａ）から（ｃ）に示す手法で内挿画像
上のアンカバー領域の動きベクトルを決定する。以下で
は、上記の複数の異なる動きベクトルをＶ′1 ，Ｖ′2
・・・，Ｖ′m とすると、Ｖ′1 ，Ｖ′2 ・・・，Ｖ′
m について、If the uncovered area (p
1, q1), a plurality of different motion vectors are candidates.
In this case, the interpolated image is obtained by the method shown in (a) to (c) below.
Determine the motion vector of the upper uncovered area. Below
To the plurality of different motion vectors above V ′1, V 'Two
..., V 'mThen, V '1, V 'Two..., V '
mabout,
【００４５】（ａ）図１４に示すように、動きベクトル
Ｖ′x により、内挿画像上の領域（ｐ１，ｑ１）をｆ
（ｔ）上に時間的に逆方向に移動したときに対応する位
置の領域を（ｉ′t ，ｊ′t ）とする。領域（ｉ′t ，
ｊ′t ）を[0045] (a) As shown in FIG. 14, the motion vector V 'x, the area on the interpolation image (p1, q1) f
(T) the area corresponding to when the user moves temporally backwards on the (i 't, j' t ). Region (i ′ t ,
j ′ t )
【数５】 として求める。(Equation 5) Ask as.
【００４６】（ｂ）図１４に示すように、動きベクトル
Ｖ′x により、内挿画像上の領域（ｐ１，ｑ１）をｆ
（ｔ−１）上に時間的に逆方向に移動したときに対応す
る位置の領域を領域（ｋ′t-1 ，ｌ′t-1 ）とする。領
域（ｋ′t-1 ，ｌ′t-1 ）を[0046] (b) As shown in FIG. 14, the motion vector V 'x, the area on the interpolation image (p1, q1) f
The area at the position corresponding to the time backward movement in (t-1) is defined as an area (k't -1 , l' t-1 ). The region (k ' t-1 , l' t-1 )
【数６】 として求める。(Equation 6) Ask as.
【００４７】（ｃ）ｆ（ｔ）上の領域（ｉ′t ，
ｊ′t ）と、ｆ（ｔ−１）上の領域（ｋ′ t-1 ，ｌ′
t-1 ）との間で画像情報の相関を求める。相関として
は、従来技術において説明したＤＦＤを用いる。ＤＦＤ
が小さいほど２つの領域の相関が高い。(C) Area (i 'on f (t)t,
j 't) And a region (k 'on f (t-1) t-1, L '
t-1) And the correlation of the image information. As a correlation
Uses the DFD described in the prior art. DFD
The smaller is, the higher the correlation between the two regions.
【００４８】以上のようにして求めた相関のうち、最も
相関が大きくなる（ＤＦＤが小さくなる）動きベクトル
Ｖ′x を、内挿画像上のアンカバー領域（ｐ１，ｑ１）
における動きベクトルとする。The above manner of the correlation found, the most correlation increases (DFD decreases) the motion vector V 'x, uncovered regions on the interpolated image (p1, q1)
Is the motion vector in.
【００４９】２．同様にして、ｆ（ｔ＋１）上のアンカ
バード・バックグラウンド領域Ｕt+ 1 に含まれる全ての
領域（ｉt+1 ，ｊt+1 ）に対し以下の処理を行う。 ・領域（ｘt+1 ，ｙt+1 ）を領域（ｉt+1 ，ｊt+1 ）の
近傍に位置する領域とする。近傍の領域の範囲は上述の
１．の場合と同様である。 ・ｆ（ｔ＋１）上の領域（ｘt+1 ，ｙt+1 ）において動
きベクトル検出回路(II)８で検出した逆方向動きベクト
ルＶｄt+1 （ｘt+1 ，ｙt+1 ）を用いて、領域
（ｉt+1 ，ｊt+1 ）を内挿画像上に時間的に逆方向に移
動したときに対応する位置の領域を（ｐ２，ｑ２）とす
る。領域（ｐ２，ｑ２）を2. Similarly, the following processing is performed on all the areas (i t + 1 , j t + 1 ) included in the uncovered background area U t + 1 on f (t + 1). The area (x t + 1 , y t + 1 ) is an area located near the area (i t + 1 , j t + 1 ). The range of the neighboring area is 1. Is the same as · F (t + 1) on the region (x t + 1, y t + 1) backward motion detected by the motion vector detection circuit (II) 8 in the vector Vd t + 1 (x t + 1, y t + 1) Then, the area at the position corresponding to the area (i t + 1 , j t + 1 ) moved in the temporally reverse direction on the interpolated image is defined as (p2, q2). Area (p2, q2)
【数７】 として求める。 ・領域（ｐ２，ｑ２）が内挿画像上のアンカバー領域の
集合Ｗに含まれるとき、領域（ｐ２，ｑ２）の動きベク
トルを逆方向動きベクトルの向きを反転したベクトル−
Ｖｄt+1 （ｘt+1 ，ｙt+1 ）とする。(Equation 7) Ask as. When the region (p2, q2) is included in the set W of uncovered regions on the interpolated image, the vector obtained by inverting the direction of the backward motion vector of the motion vector of the region (p2, q2) −
Let Vd t + 1 (x t + 1 , y t + 1 ).
【００５０】もし、内挿画像上のアンカバー領域（ｐ
２，ｑ２）に、複数の異なる動きベクトルが候補となる
ときは、以下の（ａ）から（ｃ）に示す手法で動きベク
トルを決定する。以下では、上記の逆方向動きベクトル
の向きを反転した複数の異なる動きベクトルをＶ″1 ，
Ｖ″2 ，・・・・・，Ｖ″m とするとＶ″1 ，Ｖ″2 ，
・・・・・，Ｖ″m について、 （ａ）動きベクトルＶ″x により、内挿画像上の領域
（ｐ２，ｑ２）をｆ（ｔ＋１）上に移動したときに対応
する位置の領域を（ｉ′t+1 ，ｊ′t+1 ）とする。領域
（ｉ′t+1 ，ｊ′t+1 ）をIf the uncovered area (p
2, q2), when a plurality of different motion vectors are candidates, the motion vectors are determined by the methods shown in (a) to (c) below. In the following, a plurality of different motion vectors in which the direction of the above backward motion vector is reversed is V ″ 1 ,
If V ″ 2 , ..., V ″ m , then V ″ 1 , V ″ 2 ,
.., V ″ m , (a) The area of the position corresponding to the area (p2, q2) on the interpolated image is moved to f (t + 1) by the motion vector V ″ x. i't + 1 , j't + 1 ). The region (i ′ t + 1 , j ′ t + 1 )
【数８】 として求める。(Equation 8) Ask as.
【００５１】（ｂ）動きベクトルＶ″x により、内挿画
像上の領域（ｐ２，ｑ２）をｆ（ｔ＋２）上に移動した
ときに対応する位置の領域を領域（ｋ′t+2 ，
ｌ′t+2 ）とする。領域（ｋ′t+2 ，ｌ′t+2 ）を(B) By the motion vector V ″ x , the area at the position corresponding to the area (p2, q2) on the interpolated image is moved to f (t + 2) is the area (k ′ t + 2 ,
l' t + 2 ). The region (k ′ t + 2 , l ′ t + 2 )
【数９】 として求める。[Equation 9] Ask as.
【００５２】（ｃ）ｆ（ｔ＋１）上の領域（ｉ′t+1 ，
ｊ′t+1 ）と、ｆ（ｔ＋２）上の領域（ｋ′t+2 ，ｌ′
t+2 ）との間で画像情報の相関を求める。相関として
は、上述のＤＦＤを用いる。以上のようにして求めた相
関のうち、最も相関が大きくなる（ＤＦＤが小さくな
る）動きベクトルＶ″x を、内挿画像上のアンカバー領
域（ｐ２，ｑ２）における動きベクトルとする。以上に
より、本発明で最終的にその決定を目的とする内挿画像
上のアンカバー領域における動きベクトルを求めること
ができた。(C) The area (i ' t + 1 ) on f (t + 1),
j ′ t + 1 ) and a region (k ′ t + 2 , l ′) on f (t + 2)
Correlation of image information with t + 2 ). As the correlation, the above DFD is used. Among the correlations obtained as described above, the motion vector V ″ x having the largest correlation (smallest DFD) is set as the motion vector in the uncovered area (p2, q2) on the interpolated image. In the present invention, the motion vector in the uncovered area on the interpolated image, which is the final object of the determination, could be obtained.
【００５３】[0053]
【発明の効果】本発明によれば、連続する２つの画像間
で双方向に検出した動きベクトルと、その双方向に検出
した動きベクトルを用いて求めた２つの画像上のカバー
ド／アンカバード・バックグラウンド領域とを用い、内
挿画像上のアンカバー領域の予測を行い、さらに、内挿
画像上のアンカバー領域における動きベクトルを決定す
ることができる。According to the present invention, a motion vector detected bidirectionally between two consecutive images and a covered / uncovered image on two images obtained using the motion vector detected bidirectionally. It is possible to predict the uncovered area on the interpolated image using the background area and to determine the motion vector in the uncovered area on the interpolated image.
【００５４】これにより、動き補正型テレビジョン方式
変換装置や動き補正型スローモーション装置などの動き
補正型画像内挿処理装置において必要となる内挿画像上
のカバード／アンカバード・バックグラウンド領域にお
ける正しい動きベクトルを決定することができ、内挿画
像の画質を向上させることができる。As a result, the correctness in the covered / uncovered background area on the interpolated image, which is required in the motion compensated image interpolation processing device such as the motion compensated television conversion device or the motion compensated slow motion device, is obtained. The motion vector can be determined, and the image quality of the interpolated image can be improved.
【図１】本発明による内挿画像上のアンカバー領域にお
ける動きベクトル検出装置の一例のブロック図である。FIG. 1 is a block diagram of an example of a motion vector detection device in an uncovered area on an interpolated image according to the present invention.
【図２】２つの動きベクトル検出装置で検出した動きベ
クトルが対応する領域の例の説明図である。FIG. 2 is an explanatory diagram of an example of a region to which motion vectors detected by two motion vector detection devices correspond.
【図３】アンカバー領域の近傍で検出した動きベクトル
の説明図である。FIG. 3 is an explanatory diagram of motion vectors detected near an uncovered area.
【図４】内挿画像上のアンカバー領域に適合する動きベ
クトルの説明図である。FIG. 4 is an explanatory diagram of motion vectors that match an uncovered area on an interpolated image.
【図５】内挿画像上のアンカバー領域に複数の動きベク
トルが候補となる例の説明図である。FIG. 5 is an explanatory diagram of an example in which a plurality of motion vectors are candidates for an uncovered area on an interpolated image.
【図６】内挿画像上のアンカバー領域の動きベクトル候
補の１つの説明図である。FIG. 6 is an explanatory diagram of one motion vector candidate of an uncovered area on an interpolated image.
【図７】内挿画像上のアンカバー領域の動きベクトル候
補の別の１つの説明図である。FIG. 7 is another explanatory diagram of motion vector candidates for the uncovered area on the interpolated image.
【図８】内挿画像上のアンカバー領域の複数の動きベク
トル候補から、アンカバー領域の動きベクトルを決定す
る例の説明図である。FIG. 8 is an explanatory diagram of an example in which a motion vector of an uncovered area is determined from a plurality of motion vector candidates of the uncovered area on an interpolated image.
【図９】時間的に連続した２つの画像と内挿画像との時
間的位置関係を示す説明図である。FIG. 9 is an explanatory diagram showing a temporal positional relationship between two temporally consecutive images and an interpolated image.
【図１０】本発明の実施の形態における双方向動きベク
トル検出部で検出した双方向の動きベクトルの説明図で
ある。FIG. 10 is an explanatory diagram of bidirectional motion vectors detected by a bidirectional motion vector detection unit according to the embodiment of the present invention.
【図１１】本発明における、内挿画像上のアンカバー領
域を抽出する手順で用いる領域および動きベクトルの説
明図である。FIG. 11 is an explanatory diagram of regions and motion vectors used in a procedure of extracting an uncovered region on an interpolated image according to the present invention.
【図１２】本発明における、アンカバー領域の動きベク
トルを決定するために使用する近傍の領域の例の説明図
である。FIG. 12 is an explanatory diagram of an example of a neighboring area used to determine a motion vector of an uncovered area in the present invention.
【図１３】本発明における、内挿画像上のアンカバー領
域の動きベクトルを決定する手順で用いる領域および動
きベクトルの説明図である。FIG. 13 is an explanatory diagram of regions and motion vectors used in a procedure of determining a motion vector of an uncovered region on an interpolated image according to the present invention.
【図１４】本発明における、内挿画像上のアンカバー領
域の動きベクトルに候補が複数あった場合の処理に用い
る領域および動きベクトルの説明図である。FIG. 14 is an explanatory diagram of a region and a motion vector used for processing when there are a plurality of candidates for the motion vector of the uncovered region on the interpolated image in the present invention.
【図１５】内挿画像上の動きベクトルの決定が必要な例
の説明図である。FIG. 15 is an explanatory diagram of an example in which it is necessary to determine a motion vector on an interpolated image.
【図１６】従来の手法によるアンカバー領域の検出の説
明図である。FIG. 16 is an explanatory diagram of detection of an uncovered area by a conventional method.
【図１７】従来の手法による内挿画像上のアンカバー領
域の予測の説明図である。FIG. 17 is an explanatory diagram of prediction of an uncovered area on an interpolated image by a conventional method.
【図１８】従来の手法による内挿画像上のアンカバー領
域における動きベクトルの決定法の説明図である。FIG. 18 is an explanatory diagram of a conventional method for determining a motion vector in an uncovered area on an interpolated image.
【図１９】従来の手法において内挿画像上のアンカバー
領域に複数の動きベクトルが候補となった場合の動きベ
クトルの決定法の説明図である。FIG. 19 is an explanatory diagram of a motion vector determination method when a plurality of motion vectors are candidates for an uncovered area on an interpolated image in the conventional method.
１ 双方向動きベクトル検出部 ２ アンカバー領域検出部 ３ 内挿画像上のアンカバー領域予測部 ４ 内挿画像上のアンカバー領域における動きベクトル
決定部 ５，６，１７ 遅延回路 ７ 動きベクトル検出回路（Ｉ） ８ 動きベクトル検出回路（II） ９ アンカバード・バックグラウンド領域検出回路 １０ カバード・バックグラウンド領域検出回路 １１，１２ 非アンカバー領域抽出回路 １３ 領域比較回路 １４ 内挿画像上のアンカバー領域予測回路 １５ カバード・バックグラウンド領域における動きベ
クトル決定回路 １６ アンカバード・バックグラウンド領域における動
きベクトル決定回路1 bidirectional motion vector detection unit 2 uncovered region detection unit 3 uncovered region prediction unit on interpolated image 4 motion vector determination unit in uncovered region on interpolated image 5, 6, 17 delay circuit 7 motion vector detection circuit (I) 8 Motion vector detection circuit (II) 9 Uncovered background area detection circuit 10 Covered background area detection circuit 11, 12 Non-uncovered area extraction circuit 13 Area comparison circuit 14 Uncovered area on interpolated image Prediction circuit 15 Motion vector determination circuit in covered background area 16 Motion vector determination circuit in uncovered background area
Claims (6)
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出し、該検出した動きベクトルに基づ
き前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域
を検出し、該検出したｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域に基づき前記内挿画像上のアンカバー領域を
予測する画像予測処理方法において、 前記ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に基づ
き前記内挿画像上のアンカバー領域を予測する方法は、
それぞれ前記画像ｆ（ｔ），ｆ（ｔ＋１）上でアンカバ
ー領域以外の領域を各別に抽出し、 該抽出した抽出領域のそれぞれに含まれ、対応する前記
動きベクトルが相互に逆向きで対応する一部領域であっ
て、前記画像ｆ（ｔ）上の前記一部領域を、対応する前
記動きベクトルに基づき前記画像ｆ（ｔ＋１）上に移動
した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、
かつ、前記画像ｆ（ｔ＋１）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ）上に移
動した範囲が、前記ｆ（ｔ）上の抽出領域に含まれる、
前記抽出領域の一部領域を各別に検出し、 該検出した一部領域を、対応する前記動きベクトルに基
づき内挿比に従い前記内挿画像上に予測画像として割り
付け、 該割り付けた領域以外の前記内挿画像上の領域を前記内
挿画像上のアンカバー領域と判定するの順次のステップ
を含んでいることを特徴とする画像予測処理方法。1. Between two temporally consecutive images f (t) and f (t + 1) sandwiching an interpolated image, each block having a predetermined constant size is bidirectionally moved. A vector is detected, an uncovered area on the image f (t), f (t + 1) is detected based on the detected motion vector, and an uncovered area on the detected f (t), f (t + 1) is detected. An image prediction processing method for predicting an uncovered area on the interpolated image based on the uncovered area on the interpolated image based on the uncovered area on the f (t), f (t + 1) ,
Regions other than the uncovered region are separately extracted on the images f (t) and f (t + 1), respectively, and the corresponding motion vectors included in each of the extracted regions correspond to each other in opposite directions. An extraction region on the f (t + 1) is a range of the partial region on the image f (t) that is moved on the image f (t + 1) based on the corresponding motion vector. Included in the
Further, a range obtained by moving the partial area on the image f (t + 1) onto the image f (t) based on the corresponding motion vector is included in the extraction area on the f (t).
A partial area of the extraction area is detected separately, and the detected partial area is allocated as a predicted image on the interpolated image according to an interpolation ratio based on the corresponding motion vector, and the area other than the allocated area is detected. An image prediction processing method comprising the sequential steps of determining an area on the interpolated image as an uncovered area on the interpolated image.
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出し、該検出した動きベクトルに基づ
き前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域
を検出し、該検出したｆ（ｔ），ｆ（ｔ＋１）上のアン
カバー領域に基づき前記内挿画像上のアンカバー領域を
予測し、該予測した内挿画像上のアンカバー領域の動き
ベクトルを決定する画像予測処理方法において、 前記内挿画像上のアンカバー領域の動きベクトルを決定
する方法は、それぞれ前記画像ｆ（ｔ），ｆ（ｔ＋１）
上のアンカバー領域近傍の領域に対応する複数の前記動
きベクトルを前記内挿画像上のアンカバー領域の動きベ
クトルの候補として選定し、 前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を
前記複数の候補ベクトルに基づき内挿比に従い前記内挿
画像上に予測画像として割り付け、 該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、 前記割り付けた複数の予測画像のうち、２つ以上の予測
画像が前記内挿画像上のアンカバー領域と重複を生じる
場合は、前記各候補ベクトルに対応する前記画像ｆ
（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画像情報
と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそれぞれ
前記内挿画像の時間的に反対側に位置する画像ｆ（ｔ−
１），ｆ（ｔ＋２）上の領域であって、前記各候補ベク
トルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の対応ア
ンカバー領域を逆向きに移動させた範囲に対応する領域
の画像情報との相関を算出して、相関が最大となる前記
候補ベクトルを、順方向動きベクトルについてはそのま
ま、逆方向動きベクトルについては向きを反転させて、
前記内挿画像上のアンカバー領域のうち、前記２つ以上
の予測画像との重複範囲に対応する前記内挿画像上のア
ンカバー領域の動きベクトルとして決定するの順次のス
テップを含んでいることを特徴とする画像予測処理方
法。2. Between two temporally consecutive images f (t) and f (t + 1) sandwiching an interpolated image, each block having a predetermined constant size is bidirectionally moved. A vector is detected, an uncovered area on the image f (t), f (t + 1) is detected based on the detected motion vector, and an uncovered area on the detected f (t), f (t + 1) is detected. In an image prediction processing method of predicting an uncovered area on the interpolated image based on the predicted image and determining a motion vector of the predicted uncovered area on the interpolated image, The determination method is as follows: the images f (t) and f (t + 1)
A plurality of motion vectors corresponding to a region near the upper uncovered region are selected as candidates for a motion vector of the uncovered region on the interpolated image, and uncovered on the images f (t) and f (t + 1). A region is allocated as a predicted image on the interpolated image according to an interpolation ratio based on the plurality of candidate vectors, and only one predicted image among the allocated plural predicted images is an uncovered region on the interpolated image. When the overlap occurs, the candidate vector corresponding to the one predicted image is reversed in the forward motion vector as it is and the backward motion vector is reversed in direction, and the , Among the plurality of allocated prediction images, which is determined as a motion vector of the uncovered area on the interpolated image corresponding to the overlapping range with the prediction image, The image f or more predicted images may be caused to overlap with uncovered areas on said interpolated image is corresponding to each candidate vector
The image information of each uncovered area on (t), f (t + 1) and the image f (located on the temporally opposite side of the interpolated image with respect to the images f (t), f (t + 1). t-
1) and f (t + 2), which is an image of a region corresponding to a range obtained by moving the corresponding uncovered regions on the images f (t) and f (t + 1) in the opposite direction according to the candidate vectors. The correlation with the information is calculated, and the candidate vector having the maximum correlation is inverted as it is for the forward motion vector and inverted for the backward motion vector,
A sequential step of determining as a motion vector of an uncovered area on the interpolated image, which corresponds to an overlapping range with the two or more predicted images among the uncovered area on the interpolated image. An image prediction processing method characterized by:
て、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域は、前記ブロックの８倍乃至２００倍の面
積範囲の近傍領域であることを特徴とする画像予測処理
方法。3. The image prediction processing method according to claim 2, wherein a region near the uncovered region on the images f (t) and f (t + 1) is in the vicinity of an area range of 8 times to 200 times that of the block. An image prediction processing method characterized by being an area.
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出する双方向動きベクトル検出部と、
該検出部において検出した動きベクトルに基づき前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出す
るアンカバー領域検出部と、該検出部において検出した
ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に基づき前
記内挿画像上のアンカバー領域を予測する内挿画像上の
アンカバー領域予測部とを少なくとも有する画像予測処
理装置において、 前記内挿画像上のアンカバー領域予測部は前記画像ｆ
（ｔ），ｆ（ｔ＋１）上でアンカバー領域以外の領域を
各別に抽出する非アンカバー領域抽出手段と、 前記抽出した領域のそれぞれに含まれ、対応する前記動
きベクトルが相互に逆向きで対応する一部領域であっ
て、前記画像ｆ（ｔ）上の前記一部領域を、対応する前
記動きベクトルに基づき前記画像ｆ（ｔ＋１）上に移動
した範囲が、前記ｆ（ｔ＋１）上の抽出領域に含まれ、
かつ、前記画像ｆ（ｔ＋１）上の前記一部領域を、対応
する前記動きベクトルに基づき前記画像ｆ（ｔ）上に移
動した範囲が、前記ｆ（ｔ）上の抽出領域に含まれる前
記抽出領域の一部領域を各別に検出し、該検出した一部
領域を、対応する前記動きベクトルに基づき内挿比に従
い前記内挿画像上に予測画像として割り付ける領域比較
手段と、 該領域比較手段において割り付けた領域以外の前記内挿
画像上の領域を前記内挿画像上のアンカバー領域と判定
する内挿画像上のアンカバー領域抽出手段とを含んでい
ることを特徴とする画像予測処理装置。4. Between two temporally consecutive images f (t) and f (t + 1) sandwiching an interpolated image, each block having a predetermined constant size is bidirectionally moved. A bidirectional motion vector detection unit for detecting a vector,
An uncovered area detection unit that detects an uncovered area on the image f (t), f (t + 1) based on the motion vector detected by the detection unit, and f (t), f (t + 1) detected by the detection unit. ) An image prediction processing device having at least an uncovered area prediction unit on an interpolated image that predicts an uncovered area on the interpolated image based on the uncovered area above, The part is the image f
(T), f (t + 1), a non-uncovered area extracting means for individually extracting areas other than the uncovered area, and the corresponding motion vectors included in each of the extracted areas are in opposite directions to each other. A corresponding partial area, which is a range in which the partial area on the image f (t) is moved on the image f (t + 1) based on the corresponding motion vector, is on the f (t + 1). Included in the extraction area,
Further, the extraction in which the range obtained by moving the partial area on the image f (t + 1) onto the image f (t) based on the corresponding motion vector is included in the extraction area on the f (t). Area detecting means for individually detecting a partial area of the area, and assigning the detected partial area as a predicted image on the interpolated image according to an interpolation ratio based on the corresponding motion vector; An image prediction processing apparatus, comprising: an uncovered area extraction unit on an interpolated image that determines an area on the interpolated image other than the allocated area as an uncovered area on the interpolated image.
画像ｆ（ｔ），ｆ（ｔ＋１）間で、あらかじめ定められ
た一定の大きさを有するブロック毎に、双方向に各別に
動きベクトルを検出する双方向動きベクトル検出部と、
該検出部において検出した動きベクトルに基づき前記画
像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を検出す
るアンカバー領域検出部と、該検出部において検出した
ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域に基づき前
記内挿画像上のアンカバー領域を予測する内挿画像上の
アンカバー領域予測部と、該アンカバー領域予測部にお
いて予測した内挿画像上のアンカバー領域の動きベクト
ルを決定するアンカバー領域動きベクトル決定部とを少
なくとも有する画像予測処理装置において、 前記アンカバー領域動きベクトル決定部は前記画像ｆ
（ｔ），ｆ（ｔ＋１）上のアンカバー領域近傍の領域に
対応する複数の前記動きベクトルを前記内挿画像上のア
ンカバー領域の動きベクトルの候補として選定し、 前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領域を
前記複数の候補ベクトルに基づき内挿比に従い前記内挿
画像上に予測画像として割り付け、 該割り付けた複数の予測画像のうち、１つの予測画像の
みが前記内挿画像上のアンカバー領域と重複を生じる場
合は、前記１つの予測画像に対応する前記候補ベクトル
を、順方向動きベクトルについてはそのまま、逆方向動
きベクトルについては向きを反転させて、前記内挿画像
上のアンカバー領域のうち、前記予測画像との重複範囲
に対応する前記内挿画像上のアンカバー領域の動きベク
トルとして決定し、 前記割り付けた複数の予測画像のうち、２つ以上の予測
画像が前記内挿画像上のアンカバー領域と重複を生じる
場合は、前記各候補ベクトルに対応する前記画像ｆ
（ｔ），ｆ（ｔ＋１）上の各アンカバー領域の画像情報
と、前記画像ｆ（ｔ），ｆ（ｔ＋１）に対してそれぞれ
前記内挿画像の時間的に反対側に位置する画像ｆ（ｔ−
１），ｆ（ｔ＋２）上の領域であって、前記各候補ベク
トルに従い前記画像ｆ（ｔ），ｆ（ｔ＋１）上の対応ア
ンカバー領域を逆向きに移動させた範囲に対応する領域
の画像情報との相関を算出して、相関が最大となる前記
候補ベクトルを、順方向動きベクトルについてはそのま
ま、逆方向動きベクトルについては向きを反転させて、
前記内挿画像上のアンカバー領域のうち、前記２つ以上
の予測画像との重複範囲に対応する前記内挿画像上のア
ンカバー領域における動きベクトルとして決定する手段
を含んでいることを特徴とする画像予測処理装置。5. Between two temporally consecutive images f (t) and f (t + 1) sandwiching an interpolated image, each block having a predetermined constant size is bidirectionally moved. A bidirectional motion vector detection unit for detecting a vector,
An uncovered area detection unit that detects an uncovered area on the image f (t), f (t + 1) based on the motion vector detected by the detection unit, and f (t), f (t + 1) detected by the detection unit. ) An uncovered area prediction unit on the interpolated image that predicts an uncovered area on the interpolated image based on the uncovered area above, and an uncovered area on the interpolated image predicted by the uncovered area prediction unit. In an image prediction processing apparatus having at least an uncovered area motion vector determination unit that determines a motion vector, the uncovered area motion vector determination unit is configured to perform the image f.
A plurality of the motion vectors corresponding to the area near the uncovered area on (t), f (t + 1) are selected as candidates for the motion vector of the uncovered area on the interpolated image, and the image f (t), The uncovered area on f (t + 1) is allocated as a predicted image on the interpolated image according to the interpolation ratio based on the plurality of candidate vectors, and only one predicted image among the plurality of allocated predicted images When the overlap with the uncovered area on the interpolated image occurs, the candidate vector corresponding to the one predicted image is inverted as it is for the forward motion vector and inverted for the backward motion vector to perform the interpolation. Of the uncovered areas on the image, it is determined as a motion vector of the uncovered area on the interpolated image corresponding to the overlapping range with the predicted image, and the allocated plurality of Of the predicted image, if two or more predicted images cause overlap with uncovered areas on said interpolation image, the image f corresponding to each candidate vector
The image information of each uncovered area on (t), f (t + 1) and the image f (located on the temporally opposite side of the interpolated image with respect to the images f (t), f (t + 1). t-
1) and f (t + 2), which is an image of a region corresponding to a range obtained by moving the corresponding uncovered regions on the images f (t) and f (t + 1) in the opposite direction according to the candidate vectors. The correlation with the information is calculated, and the candidate vector having the maximum correlation is inverted as it is for the forward motion vector and inverted for the backward motion vector,
A means for determining as a motion vector in an uncovered area on the interpolated image corresponding to an overlapping range with the two or more predicted images among the uncovered area on the interpolated image. Image prediction processing device.
て、前記画像ｆ（ｔ），ｆ（ｔ＋１）上のアンカバー領
域近傍の領域は、前記ブロックの８倍乃至２００倍の面
積範囲の近傍領域であることを特徴とする画像予測処理
装置。6. The image prediction processing apparatus according to claim 5, wherein a region near the uncovered region on the images f (t) and f (t + 1) is near an area range that is 8 times to 200 times that of the block. An image prediction processing device characterized by being a region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8015345A JPH09214899A (en) | 1996-01-31 | 1996-01-31 | Image prediction processing method an its device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8015345A JPH09214899A (en) | 1996-01-31 | 1996-01-31 | Image prediction processing method an its device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09214899A true JPH09214899A (en) | 1997-08-15 |
Family
ID=11886214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8015345A Pending JPH09214899A (en) | 1996-01-31 | 1996-01-31 | Image prediction processing method an its device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09214899A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002071331A2 (en) * | 2001-03-07 | 2002-09-12 | Pulsent Corporation | Predictive edge extension into uncovered regions |
| JP2004507943A (en) * | 2000-08-24 | 2004-03-11 | フランス テレコム | Method for calculating at least one image interpolated between two images of a video sequence |
| JP2005323252A (en) * | 2004-05-11 | 2005-11-17 | Victor Co Of Japan Ltd | Image encoding device and image decoding device |
| US7058227B2 (en) | 1998-08-21 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| JP2007504700A (en) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Temporal interpolation of pixels based on occlusion detection |
| JP2007074596A (en) * | 2005-09-09 | 2007-03-22 | Sony Corp | Image processing apparatus and method, recording medium, and program |
| JP2007074586A (en) * | 2005-09-09 | 2007-03-22 | Sony Corp | Image processing apparatus and method, program, and recording medium |
| JP2007282155A (en) * | 2006-04-12 | 2007-10-25 | Sony Corp | Image processing apparatus, image processing method and program |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| JP2009200760A (en) * | 2008-02-21 | 2009-09-03 | Sony Corp | Image processing apparatus and method, program, and storage medium |
| JP2010028478A (en) * | 2008-07-18 | 2010-02-04 | Sharp Corp | Motion vector correction apparatus, motion vector correction method, image interpolation device, television receiver, video image reproducer, control program, and computer-readable recording medium |
| JP2010178216A (en) * | 2009-01-30 | 2010-08-12 | Sharp Corp | Vector correction device, vector correction method, image interpolation device, television receiver, video reproducer, control program, and computer readable recording medium |
| JP2010212984A (en) * | 2009-03-10 | 2010-09-24 | Sharp Corp | Image interpolation apparatus, image interpolation method, television receiver, video playback device, control program, and computer readable recording medium |
| CN101924936A (en) * | 2009-06-12 | 2010-12-22 | 索尼公司 | Image frame interpolation device, image frame interpolation method and image frame interpolation program |
| US8144777B2 (en) | 2002-03-15 | 2012-03-27 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| US8432495B2 (en) | 2006-09-15 | 2013-04-30 | Panasonic Corporation | Video processor and video processing method |
| US9485453B2 (en) | 2013-09-10 | 2016-11-01 | Kabushiki Kaisha Toshiba | Moving image player device |
| JP2020077943A (en) * | 2018-11-06 | 2020-05-21 | 日本放送協会 | Video interpolation device and program |
-
1996
- 1996-01-31 JP JP8015345A patent/JPH09214899A/en active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7058227B2 (en) | 1998-08-21 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| JP2004507943A (en) * | 2000-08-24 | 2004-03-11 | フランス テレコム | Method for calculating at least one image interpolated between two images of a video sequence |
| JP4922536B2 (en) * | 2000-08-24 | 2012-04-25 | フランス・テレコム | Method for calculating at least one image interpolated between two images of a video sequence |
| WO2002071331A3 (en) * | 2001-03-07 | 2004-03-18 | Pulsent Corp | Predictive edge extension into uncovered regions |
| WO2002071331A2 (en) * | 2001-03-07 | 2002-09-12 | Pulsent Corporation | Predictive edge extension into uncovered regions |
| US8144777B2 (en) | 2002-03-15 | 2012-03-27 | Kabushiki Kaisha Toshiba | Motion vector detection method and apparatus |
| JP2007504700A (en) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Temporal interpolation of pixels based on occlusion detection |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| US7697769B2 (en) | 2004-01-15 | 2010-04-13 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| JP2005323252A (en) * | 2004-05-11 | 2005-11-17 | Victor Co Of Japan Ltd | Image encoding device and image decoding device |
| JP2007074586A (en) * | 2005-09-09 | 2007-03-22 | Sony Corp | Image processing apparatus and method, program, and recording medium |
| JP2007074596A (en) * | 2005-09-09 | 2007-03-22 | Sony Corp | Image processing apparatus and method, recording medium, and program |
| JP4655217B2 (en) * | 2005-09-09 | 2011-03-23 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP2007282155A (en) * | 2006-04-12 | 2007-10-25 | Sony Corp | Image processing apparatus, image processing method and program |
| US8432495B2 (en) | 2006-09-15 | 2013-04-30 | Panasonic Corporation | Video processor and video processing method |
| JP2009200760A (en) * | 2008-02-21 | 2009-09-03 | Sony Corp | Image processing apparatus and method, program, and storage medium |
| US8279930B2 (en) | 2008-02-21 | 2012-10-02 | Sony Corporation | Image processing apparatus and method, program, and recording medium |
| JP2010028478A (en) * | 2008-07-18 | 2010-02-04 | Sharp Corp | Motion vector correction apparatus, motion vector correction method, image interpolation device, television receiver, video image reproducer, control program, and computer-readable recording medium |
| JP2010178216A (en) * | 2009-01-30 | 2010-08-12 | Sharp Corp | Vector correction device, vector correction method, image interpolation device, television receiver, video reproducer, control program, and computer readable recording medium |
| JP2010212984A (en) * | 2009-03-10 | 2010-09-24 | Sharp Corp | Image interpolation apparatus, image interpolation method, television receiver, video playback device, control program, and computer readable recording medium |
| CN101924936A (en) * | 2009-06-12 | 2010-12-22 | 索尼公司 | Image frame interpolation device, image frame interpolation method and image frame interpolation program |
| US9485453B2 (en) | 2013-09-10 | 2016-11-01 | Kabushiki Kaisha Toshiba | Moving image player device |
| JP2020077943A (en) * | 2018-11-06 | 2020-05-21 | 日本放送協会 | Video interpolation device and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09214899A (en) | Image prediction processing method an its device | |
| KR100787675B1 (en) | Method, apparatus and computer program product for generating interpolation frame | |
| US8494054B2 (en) | Motion vector computation for video sequences | |
| US5650828A (en) | Method and apparatus for detecting and thinning a contour image of objects | |
| US7936950B2 (en) | Apparatus for creating interpolation frame | |
| JP2002523985A (en) | Problem area localization in image signals | |
| US20070165719A1 (en) | Motion vector detection method and apparatus | |
| EP1734479A1 (en) | Image processing device and method, recording medium, and program | |
| JP3089165B2 (en) | Motion vector search device | |
| KR19990082504A (en) | Image coding device and image decoding device | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| KR20040105866A (en) | Motion estimation unit and method of estimating a motion vector | |
| KR20040047963A (en) | Unit for and method of motion estimation and image processing apparatus provided with such motion estimate unit | |
| JP2005528709A (en) | Unit and method for estimating current motion vector | |
| JP3299671B2 (en) | Image motion detection device | |
| JP2000348187A (en) | Method and device for picture processing and recording medium | |
| JP3175914B2 (en) | Image encoding method and image encoding device | |
| KR100969420B1 (en) | Frame rate conversion method | |
| JPH05236455A (en) | Motion vector detector for moving image | |
| JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
| JPH05236452A (en) | Method and device for detection motion vector | |
| JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
| JP2006215657A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
| JPH09187017A (en) | Calculation support type movement estimation method for pixels of images successively continuous in terms of time in video sequence | |
| CN104980623B (en) | Detection method and detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050517 |