WO2004102963A1 - 動き補正装置及び方法 - Google Patents

動き補正装置及び方法 Download PDF

Info

Publication number
WO2004102963A1
WO2004102963A1 PCT/JP2004/006691 JP2004006691W WO2004102963A1 WO 2004102963 A1 WO2004102963 A1 WO 2004102963A1 JP 2004006691 W JP2004006691 W JP 2004006691W WO 2004102963 A1 WO2004102963 A1 WO 2004102963A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
screen
video signal
motion
motion vector
Prior art date
Application number
PCT/JP2004/006691
Other languages
English (en)
French (fr)
Inventor
Takaya Hoshino
Kazuhiko Nishibori
Toshio Sarugaku
Masuyoshi Kurokawa
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/521,304 priority Critical patent/US7425990B2/en
Priority to JP2005506221A priority patent/JP4565339B2/ja
Priority to EP04732474A priority patent/EP1513344A4/en
Publication of WO2004102963A1 publication Critical patent/WO2004102963A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Definitions

  • the present invention relates to a motion compensating apparatus and method, and is suitably applied to a case where motion compensation is performed on a double-speed converted video signal.
  • the field frequency is doubled from 50 field / second to 100 field / second (hereinafter, this conversion processing is referred to as a field double speed method), and thus the above-mentioned aspect is required.
  • FIG. 7 shows a television receiver 100 to which the above-described field double speed system is applied.
  • an input video signal S1 of 50 fields / second such as a PAL signal is input to a field double speed circuit 101.
  • the double speed conversion unit 102 of the field double speed circuit 101 converts the scanning method of the input video signal S1 from interlaced (interlaced scanning) to progressive (sequential scanning), and converts the intermediate video signal S2 of 50 frames / sec. Generate and write this to the image memory 103. Then, the double-speed conversion unit 102 converts the field frequency of the intermediate video signal S 2 to 100 fields / second, which is double, by reading the intermediate video signal S 2 from the image memory 103 at twice the speed at the time of writing. Then, the scanning method is converted from progressive to interlace, and this is converted to a double-speed video signal S3 by CRT. (Cat ho de Ra Tub e) Enter in 104.
  • the horizontal / vertical sawtooth wave S4 corresponding to 100 fields / second is supplied from the horizontal / vertical deflection circuit 105 to the CRT 104, and the CRT 104 is based on the horizontal / vertical sawtooth wave S4.
  • FIG. 8 shows the positional relationship between each field and the scanning line in the video signal before and after the above-described field double-speed conversion.
  • the horizontal axis corresponds to time
  • the vertical axis corresponds to the vertical direction of the screen
  • each white circle represents Each represents a scanning line.
  • the symbols of la, lb, 2a, 2b, ... shown in Fig. 8 (A) indicate the field numbers, respectively, and the numbers 1, 2, ... indicate the frame numbers, respectively.
  • a represents hi dd field and b represents eve nfi ⁇ 1 d.
  • the double-speed conversion unit 102 (FIG. 7) of the field double-speed circuit 101 scans the field 1a of the input video signal S1 composed of the in-the-night race image shown in FIG. 8 (A). By converting the number of lines to twice (progressive conversion), the frame 1a shown in Fig. 8 (B) is generated. Similarly, the double speed conversion unit 102 sequentially performs progressive conversion on the fields lb, 2a, 2b,... Of the input video signal S1 to generate frames 1b, 2a, 2b,. Then, an intermediate video signal S2 of a progressive image of 50 frames / sec is generated.
  • the double speed conversion unit 102 writes the frame 1a shown in FIG. 8B into the image memory 103, and reads it out every other scanning line.
  • the double-speed conversion unit 102 first reads out the odd-numbered scanning lines of the frame 1a to generate the field la shown in FIG. 8C, and 1/100 second later, the even-numbered scanning lines of the frame 1a Then, the double-speed conversion and the sync-lace conversion process are performed by generating the field 1a 'shown in FIG. 8 (C).
  • the double-speed conversion unit 102 sequentially converts the frames 1 b, 2 a, 2 b,... Of the intermediate video signal S 2 into double-speed and one-in-one races, and performs field 1 b, lb ′, 2 a , 2a ', 2b, 2b', « produce 100 fields / sec
  • a double-speed video signal S3 of the interlaced image is generated.
  • the double-speed conversion unit 102 of the field double-speed circuit 101 converts the field frequency of the input video signal S1 from 50 fields / second to 100 fields / second by double-speed conversion. It is designed to suppress surface flicker interference.
  • the fields 1a and 1a 'of the double-speed video signal S3 shown in FIG. 8 (C) are both fields generated from the field 1a of the input video signal S1 shown in FIG. 8 (A).
  • the fields 1b and 1b ', the fields 2a and 2a', and the fields 2b and 2b 'of the double-speed video signal S3 are also input video signals S1. Is a field generated from the same field.
  • the vertical axis corresponds to time
  • the horizontal axis corresponds to the horizontal direction of the screen.
  • the object 110 in the image moves from the left side to the right side of the screen as time passes. Is represented.
  • the object 110 smoothly moves to the right between fields.
  • the double-speed video signal S 3 shown in FIG. 9 (B) since the fields 1 a and 1 a ′ are both generated from the same field, the object 1 10 is It is displayed at the same position. Then, since the next field 1 b is generated from a different field, the object 1 110 moves greatly when moving from the field 1 a ′ to the field 1 b.
  • fields 1 b and 1 b ' ⁇ fields 2 a and 2 a' and fields 2 b and 2 b ' are generated from the same field.
  • the object 110 is displayed with a large movement.
  • the object 110 is displayed at the same position during the four fields of fields la to 1b ', and the next field 2a , The object 110 suddenly moves greatly and appears.
  • a block matching method is used between the field 1a 'of the double-speed video signal S3 shown in FIG. 11 (A) and the field' 1b 'one frame later.
  • the motion vector of the image is detected in pixel units or block units. Let A be the motion vector detected at this time.
  • the pixel in which the movement of the block in the field 1a 'is detected is shifted by AX1 / 2.
  • the motion vector B of the image between the field 1 b ′ and the field 2 a ′ after one frame is detected, and the pixel in which the motion of the field 1 b ′ is detected is Bx 1 / Move two.
  • the image can be smoothed between the fields by shifting the image using the detected motion vector.
  • the double-speed video signal S3 is a film material generated by telecine conversion
  • the field 1a and the field 2a two frames later in the double-speed video signal S3 shown in FIG.
  • the motion vector of the image is detected in block units using the block matching method. Let A be the motion vector detected at this time.
  • Patent Literature 1 Japanese Patent Application Publication No. 10-501953.
  • the brightness and color often change while the image moves, and in such a case, the above-described motion correction method has a problem that the corrected image may be slightly unnatural. 'T.
  • the motion vector detected by the above-described block matching method is not always appropriate, and an erroneous motion vector that is significantly different from the actual image motion may be detected. is there. For example, if there is a two-way motion in a block where the background and foreground move in opposite directions, the image is rotating, or the image is zoomed or deformed. In such cases, erroneous detection of the motion vector is likely to occur.
  • the present invention has been made in view of the above points, and it is an object of the present invention to propose a motion compensating device capable of more appropriately compensating the motion of a double-speed-converted video signal.
  • a video signal obtained by performing double-speed conversion on a video signal and the image information of a reference field one frame after the current field in the video signal are used to determine
  • the motion compensator is provided with averaging means for compensating the motion of the video signal in the current field by superimposing.
  • the current field information is obtained from the image information of the current field in the video signal obtained by telecine-converting the film and then performing double-speed conversion, and the image information of the reference field in the reference video signal obtained by delaying the video signal by two frames.
  • a motion vector detecting means for detecting a motion vector between a detected pixel in the field and a detected pixel in the reference field, and a detected motion vector in the three fields after the current field in the video signal. While moving by 1/4, 2/4 and 3/4 of the motion vector, the detected pixels in the three fields after the reference field in the reference video signal are moved by 3/4 of the motion vector, respectively.
  • the image moving means, the pixel data of the detected pixels in the three fields after the current field moved by the image moving means, and the pixel data of the detected pixels in the three fields after the reference field are respectively weighted.
  • the motion compensator is provided with averaging means for motion-compensating the video signals of the three fields after the current field by superimposing them.
  • the averaging means performs weighted averaging in inverse proportion to the amount of movement by the image moving means for each of the detected pixels.
  • an N ⁇ 1 interpolated screen generated from the original screen of the video signal is inserted between the original screen and the next original screen, so that the N ⁇ speed video signal converted to the N ⁇ speed is converted to the N ⁇ speed video signal.
  • the image information of the original screen and the image information of the reference screen that is the next original screen after the original screen are used to determine the detected pixels in the original screen and the detected pixels in the reference screen.
  • a motion vector detecting means for detecting the motion vector between the pixels, and moving the detection pixels of the m-th interpolation screen m ⁇ N-1) corresponding to the detection pixels in the original screen by m / N of the motion vector, Image moving means for moving the detected pixel of the (m + N) th interpolation screen corresponding to the detected pixel on the reference screen by — (N-in) / N of the motion vector, and m moved by the image moving means Detection screen of the second interpolation screen
  • the pixel data at the pixel data and the (m + N) th interpolation pixel at the detected pixel of the screen, each of which is weighted with a value inversely proportional to the amount of movement by the image moving means and then superimposed, are subjected to motion correction m
  • a correction means for outputting as a second interpolation screen are provided in the motion correction device.
  • a motion compensator that corrects the motion of the image signal of the new N-1 interpolated screen inserted between the original screen of the video signal and the next original screen.
  • a motion vector detecting means for detecting a motion vector between a pixel and a detection pixel in a reference screen, and detecting an original screen when correcting an m-th (l ⁇ m ⁇ N—1) interpolation screen.
  • the position of the pixel data corresponding to the output pixel is moved by ⁇ of the motion vector, and the position of the pixel data corresponding to the detected pixel on the reference screen is moved by one ( ⁇ 1 m) / N of the motion vector.
  • the interpolation screen is obtained by superimposing the image data corresponding to the detected pixels of the original screen and the image data corresponding to the detected pixels of the reference screen, which are moved by the image moving means, with a predetermined weight. And a correcting means for correcting the image signal.
  • FIG. 1 is a block diagram showing a configuration of a correction device according to the present invention.
  • FIG. 2 is a schematic diagram showing how the motion is improved when the double-speed video signal is not a film material.
  • FIG. 3 is a schematic diagram showing how the motion is improved when the double-speed video signal is a film material.
  • FIG. 4 is a schematic diagram showing a case where the motion vector is out of the search range.
  • FIG. 5 is a block diagram showing a configuration of a motion compensation device according to another embodiment.
  • FIG. 6 is a schematic diagram showing a state of improvement of movement when a double-speed video signal is a film material according to another embodiment.
  • FIG. 7 is a block diagram showing the configuration of the field double speed circuit.
  • FIG. 8 is a schematic diagram for explaining the doubling of the speed of a video signal.
  • FIG. 9 is a schematic diagram for explaining the movement when the double-speed video signal is not a film material.
  • FIG. 10 is a schematic diagram for explaining the movement when the double-speed video signal is a film material.
  • FIG. 11 is a schematic diagram showing how the motion is improved when the double-speed video signal is not a film material.
  • FIG. 12 is a schematic diagram showing how the motion is improved when the double-speed video signal is a film material. ⁇
  • FIG. 13 is a schematic diagram showing a case where the motion vector is out of the search range.
  • FIG. 14 is a schematic diagram used to explain quadruple speed of a video signal.
  • FIG. 15 is a schematic diagram used to explain a quadruple-speed video signal.
  • FIG. 16 is a block diagram showing a configuration of a motion compensation device for a quadruple-speed video signal.
  • FIG. 17 is a schematic diagram showing how the motion of the quadruple speed video signal is improved.
  • reference numeral 1 designates a motion compensator as a whole according to the present invention, which is obtained by performing a double-speed conversion on a 50-field / second PAL signal supplied from a preceding field double-speed conversion circuit (not shown). 0 Input the double speed video signal S3 of 0 fields / second to the image memory 2.
  • the image memory 2 delays the double-speed video signal S 3 by one frame to generate a one-frame delayed double-speed video signal S 4, and inputs this to the subsequent image memory 3.
  • the image memory 3 further delays the one-frame delayed double-speed video signal S 4 by one frame to generate a two-frame delayed double-speed video signal S 5, and inputs this to the image shift circuit 4 and the motion vector detection circuit 5. .
  • the film detection circuit 6 determines whether or not the input double-speed video signal S3 is a film material based on the correlation between the double-speed video signal S3 and the one-frame delayed double-speed video signal S.
  • the double-speed video signal S3 includes four fields (2 frames) consecutively generated from the same frame.
  • Signal S 3 and 1 one frame before
  • the film detection circuit 6 controls the selection switch 7 according to the determination result.
  • the selector switch 7 is switched to the terminal 7 A side, and the one-frame-delayed double-speed video signal S 4 is used as the reference video signal. Input to the image reverse shift circuit 8 and the motion vector detection circuit 5.
  • the motion vector detection circuit 5 is provided between the field of the 2-frame delayed double-speed video signal S5 as the current field and the field of the 1-frame delayed double-speed video signal S4 as the reference field.
  • the motion vector of the image is sequentially detected for each pixel or block.
  • the motion vector detection circuit 5 searches the pixel of interest in the current field (this pixel is referred to as a detected pixel) on a pixel-by-pixel or block-by-pixel basis to find out where it has moved on the reference field.
  • the motion vector from the field detection pixel to the reference field detection pixel is detected.
  • the field 1 a ′ (two-frame delayed double-speed video signal S 5) as the current field and the field lb ′ (one-frame delayed double-speed video signal)
  • the motion vector between the signal S 4) is A
  • the motion vector between the field 1 b ′ as the current field and the field 2 a ′ as the reference field one frame later is A.
  • Ktor becomes B.
  • the motion vector detection circuit 5 converts the motion vector between frames of each pixel or of each pixel detected in this manner into motion vector information D1 as the image shift circuit 4 and the image reverse shift circuit 8. To supply.
  • the path 8 is supplied with a correction timing control signal D2 for each field from a field detection circuit (not shown).
  • the image shift circuit 4 and the image reverse shift circuit 8 as the image moving means provide motion vector information! In accordance with 1 and the correction timing control signal D2, each pixel of the 2-frame delayed double-speed video signal S5 and the 1-frame delayed double-speed video signal S4 as the reference video signal is shifted in accordance with the detected motion vector. .
  • the image shift circuit 4 shifts each pixel of the field 1 a ′ of the 2-frame delayed double-speed video signal S 5 as the current field by X XA, To the chemical processing unit 9. Further, the image reverse shift circuit 8 shifts each pixel of the field of the 1-frame delayed double-speed video signal S 4 as a reference field; lb ′ by 1 1XA, and supplies it to the averaging processing section 9. Similarly, the image shift circuit 4 shifts each pixel in the field 1 b ′ of the 2-frame delayed double-speed video signal S 5 by 1 Z 2 XB as the current field, and sends it to the subsequent averaging processing unit 9. Supply.
  • the image reverse shift HI path 8 shifts each pixel of the field 2 a ′ of the one-frame delayed double-speed video signal S 4 as a reference field by ⁇ 1 ⁇ 2 ⁇ B, and supplies it to the averaging processing unit 9.
  • the shift of each pixel is performed by controlling the timing of outputting each pixel from the image shift circuit 4 and the image reverse shift circuit 8 to the averaging unit 9. .
  • the image shift circuit 4 and the image reverse shift circuit 8 move the pixels of the two-frame delayed double-speed video signal S 5 and the one-frame delayed double-speed video signal S 4, respectively.
  • the averaging unit 9 After being sequentially shifted in accordance with.
  • the first weighting section 1 ⁇ of the averaging section 9 divides the pixel data of each pixel of the field 1 a ′ of the 2-frame delayed double-speed video signal S 5 by 1. Is supplied to the signal synthesizer 12. Also, the second weighting unit 11 weights the signal level of each pixel in the field 1 b ′ of the 1-frame delayed double-speed video signal S 4 to / and supplies it to the signal combiner 12. Similarly, the first weighting unit 10 divides the pixel data of each pixel in the field 1 b ′ of the two-frame delayed double-speed video signal S 5 by 2. And supply it to the signal synthesizer 12. Further, the second weighting unit 11 weights the pixel data of each pixel in the field 2 a ′ of the 1-frame delayed double-speed video signal S 4 to 2, and supplies it to the signal combiner 12.
  • the first weighting unit 10 and the second weighting unit 11 respectively provide the two-frame delayed double-speed video signal S5 as the current field and the one-frame delayed double-speed video signal S4 as the reference field. ⁇ weight the signal level of the pixel of 'and supply it to the signal synthesizer 12.
  • the signal combiner 12 combines the two-frame delayed double-speed video signal S5 and the one-frame delayed double-speed video signal S4, and outputs this as a corrected double-speed video signal S6 to a CRT 104 (not shown).
  • the signal synthesizer 1 2 averages the shifted field 1 a ′ and 1 field 1 b ′ to obtain a synthesized image as a new field 1 a ′ after motion compensation, and similarly shifts the field F ib ′ and the field An image synthesized by averaging 2 a 'is output as a new field 1 b' after motion compensation.
  • the film detection circuit 6 determines that the double-speed video signal S3 is a film material, it switches the selection switch 7 to the terminal 7B side, and converts the double-speed video signal S3 as the reference video signal into an image reverse shift. Input to the circuit 8 and the motion vector detection circuit 5.
  • the motion vector detection circuit 5 detects the motion vector of the image between two frames between the field of the 2-frame delayed double-speed video signal S5 as the current field and the double-speed video signal S3 as the reference field. Detection is performed sequentially for each pixel or block. That is, as shown in FIG.
  • A field 1a (double-frame delayed double-speed video signal S5) as a current field and field 2a (double-speed video signal S3) as a reference field two frames later
  • the motion vector between is A
  • the motion vector between field 2a as the current field and field 3a as the reference field two frames later is B.
  • the motion vector detection circuit 5 uses the motion vector between each frame in each pixel or in each pixel detected in this manner as the motion vector information D1 as the image shift circuit 4 and the image reverse shift.
  • circuit Supply 8 Further, the image shift circuit 4 and the image reverse shift circuit 8 are supplied with a correction timing control signal D2 for each field from a field detection circuit (not shown).
  • the image shift circuit 4 and the image reverse shift circuit 8 are motion vector information! In accordance with 1 and the corrected evening control signal D2, each pixel of the 2-frame delayed double-speed video signal S5 and the double-speed video signal S3 is shifted according to the detected motion vector.
  • the image shift circuit 4 converts the fields 1 a ′, 1 b and 1 b ′ of the 2-frame delayed double-speed video signal S 5 as the current field into 1 / It is shifted by 4 XA, 2/4 XA and 3/4 XA and supplied to the averaging processing unit 9 in the subsequent stage.
  • the image reverse shift circuit 8 converts the fields 2 a ′, 2 b and 2 b ′ of the double-speed video signal S 3 as reference fields into ⁇ 3/4 xA, ⁇ 2/4 XA and ⁇ 1/4 XA, respectively. And supplies it to the subsequent averaging unit 9.
  • the image shift circuit 4 and the image reverse shift circuit 8 respectively move the pixels of the 2-frame delayed double-speed video signal S5 as the current field and the double-speed video signal S3 as the reference field to the motion vector information.
  • the data is sequentially shifted over time and supplied to the averaging unit 9.
  • the first weighting unit 10 of the averaging processing unit 9 converts each pixel of the fields 1 a ′, 1 b and 1 b ′ of the two-frame delayed double-speed video signal S 5.
  • the pixel data is weighted to 1/2 and supplied to the signal synthesizer 12.
  • the second weighting unit 11 weights the pixel data of each pixel of the fields 2 a ′, 2 b and 2 b ′ of the double-speed video signal S 3 to 1/2 and sends it to the signal synthesizer 12.
  • Supply As shown in FIG. 3 (B), the first weighting unit 10 of the averaging processing unit 9 converts each pixel of the fields 1 a ′, 1 b and 1 b ′ of the two-frame delayed double-speed video signal S 5.
  • the pixel data is weighted to 1/2 and supplied to the signal synthesizer 12.
  • the second weighting unit 11 weights the pixel data of each pixel of the fields 2 a ′, 2 b and 2 b ′ of the double
  • the first weighting unit 10 and the second weighting unit 11 weight the pixel data of the pixels of the two-frame delayed double speed video signal S 5 and the double speed video signal S 3 by 1/2, respectively.
  • the signal is supplied to the signal synthesizer 12.
  • the signal combiner 12 combines the two-frame delayed double-speed video signal S5 and the double-speed video signal S3, and outputs this as a corrected double-speed video signal S6 to a CRT 104 (not shown). That is, as shown in FIG. 3 (B), the signal synthesizer 12 synthesizes the weighted two-frame delayed double-speed video signal S5 and the double-speed video signal S3, thereby obtaining the shifted fields la and
  • the image obtained by averaging the fields 2a and 2 is referred to as a new field 1a after the motion compensation, and the image obtained by averaging the fields 1b and 2b after the shift is obtained as the new field 1a.
  • An image obtained by averaging the shifted field 1 b ′ and the field 2 b ′ as a new field 1 b is defined as a new field 1 b ′ after the motion correction.
  • the motion compensator 1 uses the motion vector between frames detected by the motion vector detection circuit 5 to reverse the current field and the reference field one frame after or two frames after that. After shifting in the direction, the images are synthesized and averaged, whereby the motion of the image between the continuous fields can be smoothly corrected.
  • the film detection circuit 6 of the motion correction device 1 It is determined whether or not the input double-speed video signal S3 is a film material.
  • the motion vector detection circuit 5 delays the double-speed video signal S3 by two frames and the 2-frame delayed double-speed video signal S5 by one frame.
  • the motion vector of one frame is detected between the delayed one-frame delayed double-speed video signal S4.
  • the motion compensator 1 shifts each pixel of the 2-frame delayed double-speed video signal S5 by 1 of the detected motion vector, and detects each pixel of the 1-frame delayed double-speed video signal S4.
  • the motion vector is shifted by one half, and these are averaged and combined to generate a corrected double-speed video signal S6.
  • the motion vector detection circuit 5 when the double-speed video signal S 3 is a film material, the motion vector detection circuit 5 generates a two-frame delayed double-speed video signal S 5 obtained by delaying the double-speed video signal S 3 by two frames, and the double-speed video signal S 3 In between, a motion vector of an image between two frames is detected.
  • the motion compensating device 1 determines whether each field of the two-frame delayed double-speed video signal S5 is Each pixel is shifted by 1/4, 2/4 and 3/4 of the detected motion vector in accordance with the passage of time, and each pixel of each field of the double-speed video signal S3 is shifted in accordance with the passage of time. Then, the detected motion vector is shifted by 3, — and 1, and these are averaged and combined to generate a corrected double speed video signal S6.
  • the image of the current field and the image of the reference field one frame or two frames later are respectively moved in the opposite directions according to the motion vector between the detected frames. After shifting, by combining these and averaging them as a corrected field image, the motion between fields can be corrected more smoothly than in the past.
  • the motion vector A detected by the motion vector detection circuit 5 is detected as shown in FIG. 4 (A). 2 is a vector smaller than the actual motion vector A 1 of the image.
  • the corrected field has almost the same motion of the image between the fields as shown in Fig. 4 (B). Two displaced images are displayed overlapping on the center position.
  • the first weighting unit 10 of the averaging unit 9 always weights the signal level of each pixel of the two-frame delayed double-speed video signal S5 by 1/2
  • the second weighting unit 11 always weights the pixel data of each pixel of the 1-frame delayed double-speed video signal S4 or the double-speed video signal S3 by ⁇ , so that The pixel data of each pixel is always simply averaged and synthesized.
  • the present invention is not limited to this, and the pixel data may be changed according to the shift amount of each pixel. The weight for evening may be changed.
  • reference numeral 20 denotes a motion compensation device according to another embodiment of the present invention, and a first weight of the averaging unit 13.
  • the difference from the motion compensation apparatus 1 shown in FIG. 1 is that the weighting unit 14 and the second weighting unit 15 weight the pixel data of each pixel in inverse proportion to the pixel shift amount. .
  • the pixel shift amounts are 1/2 and 1-1 / 2 of the always detected motion vector, and therefore, the first weighting unit 10 and Since the weighting by the second weighting unit 11 is also always 2, the description is omitted.
  • the motion vector detection circuit 5 When the double-speed video signal S 3 is a film material, the motion vector detection circuit 5 performs an image between two frames between the double-speed video signal S 3 and the two-frame delayed double-speed video signal S 5. Are sequentially detected in units of pixels or blocks. That is, as shown in FIG. 6 (A), the motion vector between the field la (two-frame delayed double-speed video signal S 5) and the field 2 a (double-speed video signal S 3) two frames later is A. The motion vector between the field 2a and the field 3a two frames later is B.
  • the motion vector detection circuit 5 supplies the motion vector between each frame of each pixel or block detected as described above to the image shift circuit 4 and the image reverse shift circuit 8 as motion vector information D1. . Further, the image shift circuit 4 and the image reverse shift circuit 8 are supplied with a correction timing control signal D2 for each field from a field detection circuit (not shown).
  • the image shift circuit 4 and the image reverse shift circuit 8 as the image moving means respectively perform two-frame delays of the double-speed video signal S5 and the double-speed video signal S3 according to the motion vector information D1 and the correction timing control signal D2. Pixels are shifted according to the detected motion vector.
  • the image shift circuit 4 converts the fields 1 a ′, 1 b and 1 b ′ of the two-frame delayed double-speed video signal S 5 into / XA, 2
  • the data is shifted by / 4 x A and 3/4 x A, and supplied to the averaging unit 13.
  • the image reverse shift circuit 8 shifts the fields 2 a ′, 2 b and 2 b ′ of the double speed video signal S 3 by 1/3 XA, 1 2/4 xA and 1 1/4 XA, respectively, and Supply to chemical processing section 13.
  • the image shift circuit 4 and the image reverse shift circuit 8 shift the pixels of the two-frame delayed double-speed video signal S5 and the double-speed video signal S3 in accordance with the motion vector information D1 with time.
  • the data is sequentially shifted and supplied to the averaging unit 13.
  • the first weighting unit 14 of the averaging processing unit 13 converts each pixel of the fields 1 a ′, 1 b and 1 b ′ of the two-frame delayed double-speed video signal S 5.
  • the pixel data is weighted inversely proportional to each shift amount.
  • the first weighting unit 14 weights the field 1 b ′ shifted by 1/4 xA by 3/4, and weights the field 1 b shifted by 2/4 XA.
  • a weight of 2/4 is given, and a weight of 1/4 is given to the field 1b 'shifted by 3/4 XA.
  • the second weighting unit 15 gives the pixel data of each pixel of the fields 2 a ′, 2 b and 2 b ′ of the double-speed video signal S 3 a weight inversely proportional to the shift amount of each pixel data. .
  • the second weighting unit 15 gives 1/4 weight to the field 2 a ′ shifted by 1/3 XA, and — 2 ⁇ ⁇ ⁇ weight to the field 2 b shifted by 2/4 XA. , And give a weight of 3/4 to the field 2b 'shifted by 1/4 XA.
  • the first weighting unit 14 and the second weighting unit 15 are used to shift the pixel data of the pixels of the two-frame delayed double-speed video signal S5 and the double-speed video signal S3, respectively. After weighting is inversely proportional to the quantity, it is supplied to the signal synthesizer 12.
  • the signal combiner 12 combines the two-frame delayed double-speed video signal S5 and the double-speed video signal S3, and outputs this as a corrected double-speed video signal S6 to a CRT 104 (not shown). That is, as shown in FIG.
  • the signal synthesizer 12 synthesizes the weighted two-frame delayed double-speed video signal S5 and the double-speed video signal S3 so that the post-shift field 1a 'And the average of field 2 a' two frames later is the new field 1 a 'after motion compensation, and the average of field 1 b after the shift and field 2 b two frames later is moved.
  • a new field 1b after the correction, and an average of the field 1b 'after the shift and the field 2b' after the two frames are set as a new field 1b 'after the motion correction.
  • the motion correction device 20 shifts the field to be corrected and the field two frames after the frame in the opposite direction using the motion vector between frames detected by the motion vector detection circuit 5. After that, by performing weighted averaging in inverse proportion to the shift amount and synthesizing, it is possible to more smoothly correct the motion of the image between successive fields.
  • the frame 1a shown in FIG. 14 (B) is written into an image memory (not shown), and this is repeated four times every other scanning line every 1/200 second to read out the frame 1a.
  • four fields 1b, 1b ', lb' '' and 1b '' '' are generated from frame 1b of the intermediate video signal S2.
  • reference numeral 21 denotes a motion compensator for a quadruple-speed video signal as a whole, and a quadruple-speed video signal of 200 fields / sec obtained by converting a 50 field / sec PAL signal to a quadruple speed.
  • S 23 is input to the image memory 22.
  • the image memory 22 delays the quadruple-speed video signal S 23 by two frames to generate a two-frame delayed quadruple-speed video signal S 24, and inputs this to the subsequent image memory 23.
  • the image memory 23 delays the quadruple-speed video signal S 24 by two frames to generate a 4-frame delayed quadruple-speed video signal S 25 by two frames, which is then shifted by the image shift circuit 24 and the motion vector detection. Input to circuit 25.
  • the film detection circuit 26 converts the input 4x video signal S23 into film material based on the correlation between the 4x video signal S23 and the 2-frame delay 4x video signal S24. It is determined whether or not there is.
  • the field generated from the same frame is continuous for eight fields (four frames) in the double-speed video signal S23.
  • a periodic correlation can be detected between the signal S23 and the two-frame delayed quadruple-speed video signal S24 two frames before it.
  • the film detection circuit 26 calculates a difference value of the signal level of each pixel corresponding to the quadruple-speed video signal S23 and the 2-frame delay quadruple-speed video signal S24, and the difference value alternates every two frames. If the value is equal to or more than the predetermined threshold value / less than or equal to the threshold value, the correlation between the quadruple-speed video signal S23 and the two-frame delay quadruple-speed video signal S24 is high, and the quadruple-speed video signal S23 is a film material. It is determined that there is. Then, the film detection circuit 26 controls the selection switch 27 according to the determination result.
  • the film detection circuit 26 determines that the quadruple-speed video signal S23 is not a film material
  • the selection switch 27 is switched to the terminal 27A side, and a two-frame delay as a reference video signal is output.
  • S 24 is input to the image reverse shift circuit 28 and the motion vector detection circuit 25.
  • the motion vector detection circuit 25 detects the field of the 4 frame delay 4 ⁇ video signal S 25 as the current field (current screen) and the frame of the 2 frame delay 4 ⁇ video signal S 24 as the reference field (reference screen).
  • the motion vector of the image between two frames (four fields) between the two pixels is sequentially detected in pixel units or block units. '
  • the motion vector at a predetermined pixel or block between the double-speed video signal S 24) is A, and between the field 1 b as the current field and the field 2 a as a reference field two frames later.
  • the motion vector at a given pixel or block is B.
  • the motion vector detection circuit 25 converts the motion vector between frames in each pixel or block detected as described above into motion vector information D 21 as an image shift circuit 24 and an image reverse shift circuit 28. To supply. Further, the image shift circuit 24 and the image reverse shift circuit 28 are supplied with a corrected-dimming control signal D22 for each field from a field detection circuit (not shown).
  • the image shift circuit 24 and the image reverse shift circuit 28 as the image moving means are provided with a 4-frame delay, a quadruple-speed video signal S25, and a reference video signal, respectively, according to the motion vector information D21 and the corrected evening control signal D22. Each frame in which the motion of the video signal S24 is detected is shifted according to the detected motion vector.
  • the image shift circuit 24 detects the movement of the fields la ′, la ′ ′ and la ′ ′ ′ of the 4-frame delay 4 ⁇ video signal S25 as the current field.
  • the obtained pixels are shifted by 1/4 xA, 2/4 XA, and 3/4 XA, respectively, and supplied to the averaging processing unit 9 in the subsequent stage.
  • the image reverse shift circuit 28 outputs each pixel in which the movement of the fields lb ′, lb ′ ′, and lb ′ ′′ ′ of the quadruple-speed video signal S24 as a reference field is detected.
  • the data is shifted by 3 / 4xA, 1 / 4xA and 1 / 4xA, and supplied to the averaging processing unit 29 in the subsequent stage.
  • the image shift circuit 24 and the image reverse shift circuit 28 are respectively provided with the pixels of the 4-frame delayed quadruple-speed video signal S25 as the current field and the 2-frame delayed quadruple-speed video signal S23 as the reference field. Are sequentially shifted with time in accordance with the motion vector information D 21 and supplied to the averaging unit 29.
  • the first weighting section 30 of the averaging section 29 as a correction means has the fields 1a, la ', la' '' And the pixel data of each pixel of la ′ ′ ′ is weighted by 1/2 and supplied to the signal synthesizer 32.
  • the second weighting unit 31 weights the pixel data of each pixel in the fields 1b, 1b ', lb' '', and 1b '' '' of the two-frame delay quadruple-speed video signal S24 by 1/2.
  • the signal is supplied to the signal synthesizer 32.
  • the first weighting unit 30 and the second weighting unit 31 are each provided with a four-frame delay quadruple-speed video signal S25 as a current field and a two-frame delay quadruple-speed video signal S24 as a reference field.
  • the pixel data is weighted in half and supplied to the signal synthesizer 32.
  • the signal combiner 32 combines the 4-frame delayed quadruple-speed video signal S25 and the 2-frame delayed quadruple-speed video signal S24, and outputs this as a corrected quadruple-speed video signal S26 to a CRT (not shown).
  • the signal synthesizer 32 synthesizes the weighted 4-frame delayed quadruple-speed video signal S25 and the 2-frame delayed quadruple-speed video signal S24 to obtain the shifted signal.
  • the average of the pixel data of field 1a 'and field 1b' two frames later is defined as the new field 1a 'after motion compensation, and field la''' after shift and two frames later.
  • the pixel data of field 1 b '' of field the average of the evening as new field 1 a '' after motion compensation, field la '' after shift and field 1 b '' after two frames Let the average of the pixel data of 'be a new field 1 a''' after motion compensation.
  • the motion compensator 21 uses the motion vector between the two frames detected by the motion vector detecting circuit 25 to reverse the current field and the reference field two frames after the current field. By shifting the weights and then combining them, it is possible to smoothly correct the motion of the image between successive fields in the quadruple-speed video signal.
  • the description of the processing when the quadruple-speed video signal S23 is a film material is omitted.
  • the motion compensation can be performed on the N ⁇ speed video signal. That is, the motion vector detection circuit 25 of the motion compensator 21 is newly generated from the original screen (that is, the fields la, lb,...) By the N-times speed conversion processing and inserted between the next original screen.
  • the motion compensation is performed on one N-one interpolated screen (that is, the fields la ' ⁇ ; L a' '', lb ' ⁇ ; L b' ', ...), the N-one
  • the motion vector between the original screen that is the source of the interpolated screen and the next original screen (hereinafter referred to as the reference screen) is detected.
  • the ratio ⁇ m / N '' when moving the interpolation screen is proportional to the time from the original screen to the interpolation screen / the time from the original screen to the reference screen
  • the ratio ⁇ m / N '' when moving the reference screen is (N—m) / N ”is proportional to“ time from the interpolation screen to the reference screen / time from the original screen to the reference screen ”, so the interpolation screen is proportional to the time from the original screen to the interpolation screen.
  • moving the reference image in the reverse direction at a ratio proportional to the time from the interpolation screen to the reference screen.
  • the averaging processing unit 29 as a correction unit weights and superimposes the pixel data of each pixel of the m-th interpolated image and the (m + N) -th interpolated image after moving by 1/2 each.
  • m be the m-th interpolated image after motion compensation.
  • the movement between the fields of the N ⁇ speed video signal is smoothly corrected.
  • Can be The motion vector can be detected between any interpolation screens separated by N screens.However, since the interpolation screen is generated from the original screen by N-times speed conversion processing, the original screen and the reference screen are The motion vector detected between the two is more accurate. Also, if weighting is performed with a value inversely proportional to the amount of movement of the detection pixel instead of weighting by 1/2, the movement between fields of the N ⁇ speed video signal can be corrected more smoothly.
  • the pixel data of the m-th interpolated screen generated by the N-times speed conversion processing corresponds to the pixel data of the same position on the original screen
  • the pixel data of the m + N-th interpolated screen is the reference screen.
  • the position of the corresponding pixel data in the original screen is moved by the image shift circuit 24, and the reference screen is shifted by the image reverse shift circuit 28.
  • the same result can be obtained by supplying the signal obtained by shifting the position of the corresponding pixel data to the averaging unit 29.
  • the present invention is not limited to this, and a liquid crystal panel, a plasma display panel, an organic EL (Electro Lumine sence) panel is used. Even when a device having fixed pixels such as is used as a display means, the movement between fields can be smoothly corrected.
  • the image of the current field and the image of the reference field one frame or two frames later are moved in opposite directions according to the motion vector between the detected frames. After moving, by combining these and averaging them to obtain a corrected field image, the movement between the fields can be corrected more smoothly than in the past.
  • the present invention can be applied to a video display device such as a television device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

倍速変換された映像信号の動きをより適切に補正し得る動き補正装置を実現する。倍速変換された映像信号における現フィールドの画像と、その1フレーム又は2フレーム後の参照フィールドの画像との間の動きベクトルを検出し、現フィールドの画素を動きベクトルに応じて移動させるとともに、参照フィールドの画素を動きベクトルに応じて逆方向に移動させる。そして、現フィールドの画素と参照フィールドの画素とを単純平均又は移動量に応じた重み付け平均して現フィールドを補正することにより、フィールド間の動きを従来に比して一層滑らかに補正することができる。

Description

明 細 書 動き補正装置及び方法 技術分野
本発明は動き補正装置及びその方法に関し、 倍速変換された映像信号の動き補 正を行う場合に適用して好適なものである。 背景技術
テレビジョン受像機においては、 例えば 50フィールド/秒でなる PAL ( Phas e Al t ernat e L i n e ) 言号のような比較的リフレッシュ レートの低い画像を表示した場合、 画面全体がちらついて見える面フリッカ妨害 という現象が発生する。
このためテレビジョン受像機において、 そのフィールド周波数を 50フィール ド /秒から 100フィ一ルド/秒へと 2倍に変換する (以下、 この変換処理をフ ィールド倍速方式と呼ぶ） ことにより、 かかる面フリヅ力妨害を抑制するように なされたものがあった。
図 7は、 上述したフィールド倍速方式を適用したテレビジョン受像機 100を 示し、 例えば PAL信号等の 50フィールド/秒でなる入力映像信号 S 1が、 フ ィールド倍速回路 101に入力される。
フィールド倍速回路 101の倍速変換部 102は、 入力映像信号 S 1の走査方 式をインタ一レース （飛び越し走査） からプログレッシブ （順次走査） に変換し て 50フレーム/秒でなる中間映像信号 S 2を生成し、 これを画像メモリ 103 に書き込む。 そして倍速変換部 102は、 画像メモリ 103から中間映像信号 S 2を書き込み時の 2倍の速度で読み出すことにより、 当該中間映像信号 S 2のフ ィールド周波数を 2倍の 100フィールド/秒に変換し、 さらに走査方式をプロ グレヅシブからインターレースに変換し、 これを倍速映像信号 S 3として CRT (Cat ho d e Ra Tub e) 1 04に入力する。
このとき CRT 104には、 100フィールド /秒に対応した水平 ·垂直鋸状 波 S 4が水平 ·垂直偏向回路 105から供給されており、 CRT 104は当該水 平 ·垂直鋸状波 S 4に基づいて倍速映像信号 S 3を 100フィールド /秒で表示 する。 +
図 8は、 上述したフィールド倍速変換の前後の映像信号における各フィ一ルド と走査線の位置関係を示し、 横軸は時間、 縦軸は画面の垂直方向に対応しており 、 各白丸は、 それぞれ走査線を表している。 また、 図 8 (A) に示す l a、 l b 、 2 a、 2 b、 ……の符号はそれそれフィールドの番号を示し、 1、 2、 ······の 数字はそれぞれフレーム番号を、 aはひ dd f i e l d, bは eve n f i Θ 1 dを表している。
フィールド倍速回路 10 1の倍速変換部 1 02 (図 7) は、 まず最初に、 図 8 (A) に示すィン夕一レース画像でなる入力映像信号 S 1のフィ一ルド 1 aの走 査線数を 2倍に変換 （プログレッシブ変換） することにより、 図 8 (B) に示す フレーム 1 aを生成する。 以下同様に、 倍速変換部 102は順次入力映像信号 S 1のフィールド l b、 2 a、 2 bヽ ……を順次プログレヅシブ変換してフレーム 1 b、 2 a、 2 b、 ……を生成し、 かく して 50フレーム/秒でなるプログレヅ シブ画像の中間映像信号 S 2を生成する。
そして倍速変換部 102は、 図 8 (B) に示すフレーム 1 aを画像メモリ 10 3に書き込み、 これを 1走査線おきに読み出す。 このとき倍速変換部 102は、 まずフレーム 1 aの奇数番目の走査線を読み出して図 8 (C) に示すフィールド l aを生成し、 その 1/100秒後に、 フレーム 1 aの偶数番目の走査線を読み 出して図 8 (C) に示すフィールド 1 a ' を生成することにより、 倍速変換及び ィン夕ーレース変換処理を行う。
以下同様に、 倍速変換部 1 02は順次中間映像信号 S 2のフレーム 1 b、 2 a 、 2 b、 ……を順次倍速変換及びイン夕一レース変換してフィールド 1 b、 l b '、 2 a、 2 a '、 2 b、 2 b '、 ……を生成し、 1 00フィ一ルド /秒でなる ィンターレース画像の倍速映像信号 S 3を生成する。
このようにしてフィールド倍速回路 1 0 1の倍速変換部 1 0 2は、 入力映像信 号 S 1のフィールド周波数を 5 0フィ一ルド /秒から 1 0 0フィールド /秒に倍 速変換することにより、 面フリッカ妨害を抑制するようになされている。
ここで、 図 8 ( C ) に示す倍速映像信号 S 3のフィ一ルド 1 a及び 1 a ' は、 共に図 8 ( A ) に示す入力映像信号 S 1のフィールド 1 aから生成されたフィ一 ルドであり、 以下同様に倍速映像信号 S 3のフィールド 1 b及び 1 b '、 フィ一 ルド 2 a及び 2 a '、 フィールド 2 b及び 2 b '、 ……も、 それぞれ入力映像信 号 S 1の同一フィールドから生成されたフィールドである。
このような倍速変換処理された画像の動きを、 図 9を用いて説明する。 図 9に おいて、 縦軸は時間、 横軸は画面の水平方向に対応しており、 画像に写った物体 1 1 0が、 時間経過に応じて画面の左側から右側に移動している状態を表してい る。
図 9 ( A ) に示す入力映像信号 S 1においては、 物体 1 1 0はフィールド間で 右方向に滑らかに移動している。 これに対して、 図 9 ( B ) に示す倍速映像信号 S 3においては、 フィ一ルド 1 aと 1 a ' とは共に同一のフィ一ルドから生成さ れているため、 物体 1 1 0は同一位置に表示される。 そして、 次のフィールド 1 bは異なるフィールドから生成されているため、 フィールド 1 a 'からフィール ド 1 bに移る際に、 物体 1 1 0は大きく移動して表示される。
同様に、 フィ一ルド 1 bと 1 b 'ヽ フィールド 2 aと 2 a '、 フィールド 2 b と 2 b ' はそれぞれ同一のフィールドから生成されているため、 フィ一'ルド 1 b ' からフィールド 2 aに移る際、 及びフィールド 2 a ' からフィールド 2 bに移 る際にも、 物体 1 1 0は大きく移動して表示される。
このように、 倍速変換処理された倍速映像信号 S 3においては、 動きのある画 像を表示した場合、 画像の動きが不連続に見えるという問題がある。
ところで、 2 4コマ/秒の静止画で構成される映画フィルムを通常のテレビジ ョン受像機で表示する場合、 いわゆるテレシネ変換と呼ばれる処理によって映画 フィルムを映像信号に変換する。
この場合、 図 10 (A) に示すように、 映画フィルムをテレシネ変換して生成 されたフィルム素材の入力映像信号 S 1において、 フィールド l aと l b、 フィ 一ルド 2 aと 2 b、 ……はそれぞれフィルムの同一のコマをテレシネ変換して生 成されたものである。 これにより、 当該入力映像信号 S 1を倍速変換して生成し た倍速映像信号 S 3 (図 10 (B) ) においては、 フィールド 1 a、 l a '、 1 b及び 1 b ' の 4フィ一ルドが同一のコマから生成され、 同様にフィールド 2 a 、 2a '、 2 b、 及び 2 b 'の 4フィールドが同一のコマから生成されることに なる。
このため、. 図 10 (B) に示す倍速映像信号 S 3.においては、 フィールド l a 〜1 b 'の 4フィールドの間、 物体 1 10は同一位置に表示され、 次のフィ一ル ド 2 aに移る際に、 物体 1 10は突然大きく移動して表示される。
このように、 フィルム素材の入力映像信号 S 1を倍速変換して生成した倍速映 像信号 S 3においては、 動きのある画像を表示した場合、 画像の動きが一層不達 続に見えるという問題がある。
このような倍速映像信号における動きの不連続を解決するため、 画像の動きべ クトルを検出し、 当該動きベクトルを用いて画像をシフトすることにより、 フィ —ルド間の動きを滑らかに補正する動き補正方法が提案されている （例えば、 特 許文献 1参照） 。
かかる動き補正方法においては、 図 11 (A) に示す倍速映像信号 S 3のフィ ールド 1 a ' とその 1フレーム後のフィ一ルド' 1 b ' との間で、 例えばプロック マッチング法を用いて画像の動きべクトルを画素単位あるいはプロック単位で検 出する。 このとき検出した動きベクトルを Aとする。
そして図 1 1 (B) に示すように、 フィールド 1 a ' のプロヅクの動きが検出 された画素を A X 1/2だけシフ卜させる。 同様に、 フィールド 1 b ' とその 1 フレーム後のフィールド 2 a ' との間の画像の動きべク トル Bを検出し、 フィー ルド 1 b ' のプロヅクの動きが検出された画素を Bx 1/2だけ移動させる。 こ のように検出した動きベクトルを用いて画像をシフトすることにより、 図 1 1 ( C) に示すように、 各フィールド間における画像の動きを滑らかにすることがで きる。
また、 倍速映像信号 S 3がテレシネ変換によつて生成されたフィルム素材の場 合には、 図 12 (A) に示す倍速映像信号 S 3において、 フィールド 1 aとその 2フレーム後のフィールド 2 aとの間でブロックマッチング法を用いて画像の動 きべク トルをプロック単位で検出する。 このとき検出した動きべクトルを Aとす る。
そして図 12 (B) に示すように、 フィールド 1 a '、 1 b及び 1 b 'のプロ ヅクの動きが検出された画素を、， それぞれ A X 1/4, A.x 2/4及び Ax 3/ 4だけシフドさせる。 このように検出した動きべクトルを用いて画像をシフトす ることにより、 図 12 (C) に示すように、 各フィールド間における画像の動き を滑らかにすることができる。 特許文献 1 特表平 10— 501953号。 ところが実際上、 画像は移動しながら輝度や色が変化していく場合が多く、 こ のような場合、 上述した動き補正方法では補正後の画像に若干の不自然さが生じ るという問題があつ'た。
また、 上述したブロヅクマッチング法で検出される動きベク トルは、 常に適切 であるとは限らず、 実際の画像の動きとは'大きく異なる誤った動きべク トルが検 出されてしまうこともある。 例えば、 背景と前景とが反対方向に移動しているよ うなブロック内に 2方向の動きが存在する場合や、 画像が回転している場合、 あ るいは画像がズームしている場合や変形している場合等で、 動きべク トルの誤検 出が発生しやすい。
そして、 上述した動き補正方法においては最大で動きべクトルの 3/4もの動 き補正を行うため （図 12のフィールド 1 b '及び 2 b ' ) 、 動きべク トルの誤 検出が発生した場合、 補正後の画像に不自然さが目立ってしまうという問題があ つた。
さらに、 図 1 3に示すように、 ブロックマッチング法の探索範囲を越えるよう な激しい動きが画像に存在した場合にも、 正しい動きべク トルを得ることができ ず、 この場合も補正後の画像に不自然さが目立ってしまうという問題があった。 発明の開示
本発明は以上の点を考慮してなされたもので、 倍速変換された映像信号の動き をより適切に補正し得る動き補正装置を提案しょうとするものである。
かかる課題を解決するため本発明においては、 .ビデオ信号を倍速変換してなる 映像信号における現フィールドの画像情報と当該現フィールドの 1フレーム後の 参照フィ一ルドの画像情報とから、 現フィールドにおける検出画素と参照フィ一 ルドにおける検出画素との間の動きべクトルを検出する動きべクトル検出手段と 、 現フィールドの検出画素を動きベクトルの 1 / 2だけ移動させるとともに、 参 照フィールドの検出画素を動きベクトルの一 1 / 2だけ移動させる画像移動手段 と、 画 ί绿移動手段によって移動された上記現フィールドの検出画素の画素データ と参照フィールドの検出画素の画素デ一夕とを重み付けして重ね合わせることに より、 現フィールドの上記映像信号を動き補正する平均化手段とを動き補正装置 に設けた。
また、 フィルムをテレシネ変換した後倍速変換してなる映像信号における現フ ィールドの画像情報と当該映像信号を 2フレーム遅延してなる参照映像信号にお ける参照フィールドの画像情報とから、 現フィ一ルドにおける検出画素と参照フ ィールドにおける検出画素との間の動きべ'クトルを検出する動きべクトル検出手 段と、 映像信号における現フィールド以降の 3つのフィ一ルドにおける検出画素 を、 それぞれ動きベク トルの 1 / 4、 2 / 4及び 3 / 4だけ移動させるとともに 、 参照映像信号における参照フィ—ルド以降の 3つのフィ一ルドにおける検出画 素を、 それそれ動きベク トルの一 3 / 4、 一 2 / 4及び一 1 / 4だけ移動させる 画像移動手段と、 画像移動手段によって移動された現フィールド以降の 3つのフ ィールドにおける検出画素の画素データと、 参照フィールド以降の 3つのフィ一 ルドにおける検出画素の画素デ一夕とをそれぞれ重み付けして重ね合わせること により、 現フィールド以降の 3つのフィールドの上記映像信号を動き補正する平 均化手段とを動き補正装置に設けた。
これにより、 倍速映像信号におけるフィールド間の動きを従来に比して一層滑 らかに補正することができる。
さらに平均化手段は、 検出画素それぞれに対し、 画像移動手段による移動量に 反比例した重み付け平均を行うようにした。
画素の移動量に反比例した重み付け平均をすることにより、 フィールド間の画 像の動きをさらにスムーズに補正することができる。
また本発明においては、 映像信号の元画面から生成した N— 1個の補間画面を 当該元画面とその次の元画面の間に挿入することにより N倍速変換された N倍速 映像信号に対して動き補正を行う動き補正装置において、 元画面の画像情報と当 該元画面の次の元画面でなる参照画面の画像情報とから、 当該元画面における検 出画素と当該参照画面における検出画素との間の動きべク トルを検出する動きべ クトル検出手段と、 元画面における検出画素に対応する m番目の補間画面 m≤N - 1 ) の検出画素を動きベクトルの m/Nだけ移動させるとともに、 参照 画面における検出画素に対応する m + N番目の補間画面の検出画素を動きべク ト ルの— （N— in) /Nだけ移動させる画像移動手段と、 画像移動手段によって移 動された m番目の補間画面の検出画素における画素デ一夕及び m + N番目の補間 画面の検出画素における画素データそれそれに対して当該画像移動手段による移 動量に反比例した値で重み付けをした後重ね合わせたものを、 動き補正された m 番目の補間画面として出力する補正手段とを動き補正装置に設けた。
ビデオ信号の元画面とその次の元画面の間に挿入された新たな N— 1個の補間 画面の画像信号の動きを補正する動き補正装置において、 元画面の画像情報と当 該元画面の次の元画面でなる参照画面の画像情報とから、 元画面における検出画 素と参照画面における検出画素との間の動きべク トルを検出する動きべクトル検 出手段と、 m番目 （ l≤m≤N— 1 ) の補間画面を補正する場合に、 元画面の検 出画素に対応する画素データの位置を動きべクトルの πιΖΝだけ移動させるとと もに、 参照画面の検出画素に対応する画素データの位置を動きベク トルの一 （Ν 一 m) /Nだけ移動させる画像移動手段と、 画像移動手段によって移動された元 画面の検出画素に対応する画素データ及び参照画面の検出画素に対応する画 デ 一夕を、 所定の重み付けをして重ね合わせることにより補間画面の画像信号を補 正する補正手段とを動き補正装置に設けた。
これにより、 N倍速変換された N倍速映像信号におけるフィ一ルド間の画像の 動きをスムーズに補正することができる。 図面の簡単な説明
図 1は、 本発明による補正装置の構成を示すプロヅク図である。
図 2は、 倍速映像信号がフィルム素材でない場合の動きの改善の様子を示す略 線図である。
図 3は、 倍速映像信号がフィルム素材である場合の動きの改善の様子を示す略 線図である。
図 4は、 動きべクトルが探索範囲外の場合を示す略線図である。
図 5は、 他の実施の形態による動き補正装置の構成を示すプロック図である。 図 6は、 他の実施の形態による、 倍速映像信号がフィルム素材である場合の動 きの改善の様子を示す略線図である。
図 7は、 フィールド倍速回路の構成を示すプロック図である。
図 8は、 映像信号の倍速化の説明に供する略線図である。
図 9は、 倍速映像信号がフィルム素材でない場合の動きの説明に供する略線図 である。
図 1 0は、 倍速映像信号がフィルム素材の場合の動きの説明に供する略線図で ある。 . 図 1 1は、 倍速映像信号がフィルム素材でない場合の動きの改善の様子を示す 略線図である。
図 1 2は、 倍速映像信号がフィルム素材である場合の動きの改善の様子を示す 略線図である。 ·
図 1 3は、 動きべク トルが探索範囲外の場合を示す略線図である。
図 1 4は、 映像信号の 4倍速化の説明に供する略線図である。
図 1 5は、 4倍速映像信号の説明に供する略線図である。
図 1 6は、 4倍速映像信号に対する動き補正装置の構成を示すブロック図であ る。
図 1 7は、 4倍速映像信号の動きの改善の様子を示す略線図である。 発明を実施するための最良の形態 ·
以下図面について、 本発明の一実施の形態を詳述する。
図 1において、 1は全体として本発明による動き補正装置を示し、 前段のフィ 一ルド倍速変換回路 （図示せず） から供給される、 5 0フィールド/秒の P A L 信号を倍速変換してなる 1 0 0フィールド /秒の倍速映像信号 S 3を画像メモリ 2に入力する。
画像メモリ 2は、 倍速映像信号 S 3を 1 フレーム分遅延して 1フレーム遅延倍 速映像信号 S 4を生成し、 これを後段の画像メモリ 3に入力する。 画像メモリ 3 は、 1フレーム遅延倍速映像信号 S 4をさらに 1フレーム分遅延して 2フレーム 遅延倍速映像信号 S 5を生成し、 これを画像シフト回路 4及び動きべク トル検出 回路 5に入力する。
一方フィルム検出回路 6は、 倍速映像信号 S 3と 1フレーム遅延倍速映像信号 S との相関に基づいて、 入力された倍速映像信号 S 3がフィルム素材であるか 否かを判定する。 すなわち、 入力された倍速映像信号 S 3がフィルム素材である 場合、 当該倍速映像信号 S 3には同一のコマから生成されたフィ一ルドが 4フィ 一ルド （2フレーム） 連続するため、 倍速映像信号 S 3とその 1 フレーム前の 1 フレーム遅延倍速映像信号 S 4との間に、 周期的な相関を検出することができる フィルム検出回路 6は、 倍速映像信号 S 3及び 1フレーム遅延倍速映像信号 S 4の対応する画素毎の信号レベルの差分値を算出し、 当該差分値が 1フレームお きに交互に所定の閾値以上/閾値以下の値になる場合、 倍速映像信号 S 3及び 1 フレーム遅延倍速映像信号 S 4の相関が高く、 倍速映像信号 S 3がフィルム素材 であると判定する。 そしてフィルム検出回路 6は、 この判定結果に応じて選択ス ィツチ 7を制御する。
すなわちフィルム検出回路 6は、 倍速映像信号 S 3がフィルム素材ではないと 判定した場合、：選択スイッチ 7を端子 7 A側に切替え、 参照映像信号としての. 1 フレーム遅延倍速映像信号 S 4を、 画像逆シフト回路 8及び動きべクトル検出回 路 5に入力する。
動きべクトル検出回路 5は、 現フィ一ルドとしての 2フレーム遅延倍速映像信 号 S 5のフィールドと、 参照フィールドとしての 1フレーム遅延倍速映像信号 S 4のフィールドとの間の、 1フレーム間の画像の動きべクトルを各画素単位又は プロヅク単位で順次検出する。 このとき動きベク トル検出回路 5は、 現フィ一ル ドにおいて着目した画素 （この画素を検出画素と呼ぶ） が、 参照フィールド上で どこに移動したかを各画素単位又はプロック単位で探索し、 現フィールドの検出 画素から参照フィールドの検出画素への動きべク トルを検出する。
すなわち図 2 ( A ) に示すように、 現フィールドとしてのフィールド 1 a ' ( 2フレーム遅延倍速映像信号 S 5 ) と、 その 1フレーム後の参照フィールドとし てのフィールド l b ' ( 1フレーム遅延倍速映像信号 S 4 ) との間の動きべク ト ルは Aとなり、 現フィールドとしてのフィ一ルド 1 b ' と、 その 1フレーム後の 参照フィ一ルドとしてのフィールド 2 a ' との間の動きべクトルは Bとなる。 動 きべク トル検出回路 5は、 このようにして検出した各画素単 又はプロヅク単位 のフレーム間の動きべクトルを、 動きべク トル情報 D 1として画像シフト回路 4 及び画像逆シフ ト回路 8に供給する。 また画像シフト回路 4及び画像逆シフ ト回 路 8には、 図示しないフィールド検出回路から、 フィールド単位の補正タイミン グ制御信号 D 2が供給ざれる。
画像移動手段としての画像シフト回路 4及び画像逆シフト回路 8は、 動きべク トル情報！） 1及び補正タイミング制御信号 D 2に従い、 それぞれ 2フレーム遅延 倍速映像信号 S 5及び参照映像信号としての 1フレーム遅延倍速映像信号 S 4の 各画素を、 検出した動きべクトルに応じてシフ卜する。
すなわち図 2 ( B ) に示すように、 画像シフト回路 4は、 現フィールドとして の 2フレーム遅延倍速映像信号 S 5のフィールド 1 a ' の各画素を 1 / 2 X Aだ けシフトし、 後段の平均化処理部 9に供給する。 また画像逆シフト回路 8は、 参 照フィールドとしての 1フレーム遅延倍速映像信号 S 4のフィールド； l b ' の各 画素を一 1 / 2 X Aだけシフ トし、 平均化処理部 9に供給する。 同様に画像シフ ト回路 4は、 現フィールドとしての 2フレーム遅延倍速映像信号 S 5のフィ一ル ド 1 b 'の各画素を 1 Z 2 X Bだけシフ トし、 後段の平均化処理部 9に供給する 。 また画像逆シフト HI路 8は、 参照フィールドとしての 1フレーム遅延倍速映像 信号 S 4のフィールド 2 a ' の各画素を— 1ノ2 X Bだけシフトし、 平均化処理 部 9に供給する。 こめ各画素のシフ トは、 本実施の形態においては画像シフ ト回 路 4及び画像逆シフト回路 8から平均化処理部 9へ各画素デ一夕を出力するタイ ミングを制御することにより行われる。
' このようにして画像シフ ト回路 4及び画像逆シフ ト回路 8は、 それそれ 2フレ —ム遅延倍速映像信号 S 5及び 1フレーム遅延倍速映像信号 S 4の画素を動きべ ク トル情報 D 1に応じて順次シフトして平均化処理部 9に供給する。
平均化処理部 9の第 1の重み付け部 1 ◦は、 図 2 ( B ) に示すように、 2フレ —ム遅延倍速映像信号 S 5のフィールド 1 a 'の各画素の画素データを 1 / 2に 重み付けして信号合成器 1 2に供給する。 また第 2の重み付け部 1 1は、 1 フレ ーム遅延倍速映像信号 S 4のフィ一ルド 1 b ' の各画素の信号レベルを 1 / 2に 重み付けして信号合成器 1 2に供給する。 同様に第 1の重み付け部 1 0は、 2フ レーム遅延倍速映像信号 S 5のフィールド 1 b ' の各画素の画素データを 1 / 2 に重み付けし、 信号合成器 1 2に供給する。 また第 2の重み付け部 1 1は、 1フ レーム遅延倍速映像信号 S 4のフィールド 2 a ' の各画素の画素デ一夕を 1 / 2 に重み付けし、 信号合成器 1 2に供給する。
このようにして第 1の重み付け部 1 0及び第 2の重み付け部 1 1は、 それぞれ 現フィ一ルドとしての 2フレーム遅延倍速映像信号 S 5及び参照フィールドとし ての 1フレーム遅延倍速映像信号 S 4の画素の信号レベルを 1 / 2に重み付けし '、 信号合成器 1 2に供給する。
信号合成器 1 2は、 2フレーム遅延倍速映像信号 S 5と 1フレーム遅延倍速映 像信号 S 4とを合成し、 これを補正倍速映像信号 S 6として図示しない C R T 1 0 4に出力する。
信号合成器 1 2はシフト後のフィールド 1 a '及び 1フィールド 1 b ' を平均 して合成した画像を動き補正後の新たなフィールド 1 a ' とし、 同様にシフト後 のフィール F i b '及びフィールド 2 a ' とを平均して合成した画像を動き補正 後の新たなフィ一ルド 1 b ' として出力する。
一方、 フィルム検出回路 6は倍速映像信号 S 3がフィルム素材であると判定し た場合、 選択スィッチ 7を端子 7 B側に切替え、 参照映像信号としての倍速映像 信号 S 3を、 画像逆シフ ト回路 8及び動きべクトル検出回路 5に入力する。 動きべクトル検出回路 5は、 現フィールドとしての 2フレーム遅延倍速映像信 号 S 5のフィールドと、 参照フィールドとしての倍速映像信号 S 3との間で、 2 フレーム間の画像の動きべク トルを各画素単位又はプロック単位で順次検出する 。 すなわち図 3 ( A ) に示すように、 現フィールドとしてのフィールド 1 a ( 2 フレーム遅延倍速映像信号 S 5 ) と、 その 2フレーム後の参照フィールドとして のフィールド 2 a (倍速映像信号 S 3 ) との間の動きベクトルは Aとなり、 現フ ィールドとしてのフィ一ルド 2 aと、 その 2フレーム後の参照フィ一ルドとして のフィールド 3 aとの間の動きべク トルは Bとなる。 動きべク トル検出回路 5は 、 このようにして検出した各画素単位又はプロヅク単位の各フレーム間の動きべ ク トルを、 動きべク トル情報 D 1として画像シフ ト回路 4及び画像逆シフ ト回路 8に供給する。 また画像シフ ト回路 4及び画像逆シフ ト回路 8には、 図示しない フィールド検出回路から、 フィールド単位の補正タイミング制御信号 D 2が供給 される。
画像シフト回路 4及び画像逆シフト回路 8は動きべクトル情報！ 1及び補正夕 ィミング制御信号 D 2に従い、 それぞれ 2フレーム遅延倍速映像信号 S 5及び倍 速映像信号 S 3の各画素を、 検出した動きべクトルに応じてシフトする。
すなわち図 3 (B) に示すように、 画像シフ ト回路 4は、 現フィールドとして の 2フレーム遅延倍速映像信号 S 5のフィールド 1 a '、 1 b及び 1 b ' を、 そ れぞれ 1/4 XA、 2/4 X A及び 3/4 X Aだけシフトし、 後段の平均化処理 部 9に供給する。 また画像逆シフ ト回路 8は、 参照フィールドとしての倍速映像 信号 S 3のフィールド 2 a '、 2 b及び 2 b ' を、 それぞれ— 3/4 xA、 - 2 /4 X A及び— 1/4 X Aだけシフトし、 後段の平均化処理部 9に供給する。 このようにして画像シフ ト回路 4及び画像逆シフト回路 8は、 それぞれ現フィ —ルドとしての 2フレーム遅延倍速映像信号 S 5及び参照フィールドとしての倍 速映像信号 S 3の画素を動きべクトル情報 D 1に応じて、 時間経過に従って順次 シフ トして平均化処理部 9に供給する。
平均化処理部 9の第 1の重み付け部 10は、 図 3 (B) に示すように、 2フレ ーム遅延倍速映像信号 S 5のフィールド 1 a '、 1 b及び 1 b ' の各画素の画素 デ一夕を 1/2に重み付けして信号合成器 12に供給する。 また第 2の重み付け 部 1 1は、 倍速映像信号 S 3のフィールド 2 a '、 2 b及び 2 b 'の各画素の画 素デ一夕を 1/2に重み付けして信号合成器 1 2に供給する。
かく して第 1の重み付け部 10及び第 2の重み付け部 1 1は、 それそれ 2フレ —ム遅延倍速映像信号 S 5及び倍速映像信号 S 3の画素の画素データを 1/2に 重み付けし、 信号合成器 1 2に供給する。
信号合成器 1 2は、 2フレーム遅延倍速映像信号 S 5と倍速映像信号 S 3とを 合成し、 これを補正倍速映像信号 S 6として図示しない CRT 104に出力する すなわち図 3 ( B ) に示すように、 信号合成器 1 2は、 重み付け後の 2フレー ム遅延倍速映像信号 S 5及び倍速映像信号 S 3を合成することにより、 シフ ト後 のフィールド l a， 及びフィールド 2 a， を平均して合成した画像を、 動き補正 後の新たなフィールド 1 a， とし、 シフト後のフィ一ルド 1 b及びフィールド 2 bを平均して合成した画像を、 動き補正後の新たなフィールド 1 bとし、 シフ ト 後のフィ一ルド 1 b '及びフィールド 2 b ' を平均して合成した画像を、 動き補 正後の新たなフィールド 1 b ' とする。
このようにして動き補正装置 1は、 動きべク トル検出回路 5で検出したフレー ム間の動きべクトルを用いて、 現フィールドとその 1フレーム後又は 2フレーム 後の参照フィールドとをそれそれ逆方向にシフトした後、 合成して平均化するこ とにより、 連続するフィ一ルド間の画像の動きをスムーズに補正することができ 以上の構成において、 動き補正装置 1のフィルム検出回路 6は、 入力された倍 速映像信号 S 3がフィルム素材であるか否かを判定する。
倍速映像信号 S 3がフィルム素材ではない場合、 動きべクトル検出回路 5は、 倍速映像信号 S 3を 2フレーム遅延した 2フレーム遅延倍速映像信号 S 5と、 当 該倍速映像信号 S 3を 1フレーム遅延した 1 フレーム遅延倍速映像信号 S 4との 間で、 1フレーム間の画像の動きベク トルを検出する。 ·
そして動き補正装置 1は、 2フレーム遅延倍速映像信号 S 5の各画素を、 検出 した動きべクトルの 1 / 2だけシフトするとともに、 1フレーム遅延倍速映像信 号 S 4の各画素を、 検出した動きべク トルの一 1 / 2だけシフ トし、 さらにこれ らを平均化して合成し補正倍速映像信号 S 6を生成する。
また、 倍速映像信号 S 3がフィルム素材である場合、 動きベク トル検出回路 5 は、 倍速映像信号 S 3を 2フレーム遅延した 2フレーム遅延倍速映像信号 S 5と 、 当該倍速映像信号 S 3との間で、 2フレーム間の画像の動きベクトルを検出す る。
そして動き補正装置 1は、 2フレーム遅延倍速映像信号 S 5の各フィ一ルドの 各画素を、 時間経過に応じて、 検出した動きベク トルの 1 / 4、 2 / 4及び 3ノ 4だけシフトするとともに、 倍速映像信号 S 3の各フィールドの各画素を、 時間 経過に応じて、 検出した動きべクトルの一 3 / 4、 — 2 / 4及び一 1 / 4だけシ フ卜し、 さらにこれらをそれそれ平均化して合成し補正倍速映像信号 S 6を生成 する。
以上の構成によれば、 現フィ一ルドの画像と、 その 1フレーム又は 2フレーム 後の参照フィ—ルドの画像とを、 検出したフレーム間の動きべクトルに応じてそ れぞれ逆方向にシフトした後、 これらを合成して平均化したものを補正後のフィ ールドの画像とすることにより、 フィールド間の動きを従来に比して一層滑らか に補正することができる。
ここで、 動きべクトル検出回路 5の探索範囲を越えるような激しい動きが画像 に存在した場合、 図 4 ( A ) に示すように、 当該動きベク トル検出回路 5が検出 する動きべク トル A 2は、 画像の実際の動きべク トル A 1よりも小さいべク トル となる。
このようにして検出された小さい動きべクトル A 2を用いて現フィールド及び 参照フィールドをシフトした場合、 補正後のフィールドは、 図 4 ( B ) に示すよ うに、 フィールド間の画像の動きのほぼ中心位置に 2つのずれた画像が重なって 表示される。
このため本発明によれば、 動きべクトル検出回路 5の探索範囲を えるような 激しい動きが画像に存在した場合でも、 フィ一ルド間の動きを従来に比して一層 滑らかに補正することができる。
なお上述の実施の形態においては、 平均化処理部 9の第 1の重み付け部 1 0が 、 2フレーム遅延倍速映像信号 S 5の各画素の信号レベルに対して常に 1 / 2の 重み付けを行うとともに、 第 2の重み付け部 1 1が、 1フレーム遅延倍速映像信 号 S 4又は倍速映像信号 S 3の各画素の画素データに対して常に 1 / 2の重み付 けを行うことにより、 シフト後の各画素の画素データを常に単純平均して合成す るようにしたが、 本発明はこれに限らず、 各画素のシフ ト量に応じて、 画素デー 夕に対する重み付けを変化させるようにしてもよい。
すなわち、 図 1との対応部分に同一符号を付して示す図 5において、 2 0は本 発明による他の実施の形態の動き補正装置を示し、 平均化処理部 1 3の第 1の重 み付け部 1 4及び第 2の重み付け部 1 5が、 各画素の画素データに対し、 画素の シフト量に反比例した重み付けを行う点で、 図 1に示す動き補正装置 1と相違す る。 .
ここで、 倍速映像信号 S 3がフィルム素材ではない場合、 画素のシフト量は常 に検出した動きべク トルの 1 / 2及び一 1 / 2であり、 このため第 1の重み付け 部 1 0及び第 2の重み付け部 1 1による重み付けも常に 1 / 2になるので、 説明 を省略する。
倍速映像信号 S 3がフィルム素材である場合、 動きベクトル検出回路 5は、 倍 速映像信号 S 3と 2フレーム遅延倍速映像信号 S 5との間で、 2フレーム間の画. 像の動きべク トルを各画素単位又はブロック単位で順次検出する。 すなわち図 6 ( A ) に示すように、 フィールド l a ( 2フレーム遅延倍速映像信号 S 5 ) と、 その 2フレーム後のフィールド 2 a (倍速映像信号 S 3 ) との間の動きベク トル は Aとなり、 フィールド 2 aと、 その 2フレーム後のフィールド 3 aとの間の動 きベクトルは Bとなる。 動きベクトル検出回路 5は、 このようにして検出した各 画素単位又はブロック単位の各フレーム間の動きべクトルを、 動きべクトル情報 D 1として画像シフト回路 4及び画像逆シフ ト回路 8に供給する。 また画像シフ ト回路 4及び画像逆シフト回路 8には、 図示しないフィールド検出回路から、 フ ィールド単位の補正タイミング制御信号 D 2が供給される。
画像移動手段としての画像シフト回路 4及び画像逆シフト回路 8は、 動きべク トル情報 D 1及び補正タイミング制御信号 D 2に従い、 それぞれ 2フレーム遅延 倍速映像信号 S 5及び倍速映像信号 S 3の各画素を、 検出した動きべクトルに応 じてシフ卜する。
すなわち図 6 ( B ) に示すように、 画像シフト回路 4は、 2フレーム遅延倍速 映像信号 S 5のフィールド 1 a '、 1 b及び 1 b ' を、 それぞれ 1 / 4 X A、 2 /4 x A及び 3/4 x Aだけシフトし、 平均化処理部 1 3に供給する。 また画像 逆シフト回路 8は、 倍速映像信号 S 3のフィールド 2 a '、 2 b及び 2 b ' を、 それぞれ一 3/4 X A、 一 2/4 xA及び一 1/4 X Aだけシフトし、 平均化処 理部 1 3に供給する。
このようにして画像シフト回路 4及び画像逆シフト回路 8は、 それそれ 2フレ —ム遅延倍速映像信号 S 5及び倍速映像信号 S 3の画素を動きべクトル情報 D 1 に応じて、 時間経過に従って順次シフトして平均化処理部 13に供給する。 平均化処理部 1 3の第 1の重み付け部 14は、 図 6 (B) に示すように、 2フ レーム遅延倍速映像信号 S 5のフィールド 1 a '、 1 b及び 1 b ' の各画素の画 素データに対し、 それぞれのシフト量に反比例した重み付けを与える。
すなわち第 1の重み付け部 14は、 1/4 xAだけシフ卜されたフィールド 1 b ' に対して 3/4の重み付けを与え、 2/4 XAだけシフ卜されたフィ一ルド 1 bに対して 2/4の重み付けを与え、 3/4 X Aだけシフ 卜されたフィールド 1 b ' に対して 1/4の重み付けを与える。
同様に第 2の重み付け部 1 5は、 倍速映像信号 S 3のフィールド 2 a '、 2 b 及び 2 b 'の各画素の画素データに対し、 それそれのシフ ト量に反比例した重み 付けを与える。
すなわち第 2の重み付け部 1 5は、 一 3/4 X Aだけシフトされたフィールド 2 a ' に対して 1/4の重み付けを与え、 — 2/4 X Aだけシフトされたフィ一 ルド 2 bに対して 2/4の重み付けを与え、 一 1/4 X Aだけシフ 卜されたフィ —ルド 2 b ' に対して 3/4の重み付けを与える。
かく して第 1の重み付け部 14及び第 2の重み付け部 1 5は、 それそれ 2フレ ーム遅延倍速映像信号 S 5及び倍速映像信号 S 3の画素の画素データに対し、 画 素のシフ ト量に反比例した重み付けをした後、 信号合成器 12に供給する。 信号合成器 1 2は、 2フレーム遅延倍速映像信号 S 5と倍速映像信号 S 3とを 合成し、 これを補正倍速映像信号 S 6として図示しない CRT 104に出力する すなわち図 6 (B) に示すように、 信号合成器 12は、 重み付け後の 2フレー ム遅延倍速映像信号 S 5及び倍速映像信号 S 3を合成することにより、 シフ ト後 のフィ一ルド 1 a '及びその 2フレーム後のフィ—ルド 2 a 'の平均を動き補正 後の新たなフィ一ルド 1 a ' とし、 シフト後のフィールド 1 b及びその 2フレー ム後のフィールド 2 bの平均を動き補正後の新たなフィールド 1 bとし、 シフ ト 後のフィ一ルド 1 b '及びその 2フレーム後のフィ一ルド 2 b 'の平均を動き補 正後の新たなフィールド 1 b ' とする。
このようにして動き補正装置 20は、 動きベク トル検出回路 5で検出したフレ —ム間の動きべクトルを用いて、 補正対象のフィールドとその 2フレーム後のフ ィールドを互いに逆方向にシフ 卜した後、 シフト量に反比例した重み付け平均を して合成することにより、 連続するフィ一ルド間の画像の動きをさらにスムーズ に補正することができる。
また、 動きべク トル検出回路 5の探索範囲を越える動きが画像に存在した等の 原因によって、 誤った動きべクトルを検出した場合ゃ 画像が移動しながら信号 レベルが変化するような場合でも、 連続するフィールド間の画像の動きを違和感 なく補正することができる。
さらに上述の実施の形態においては、 50フィールド /秒の PAL信号を倍速 変換してなる 100フィールド/秒の倍速映像信号に対して動き補正を行う場合 について述べたが、 本発明はこれに限らず、 同じく 50フィールド/秒の S E C AM (S e quent i e l a M e m o i r e ) 信号を倍速変換してなる 1 00フィ一ルド /秒の倍速映像信号や、 60フィ一ルド /秒の N T S C (N a— t 1 0 n a 1 Te l e v i s i on S s t em Commi t t e) 信号 を倍速変換してなる 1 2 Όフィールド/秒の倍速映像信号に対して動き補正を行 う場合にも適用することができる。 また、 NT S C信号において、 その画像内容 が毎秒 30コマのコンピュータグラフィックス画像である時、 これを倍速変換し てなる 1 2 Qフィ一ルド /秒の倍速映像信号に対して動き補正を行う場合にも適 用することができる。 さらに上述の実施の形態においては、 2倍速化された倍速映像信号に対して動 き補正を行う場合について述べたが、 本発明はこれに限らず、 種々の倍率で N倍 速化 （Nは実数） された N倍速映像信号に対して動き補正を行う場合に広く適用 することができる。 以下に例として 4倍速映像信号に対して動き補正を行う場合 を説明する。
まず、 映像信号を 4倍速化する処理について図 14を用いて説明する。 図 14 (A) に示す入力映像信号 S 1のフィールド 1 aの走査線数をプログレッシブ変 換することにより、 図 14 (B) に示すフレ一ム 1 aを生成する。 以下同様に、 順次入力映像信号 S 1のフィ一ルド l b、 ······を順次プ口グレツシブ変換してフ レーム l b、 を生成し、 50フレームノ秒でなるプログレヅシプ画像の中間 映像信号 S 2を生成する。
そして、 図 14 (B) に示すフレーム 1 aを画像メモリ （図示せず） に書き込 み、 これを 1/200秒毎に、 1走査線おきに 4回繰り返して読み出すことによ り、 当該フレーム 1 aから 4枚のフィ一ルド 1 a、 1 a '、 l a ' '及び 1 a ' ' ' を生成する。 同様に、 中間映像信号 S 2のフレーム 1 bから 4枚のフィ一ル ド 1 b、 1 b '、 l b ' '及び 1 b ' ' ' を生成する。
かくして、 200フィ一ルド /秒でなるィン夕一レース画像の 4倍速映像信号 S 23を生成することができる。 このことは、 入力映像信号 S 1の元画像 （フィ —ルド l a、 l b、 ……） の間に、 当該元画像から生成した N— 1個の補間画像
(フィールド l a '〜； L a ' ' '、 l b '〜； L b ' ' 'ヽ ) を揷入したこと に相当する。
このようにして生成された 4倍速映像信号 S 23の画像の動きを、 図 1 5を用 いて説明する。 図 15 (A) に示す入力映像信号 S 1においては、 物体 1 1 0は フィールド間で右方向に滑らかに移動しているのに対し、 図 1 5 (B) に示す 4 倍速映像信号 S 23においては、 フィールド l a、 l a ' s l a ' '及び: L a ' ' ' はいずれも同一のフィールドから生成されているため、 物体 1 1 0は同一位 置に表示される。 そして、 次のフィールド 1 bは異なるフィールドから生成され ているため、 フィールド 1 a ' からフィールド 1 bに移る際に、 物体 1 1 0は大 きく移動して表示される。' '
図 1 6において、 2 1は全体として 4倍速映像信号に対する動き補正装置を示 し、 5 0フィ一ルド /秒の P A L信号を 4倍速変換してなる 2 0 0フィールド / 秒の 4倍速映像信号 S 2 3を画像メモリ 2 2に入力する。
画像メモリ 2 2は、 4倍速映像信号 S 2 3を 2フレーム分遅延して 2フレーム 遅延 4倍速映像信号 S 2 4を生成し、 これを後段の画像メモリ 2 3に入力する。 画像メモリ 2 3は、 2フレーム遅延 4倍速映像信号 S 2 4をさらに 2フレーム分 遅延して 4フレーム遅延 4倍速映像信号 S 2 5を生成し、 これを画像シフト回路 2 4及び動きベク トル検出回路 2 5に入力する。 . ' 一方フィルム検出回路 2 6は、 4倍速映像信号 S 2 3と 2フレーム遅延 4倍速 映像信号 S 2 4との相関に基づいて、 入力された 4倍速映像信号 S 2 3がフィル ム素材であるか否かを判定する。 すなわち、 入力された 4倍速映像信号 S 2 3が フィルム素材である場合、 当該倍速映像信号 S 2 3には同一のコマから生成され たフィールドが 8フィールド （4フレーム） 連続するため、 4倍速映像信号 S 2 3とその 2フレーム前の 2フレーム遅延 4倍速映像信号 S 2 4との間に、 周期的 な相関を検出することができる。
フィルム検出回路 2 6は、 4倍速映像信号 S 2 3及び 2フレーム遅延 4倍速映 像信号 S 2 4の対応する画素毎の信号レベルの差分値を算出し、 当該差分値が 2 フレームおきに交互に所定の閾値以上/閾値以下の値になる場合、 4倍速映像信 号 S 2 3及び 2フレーム遅延 4倍速映像信号 S 2 4の相関が高く、 4倍速映像信 号 S 2 3がフィルム素材であると判定する。 そしてフィルム検出回路 2 6は、 こ の判定結果に応じて選択スィツチ 2 7を制御する。
すなわちフィルム検出回路 2 6は、 4倍速映像信号 S 2 3がフィルム素材では ないと判定した場合、 選択スィッチ 2 7を端子 2 7 A側に切替え、 参照映像信号 としての 2フレーム遅延 4倍速映像信号 S 2 4を、 画像逆シフト回路 2 8及び動 きべク トル検出回路 2 5に入力する。 動きベク トル検出回路 25は、 現フィールド （現画面） としての 4フレーム遅 延 4倍速映像信号 S 25のフィールドと、 参照フィールド （参照画面） としての 2フレーム遅延 4倍速映像信号 S 24のフィ一ルドとの間の、 2フレーム間 （4 フィールド） の画像の動きべク トルを各画素単位又はブロック単位で順次検出す る。 '
すなわち図 1 7 (A) に示すように、 現フィ一ルドとしてのフィールド 1 a ( 4フレーム遅延 4倍速映像信号 S 25 ) と、 その 2フレーム後の参照フィールド としてのフィールド l b ( 2フレーム遅延 4倍速映像信号 S 24 ) との間の所定 の画素またはプロックにおける動きべクトルは Aとなり、 現フィールドとしての フィールド 1 bと、 その 2フレーム後の参照フィールドとしてのフィ.一ルド 2 a との間の所定の画素またはプロックにおける動きべクトルは Bとなる。 動きべク トル検出回路 25は、 このようにして検出した各画素単位又はブロック単位のフ レーム間の動きべク トルを、 動きベクトル情報 D 2 1として画像シフト回路 24 及び画像逆シフ ト回路 28に供給する。 また画像シフト回路 24及び画像逆シフ ト回路 28には、 図示しないフィールド検出回路から、 フィールド単位の補正夕 ィミング制御信号 D 22が供給される。
画像移動手段としての画像シフト回路 24及び画像逆シフト回路 28は、 動き べクトル情報 D 2 1及び補正夕ィミング制御信号 D 22に従い、 それぞれ 4フレ ーム遅延 4倍速映像信号 S 25及び参照映像信号としての 2フレーム遅延 4倍速 映像信号 S 24の動きが検出された各画素を、 検出した動きべク トルに応じてシ フ卜する。
すなわち図 1 7 (B) に示すように、 画像シフト回路 24は、 現フィールドと しての 4フレーム遅延 4倍速映像信号 S 25のフィールド l a '、 l a ' '及び l a ' ' 'の動きが検出された各画素を、 それぞれ 1/4 xA、 2/4 X A及び 3/4 XAだけシフトし、 後段の平均化処理部 9に供給する。 また画像逆シフ ト 回路 28は、 参照フィールドとしての 2フレーム遅延 4倍速映像信号 S 24のフ ィ一ルド l b '、 l b ' '及び l b ' ' 'の動きが検出された各画素を、 それそ れー 3/4xA、 一 2/4 x A及び一 1/4 x Aだけシフトし、 後段の平均化処 理部 29に供給する。
このようにして画像シフト回路 24及び画像逆シフト回路 28は、 それぞれ現 フィールドとしての 4フレーム遅延 4倍速映像信号 S 25及び参照フィ一ルドと しての 2フレーム遅延 4倍速映像信号 S 23の画素を動きべク トル情報 D 21に 応じて、 時間経過に従って順次シフトして平均化処理部 29に供給する。
補正手段としての平均化処理部 29の第 1の重み付け部 30は、 図 17 (B) に示すように、 4フレーム遅延 4倍速映像信号 S 25のフィ一ルド 1 a、 l a ' 、 l a ' '及び l a ' ' ' の各画素の画素データを 1/2に重み付けして信号合 成器 32に供給する。 また第 2の重み付け部 31は、 2フレーム遅延 4倍速映像 信号 S 24のフィールド 1 b、 1 b '、 l b ' '及び 1 b ' ' 'の各画素の画素 データを 1/2に重み付けして信号合成器 32に供給する。
このようにして第 1の重み付け部 30及び第 2の重み付け部 31は、 それそれ 現フィールドとしての 4フレーム遅延 4倍速映像信号 S 25及び参照フィールド としての 2フレーム遅延 4倍速映像信号 S 24の画素の画素デ一夕を 1/2に重 み付けし、 信号合成器 32に供給する。
信号合成器 32は、 4フレーム遅延 4倍速映像信号 S 25と 2フレーム遅延 4 倍速映像信号 S 24とを合成し、 これを補正 4倍速映像信号 S 26として図示し ない CRTに出力する。
すなわち図 17 (B) に示すように、 信号合成器 32は、 重み付け後の 4フレ —ム遅延 4倍速映像信号 S 25及び 2フレーム遅延 4倍速映像信号 S 24を合成 することにより、 シフト後のフィ一ルド 1 a '及びその 2フレーム後のフィール ド 1 b ' の画素デ一夕の平均を動き補正後の新たなフィールド 1 a ' とし、 シフ ト後のフィールド l a ' '及びその 2フレーム後のフィ一ルド 1 b ' 'の画素デ —夕の平均を動き補正後の新たなフィールド 1 a ' ' とし、 シフ ト後のフィール ド l a ' ' '及びその 2フレーム後のフィールド 1 b ' ' ' の画素デ一夕の平均 を動き補正後の新たなフィールド 1 a ' ' ' とする。 かく して動き補正装置 2 1は、 動きべク トル検出回路 2 5で検出した 2フレー ム間の動きべク トルを用いて、 現フィールドとその 2フレーム後の参照フィール ドとをそれぞれ逆方向にシフ トした後重み付けして合成することにより、 4倍速 映像信号における連続するフィ一ルド間の画像の動きをスムーズに補正すること ができる。 なお、 4倍速映像信号 S 2 3がフィルム素材である場合の処理につい ての説明は省略する。
以上は 4倍速映像信号に対して動き補正を行う場合について述べたが、 同様に して N倍速映像信号に対する動き補正を行うことができる。 すなわち動き補正装 置 2 1の動きベクトル検出回路 2 5は、 N倍速変換処理によって元画面 （すなわ ちフィールド l a、 l b、 …… ) から新たに生成され次の元画面との間に挿入さ れた N— 1,個の補間画面 （すなわちフィ一ルド l a '〜； L a ' ' '、 l b '〜； L b ' ' '、 …… ) を動き補正する際、 当該 N— 1個の補間画面の生成元である元 画面とその一つ後の元画面 （以下これを参照画面と呼ぶ） との間の動きベク トル を検出する。
画像移動手段としての画像シフ ト回路 2 4は m番目の補間画面 （ l≤m ^ N— 1 ) を動きベクトルの m/Nだけ移動させ、 画像逆シフ ト回路 2 8は m + N番目 の補間画面を動きベク トルの一 （N— m) /Nだけ移動させる。 これは、 補間画 面を移動させる際の比率 「m/N」 が、 元画面〜補間画面までの時間/元画面〜 参照画面までの時間」 に比例し、 参照画面を移動させる際の比率 「 （N— m) / N」 が 「補間画面〜参照画面までの時間/元画面〜参照画面までの時間」 に比例 することから、 元画面から補間画面までの時間に比例した比率で当該補間画面を 移動させるとともに、 補間画面から参照画面までの時間に比例した比率で当該参 照画像を逆方向に移動させることに対応する。 .
そして補正手段としての平均化処理部 2 9は、 移動後の m番目の補間画像及び m + N番目の補間画像の各画素の画素データをそれそれ 1 / 2ずつ重み付けして 重ね合わせたものを、 動き補正後の m番目の補間画像とする。
以上の構成によれば、 N倍速映像信号のフィールド間の動きを滑らかに補正す ることができる。 なお、 動きベクトルの検出は N画面離れた任意の補間画面間で 行うこともできるが、 当該補間画面は元画面から N倍速変換処理によって生成さ れたものであるから、 元画面と参照画面との間で検出した動きべク トルの方が精 度が高い。 また、 1/2の重み付けに代えて、 検出画素の移動量に反比例した値 で重み付けを行うようにすれば、 N倍速映像信号のフィールド間の動きをさらに 滑らかに補正することができる。
また、 N倍速変換処理によって生成された m番目の補間画面の画素データは元 画面の同じ位置の画素デ一夕に対応しており、 m + N番目の補間画面の画素デ一 夕は参照画面の同じ位置の画素データに対応している。 従って、 m番目 （l≤m ≤N- 1) の補間画面を補正する場合に、 画像シフ ト回路 24により元画面の対 応する画素データの位置を移動させ、 画像逆シフト回路 28により参照画面の対 応する画素データの位置を移動させた信号を平均化処理部 29に供給しても同じ 結果が得られる。
また上述の実施の形態においては、 表示手段として CRTを用いた場合につい て述べたが、 本発明はこれに限らず、 液晶パネル、 プラズマディスプレイパネル 、 有機 EL (E le c t ro Lumine s cence) パネル等の固定画素 のデバイスを表示手段として用いた場合にもフィールド間の動きを滑らかに補正 することができる。
上述のように本発明によれば、 現フィールドの画像と、 その 1フレ一ム又は 2 フレーム後の参照フィ一ルドの画像とを、 検出したフレーム間の動きべクトルに 応じて互いに逆方向に移動した後、 これらを合成して平均化したものを補正後の フィールドの画像とすることにより、 フィ一ルド間の動きを従来に比して一層滑 らかに補正することができる。 ，
また、 画素の移動量に反比例した重み付け平均をすることにより、 連続するフ ィ一ルド間の画像の動きをさらにスムーズに補正することができる。 産業上の利用可能性 本発明は、 テレビジョン装置等の映像表示装置に適用できる

Claims

請 求 の 範 囲
1 . ビデォ信号を倍速変換してなる映像信号における現フィ一ルドの画像情報と 当該現フィールドの 1フレーム後の参照フィ一-ル'ドの画像情報とから、 上記現フ ィ一ルドにおける検出画素と上記参照フィールドにおける検出画素との間の動き べクトルを検出する動きべクトル検出手段と、
上記現フィ一ルドの検出画素を上記動きべク トルの 1 / 2だけ移動させるとと もに、 上記参照フィールドの検出画素を上記動きべク トルの一 1 / 2だけ移動さ せる画像移動手段と、
上記画像移動手段によって移動された上記現フィールドの検出画素の画素デ一 夕と上記参照フィールドの検出画素の画素デ一夕とを重み付けして重ね合わせる ことにより、 上記現フィールドの上記映像信号を動き補正する平均化手段と . を具えることを特徴とする動き補正装置。
2 . 上記平均化手段は、 上記検出画素それぞれに対し、 上記画像移動手段による 移動量に反比例した重み付けをして重ね合わせる
ことを特徴とする請求の範囲第 1項に記載の動き補正装置。
3 . 上記動きベクトル検出手段は、 所定の画素数からなるブロック毎に、 ブロヅ クマッチング法に基づいて上記動きベクトルを検出する
ことを特徴とする請求の範囲第 1項に記載の動き補正装置。
4 . フィルムをテレシネ変換した後倍速変換してなる映像信号における現フィー ルドの画像情報と当該映像信号を 2フレーム遅延してなる参照映像信号における 参照フィールドの画像情報とから、 上記現フィールドにおける検出画素と上記参 照フィールドにおける検出画素との間の動きべクトルを検出する動きべクトル検 出手段と、 上記映像信号における上記現フィールド以降の 3つのフィールドにおける検出 画素を、 それぞれ上記動きベクトルの 1 / 4、 2 / 4及び 3 / 4だけ移動させる とともに、 上記参照映像信号における上記参照フィールド以降の 3つのフィ一ル ドにおける検出画素を、 それぞれ上記動きベク トルの一 3 / 4、 一 2 / 4及び一 1 / 4だけ移動させる画像移動手段と、
上記画像移動手段によって移動された上記現フィールド以降の 3つのフィ一ル ドにおける検出画素の画素データと、 上記参照フィ一ルド以降の 3つのフィール ドにおける検出画素の画素データとをそれぞれ重み付けして重ね合わせることに より、 上記現フィールド以降の 3つのフィールドの上記映像信号を動き補正する 平均化手段と . '
を具えることを特徴とする動き補正装置。
5 . 上記平均化手段は、 上記検出画素それぞれに対し、 上記画像移動手段による 移動量に反比例した重み付け平均を行う
ことを特徴とする請求の範囲第 4項に記載の動き補正装置。
6 . 上記動きベクトル検出手段は、 所定の画素数からなるブロック毎に、 ブロッ クマヅチング法に基づいて上記動きベク トルを検出する
ことを特徴とする請求の範囲第 4項に記載の動き補正装直。
7 . ビデオ信号を倍速変換してなる映像信号における現フィ一ルドの画像情報と 当該現フィールドの 1フレーム後の参照フィ一ルドの画像情報とから、 上記現フ ィ一ルドにおける検出画素と上記参照フィールドにおける検出画素との間の動き べクトルを検出する動きべク トル検出ステップと、
上記現フィ一ルドの検出画素を上記動きべクトルの 1 / 2だけ移動させるとと もに、 上記参照フィールドの検出画素を上記動きべクトルの一 1 / 2だけ移動さ せる画像移動ステップと、 上記画像移動手段によって移動された上記現フィールドの検出画素の画素デー 夕と上記参照フィールドの検出画素の画素データとを重み付けして重ね合わせる ことにより、 上記現フィ一ルドの上記映像信号を動き補正する平均化ステップと を具えることを特徴とする動き補正方法。
8 . 上記平均化ステップは、 上記検出画素それぞれに対し、 上記画像移動ステツ プによる移動量に反比例した重み付け平均を行う '
ことを特徴とする請求の範囲第 7項に記載の動き補正方法。
9 . 上記動きベク トル検出ステップは、 所定の画素数からなるブロック毎に、 ブ 口ックマッチング法に基づいて上記動きべクトルを検出する
ことを特徴とする請求の範囲第 7項に記載の動き補正方法。
1 0 . フィルムをテレシネ変換した後倍速変換してなる映像信号における現フィ —ルドの画像情報と当該映像信号を 2フレーム遅延してなる参照映像信号におけ る参照フィールドの画像情報とから、 上記現フィールドにおける検出画素と上記 参照フィールドにおける検出画素との間の動きべク トルを検出する動きべク トル 検出ステップと、
上記映像信号における上記現フィールド以降の 3つのフィールドにおける検出 画素を、 それぞれ上記動きベクトルの 1 / 4、 2 / 4及び 3 / 4だけ移動させる とともに、 上記参照映像信号における上記参照フィ.ールド以降の 3つのフィール ドにおける検出画素を、 それぞれ上記動きベク トルの— 3 / 4、 一 2 / 4及び一 1 / 4だけ移動させる画像移動ステップと、
上記画像移動手段によって移動された上記現フィールド以降の 3つのフィ一ル ドにおける検出画素の画素データと、 上記参照フィ一ルド以降の 3つのフィール ドにおける検出画素の画素デ一夕とをそれぞれ重み付けして重ね合わせることに より、 上記現フィ一ルド以降の 3つのフィールドの上記映像信号を動き補正する 平均化ステップと
を具えることを特徴とする動き補正方法。
1 1 . 上記平均化ステップは、 上記検出画素それぞれに対し、 上記画像移動手段 による移動量に反比例した重み付け平均を行う
ことを特徴とする請求の範囲第 1 0項に記載の動き補正方法。
1 2 . 上記動きベクトル検出ステヅプは、 所定の画素数からなるブロック毎に、 プロヅクマッチング法に基づいて上記動きべク トルを検出する
ことを特徴とする請求の範囲第 1 0項に記載の動き補正方法。
1 3 . 映像信号の元画面から生成した N— 1個の補間画面を当該元画面とその次 の元画面の間に揷入することにより N倍速変換された N倍速映像信号に対して動 き補正を行う動き補正装置において、
上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報と から、 当該元画面における検出画素と当該参照画面における検出画素との間の動 きべク トルを検出する動きべクトル検出手段と、
上記元画面における検出画素に対応する m番目の補間画面 （ 1 m N— 1 ) の検出画素を上記動きべクトルの m/Nだけ移動させるとともに、 上記参照画面 における検出画素に対応する m + N番目の補間画面の検出画素を上記動きべクト ルの— （N— m) /Nだけ移動させる画像移動手段と、
上記画像移動手段によって移動された上記 m番目の補間画面の検出画素におけ る画素データ及び上記 m + N番目の補間画面の検出画素における画素デ一夕それ それに対して当該画像移動手段による移動量に反比例した値で重み付けをした後 重ね合わせたものを、 動き補正された上記 m番目の補間画面として出力する補正 手段と
を具えることを特徴とする動き補正装置。
1 4 . 映像信号の元画面から生成した N— 1個の補間画面を当該元画面とその次 の元画面の間に挿入することにより N倍速変換された N倍速映像信号に対して動 き補正を行う動き補正方法において、
を行う動き補正方法において、
上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報と から、 当該元画面における検出画素と当該参照画面における検出画素との間の動 きべクトルを検出する動きべクトル検出ステップと、
上記元画面における検出画素に対応する m番目の補間画面 （ 1≤m ^ N— 1 ) の検出画素を上記動きべクトルの m/Nだけ移動させるとともに、 上記参照画面 における検出画素に対応する m + N番目の補間画面の検出画素を上記動きべクト ルのー （N— m) /Nだけ移動させる画像移動ステップと、
上記画像移動ステップによって移動された上記 m番目の補間画面の検出画素に おける画素データ及び上記 m + N番目の補間画面の検出画素における画素デ一夕 それぞれに対して当該画像移動ステップによる移動量に反比例した値で重み付け をした後重ね合わせたものを、 動き補正された上記 m番目の補間画面として出力 する補正ステップと
を具えることを特徴とする動き補正方法。
1 5 . ビデオ信号の元画面とその次の元画面の間に挿入された新たな N— 1個の 補間画面の画像信号の動きを補正する動き補正装置において、
上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報と から、 上記元画面における検出画素と上記参照画面における検出画素との間の動 きべクトルを検出する動きべクトル検出手段と、
m番目 （ l≤m ^ N— l ) の上記補間画面を補正する場合に、 上記元画面の検 出画素に対応する画素データの位置を上記動きべクトルの m/Nだけ移動させる とともに、 上記参照画面の検出画素に対応する画素データの位置を上記動きべク トルの一 （N— m) /Nだけ移動させる画像移動手段と、
上記画像移動手段によって移動された上記元画面の検出画素に対応する画素デ 一夕及び上記参照画面の検出画素に対応する画素データを、 所定の重み付けをし て重ね合わせることにより上記補間画面の画像信号を補正する補正手段と を具えることを特徴とする動き補正装置。 .
1 6 . 上記補正手段は、 上記元画面及び上記参照画面の検出画素に対応する画素 データの位置の移動量に基づき、 上記所定の重み付けをして重ね合わせる ことを特徴とする請求の範囲第 1 5項に記載の動き補正装置。
1 7 . 上記補正手段は、 上記元画面及び上記参照画面の検出画素に対応する画素 データに対し、 上記画像移動手段による移動量に反比例した重み付けを行う ことを特徴とする請求の範囲第 1 6項に記載の動き補正装置。
1 8 . 上記補正手段は、，上記元画面の検出画素に対応する画素デ一夕に対し （N 一 m) /Nの重みで、 上記参照画面の検出画素に対応する画素データに対し m/ Nの重みで重み付けを行う.
• ことを特徴とする請求の範囲第 1 6項に記載の動き補正装置。
1 9 . ビデオ信号の元画面とその次の元画面の間に挿入された新たな N— 1個の 補間画面の画像信号の動きを補正する動き補正方法において、
上記元画面の画像情報と当該元画面の次の元画面でなる参照画面の画像情報と から、 上記元画面における検出画素と上記参照画面における検出画素との間の動 きべクトルを検出する動きべクトル検出ステップと、
m番目 （ l≤m≤N—l ) の上記補間画面を補正する場合に、 上記元画面の検 出画素に対応する画素データの位置を上記動きべクトルの m/Nだけ移動させる とともに、 上記参照画面の検出画素に対応する画素データの位置を上記動きべク トルの一 （N— m) /Nだけ移動させる画像移動ステップと、
上記画像移動ステップによって移動された上記元画面の検出画素に対応する画 素データ及び上記参照画面の検出画素に対応する画素データを、 所定の重み付け をして重ね合わせることにより上記補間画面の画像信号を補正する補正ステップ と
を具えることを特徴とする動き補正方法。
PCT/JP2004/006691 2003-05-16 2004-05-12 動き補正装置及び方法 WO2004102963A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/521,304 US7425990B2 (en) 2003-05-16 2004-05-12 Motion correction device and method
JP2005506221A JP4565339B2 (ja) 2003-05-16 2004-05-12 動き補正装置及び方法
EP04732474A EP1513344A4 (en) 2003-05-16 2004-05-12 DEVICE AND METHOD FOR MOTION CORRECTION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003139124 2003-05-16
JP2003-139124 2003-05-16

Publications (1)

Publication Number Publication Date
WO2004102963A1 true WO2004102963A1 (ja) 2004-11-25

Family

ID=33447323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/006691 WO2004102963A1 (ja) 2003-05-16 2004-05-12 動き補正装置及び方法

Country Status (7)

Country Link
US (1) US7425990B2 (ja)
EP (1) EP1513344A4 (ja)
JP (1) JP4565339B2 (ja)
KR (1) KR101016493B1 (ja)
CN (1) CN100401763C (ja)
TW (1) TWI246332B (ja)
WO (1) WO2004102963A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041538A (ja) * 2008-08-07 2010-02-18 Sony Corp 画像信号処理装置および方法
JP2010056694A (ja) * 2008-08-26 2010-03-11 Sony Corp 映像信号処理装置、画像表示装置および映像信号処理方法
JP2011154587A (ja) * 2010-01-28 2011-08-11 Toshiba Corp 映像信号処理装置及び映像信号処理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
AU2003201136A1 (en) * 2002-02-06 2003-09-02 Koninklijke Philips Electronics N.V. Unit for and method of segmentation
JP4371950B2 (ja) * 2004-08-24 2009-11-25 キヤノン株式会社 撮像装置及び信号処理装置
US8115726B2 (en) * 2007-10-26 2012-02-14 Hewlett-Packard Development Company, L.P. Liquid crystal display image presentation
JP4374057B2 (ja) * 2008-02-29 2009-12-02 株式会社東芝 映像信号処理装置及び処理方法
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
CN102811332B (zh) * 2011-05-31 2015-04-15 Jvc建伍株式会社 影像信号处理装置以及方法
CN102629460B (zh) * 2011-10-27 2014-05-07 北京京东方光电科技有限公司 液晶显示器帧频控制方法和装置
CN112565753B (zh) * 2020-12-06 2022-08-16 浙江大华技术股份有限公司 运动矢量差的确定方法和装置、存储介质及电子装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62213392A (ja) * 1986-03-08 1987-09-19 ア−・エヌ・テ−・ナツハリヒテンテヒニ−ク・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング フイ−ルド補間方法
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
JPH06500910A (ja) * 1991-06-27 1994-01-27 トムソン　コンシュメ　エレクトロニクス 動画像のシーケンスのタイミングの変換方法
JPH0884293A (ja) * 1994-03-30 1996-03-26 Thomson Consumer Electron Sa 変換アーチファクトの減少方法及び装置
EP0735746A1 (en) 1995-03-31 1996-10-02 THOMSON multimedia S.A. Method and apparatus for motion compensated frame rate upconversion
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
EP0874523A1 (en) 1997-04-24 1998-10-28 STMicroelectronics S.r.l. Method for motion estimated and compensated Field Rate-Up-conversion (FRU) for video apllications, and device for actuating such method
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
WO2001077871A1 (en) 2000-04-07 2001-10-18 Demografx Enhanced temporal and resolution layering in advanced television

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0675643B1 (en) 1994-03-30 1999-07-21 THOMSON multimedia Method and apparatus for reducing conversion artefacts
DE69506076T2 (de) * 1994-04-05 1999-06-10 Koninklijke Philips Electronics N.V., Eindhoven Umsetzung einer zeilensprung-abtastung in eine sequentielle abtastung
JP4083265B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
US6532265B1 (en) * 1999-03-25 2003-03-11 Imec Vzw Method and system for video compression
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
US7221043B1 (en) * 2000-10-20 2007-05-22 Silverbrook Research Pty Ltd Integrated circuit carrier with recesses
US7116372B2 (en) * 2000-10-20 2006-10-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for deinterlacing
JP3855761B2 (ja) * 2001-10-09 2006-12-13 ソニー株式会社 画像信号処理装置及び方法
US7110612B1 (en) * 2001-10-11 2006-09-19 Pixelworks, Inc. Weighted absolute difference based noise reduction method and apparatus
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP4090764B2 (ja) * 2002-03-18 2008-05-28 パイオニア株式会社 映像信号処理装置
US7154556B1 (en) * 2002-03-21 2006-12-26 Pixelworks, Inc. Weighted absolute difference based deinterlace method and apparatus
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
KR100553893B1 (ko) * 2003-10-14 2006-02-24 삼성전자주식회사 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62213392A (ja) * 1986-03-08 1987-09-19 ア−・エヌ・テ−・ナツハリヒテンテヒニ−ク・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング フイ−ルド補間方法
JPH06500910A (ja) * 1991-06-27 1994-01-27 トムソン　コンシュメ　エレクトロニクス 動画像のシーケンスのタイミングの変換方法
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
JPH0884293A (ja) * 1994-03-30 1996-03-26 Thomson Consumer Electron Sa 変換アーチファクトの減少方法及び装置
EP0735746A1 (en) 1995-03-31 1996-10-02 THOMSON multimedia S.A. Method and apparatus for motion compensated frame rate upconversion
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
EP0874523A1 (en) 1997-04-24 1998-10-28 STMicroelectronics S.r.l. Method for motion estimated and compensated Field Rate-Up-conversion (FRU) for video apllications, and device for actuating such method
JPH11168703A (ja) * 1997-04-24 1999-06-22 St Microelectron Srl ビデオ用動き予測兼補償フィールドレートアップ変換方法およびこの方法を作動させる装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
WO2001077871A1 (en) 2000-04-07 2001-10-18 Demografx Enhanced temporal and resolution layering in advanced television

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DE HAAN G ET AL., IC FOR MOTION-COMPENSATED 100HZ TV WITH NATURAL-MOTION MOVIE MODE, vol. 42, no. 2, 1 May 1996 (1996-05-01), pages 165 - 174
MASAHIKO ACHIHA ET AL.: "Motion-adaptive Enhanced Decoder and Up-converter for PAL Signals", BROADCAST SESSIONS. MONTREUX, JUNE 13-18, 1991; [PROCEEDINGS OF THE INTERNATIONAL TELEVISION SYMPOSIUM AND TECHNICAL EXHIBITION}, GENEVA, CCITT, CH, 13 June 1991 (1991-06-13), pages 197 - 208, XP000268889
PELE D ET AL.: "Signal Processing of HDTV, L'Aquila, Feb 29 - Mar 2, 1988; [Proceedings of the International Workshop on Signal Processing of HDTV]", vol. 2, 29 February 1988, ELSEVIER, article "Field-Rate Conversion by Motion Estimation/Compensation", pages: 319 - 328
See also references of EP1513344A4
SOMMER P: "ITG Fachberichte", 29 September 1997, VDE VERLAG, article "100Hz-Upconversion MPEG-2 Codierter Bildsignale Unter Einbeziehung Einer Globalen Bewegungsschaetzung", pages: 227 - 234

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041538A (ja) * 2008-08-07 2010-02-18 Sony Corp 画像信号処理装置および方法
JP4513913B2 (ja) * 2008-08-07 2010-07-28 ソニー株式会社 画像信号処理装置および方法
JP2010056694A (ja) * 2008-08-26 2010-03-11 Sony Corp 映像信号処理装置、画像表示装置および映像信号処理方法
JP4626779B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 映像信号処理装置、画像表示装置および映像信号処理方法
US8582029B2 (en) 2008-08-26 2013-11-12 Sony Corporation Picture signal processing unit, image display unit, and picture signal processing method
JP2011154587A (ja) * 2010-01-28 2011-08-11 Toshiba Corp 映像信号処理装置及び映像信号処理方法

Also Published As

Publication number Publication date
US20050264692A1 (en) 2005-12-01
KR20060008271A (ko) 2006-01-26
TW200501748A (en) 2005-01-01
TWI246332B (en) 2005-12-21
JPWO2004102963A1 (ja) 2006-07-20
KR101016493B1 (ko) 2011-02-24
CN100401763C (zh) 2008-07-09
US7425990B2 (en) 2008-09-16
EP1513344A1 (en) 2005-03-09
CN1698373A (zh) 2005-11-16
JP4565339B2 (ja) 2010-10-20
EP1513344A4 (en) 2009-10-28

Similar Documents

Publication Publication Date Title
JP4513913B2 (ja) 画像信号処理装置および方法
JP4396496B2 (ja) フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
JP5177828B2 (ja) 画像レート変換方法及び画像レート変換装置
JP4933209B2 (ja) 映像処理装置
WO2004102963A1 (ja) 動き補正装置及び方法
US6522339B1 (en) Resolution conversion method and device
JP3596521B2 (ja) 画像信号処理装置及び方法
US7239353B2 (en) Image format conversion apparatus and method
JP3596520B2 (ja) 画像信号処理装置及び方法
JP3596519B2 (ja) 画像信号処理装置及び方法
JP4090764B2 (ja) 映像信号処理装置
JP2009159300A (ja) 順次走査変換装置および順次走査変換方法並びに映像表示装置
JP4339237B2 (ja) 順次走査変換装置
JP2009135847A (ja) 映像処理装置及びフレームレート変換方法
JP5114274B2 (ja) テレビジョン受信機及びそのフレームレート変換方法
JP5077037B2 (ja) 画像処理装置
JP2003289511A (ja) 画像走査変換方法及び装置
JP2007288483A (ja) 画像変換装置
JP2006229269A (ja) 走査線補間装置
JP2007104652A (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
JP2012227799A (ja) 画像表示装置
JP2001272962A (ja) 画像表示装置
JP2012182691A (ja) 画像変換装置
JP2004173182A (ja) 画像表示装置及び走査線変換表示方法
JP2004274124A (ja) 画像処理装置および方法、記録媒体、プログラム、並びに表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005506221

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2004732474

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020057000771

Country of ref document: KR

Ref document number: 10521304

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20048004971

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2004732474

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020057000771

Country of ref document: KR