WO1999067952A1 - Method and device for converting number of frames of image signals - Google Patents

Method and device for converting number of frames of image signals Download PDF

Info

Publication number
WO1999067952A1
WO1999067952A1 PCT/JP1998/002848 JP9802848W WO9967952A1 WO 1999067952 A1 WO1999067952 A1 WO 1999067952A1 JP 9802848 W JP9802848 W JP 9802848W WO 9967952 A1 WO9967952 A1 WO 9967952A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
motion
signal
block
frame
Prior art date
Application number
PCT/JP1998/002848
Other languages
English (en)
French (fr)
Inventor
Yasuhiro Hirano
Kazuo Ishikura
Masato Sugiyama
Mitsuo Nakajima
Yasutaka Tsuru
Takaaki Matono
Haruki Takata
Takashi Kanehachi
Original Assignee
Hitachi, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi, Ltd. filed Critical Hitachi, Ltd.
Priority to JP2000556504A priority Critical patent/JP4119092B2/ja
Priority to PCT/JP1998/002848 priority patent/WO1999067952A1/ja
Priority to US09/720,327 priority patent/US6611294B1/en
Priority to EP98929690A priority patent/EP1104970B1/en
Priority to DE69841059T priority patent/DE69841059D1/de
Publication of WO1999067952A1 publication Critical patent/WO1999067952A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof

Definitions

  • the present invention relates to a method and an apparatus for converting the number of frames of an image signal, and more particularly to a method and an apparatus for converting the number of frames of an image signal suitable for converting the number of frames of an image signal by motion compensation signal processing.
  • a television receiver also needs a function of displaying various signals having different image formats, such as various types of television signals and PC image signals.
  • a function for displaying images by progressive scanning is required as a function for high image quality and flat display: To realize these functions, the number of frames required to convert various input signals into the format of the image display unit is required. Conversion and signal processing for progressive scanning are required.
  • a motion compensation type frame number conversion method is known.
  • the position of the image of the previous and next frames is moved by the motion vector, and the signal of the inner frame is generated.
  • Many proposals have been made regarding this signal processing method and configuration.
  • Japanese Patent Application Laid-Open No. 7-170496 discloses a technique for efficiently searching for a motion vector.
  • Japanese Patent Application Laid-Open No. There is disclosed a technique for avoiding deterioration such as resolution reduction at the periphery of a moving image processing edge which is inherently unique.
  • the former has a problem in the accuracy of motion detection, and the latter has a problem in the complexity of signal processing. This is a major problem in realizing the equipment.
  • an object of the present invention is to provide a method and an apparatus for converting the number of motion-compensated frames of an image signal, which can realize the signal processing of the frame number conversion of the image signal with high quality and low cost.
  • a motion of an image signal is detected, a motion vector in a block is searched, and a motion correction in a block is performed according to a magnitude of an error component.
  • a motion vector selected based on the error component between the motion compensation signal of the current frame and the previous frame by the corrected motion vector is generated as a pixel-based motion vector, and the pixel-based motion vector is corrected.
  • a motion-compensated interpolation frame signal is generated according to the magnitude of the error component between the motion compensation signal of the current frame and the previous frame due to the vector, and the number of frames of the image signal is converted using this.
  • the frame number conversion device includes a block unit motion vector search unit that detects a motion vector required for motion compensation signal processing as a block unit motion vector, and a block unit motion vector.
  • Motion vector correction section that corrects the block-based motion vector according to the magnitude of the motion correction error component of the current frame, and the error component of the motion correction signal of the current frame and the previous frame by the corrected motion vector.
  • Pixel-by-pixel motion vector generation unit that generates the motion vector selected in step 1 as a pixel-based motion vector, and a pixel-by-pixel motion vector
  • a motion-compensation-internal-frame-signal generation unit that generates a motion-compensation-interpolated frame signal in accordance with the magnitude of the error component between the current frame and the previous frame.
  • the following technical means are used.
  • the following block-based motion vector search, motion vector correction, and pixel-based motion vector search are performed to greatly reduce the amount of computation.
  • Adopting three-stage signal processing of vector generation-First in block-based motion vector search, a block that does not detect motion in the frame difference signal (hereinafter abbreviated as a static block) and a block that detects motion (hereinafter a motion block) Performs pre-processing for sorting into video blocks, and performs search processing only on video blocks using one of the following three types.
  • Reference vector search processing The motion vector of the block adjacent to the current block is set as the reference vector. If this prediction error component is minimum and less than the threshold, the vicinity of this motion vector is determined. Block matching processing detects motion vectors in block units.
  • Motion vector distribution adaptive search processing When the prediction error component of the reference vector is equal to or greater than the threshold, a search mode (mode) determined according to the form of the frequency of occurrence of the motion vector in the previous frame. The search vector and the arrangement of the representative motion vectors differ depending on the command), and block matching processing is performed to detect the motion vector in block units.
  • mode search mode
  • Transform vector search The motion vector of one frame generated by the vector transform is used as the reference motion vector based on the motion vector information used in image coding, and the prediction error component is Is detected as the motion vector in block units.
  • the detected motion vector of the block unit is detected.
  • the motion vector of the current block and the motion vector of the adjacent block that has the smallest prediction error component is determined as the mini-block. Modify the mini-block split search as a motion vector.
  • the absolute value difference component between the motion-compensated current frame signal and the previous frame signal is the smallest among the motion vectors of the current block and the blocks adjacent thereto. Is generated as a motion vector of pixels.
  • a highly accurate motion vector can be detected with a calculation amount reduced by about 2 to 3 digits compared to the full search.
  • an interpolated frame signal for motion compensation is generated by a median filter that selects the one with the smallest motion compensation error among multiple types of interpolated signals. I do.
  • a motion-corrected frame signal generated by moving the position of the image of the previous frame by the motion correction vector and a motion-corrected current frame signal generated by moving the position of the image of the current frame by the motion correction vector.
  • the error evaluation function is the smallest among the motion-compensated frame signal, the motion-compensated current frame signal, the previous frame signal, the current frame signal, and the linear interpolation signal with the previous and current frame signals. Select and output ones.
  • the mode of occurrence frequency of the motion vector detected in the motion vector search is measured, and a frame including an image with a speed at which the motion judder is more conspicuous is detected, and the frame is limited to the detected frame. Then, a motion speed adaptive motion correction process for generating a signal of the motion correction interpolation frame is performed.
  • the image quality degradation inherent in the motion correction processing isolated point degradation in which a part of an image is replaced with an inappropriate image, and an edge portion of a moving image
  • the motion vector search processing and the motion correction interpolation frame signal generation processing are stopped. As a result, it is possible to suppress the generation of an enormous amount of operation in searching for a motion vector occurring in the scene change area.
  • the information home appliance further comprises: an input unit for inputting an image signal; and searching for a block-based motion vector by detecting a motion of the image signal, and correcting a motion of the block-based motion vector.
  • the motion vector is corrected according to the magnitude of the error component, and the motion vector selected based on the error component of the motion compensation signal of the current frame and the previous frame by the corrected motion vector is moved in pixel units.
  • the number of frames of the image signal is generated by generating a motion-compensated interpolation frame signal according to the magnitude of the error component between the motion compensation signal of the current frame and the motion compensation signal of the previous frame by the pixel-based motion vector.
  • a display unit for displaying an output of the frame number conversion unit for the image signal.
  • FIG. 1 is a block diagram of a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of a motion detection unit.
  • FIG. 3 is a diagram showing an example of a configuration of a block-based motion vector search unit.
  • FIG. 4 is a signal processing flowchart of the block-based motion vector search unit.
  • FIG. 5 is a diagram showing an example of a motion vector area of a reference block.
  • Fig. 6 (a) is a diagram showing the area for measuring the motion vector occurrence frequency.
  • Fig. 6 (b) shows an example of search mode setting conditions and characteristics of search processing.
  • FIG. 7 is a diagram showing an example of the arrangement of the representative point motion vectors.
  • FIG. 8 is a diagram showing a configuration example of a motion vector correction unit.
  • FIG. 9 is a signal processing flowchart of the motion vector correction unit.
  • FIG. 10 is a diagram showing an outline of the operation of mini-block division and motion vector correction.
  • FIG. 11 is a diagram showing an example of the configuration of a pixel-based motion vector generator.
  • FIG. 12 is a signal processing flowchart of the pixel-based motion vector generator.
  • FIG. 13 (a) is a diagram showing an operation of generating an MC vector
  • FIG. 13 (b) is a diagram schematically showing an operation of generating a motion correction signal.
  • FIG. 14 is a diagram showing a configuration example of an MC interpolation frame signal generation unit.
  • T FIG. 15 is a diagram showing a configuration example of a median filter unit.
  • FIG. 16 (a) is a diagram showing a relationship between a reference pixel and a symmetric pixel
  • FIG. 16 (b) is a diagram showing an outline of an operation of a determination unit.
  • FIG. 17 is a block diagram of a second embodiment of the present invention.
  • FIG. 18 is a diagram showing a configuration example of a scene change detection unit.
  • FIG. 19 is a block diagram of a third embodiment of the present invention.
  • FIG. 20 is a block diagram of a fourth embodiment of the present invention.
  • FIG. 21 is a diagram showing an example of the configuration of a block unit motion vector conversion unit.
  • FIGS. 22 (a) to (c) are diagrams schematically showing the operation of the vector conversion unit.
  • FIG. 23 is a block diagram of a fifth embodiment of the present invention.
  • FIG. 24 is a block diagram of a block according to a sixth embodiment of the present invention.
  • FIG. 25 is a block diagram of a first embodiment in which the present invention is applied to a television receiver.
  • FIG. 26 is a block diagram of a second embodiment in which the present invention is applied to a television receiver.
  • FIG. 1 is a block diagram of the first embodiment.
  • the frame number conversion device includes an IP conversion unit 1, a one-frame delay unit 2, a motion detection unit 3, a block-based motion vector search unit 4, and a motion vector conversion unit. It comprises a vector correction unit 5, a pixel-based motion vector generation unit 6, an MC interpolation frame signal generation unit 7, and a control unit 8.
  • the input image signal S 1 of the interlaced scanning (the luminance signal component and the color difference signal component) is input to the IP conversion unit 1, where the signal processing of the interlaced to sequential scanning conversion is performed, and the sequential scanning signal sequence S 2 (the luminance signal component And a color difference signal component).
  • the one-frame delay unit 2 delays the image signal by one frame period, and obtains a signal sequence S3 of the previous frame from this output.
  • the motion detection unit 3 extracts a difference signal between one frame by subtracting the luminance signal component of the signal sequence S 2 of the current frame and the signal sequence S 3 of the previous frame, This is quantized, and the motion detection signals MD 1 and MD 2 are output to the control unit 8.
  • the block-by-block motion vector search unit 4 detects a motion vector in block units (for example, 16 pixels ⁇ 16 lines or 8 pixels ⁇ 8 lines). That is, a block in which the motion detection signal MD1 of the control signal CT1 of the control unit 8 is 0 is determined to be a stationary block, and 0 is output to the block-unit motion vector BMV. On the other hand, the block whose MD 1 is 1 is determined to be a moving image block, and the reference vector search processing or the motion vector described above is performed on the luminance signal components of the signals S 2 and S 3, or the luminance signal component and the color difference signal component. Performs a torque distribution adaptation search process and detects a block-by-block motion vector BMV.
  • a motion vector in block units for example, 16 pixels ⁇ 16 lines or 8 pixels ⁇ 8 lines. That is, a block in which the motion detection signal MD1 of the control signal CT1 of the control unit 8 is 0 is determined to be a stationary block, and 0 is output to the block-unit motion vector B
  • the motion vector correction unit 5 generates a mini-block (for example, two pixels) by dividing a block into blocks in which a luminance signal component or a prediction error component between a luminance signal component and a chrominance signal component is equal to or more than ⁇ value. For each X2 line), the motion vector of the current block and the adjacent block with the smallest prediction error component is modified to the mini-block motion vector, and the mini-block division search is modified. Generate Tor BV.
  • the pixel-by-pixel motion vector generation unit 6 generates a luminance signal component or a luminance signal component of the signal of the current frame and the previous frame subjected to the motion correction processing among the motion vectors of the current block and the adjacent blocks. And the absolute value of the color difference signal component The one with the smallest difference component is generated as the pixel motion vector PV.
  • Motion compensation (MC) Interpolated frame signal generation unit 7 has a median filter configuration and selects the one with the smallest motion compensation error from among multiple types of interpolated signals generated based on pixel-based motion vector PV
  • the image signal sequence S 4 (luminance signal component and chrominance signal component) of the progressive scanning is output and the frame frequency is increased by the motion compensation frame number conversion process.
  • the control unit 8 generates control signals CT1 to CT4 necessary for the above operation, Output to each part.
  • FIG. 2 is a diagram showing an example of the configuration of the motion detection unit 3.
  • a subtraction unit 9 performs a subtraction operation on the luminance signal components of the signal sequence S2 of the current frame and the signal sequence S3 of the previous frame, and extracts a difference signal component FD between one frame.
  • the binary quantizer 1 0—1 determines that the signal is stationary, and if it exceeds Sat Tha, it determines that the signal is motion. Outputs a value signal.
  • the static / moving block determining unit 11 detects the presence or absence of a binary signal 1 in block units. For example, when all are 0, the block is determined to be a stationary block, and the motion detecting signal MD 1 is 0, and At this time, it is judged as a video block and 1 is output.
  • the binary quantization unit 10-2 determines 0 as a still image, and otherwise judges as a moving image, and outputs a motion detection signal M D2 of 1.
  • FIG. 3 is a diagram showing an example of a configuration of the block unit motion vector search unit 4.
  • the block unit motion vector search unit 4 includes a representative vector generation unit 12, a block matching search unit 13, and an occurrence frequency measurement unit 14.
  • Fig. 4 is the signal processing flowchart.
  • a stationary block whose motion detection signal MD1 is 0 does not perform the motion vector search operation, and outputs 0 to the block unit motion vector BMV. Then, only the motion block whose motion detection signal MD1 is 1 0
  • the signal processing in the second step of the moving image block is performed by the representative vector generation unit 12 in FIG.
  • the one having the smallest prediction error component is output as the representative motion vector BRF.
  • a reference block as shown in Fig. 5, a block Bu immediately above the current block for which a motion vector search has already been completed, and blocks Bu 1 and Bur before and after the current block are used.
  • the vectors Vu, Vu1, Vur the one with the smallest prediction error is the representative motion vector BRF.
  • the signal processing of the third step of the moving image block is performed by the block matching search unit 13 in FIG.
  • the prediction error component of the representative motion vector BRF is less than the gamut value (for example, 8 levels / pixel)
  • the reference vector search processing is performed.
  • the search area determined by the search mode information MOD is subjected to a full search or a motion vector distribution adaptive search process of a representative point search to detect a block unit motion vector BMV.
  • FIG. 6 is a diagram showing an example of a motion vector occurrence frequency and a search mode setting.
  • Fig. 6 (a) shows the area for measuring the motion vector occurrence frequency.
  • the horizontal axis of the figure is the absolute value abs (vx) of the X direction component of the motion vector, and the vertical axis is the absolute value ab of the y direction component.
  • Fig. 6 (b) shows the setting conditions of the search mode and an example of the characteristics of the search processing.
  • the search mode of MOD3 is a motion vector of a representative point array consisting of dense areas for a search area of ⁇ 12 pixels horizontally and ⁇ 6 lines vertically when the sum of the frequency of occurrence of areas A and B is 95% or more. Search based on
  • the search mode of MOD 5 is a case where the frequency of occurrence of the areas A, B, C and D is 95% or more, and the search area of horizontal ⁇ 24 pixels and vertical ⁇ 12 lines consists of dense areas and coarse areas.
  • Searching based on the motion vector of the double representative point array Fig. 7 shows an example of the array of the representative point motion vectors.
  • the vicinity of the origin is a dense area (for example, the representative point interval is 2 pixels in the horizontal direction, 2 lines in the vertical direction), and the periphery is a coarse area (for example, the representative point interval is 4 pixels in the horizontal direction, 4 lines in the vertical direction).
  • a representative point array consisting of only a dense area and a double representative point array consisting of a dense area and a coarse area are selectively used according to the search mode to reduce the amount of computation in signal processing.
  • Aim That is, first, the representative point array or Two
  • Detects the motion vector with the smallest prediction error component among the motion vectors of the double representative point array, and the X component is within the range of DX (e.g., DX 2) starting from the detected motion vector.
  • the occurrence frequency measurement unit 14 measures the occurrence frequency of the motion vector in one frame period by using the measurement period information FM, and searches according to the distribution form of the occurrence frequency as described above.
  • Mode information Set MOD is the measurement period information FM.
  • the search for a block-based motion vector can be limited to a video block, and the reference vector search or the motion vector distribution adaptive search is performed.
  • the amount of signal processing required can be reduced by one or two digits.
  • FIG. 8 is a diagram showing an example of the configuration of the motion vector correction unit 5.
  • the correction error calculator 15 performs the first step of the signal processing flowchart shown in FIG. That is, for the luminance signal components of the signal S2 of the current frame and the signal S3 of the previous frame, a prediction error based on the previously detected block unit motion vector BMV is calculated. And the value of this error is Blocks with less than three-level TH (for example, 8-level pixels) output 0 to the signal PMB, and blocks with more than TH-level output 1.
  • the correction control unit 19 generates the control signals PC1 and PC2 necessary for the signal processing of the second step in FIG. 9 based on the signal PMB and the control signal CT2.
  • the reference motion vector generation unit 16 and the correction error calculation units 17-1,..., 17-N perform processing when the value is equal to or larger than the threshold value of the second step in FIG.
  • a modified motion vector is generated by the miniblock division search process using the motion vector of the reference block and the reference block.
  • the reference motion vector generation unit 16 outputs the motion vectors VO, Vul,..., Vdr of the current block and the corresponding adjacent blocks.
  • the correction error calculators 17-1,..., 17—N calculate the prediction errors ERO, ER1,..., ERN for each mini-block by the operation shown in the following equation 1. This calculation is performed on either the luminance signal component of the signal S2 of the current frame and the signal S3 of the previous frame, or the luminance signal component and the color difference signal component.
  • Equation 1 S 2 (x, y) is the signal of the current frame and S 3 (V i) is the motion Ab s ⁇ is the absolute value, ⁇ is the sum of the pixels in the mini-block, V i X is the X component of the motion vector V i, and V iy is the signal of the previous frame whose position has been moved by the vector V i. This is the y component.
  • the selection unit 18 outputs the motion vector BMV of the current block to the corrected motion vector BV for the mini-block in the block for the block in which the control signal PC2 is less than the threshold value.
  • the motion vector that takes the minimum value of the prediction errors ERO, ER1, ' ⁇ ⁇ , and ERN for each mini-block is output to the corrected motion vector BV.
  • FIG. 11 is a diagram showing an example of the configuration of the pixel-based motion vector generator 6.
  • the pixel motion vector generation control unit 23 performs necessary operations for the first and second steps of the signal processing flowchart shown in FIG. 12 based on the control signal CT3 and the corrected motion vector BV. Performs various control processes. First, the prediction error component is calculated for each block using the modified motion vector. If this is less than the threshold value TH (for example, 8 levels / pixel), the corrected motion vector BV is output as it is as a pixel-based motion vector PV.
  • the threshold value TH for example, 8 levels / pixel
  • the MC vector V ct necessary for generating an interpolated frame signal for motion compensation is obtained from the corrected motion vector of the current block and adjacent block shown in Fig. 10. And output Vpr. Then, the current frame motion compensation signal generation unit 20 generates a motion compensation signal Sct in which the position of the signal S2 of the current frame is shifted by the MC vector Vct. In addition, the previous frame motion correction signal generation unit 21 generates a motion correction signal Spr obtained by moving the position of the signal S3 of the previous frame by the MC vector Vpr.
  • FIG. 13 is a diagram showing an outline of these operations.
  • Fig. 13 (a) shows the operation of MC vector generation.
  • Corrected motion vector BV is the current frame This is the movement of S2 and the previous frame S3 during one frame period.
  • the frame interpolated by the frame number conversion is generated at the position of ka: kb in one frame period.
  • five interpolations are performed at the positions of 5: 1, 4: 2, 3: 3, 2: 4, and 1: 5 for the signal sequence of frame order 1 to 5.
  • Vp r BV * k a / (k a + kb)
  • FIG. 13 (b) is a diagram schematically showing the generation of a motion compensation signal.
  • the signal at point A (X, y) of the inner frame is obtained by moving the point A (X, y) to the motion compensation vector Vpr (horizontal component Vprx, vertical component) in the signal S3 of the previous frame.
  • the error detection unit 22 calculates the absolute value difference component I Set —Sp r I of the two, and outputs it to the signal MCER.
  • the pixel motion vector generation control unit 23 minimizes the signal MCER of the corrected motion vector BV of the current block and the adjacent block shown in FIG. 6 and outputs this as a pixel-by-pixel motion vector PV. For a pixel for which the motion detection signal MD2 of the control signal CT3 is 0, 0 is output as a pixel unit motion vector PV.
  • a pixel-based motion vector can be generated with a precision of one or two digits compared to the full search, and can be generated with high accuracy. This concludes the description of the search for a motion vector.
  • the MC interpolation frame signal generation unit will be described with reference to FIGS. 14 to 16.
  • FIG. 14 is a diagram showing a configuration example of the MC interpolation frame signal generation unit 7.
  • an MC vector generation unit 24 generates MC vectors Vct and Vpr necessary for the above-described motion correction processing based on a pixel-by-pixel motion vector PV.
  • the current frame motion correction signal generation unit 20 generates a motion correction signal Sct using the signal S2 of the current frame and the MC vector Vet.
  • the previous frame motion compensation signal generation unit 21 generates a motion compensation signal Spr using the signal S3 of the previous frame and the motion compensation vector Vpr.
  • This processing is realized by controlling the read operation of the built-in memory circuit. In other words, a memory read address is generated by shifting the address by the position corresponding to the MC vector Vpr, Vet, a signal is read out using this address, and the position is moved by the MC vector. Generate a signal.
  • the averaging unit 25 performs the averaging of the two motion correction signals Spr and Sct, and obtains a signal Smc of the bidirectional motion correction interpolation frame at the output.
  • the temporal filter 26 performs a linear interpolation process in the time direction based on the signals of the current frame and the previous frame, and generates a signal Stf of a frame in the time direction.
  • the median filter unit 27 selects and outputs any one of the signals Smc, Set, Spr, S2, S3, and Stf according to the motion compensation prediction error component and the value of the error evaluation function, and performs motion compensation. Type frame number conversion processing was performed. 7 Obtain an image signal sequence S4 of progressive scanning.
  • FIG. 15 is a diagram showing a configuration example of the median filter unit 27.
  • an error calculator 28 performs a subtraction between the motion compensation signals Sct and Spr, and outputs the absolute value to a signal ER1.
  • the error evaluators 29-1 to 29-5 output the error signal components for the reference pixel as signals ER2 to ER6, respectively, as shown in FIG. 16 (a). That is, for the target pixel indicated by • in the figure, the error component i S4—Sil (S i is S ct, S pr, S 2, S 3, S tf) in the reference pixels A, B, and C indicated by ⁇ ) Is output.
  • the judging unit 30 calculates the motion compensation mode information MC of the control signal CT4 (for example, if the occurrence frequency of the region E is equal to or more than 20% of the motion vector occurrence frequency measured by the occurrence frequency measurement unit 14 in FIG. 3 described above).
  • set the selection signal SL shown in Fig. 16 (b) based on signals ER1 to ER6. . That is, when the signal MC 0, the signal Smc when ER1 is less than the brim value, the signal Spr when ER1 is at the minimum value when ER1 is greater than or equal to the threshold value, and the signal Spr when ER2 is at the minimum value.
  • the selection signal SL to select the signal S2.
  • the selection signal SL 1
  • the selection signal SL is set so as to select the signal S2.
  • the selection unit 31 selects and outputs a signal determined by the selection signal SL.
  • image quality degradation inherent in motion compensation such as degradation at isolated points due to inaccuracy of the motion vector and at the periphery of the video wedge, is significantly reduced. High image quality can be achieved.
  • the amount of calculation required for searching for a motion vector is small, and the image quality degradation caused by the motion correction processing is reduced.
  • An image signal frame number conversion device with as few as 8 can be realized. In addition, remarkable effects can be obtained for higher image quality and lower cost.
  • This embodiment is suitable for suppressing an increase in the amount of calculation in a scene change area.
  • FIG. 17 is a block diagram of this embodiment, which is realized by a configuration in which a sequence change detector 32 is added to the first embodiment (FIG. 1). Then, in the area where the scene change has occurred, the motion vector search and the motion interpolation frame interpolation processing are stopped.
  • FIG. 18 is a diagram showing one configuration example of the scene change detection unit 32.
  • a subtraction unit 33 performs a subtraction operation on a luminance signal component of the signal S2 of the current frame and the signal S3 of the previous frame, and extracts a difference component FD between one frame.
  • the binary quantizer 34 performs the binary quantization of the signal FD for each pixel at a relatively high level threshold soil Thb. Then, 0 is output to the field less than the thunderbolt Thb, and 1 is output to the pixel exceeding the thunderbolt as the signal QS.
  • the one-frame accumulator 35 measures the number of pixels having the signal QS of 1 in one frame period, and outputs the accumulated value AQ in one frame period.
  • the determination unit 36 determines that a frame in which a scene change has occurred is a case where the value of the accumulated value AQ is equal to or more than half the number of pixels of the entire screen and its occurrence is limited to one frame period. The reason for this is to avoid a malfunction in which horizontal pan and vertical pan movements in which the entire screen moves at a uniform speed are erroneously detected as scene changes. Then, 1 is output in the frame in which the scene change has occurred in the signal SCG, and 0 is output in the other frames.
  • an apparatus for converting the number of frames of an image signal can be realized with a smaller amount of computation than in the first embodiment.
  • remarkable effects can be obtained for higher image quality and lower cost.
  • This embodiment is suitable for searching for a motion vector using a signal sequence of interlaced scanning.
  • the one-frame delay unit 2 delays the input image signal S 1 (the luminance signal component and the chrominance signal component) of the interlaced scanning by one frame period, and outputs the interlaced scanning signal sequence S 10 0 of the previous frame to its output. Get.
  • the motion detection unit 3 extracts a difference signal between one frame by subtracting the luminance signal component of the signal sequence S 1 of the current frame and the signal sequence S 10 of the previous frame, and binarizes the difference signal. It outputs the motion detection signals MD 1 and MD 2 to the control unit 8.
  • the block-by-block motion vector search unit 4 detects a motion vector in block units (for example, 16 pixels ⁇ 16 lines or 8 pixels ⁇ 8 lines). That is, a block in which the motion detection signal MD1 of the control signal CT1 of the control unit 8 is 0 is determined to be a stationary block, and 0 is output to the block unit motion vector BMV. On the other hand, the block whose MD 1 is 1 is determined to be a moving image block, and the reference vector search processing or the motion vector described above is performed on the luminance signal components of the signals S 1 and S 10, or the luminance signal component and the color difference signal component. Torque distribution Performs adaptive search processing and detects block-by-block motion vector BMV.
  • a motion vector in block units for example, 16 pixels ⁇ 16 lines or 8 pixels ⁇ 8 lines. That is, a block in which the motion detection signal MD1 of the control signal CT1 of the control unit 8 is 0 is determined to be a stationary block, and 0 is output to the block unit motion vector BMV.
  • the motion vector correction unit 5 generates a mini-block (for example, two pixels X) by dividing a block into blocks in which the luminance signal component or the prediction error component between the luminance signal component and the color difference signal component is equal to or larger than a threshold value. For each 2 lines), a mini-block division search is performed using the motion vector of the mini-block whose prediction error component is the smallest among the motion vectors of the current block and the adjacent block. And a corrected motion vector BV is generated.
  • a mini-block for example, two pixels X
  • the pixel-by-pixel motion vector generation unit 6 calculates the luminance signal component or the luminance signal component of the signal of the previous frame and the current frame subjected to the motion correction processing among the motion vectors of the current block and the adjacent blocks.
  • the absolute value of the color difference signal component The one with the smallest difference component is generated as the pixel motion vector PV.
  • the conversion unit 1 performs signal processing of interlace-to-sequential scan conversion, and converts it into a signal sequence SP (luminance signal component and color difference signal component) of progressive scan. It should be noted that this IP conversion unit can be configured by either a conventional motion adaptive type process or a motion correction type process using a motion vector PV.
  • the MC interpolation frame signal generation unit 7 has a median filter configuration and selects and outputs one of a plurality of types of interpolation signals generated based on the pixel-by-pixel motion vector PV that has the smallest motion correction error.
  • a progressive scanning image signal sequence S4 luminance signal component and color difference signal component
  • S4 luminance signal component and color difference signal component
  • the control unit 8 generates control signals CT1 to CT4 necessary for the above operation and outputs the generated control signals to each unit.
  • the present embodiment is suitable for searching for a motion vector based on the motion vector information used in image coding.
  • FIG. 20 is a block diagram of this embodiment, which is realized by a configuration in which the block unit motion vector search unit 5 of the third embodiment is replaced by a block unit motion vector conversion unit 37.
  • FIG. 21 An example of the configuration of the block unit motion vector converter 37 and its operation are shown in Figs. 21 to 22. 2
  • the P vector conversion unit 38 and the B vector conversion unit 39 perform vector conversion processing of the motion vector information MV used in image encoding, and perform one frame of the interlaced scanning system. Generates the per-conversion vectors MVp and MVb.
  • FIG. 22 is a diagram showing an outline of this operation.
  • image coding especially in the international standard MPEG video coding, as shown in Fig. 22 (a), the image signal sequence is divided into I picture, P picture, and B picture.
  • B picture Discrete Cosine Transform
  • FIG. 22 (b) shows the motion vectors PV1, PV2,... Used for encoding a P picture.
  • FIG. 22 (c) shows the motion vectors BV11, BV12, BV21, BV22,... Used for encoding the B picture.
  • BV11, BV21, BV31,... Correspond to the motion vector between one frame. Therefore, the B vector conversion unit 39 generates a converted motion vector MVb using these motion vectors.
  • the judging unit 40 calculates a motion correction error in block units using the conversion vectors MVp and MVb for the video block in which the motion detection signal MD1 is 1, and determines a motion correction signal having a smaller value as the representative motion. Output to vector BMV. For static blocks, 0 is output to BMV.
  • the control unit 41 generates control signals necessary for these operations. As described above, according to the fourth embodiment of the present invention, it is possible to realize an image signal frame number conversion apparatus that further reduces the amount of computation required for searching for a motion vector. In addition, remarkable effects can be obtained for higher image quality and lower cost.
  • FIG. 1 a fifth embodiment of the present invention is shown in the block diagram of FIG. This embodiment is realized by a configuration in which a scene change detection unit 32 is added to the third embodiment.
  • a sixth embodiment of the present invention is shown in the block diagram of FIG. This embodiment is realized by a configuration in which a scene change detection unit 32 is added to the fourth embodiment.
  • FIG. 25 is a diagram showing an example of the block configuration of the first embodiment, which is suitable for displaying an image in the form of progressive scanning.
  • the terrestrial broadcast signal TV is demodulated by a tuner 42 into a television signal having a spanned band.
  • the satellite broadcast signal BS is demodulated by a BS tuner part 43 into a television signal in the baseband.
  • the decoder unit 44 performs a predetermined demodulation process on an analog television signal to demodulate a luminance signal and a color difference signal.
  • the IRD section 45 performs a predetermined decoding process on the digital television signal, and demodulates the luminance signal and the color difference signal.
  • the switch unit 46 selects a signal sequence specified by the control signal of the control unit 51:
  • the motion compensation frame number conversion unit 47 corresponds to the frame number conversion device of the present invention, and generates a signal sequence of a sequential scan whose frame frequency is increased by the motion compensation frame interpolation processing.
  • the input signal sequence in the frame order 1 to 5 is converted to the frame order 1 to 6 (2 to 6 are the motion compensation frame interpolation processing).
  • Generation In the 50 Hz to 75 Hz conversion, a signal sequence in a frame order of 1 to 3 (2 to 3 are generated by a motion compensation frame interpolation process) is generated from an input signal sequence in a frame order of 1 to 2.
  • a signal sequence in the frame order 1 to 2 is generated by the motion compensation frame interpolation process
  • the scaling processor 48 performs signal processing such as enlargement / reduction of the image size, conversion of the aspect ratio, and conversion of the number of scanning lines.
  • the image quality improvement unit 49 performs image quality improvement signal processing such as sharpness improvement and luminance gradation correction, and performs conversion into three primary color signals by color space conversion.
  • the sequential display unit 50 displays an image in the form of sequential scanning at a frame frequency of 60 Hz, 75 Hz, or 100 Hz.
  • the remote control receiver 52 receives various user information (channel selection, display mode, etc.) operated by the user through the remote control terminal.
  • FIG. 13 is a diagram illustrating an example of a block configuration according to the second embodiment, which is suitable for displaying an image in the form of interlaced scanning.
  • a PI conversion unit 53 is added to the configuration of FIG. 25 described above, and an interlaced display unit 54 displays an image in the form of interlaced scanning.
  • the PI conversion unit 53 performs a 2: 1 thinning process of the scanning line of the progressive scanning signal sequence, and performs a signal process of converting the scanning line into an interlaced scanning signal sequence.
  • the interlace display unit 54 displays an image in the form of interlaced scanning with a field frequency of 60 Hz, or 75 Hz or 100 Hz. Since the other blocks perform the same operations as those in FIG. 25, the description will be omitted.
  • a high-quality multi-source television receiver can be realized at low cost.
  • the present invention is based on the PAL-NTSC television signal format conversion, PAL50Hz- 60Hz Z75Hz Z100Hz conversion, film image (frame frequency 24HzZ30Hz)-60Hz conversion, television signal- It is applied to various frame number conversion devices such as PC image signal conversion, and has remarkable effects on high image quality and low cost.
  • INDUSTRIAL APPLICABILITY The image signal frame number conversion method and apparatus according to the present invention can be applied to information home appliances such as a television receiver, a DVD player, a PC device, and a PAD terminal.

Description

明 細 書 画像信号のフレーム数変換方法および装置 技術分野
本発明は画像信号のフレーム数変換方法および装置に係り、 特に動き 補正の信号処理によって画像信号のフレーム数を変換するのに好適な画 像信号のフレーム数変換方法および装置に関する。 背景技術
近年、 マルチメディア化の進展に伴い、 テレビジョ ン受像機において も、 各種方式のテレビジョン信号や P C画像信号等、 画像フォーマツ ト の異なる種々の信号を表示する機能が必要となる。 また、 高画質化や平 面ディスプレイ対応の機能として、 順次走査による画像表示機能が必要 になる: これら機能の実現には、 各種入力信号を画像表示部のフォーマ ッ トに変換するためのフレーム数変換や順次走査化の信号処理が必要に なる。
フレーム数変換に関しては、 コマ繰り返しやコマ落としなどの単純な 信号処理の方法も有るが、 この方法では動き画像で滑らかさが損なわれ るいわゆるモ一ションジャダ一妨害などの画質劣化が発生する。
この妨害を回避する方法として、 動き補正型のフレーム数変換の方法 が知られている。 この方法は、 動きベク トルで前後のフレームの画像の 位置を移動させて内揷フレームの信号を生成するものである。 この信号 処理の方法や構成に関して、 多くの提案がなされている。 例えば、 特開 平 7— 1 7 0 4 9 6号公報には、 動きべク トルを効率よく探索する技術 が開示されている。 また、 特開平 7— 3 3 6 6 5 0号公報には、 動き補 正に固有な動画工ッジ周縁部での解像度低下などの劣化を回避する技術 が開示されている。
しかしながら、 これらの従来技術では、 前者においては動き検出の精 度に課題を有し、 後者においては信号処理の複雑さに課題を有しており、 これらが高画質 · 低コス トのフレーム数変換装置の実現に大きな問題と なっている。
従って本発明の目的は、 圉像信号のフ レーム数変換の信号処理を高画 質 · 低コス トで実現し得る画像信号の動き補正フ レーム数変換方法およ ぴ装置を提供することにある。 発明の開示
本発明に係るフレーム数変換方法は、 画像信号の動きを検出してプロ ック単位動きべク トルを探索し、 ブロック単位動きべク トルの動き補正 誤差成分の大小に応じてプロック単位動きべク トルを修正し、 修正動き べク トルによる現フレームと前フレームの動き補正信号の誤差成分に基 づいて選択した動きべク トルを画素単位動きべク トルとして生成し、 画 素単位動きべク トルによる現フレームと前フレームの動き補正信号の誤 差成分の大小に応じて動き補正内挿フレーム信号を生成し、 これを用い て画像信号のフレーム数変換を行う。
また本発明に係るフレーム数変換装置は、 動き補正の信号処理に必要 な動きべク トルをブロック単位動きべク トルとして検出するプロック単 位動きべク トル探索部と、 ブロック単位動きべク トルの動き補正誤差成 分の大小に応じてプロック単位動きべク トルを修正する動きべク トル修 正部と、 修正動きべク トルによる現フレームと前フレームの動き補正信 号の誤差成分に基づいて選択した動きべク トルを画素単位動きべク トル として生成する画素単位動きぺク トル生成部と、 画素単位動きべク トル による現フ レームと前フレームの動き補正信号の誤差成分の大小に応じ て動き補正内挿フレーム信号を生成する動き補正内揷フレーム信号生成 部とを備えて構成される:
本発明においては、 具体的には、 次のような技術的手段を用いる。 す なわち、 動き補正のフレーム数変換に必要な動きベク トルの探索では、 演算量の大幅な削減を図るため、 以下のプロック単位動きべク トル探索、 動きべク トル修正、 画素単位動きべク トル生成の 3段階の信号処理を採 用する- はじめに、 ブロック単位動きベク トル探索では、 フレーム差分信号で 動きを検出しないブロック (以降静止ブロックと略称) と、 動きを検出 したブロック (以降動圉ブロックと略称) とに分別する前処理を行い、 動画ブロックのみ以下に示す 3種類のいずれかで探索処理を行う。
( 1 ) 参照べク トル探索処理: 現ブロックに隣接するプロッ クの動きべ ク トルを参照べク トルとし、 この予測誤差成分が最小かつ閾値未満の場 合は、 この動きベク トルの近傍をブロックマッチング処理してブロック 単位の動きべク トルを検出する。
( 2 ) 動きべク トル分布適応探索処理: 参照べク トルの予測誤差成分が 閾値以上の場合は、 前フレームでの動きべク トルの発生頻度の形態に応 じて定める探索モー ド (モ一 ドによって探索領域や代表動きべク トルの 配列を異にする) に従って、 ブロックマッチング処理してブロック単位 の動きべク トルを検出する。
( 3 ) 変換べク トル探索処理 : 画像符号化で使用する動きべク トル情報 よりべク トル変換処理で生成した 1 フレームの動きべク トルを参照動き ベク トルとし、 このうちの予測誤差成分が最少なものをプロック単位の 動きベク トルとして検出する。
次に、 動きべク トル修正では、 検出したプロック単位動きべク トルの 予測誤差成分が閾値以上のブロックに対し、 ブロックを水平、 垂直に細 分化したミニブロック毎に、 現ブロックおよび隣接プロッ クの動きべク トルのうちで予測誤差成分が最少なものをミニブロックの動きべク トル とするミニブロック分割探索の修正を行う。
また、 画素単位動きべク トルの生成では、 現ブロックとこれに隣接す るブロックの動きべク トルのうちで、 動き補正処理した現フレームと前 フ レームの信号の絶対値差分成分が最小なものを画素の動きべク トルと して生成する。
以上に述べた本発明の動きべク トル探索によれば、 全探索に較べて 2 桁〜 3桁程度削減した演算量で、 高精度な動きベク トルの検出が可能に なる。
次に、 動き補正 (M C ) 内挿フレーム信号の生成では、 複数種類の補 間信号のうちで動き補正誤差が最小なものを選択するメディアンフィル 夕によって、 動き補正の内挿フレームの信号を生成する。
すなわち、 前フレームの画像の位置を動き補正ベク トルで移動させて 生成する動き補正前フレーム信号と、 現フレームの画像の位置を動き補 正べク トルで移動させて生成する動き補正現フレーム信号との差分信号 成分を算出する。 これが閾値未満の場合は、 上記の動き補正前フレーム 信号、 現フレーム信号の平均値で生成する。 一方、 閾値以上の時は、 動 き補正前フレーム信号、 動き補正現フレーム信号、 前フレーム信号、 現 フレーム信号、 および前、 現フレーム信号との直線補間信号のうち、 誤 差評価関数が最小なものを選択出力する。
また、 動きべク トル探索で検出した動きべク トルの発生頻度の形態を 計測し、 これでモーショ ンジャダ一妨害が目立ちやすい速度の画像を含 むフレームを検出し、 この検出したフレームに限定して動き補正内挿フ レームの信号を生成する動き速度適応動き補正処理を行う。 以上に述べた本発明の M C内挿フレーム信号の生成によれば、 動き補 正処理に固有な画質劣化 (画像の一部が不適切な画像に置き換えられる 孤立点的な劣化や動画のエツジ部がフリ ッ力したり動きが不自然に見え る劣化) を大幅に抑圧でき、 高画質化が可能になる。
更に、 本発明においては、 シーンチヱンジの領域では、 動きベク トル の探索処理と動き補正内挿フレーム信号の生成の処理を中止する。 この 結果、 シーンチヱンジ領域で発生する動きべク トルの探索での膨大な演 算量の発生が抑圧できる。
以上に述べた本発明の技術的手段により、 高画質 · 低コス 卜な画像信 号の動き補正フレーム数変換方法および装置を達成することができる。
さらに本発明に係る情報家電機器は、 画像信号を入力する入力部と、 上記画像信号の動きを検出してプロック単位動きべク トルを探索し、 ブ 口ック単位動きべク トルの動き補正誤差成分の大小に応じて動きべク ト ルを修正し、 修正動きべク トルによる現フ レームと前フ レームの動き補 正信号の誤差成分に基づいて選択した動きべク トルを画素単位動きべク トルとして生成し、 画素単位動きべク トルによる現フ レームと前フ レー ムの動き補正信号の誤差成分の大小に応じて動き補正内挿フレーム信号 を生成することにより画像信号のフレーム数を変換処理する画像信号の フレーム数変換部と、 上記画像信号のフ レーム数変換部の出力を表示す る表示部とを備えて構成される。
これにより、 マルチソース対応の高画質なテレビジョ ン受像機、 D V Dプレーヤ、 P C機器、 P A D端末などの情報家電機器を低コス トで実 現できる。 図面の簡単な説明
第 1図は、 本発明の第 1の実施例のブロック構成図である。 第 2図は、 動き検出部の一構成例を示す図である。
第 3図は、 プロック単位動きべク ト ル探索部の一構成例を示す図であ る
第 4図は、 ブロック単位動きべク トル探索部の信号処理フローチヤ一 トである。
第 5図は、 参照プロックの動きべク トルの領域例を示す図である。 第 6図 (a) は、 動きベク ト ル発生頻度を計測する領域を示す図、 第
6図 (b) は、 探索モー ド設定条件および探索処理の特性例を示す図で める。
第 7図は、 代表点動きベク トルの配列例を示す図である。
第 8図は、 動きベク ト ル修正部の一構成例を示す図である。
第 9図は、 動きぺク トル修正部の信号処理フローチヤ一トである。 第 10図は、 ミニブロック分割と動きべク トル修正の動作概略を示す 図である。
第 1 1図は、 画素単位動きべク トル生成部の一構成例を示す図である 第 12図は、 画素単位動きべク トル生成部の信号処理フローチヤ一ト である。
第 13図 (a) は、 MCべク トル生成の動作を示す図、 第 13図 (b) は、 動き補正信号生成の動作概略を示す図である。
第 14図は、 MC内挿フ レーム信号生成部の一構成例を示す図である t 第 15図は、 メディアンフィルタ部の一構成例を示す図である。
第 16図(a)は、参照画素と対称画素の関係を示す図、第 16図(b) は、 判定部の動作概略を示す図である。
第 17図は、 本発明の第 2の実施例のブロック構成図である。
第 18図は、 シーンチェンジ検出部の一構成例を示す図である。
第 19図は、 本発明の第 3の実施例のブロック構成図である。 第 2 0図は、 本発明の第 4の実施例のブロック構成図である。
第 2 1図は、 プロック単位動きべク トル変換部の一構成例を示す図で のる。
第 2 2図 ( a ) 〜 ( c ) は、 それぞれべク トル変換部の動作概略を示 す図である。
第 2 3図は、 本発明の第 5の実施例のブロック構成図である。
第 2 4図は、 本発明の第 6の実施例のプロック構成図である。
第 2 5図は、 本発明をテレビジ ョ ン受像機に適用した第 1 の実施例の ブロック構成図である。
第 2 6図は、 本発明をテレビジ ョ ン受像機に適用した第 2の実施例の ブロック構成図である。 発明を実施するための最良の形態
本発明の第 1の実施例について、 第 1図〜第 1 6図を用いて説明する。 第 1図は、 第 1の実施例のブロック構成図である。 図のように、 本実 施例に係るフレーム数変換装置は、 I P変換部 1 と、 1 フ レーム遅延部 2と、 動き検出部 3と、 ブロック単位動きべク トル探索部 4と、 動きべ ク トル修正部 5と、 画素単位動きベク トル生成部 6と、 M C内挿フレー ム信号生成部 7と、 制御部 8とから構成される。
飛び越し走査の入力画像信号 S 1 (輝度信号成分と色差信号成分) は、 I P変換部 1に入力し、 飛び越し〜順次の走査変換の信号処理を行い、 順次走査の信号系列 S 2 (輝度信号成分と色差信号成分) に変換する。
1 フレーム遅延部 2は、 画像信号を 1 フレームの期間遅延させるもの で、 この出力に前フレームの信号系列 S 3を得る。
動き検出部 3は、 現フレームの信号系列 S 2と、 前フレームの信号系 列 S 3の輝度信号成分の減算処理で 1 フレーム間の差分信号を抽出し、 これを 2値量子化して動き検出信号 M D 1、 M D 2を制御部 8に出力す る。
ブロック単位動きべク トル探索部 4は、 ブロック単位 (例えば 1 6画 素 X 1 6 ライ ンあるいは 8画素 X 8ライ ン) の動きべク トルを検出する。 すなわち、 制御部 8の制御信号 C T 1のうちの動き検出信号 M D 1が 0 のブロックは静止プロックと判定し、 ブロック単位動きべク トル B MV に 0を出力する。 一方、 M D 1が 1 のブロックは動画ブロックと判定し、 信号 S 2と S 3の輝度信号成分、 あるいは輝度信号成分と色差信号成分 に対して、 前述した参照べク トル探索処理あるいは動きべク トル分布適 応探索処理を行い、 ブロック単位動きベク トル B M Vを検出する。
動きベク トル修正部 5は、 輝度信号成分、 あるいは輝度信号成分と色 差信号成分の予測誤差成分が闉値以上のプロックに対し、 ブロックを水 平、 垂直に細分化したミニブロック (例えば 2画素 X 2ライン) 毎に、 現ブロックおよび隣接プロックの動きべク トルのうちで予測誤差成分が 最少なものをミニブロックの動きべク トルとするミニブロック分割探索 の修正を行い、 修正動きべク トル B Vを生成する。
画素単位動きべク トル生成部 6は、 現ブロックとこれに隣接するプロ ックの動きべク トルのうちで、 動き補正処理した現フレームと前フレー ムの信号の輝度信号成分あるいは輝度信号成分と色差信号成分の絶対値 差分成分が最小なものを画素の動きべク トル P Vとして生成する。
動き補正 (M C ) 内挿フレーム信号生成部 7は、 メディアンフィルタ 構成で、 画素単位動きべク トル P Vをもとに生成する複数種類の補間信 号のうちで動き補正誤差が最小なものを選択出力し、 動き補正フレーム 数変換処理でフレーム周波数をアップした順次走査の画像信号系列 S 4 (輝度信号成分と色差信号成分) を得る。
制御部 8は、 以上の動作に必要な制御信号 C T 1〜C T 4を生成し、 各部に出力する。
以上で全体ブロック構成図の説明を終え、 以下、 本実施例における主 要プロック部の構成について詳述する。
第 2図は、 動き検出部 3の一構成例を示す図である。 図において、 減 算部 9は、 現フ レームの信号系列 S 2と前フレームの信号系列 S 3の輝 度信号成分の減算演算を行い、 1 フレーム間の差分信号成分 F Dを抽出 する。
2値量子化部 1 0— 1 は、 差分信号成分 F Dの信号レベルが設定値士 T h a未満の場合は静止と判定して 0、 土 T h aを越える場合は動きと 判定して 1 の 2値信号を出力する。 静動ブロック判定部 1 1は、 ブロッ ク単位で 2値信号の 1の有無を検出し、 例えば、 全て 0の時は静止プロ ックと判定して動き検出信号 MD 1に 0、 それ以外の時は動画プロック と判定して 1を出力する。
2値量子化部 1 0— 2は、 差分信号成分 F Dの信号レベルが 0の場合 は静止と判定して 0、 それ以外は動画と判定して 1の動き検出信号 M D 2を出力する。
次に、 ブロック単位動きべク トル探索部の構成例について第 3図〜第 7図を用いて説明する。
第 3図は、 プロック単位動きべク トル探索部 4の一構成例を示す図で ある。 図のように、 プロック単位動きべク トル探索部 4は、 代表べク ト ル生成部 1 2と、 プロックマッチング探索部 1 3と、 発生頻度計測部 1 4とを有する。
第 4図は、 その信号処理フローチャー トである。 第 4図の第 1 ステツ プでは、 動き検出信号 M D 1が 0の静止ブロ ッ クは、 動きベク トル探索 の動作は行わず、 ブロック単位動きベク トル B MVに 0を出力する。 そ して、 動き検出信号 M D 1が 1の動画ブロックのみ、 以下に述べる動き 0
ベク トル探索の動作を行う。
まず、 動画ブロックの第 2ステップの信号処理は、 第 3図の代表べク トル生成部 12で行う。 ここでは、 予め設定した参照ブロ ッ クの動きべ ク トル BRVのうちで予測誤差成分が最小なものを代表動きべク トル B RFとして出力する。 なお、 参照ブロックとしては、 第 5図に示すよう に、 既に動きべク トルの探索が終了している現プロックの直上プロック Bu、 およびその前後のブロック Bu 1 , Bu rを使用し、 その動きべ ク トル Vu, V u 1 , Vu rのうちの予測誤差が最小なものが代表動き べク トル B R Fとなる。
次に、 動画ブロックの第 3ステップの信号処理は、 第 3図のブロック マッチング探索部 13で行う。 代表動きべク トル BRFの予測誤差成分 が闥値 (例えば、 8レベル/画素) 未満の場合は、 参照ベク トル探索処 理を行う。 すなわち、 代表動きベク トル BRFを起点に、 X成分が士 D X (例えば DX=2) の範囲、 y成分が土 DY (例えば DY=2) の範 囲の動きべク トルについてプロックマッチング処理で予測誤差を算出し、 これが最少となるものをブロック単位動きべク トル BMVに出力する。 一方、 闥値以上の場合は、 探索モー ド情報 MODで定まる探索領域を 全探索、 あるいは代表点探索の動きべク トル分布適応探索処理を行い、 ブロック単位動きべク トル BMVを検出する。
第 6図は、 動きベク トル発生頻度と探索モー ド設定の一例を示す図で ある。 第 6図 (a) は動きべク トル発生頻度を計測する領域を示し、 図 の横軸は動きベク トルの X方向成分の絶対値 a b s ( v x) 、 縦軸は y 方向成分の絶対値 ab s ( V y) である。 そして、 領域 Aでは、 0< a b s ( v x) く = 4で 0く ab s ( v y ) く = 2の範囲、 領域 Bでは 0 く ab s ( V x) く = 8で 0く ab s (vy) く = 4のうち領域 Aを除 くの範囲、 領域 Cでは 0く ab s ( V x) く = 12で 0< ab s (vy) < = 6のうち領域 Aと Bを除くの範囲、 領域 Dでは 0く ab s (vx) <= 16で 0く ab s ( V y ) く = 8のうち領域 Aと Bと Cを除くの範 囲、 領域 Eでは ab s (vx) 〉 16又は ab s ( v y ) > 8の範囲で の動きべク トルの発生個数をそれぞれ 1フ レーム期間にわたり計測し、 これをもとにその発生頻度を算出する。
第 6図 (b) は、 探索モー ドの設定条件および探索処理の特性例を示 す。
MOD Iの探索モー ドは、 領域 Aの発頻頻度が 100 %の場合で、 水 平 ±4國素、 垂直 ±2ライ ンの探索範囲を全探索する。
MOD2の探索モー ドは、 領域 Aの発頻頻度の合計が 95%以上の場 合で、 水平 ±8画素、 垂直 ± 4ライ ンの探索範囲を全探索する。
MOD3の探索モー ドは、 領域 Aと Bの発頻頻度の合計が 95%以上 の場合で、 水平 ± 12画素、 垂直 ± 6ラインの探索領域について密領域 からなる代表点配列の動きべク トルをもとに探索する。
MOD 4の探索モー ドは、 領域 Aと Bと Cの発頻頻度の合計が 95% 以上の場合で、 水平 ± 16画素、 垂直 ± 8ラインの探索領域について密 領域からなる代表点配列の動きべク トルをもとに探索する。
MOD 5の探索モ一 ドは、 領域 Aと Bと Cと Dの発頻頻度が 95%以 上の場合で、 水平 ±24画素、 垂直 ± 12ラインの探索領域について密 領域と粗領域からなる 2重代表点配列の動きべク トルをもとに探索する 第 7図は、代表点動きべク トルの配列例である。原点近傍は密領域(例 えば、 代表点間隔が水平方向 2画素、 垂直方向 2ライン) 、 周縁部では 粗領域 (例えば、 代表点間隔が水平方向 4画素、 垂直方向 4ライン) で 代表点の動きべク トルを配列し、 探索モー ドに応じて密領域のみからな る代表点配列と、 密領域と粗領域からなる 2重代表点配列とを使い分け、 信号処理での演算量の削減を図る。 すなわち、 まず、 代表点配列あるい 2
は 2重代表点配列の動きべク トルのうちで、 予測誤差成分が最小なもの を検出し、 この検出した動きベク ト ルを起点に X成分が士 DX (例えば DX= 2) の範囲、 y成分が土 DY (例えば DY=2) の範囲の動きべ ク トルについてプロックマツチング処理で予測誤差を算出し、 これが最 少となるものをブロック単位動きべク トル BMVとして検出する。
なお、 探索領域に関しては、 モーシ ョ ンジャダ一妨害が検知される範 囲、 すなわち、 動きの速度が 1秒/画面幅、 1秒 画面高程度までの範 囲をカバーすればよい。 従って、 第 7図に示す水平方向土 MX画素 (例 えば MX= 24) 、 垂直方向士 MYライ ン (例えば MY= 12) の領域 に限定できる。 また、テレビ画像はァスぺク ト比が 4: 3あるいは 16 :
9の横長画像であるため、 水平方向の探索領域を垂直領域の探索領域よ りも広く設定することが適している。
第 3図に戻り、 発生頻度計測部 14は、 計測期間情報 FMで 1フレー ム期間での動きベク ト ルの発生頻度を計測し、 上述したように、 発生頻 度の分布形態に応じた探索モ一 ド情報 MODを設定する。
以上に述べた如く、 ブロック単位動きべク トルの探索は、 動画プロッ クに限定でき、 かつ、 参照ベク トル探索処理あるいは動きベク トル分布 適応探索処理を行うため、 全探索に較べて、 探索に要する信号処理の演 算量を 1桁〜 2桁程度低減できる。
次に、 動きベク トル修正部について第 8図〜第 10図を用いて説明す る。
第 8図は、 動きベク トル修正部 5の一構成例を示す図である。 図にお いて、 補正誤差算出部 15は、 第 9図に示す信号処理フローチヤ一トの 第 1ステップの処理を行う。 すなわち、 現フレームの信号 S 2と前フレ —ムの信号 S 3の輝度信号成分に対し、 先に検出したブロック単位動き ベク トル BMVによる予測誤差を算出する。 そして、 この誤差の値が闥 3 値 TH (例えば 8レベル 画素) 未満のブロックは信号 PMBに 0、 闉 値 TH以上のブロックは 1を出力する。
修正制御部 19は、 信号 PMBと制御信号 CT 2をもとに、 第 9図の 第 2ステップの信号処理に必要な制御信号 PC 1、 PC2を生成する。 参照動きべク トル生成部 16、 補正誤差算出部 17— 1、 ···、 17 - Nは、 第 9図の第 2ステップの閾値以上の場合の処理を行う。 すなわち、 第 10図に示すように、 現ブロックを水平、 垂直方向に細分化して得る ミニブロック (例えば水平 MBX=2、 垂直 MBY= 2の 2画素 X 2ラ ィン) に対して、 現プロックと参照プロックの動きべク トルによるミ二 ブロック分割探索処理で修正動きベク トルを生成する。 そして、 参照動 きべク トル生成部 16では、 現ブロックと、 これに対応する隣接プロッ クの動きベク トル VO、 Vu l、 ···、 Vd rを出力する。 補正誤差算出 部 17— 1、 ·'·、 17— Nは、 各ミニブロック毎に、 次の式 1に示す演 算で予測誤差 ERO、 ER1、 ···、 ERNを算出する。 なお、 この算出 では、 現フレームの信号 S 2と前フレームの信号 S 3の輝度信号成分、 もしくは輝度信号成分と色差信号成分、 のいずれかに対して行う。
ER0=∑ab s { S 2 (x, y ) —S3 (VO) } =∑ a b s {S 2 (x, y) —S3 (x + VO x , y + VOy) }
ERl =∑ab s {S 2 (x, y) 一 S3 (Vu 1 ) } =∑ a b s {S 2 (x, y ) 一 S3 (x + Vu 1 x , y + V u 1 y ) }
ER2=∑ab s {S 2 (x , y) —S3 (Vu) } =∑ a b s {S 2 (x, y ) -S3 (x + Vu x , y + Vuy) }
ERN =∑ a b s { S 2 (x, y ) 一 S3 (Vd r) } =∑ a b s {S 2 (x, y ) -S3 ( x + V d r x , y+Vd r y) } · · · ' 式 1 式 1で、 S 2 (x, y) は現フレームの信号、 S3 (V i ) は動きべ ク トル V iで位置を移動させた前フレームの信号、 ab s { } は絶対 値、 ∑はミニブロック内の画素の総和、 V i Xは動きべク トル V i の X 成分、 V i yは y成分である。
選択部 18は、 制御信号 PC 2が閾値未満を示すブロックでは、 プロ ック内のミニブロックに対して現ブロックの動きべク トル BMVを修正 動きべク トル BVに出力する。 一方、 闥値以上のプロックでは、 各ミニ ブロックに対して予測誤差 ERO、 ER1、 '·■、 ERNの内で最少値を とる動きべク トルを修正動きべク トル BVに出力する。
次に、 画素単位動きべク トル生成部について、 第 1 1図〜第 13図を 用いて説明する。
第 1 1図は、 画素単位動きべク トル生成部 6の一構成例を示す図であ る。 図において、 画素動きベク トル生成制御部 23は、 制御信号 CT3 と修正動きべク トル BVをもとに、 第 12図に示す信号処理フローチヤ — トの第 1、 第 2ステップの動作に必要な各種制御処理を行う。 まず、 修正動きべク トルでプロック単位での予測誤差成分を算出する。 そして、 これが閾値 TH (例えば、 8レベル/画素) 未満の場合は、 修正動きべ ク トル BVをそのまま画素単位動きべク トル PVとして出力する。
一方、 闥値 TH以上の場合は、 第 10図に示した現ブロックと隣接ブ 口ックの修正動きべク トルより、 動き補正の内挿フレーム信号の生成に 必要な MCベク トル V c tと Vp rとを出力する。 そして、 現フレーム 動き補正信号生成部 20では、 現フレームの信号 S 2を MCべク トル V c tで位置を移動させた動き補正信号 S c tを生成する。 また、 前フレ ーム動き補正信号生成部 21では、 前フレームの信号 S 3を MCべク ト ル Vp rで位置を移動させた動き補正信号 S p rを生成する。
第 13図は、 これらの動作概略を示す図である。 第 13図 (a) は、 MCべク トル生成の動作を示す。 修正動きべク トル BVは、 現フレーム S 2と前フ レーム S 3との 1フレーム期間での動きである。 そして、 フ レーム数変換で内挿されるフレーム (図中の内挿フレーム) は、 1フレ —ム期間の k a : kbの位置に生成する。 例えば、 フレーム数の 50— 60変換では、 フレーム順 1〜5の信号系列に対して、 5 : 1、 4 : 2、 3 : 3、 2 : 4、 1 : 5の位置で 5枚の内挿フ レームを生成し、 フレー ム順 1〜6の信号系列に変換する。 従って、 動き補正でこの内挿フレー ムの位置に信号を生成するため、 次の式 2に示す演算で MCべク トル V p rと V c tを生成する。
Vp r =BV* k a/ (k a + kb)
Vc t =BV* kb/ (k a + kb) 式 2 第 13図 (b) は、 動き補正信号生成の概略を示す図である。 内揷フ レームの点 A ( X, y) の信号は、 前フレームの信号 S 3では、 点 A ( X, y) を動き補正べク トル Vp r (水平方向成分 Vp rx, 垂直方向成分
V p r y ) で移動させた点 A' (x l, y 1 ) = (x + Vp r x, y + V p r y ) の位置の信号に対応し、 現フレームの信号 S 2では点 A (χ , y) を動き補正べク トル Vc t (水平方向成分 Vc t x, 垂直方向成分
V c t y ) で移動させた点 A" ( X 2 , y 2 ) = (x - V c t x , y - Vc t y) の位置の信号に対応する。 すなわち、 動き補正信号 Sp rと S c tは、 次の式 3のようになる。
S p r = S 3 (x + Vp r x, y + Vp r y)
S c t = S2 (x-Vc t x, y-Vc t y) 式 3 動きべク トルが正確であれば、 動き補正信号 S p rと S c tは一致す る。 ここで第 1 1図に戻ると、 誤差検出部 22では、 両者の絶対値差分 成分 I S e t— Sp r I を算出し、 信号 MCERに出力する。
画素動きべク トル生成制御部 23では、 第 10図に示した現ブロック と隣接プロックの修正動きべク トル B Vのうちで信号 MCERが最小に 6 なるものを検出し、 これを画素単位動きべク トル PVとして出力する。 また、 制御信号 CT 3の動き検出信号 MD 2が 0の画素に対しては、 画素単位動きべク トル PVとして 0を出力する。
この信号処理の結果、 画素単位動きベク トルを、 全探索と較べて演算 量が 1桁〜 2桁程度低減でき、 かつ、 高精度で生成することができる。 以上で、 動きベク トルの探索に関する説明を終え、 次に、 MC内挿フ レーム信号生成部について第 14図〜第 16図を用いて説明する。
第 14図は、 MC内挿フレーム信号生成部 7の一構成例を示す図であ る。 図において、 MCべク トル生成部 24は、 画素単位動きべク トル P Vをもとに、 前述した動き補正処理に必要な MCべク トル Vc tと Vp rを生成する。 また、 現フ レーム動き補正信号生成部 20では、 現フ レームの信号 S 2と MCベク トル Ve tで動き補正信号 S c tを生成す る。 また、 前フレーム動き補正信号生成部 21は、 前フレームの信号 S 3と動き補正べク トル Vp rで動き補正信号 S p rを生成する。 この処 理は、 内蔵するメモ リ回路の読み出し動作を制御することで実現する。 すなわち、 メモ リ読み出しのア ドレスを MCベク トル Vp r, Ve tに 相当する位置だけずらしたァ ドレスを生成し、 このァ ドレスで信号を読 み出して、 MCべク トルで位置を移動させた信号を生成する。
平均部 25は、 両者の動き補正信号 S p rと S c tとの加算平均を行 い、 その出力に双方向動き補正内挿フレームの信号 Sm cを得る。
テンポラルフィルタ 26は、 現フレームと前フレームの信号による時 間方向の直線補間処理を行い、 時間方向内揷フレームの信号 S t f を生 成する。
メディアンフィルタ部 27は、 動き補正予測誤差成分、 および誤差評 価関数の値に応じて、 信号 Sm c, S e t , Sp r, S 2 , S3, S t f のいずれかを選択出力し、 動き補正型のフレーム数変換処理を行った 7 順次走査の画像信号系列 S 4を得る。
第 15図は、 メディアンフィルタ部 27の一構成例を示す図である。 図において、 誤差算出部 28は、 動き補正信号 S c tと S p rとの減算 を行い、 その絶対値を信号 ER 1に出力する。 また、 誤差評価部 29— 1〜29— 5は、 第 16図 (a) に示すように、 参照画素に対する誤差 信号成分を信号 ER2〜ER6をそれぞれ出力する。 すなわち、 図中の •印で示す対象画素に関して、 〇印で示す参照画素 A, B , Cにおける 誤差成分 i S4— S i l (S iは、 S c t, S p r, S 2, S3, S t f ) の総和を出力する。
判定部 30は、 制御信号 CT4の動き補正モー ド情報 MC (前述した 第 3図の発生頻度計測部 14で計測する動きべク トル発生頻度のうちで 例えば領域 Eの発生頻度が 20%以上の場合は非動き補正処理の MC = 1、 それ以外は動き補正処理の MC = 0に設定) と、 信号 ER1〜ER 6をもとに、 第 16図 (b) に示す選択信号 SLを設定する。 すなわち、 信号 MC = 0では、 ER 1が闥値未満の場合は信号 Sm c、 ER1が閾 値以上の場合は、 ER 2が最小値の時は信号 S p r、 ER 3が最小値の 時は信号 S c t、 ……、 ER6が最小値の時は信号 S 2を選択するよう に選択信号 SLを設定する。 一方、 信号 MC= 1では、 信号 S2を選択 するように選択信号 SLを設定する。
選択部 31は、 選択信号 SLで定まる信号を選択して出力する。
以上に述べたメディアンフィルタ構成を採用することで、 動きべク ト ルの不正確さに起因する孤立点的な劣化や動画工ッジ周縁部の劣化など の動き補正に固有な画質劣化を大幅に抑圧することができ、 高画質化が 達成できる。
以上に述べた如く、 本発明の第 1の実施例によれば、 動きベク トルの 探索に要する演算量が少なく、 かつ、 動き補正処理に起因する画質劣化 8 の少ない画像信号のフ レーム数変換装置が実現できる。 そして、 高画質 化、 低コス ト化に顕著な効果を得ることができる。
次に、 本発明の第 2の実施例について、 第 1 7図〜第 1 8図の図面で 説明する。 なお、 本実施例は、 シーンチェンジ領域での演算量の増加を 抑圧するに好適なものである。
第 1 7図は、 このブロック構成図で、 第 1の実施例 (第 1図) に、 シ ーンチヱンジ検出部 3 2を追加した構成で実現する。 そして、 シーンチ ヱンジの発生した領域では、 動きべク トルの探索や動き補正のフレーム 内挿の処理を中止する。
第 1 8図は、 シーンチヱンジ検出部 3 2の一構成例を示す図である。 図において、 減算部 3 3は、 現フレームの信号 S 2と前フ レームの信号 S 3の輝度信号成分の減算演算を行い、 1 フレーム間の差分成分 F Dを 抽出する。 一般に、 シーンチェンジの領域では、 画像の内容が切り替わ るため、 差分成分 F Dの信号レベルは比較的大きな値を持つ。 そこで、 2値量子化部 3 4は比較的高いレベルの閾値土 T h bで信号 F Dを画素 毎に 2値量子化する。 そして、 闥値士 T h b未満の圃素は 0、 闥値を越 える画素は 1 を信号 Q Sに出力する。 1 フレーム累積部 3 5は、 信号 Q Sが 1のものの画素の数を 1 フレーム期間で計測し、 1 フレーム期間の 累積値 A Qを出力する。 判定部 3 6は、 累積値 A Qの値が全画面の半分 以上の画素数で、 かつ、 その発生が 1フレーム期間に限られる場合をシ ーンチェンジの発生したフ レームと判定する。 この理由は、 画面全体が 一様な速度で動く水平パンや上下パンの動きを誤ってシーンチヱンジと 検出する誤動作を避けるためである。 そして、 信号 S C F Gにシーンチ ェンジの発生したフレームでは 1、 それ以外のフレームでは 0を出力す る。
その他の動作、 構成は第 1 の実施例と同様であり、 説明は省略する。 9 以上に述べた如く、 本実施例によれば、 第 1の実施例に較べて、 より 少ない演算量で画像信号のフレーム数変換装置を実現できる。 そして、 高画質化、 低コス ト化に顕著な効果を得ることができる。
次に、 本発明の第 3の実施例について、 第 1 9図のブロック構成図を 用いて説明する。 本実施例は、 飛び越し走査の信号系列で動きベク トル の探索を行うに好適なものである。
1 フ レーム遅延部 2は、 飛び越し走査の入力画像信号 S 1 (輝度信号 成分と色差信号成分) を 1 フ レームの期間遅延させるもので、 その出力 に前フレームの飛び越し走査の信号系列 S 1 0を得る。
動き検出部 3は、 現フ レームの信号系列 S 1 と、 前フレームの信号系 列 S 1 0の輝度信号成分の減算処理で 1 フレーム間の差分信号を抽出し、 これを 2値量子化して動き検出信号 M D 1、 M D 2を制御部 8に出力す る。
ブロック単位動きべク トル探索部 4は、 ブロック単位 (例えば 1 6画 素 X 1 6ラインあるいは 8画素 X 8ライン) の動きべク トルを検出する。 すなわち、 制御部 8の制御信号 C T 1のうちの動き検出信号 M D 1が 0 のブロックは静止プロックと判定し、 ブロック単位動きべク トル B MV に 0を出力する。 一方、 M D 1が 1 のブロックは動画ブロックと判定し、 信号 S 1 と S 1 0の輝度信号成分、 あるいは輝度信号成分と色差信号成 分に対して、 前述した参照ベク トル探索処理あるいは動きベク トル分布 適応探索処理を行い、 ブロック単位動きべク トル B MVを検出する。 動きベク トル修正部 5は、 輝度信号成分、 あるいは輝度信号成分と色 差信号成分の予測誤差成分が閾値以上のブロックに対し、 ブロックを水 平、 垂直に細分化したミニブロック (例えば 2画素 X 2ライン) 毎に、 現プロックおよび隣接プロックの動きべク トルのうちで予測誤差成分が 最少なものをミニブロックの動きべク トルとするミニブロック分割探索 の修正を行い、 修正動きベク トル B Vを生成する。
画素単位動きべク トル生成部 6は、 現ブロックとこれに隣接するプロ ックの動きベク トルのうちで、 動き補正処理した現フレームと前フレー ムの信号の輝度信号成分あるいは輝度信号成分と色差信号成分の絶対値 差分成分が最小なものを画素の動きべク トル P Vとして生成する。
1 ?変換部 1は、 飛び越し〜順次の走査変換の信号処理を行い、 順次 走査の信号系列 S P (輝度信号成分と色差信号成分) に変換する。 なお、 この I P変換部は従来の動き適応型あるいは動きべク トル P Vを利用し た動き補正型の処理のいずれでも構成することができる。
M C内挿フレーム信号生成部 7は、 メディアンフィルタ構成で、 画素 単位動きべク トル P Vをもとに生成する複数種類の補間信号のうちで動 き補正誤差が最小なものを選択出力し、 動き補正フレーム数変換処理で フレーム周波数をアップした順次走査の画像信号系列 S 4 (輝度信号成 分と色差信号成分) を得る。
制御部 8は、 以上の動作に必要な制御信号 C T 1〜C T 4を生成し、 各部に出力する。
なお、 各部の構成および動作は、 前述の第 1の実施例から容易に理解 することができるため、 説明は省略する。
次に、 本発明の第 4の実施例について、 第 2 0図〜第 2 2図を用いて 説明する。 本実施例は、 画像符号化で使用した動きベク トル情報をもと に動きべク トルの探索を行うに好適なものである。
第 2 0図は、 このブロック構成図で、 上述の第 3の実施例のブロック 単位動きぺク トル探索部 5を、 ブロック単位動きべク トル変換部 3 7で 置き換えた構成で実現する。
このブロ ッ ク単位動きべク トル変換部 3 7の一構成例と動作概略を第 2 1図〜第 2 2図に示す- 2 第 21図において、 Pべク トル変換部 38、 Bべク トル変換部 39は、 画像符号化で使用する動きべク トル情報 MVのべク トル変換処理を行い、 飛び越し走査系の 1フレーム当たりの変換べク トル MVpと MVbを生 成する。
第 22図はこの動作概略を示す図である。 画像符号化、 特に、 国際標 準の MPEGビデオ符号化では、 第 22図 (a) に示すように、 画像信 号シーケンスを Iピクチャ、 Pピクチャ、 Bピクチャに分け、 Iピクチ ャではフレーム内 DCT (離散コサイン変換) 符号化、 Pピクチャでは 一方向 MC符号化 +DCT符号化、 Bピクチャでは双方向 MC符号化 + DCT符号化を行う。
第 22図 (b) は、 Pピクチャの符号化に使用する動きベク トル PV 1, P V 2 , …を示す。 この動きベク トルは画像信号シーケンスの Pピ クチャ間の nフレーム (図では n = 3) での動きベク トルに相当する。 従って、 Pベク トル変換部 38では、 この動きベク トルを 1ノ n (図で は 1/3) に変換した PV 1/3, PV2/3 , …で変換ベク トル MV Pを生成する。
第 22図 ( c ) は Bピクチヤの符号化に使用する動きべク トル BV 1 1 , BV12、 BV 21 , BV22…を示す。 このうち、 BVl l , B V 21 , B V 31 , …は 1フレーム間の動きベク トルに相当している。 従って、 Bベク トル変換部 39では、 これらの動きベク トルで変換動き ベク トル MVbを生成する。
第 21図に戻り、 判定部 40では、 動き検出信号 MD 1が 1の動画ブ ロックに対し、 変換べク トル MVp、 MVbによるブロック単位の動き 補正誤差を算出し、 値の小さいものを代表動きべク トル BMVに出力す る。 なお、 静止ブロックに対しては、 BMVに 0を出力する。
制御部 41は、 これらの動作に必要な制御信号類を生成する。 以上に述べた如く、 本発明の第 4の実施例によれば、 動きベク トルの 探索に要する演算量を更に少なくする画像信号のフレーム数変換装置が 実現できる。 そして、 高画質化、 低コス ト化に顕著な効果を得ることが できる。
次に、 本発明の第 5の実施例を第 2 3図のブロック構成図に示す。 本 実施例は、 先の第 3の実施例にシーンチェンジ検出部 3 2を追加した構 成で実現する。
また、 本発明の第 6の実施例を第 2 4図のブロック構成図に示す。 本 実施例は、 先の第 4の実施例にシーンチェンジ検出部 3 2を追加した構 成で実現する。
これら実施例における構成や動作は、 これまでの説明で容易に理解で きるため説明は省略する。
最後に、 本発明のフレーム数変換装置をテレビジョン受像機に適用し た実施例について、 第 2 5図〜第 2 6図を用いて説明する。
第 2 5図は、 この第 1の実施例のブロ ッ ク構成例を示す図で、 画像を 順次走査の形態で表示するに好適なものである。
地上放送信号 T Vは、 チューナ一部 4 2でべ一スパン ド帯域のテレビ ジョン信号に復調する。
衛星放送信号 B Sは、 B Sチューナ一部 4 3でベースバン ド帯域のテ レビジョ ン信号に復調する。
デコーダ部 4 4は、 アナログ方式のテレビジョン信号の所定の復調処 理を行い、 輝度信号と色差信号を復調する。
I R D部 4 5は、 デジタル方式のテレビジョン信号の所定の複号化処 理を行い、 輝度信号と色差信号を復調する。
外部入力信号 E xには、 V C R等のパッケージメディアや P C画像な どの輝度信号と色差信号を入力する。 スィ ッチ部 46は、 制御部 5 1の制御信号で指定する信号系列の選択 を行う:
動き補正フレーム数変換部 47は、 本発明のフ レーム数変換装置に相 当し、 動き補正フ レーム内挿処理でフレーム周波数をァップした順次走 査の信号系列を生成する。 例えば、 PAL方式のフ レーム周波数 5 O H zの信号の 50H z→60H z変換では、 フレーム順 1〜 5の入力信号 系列からフレーム順 1〜6( 2〜 6は動き補正フ レーム内挿処理で生成) の信号系列を生成する。 また、 50 H z→75 H z変換では、 フレーム 順 1〜 2の入力信号系列からフレーム順 1〜 3 ( 2〜3は動き補正フレ —ム内挿処理で生成) の信号系列を生成する。 あるいは、 50H z→ l 0 OH z変換では、 フ レーム順 1の入力信号系列からフレーム順 1〜2 (2は動き補正フレーム内挿処理で生成) の信号系列を生成する。
スケーリ ング処理部 48は、 画像サイズの拡大ノ縮小、 アスペク ト比 の変換、 走査線数の変換などの信号処理を行う。
画質改善部 49は、 鮮鋭度改善や輝度階調補正などの画質改善信号処 理と色空間変換による 3原色信号への変換を行う。
順次表示部 50は、 フレーム周波数が 60 H z、 又は 75 H zか 1 0 0H zの順次走査の形態で画像表示を行う。
リモコン受信部 52は、 ユーザがリ モコン端子で操作する各種ユーザ 情報 (チャネル選択、 表示モー ドなど) を受信する。
制御部 5 1は、 受信した各種ユーザ情報に応じて、 各部の動作に必要 な制御信号類 (図面には明示せず) を生成し、 被制御部 58に出力する 第 26図は、 この第 2の実施例のブロック構成例を示す図で、 画像を 飛び越し走査の形態で表示するに好適なものである。 これは、 上述した 第 25図の構成に P I変換部 53を追加し、 インターレース表示部 54 で飛び越し走査の形態の画像を表示する。 P I変換部 53は、 順次走査の信号系列の走査線の 2 : 1の間引き処 理を行い、 飛び越し走査の信号系列に変換する信号処理を行う。
また、 イ ンターレース表示部 54は、 フィール ド周波数が 60 H z、 又は 75Hzか 100 H zの飛び越し走査の形態で画像表示を行う。 なお、 この他のブロックは第 25図のものと同一の動作を行うので、 説明は省略する。
以上に述べたように、 これらの実施例によれば、 マルチソース対応の 高画質なテレビジ ョ ン受像機を、 低コス 卜で実現できる。 産業上の利用可能性
本発明は、 PAL— NTSCテレビジ ョ ン信号の方式変換、 PAL5 0 H z— 60 H z Z 75 H z Z 100 H z変換、 フィルム画像 (フレー ム周波数 24HzZ30Hz) — 60Hz変換、 テレビジ ョン信号—パ ソコン画像信号変換など、 各種のフレーム数変換装置に適用し、 高画質 化 · 低コス ト化に顕著な効果を有する。 本発明に係る画像信号のフレー ム数変換方法および装置は、 テレビジ ョ ン受像機、 DVDプレーヤ、 P C機器、 PAD端末などの情報家電機器に適用することができる。

Claims

請 求 の 範 囲
1 . 画像信号の動きを検出してプロック単位動きべク トルを探索し、 ブ 口ック単位動きべク トルの動き補正誤差成分の大小に応じてプロック単 位動きベク トルを修正し、 修正動きベク トルによる現フレームと前フレ ームの動き補正信号の誤差成分に基づいて選択した動きべク トルを画素 単位動きべク トルとして生成し、 画素単位動きべク トルによる現フレー ムと前フレームの動き補正信号の誤差成分の大小に応じて動き補正内挿 フレーム信号を生成することを特徴とする画像信号のフレーム数変換方 法。
2 . 上記画像信号の動きの検出は、 飛び越し走査の画像信号系列で行う ことを特徴とする請求の範囲第 1項記載の画像信号のフレーム数変換方 法。
3 . 上記画像信号の動きの検出は、 順次走査の画像信号系列で行うこと を特徴とする請求の範囲第 1項記載の画像信号のフレーム数変換方法。
4 . 上記プロック単位動きべク トルの探索は、 予め設定した参照プロッ クの動きべク トルのうちで予測誤差成分が最小のものを代表動きべク ト ルとし、 上記代表動きベク トルの予測誤差成分が闉値未満の場合は、 ブ 口ックマッチング処理で予測誤差を算出することにより行い、 闥値以上 の場合は、 探索モー ド情報に従って探索することにより行うことを特徴 とする請求の範囲第 1項記載の画像信号のフレーム数変換方法。
5 . 上記動きべク トルの修正は、 上記プロック単位動きべク トルによる 動き補正誤差が閽値未満の場合は行わず、 闉値以上の場合は、 当該プロ ックをミニブロックに分割し、 各ミニブロック毎に隣接プロックの動き べク トルのうちで動き補正誤差が最小なものをミニブロックの動きべク トルとすることにより行うことを特徴とする請求の範囲第 1項記載の画 像信号のフレーム数変換方法。
6 . 上記画素単位動きべク トルの生成は、 修正動きべク トルによる現フ レームと前フレームの動き補正信号の誤差成分が最小の動きべク トルを 用いて行うことを特徴とする請求の範囲第 1項記載の画像信号のフレー ム数変換方法。
7 . 上記画像信号のシーンチェンジを検出したときは、 ブロ ッ ク単位動 きべク トルの探索、 画素単位動きべク トルの生成および動き補正内挿フ レームの生成を中止し、 内挿フレームの信号を現フレームの信号もしく は前フレームの信号で生成することを特徴とする請求の範囲第 1項記載 の画像信号のフレーム数変換方法。
8 . 動き補正の信号処理に必要な動きべク トルをブロック単位動きべク トルとして検出するブロック単位動きべク トル探索部と、 ブロック単位 動きべク トルの動き補正誤差成分の大小に応じてプロック単位動きべク トルを修正する動きべク トル修正部と、 修正動きべク トルによる現フレ —ムと前フレームの動き補正信号の誤差成分に基づいて選択した動きべ ク トルを画素単位動きべク トルとして生成する画素単位動きべク トル生 成部と、 画素単位動きべク トルによる現フレームと前フレームの動き補 正信号の誤差成分の大小に応じて動き補正内挿フレーム信号を生成する 動き補正内挿フレーム信号生成部とを備えたことを特徴とする画像信号 のフレーム数変換装置。
9 . 上記プロック単位動きべク トル探索部は、 動画プロックに対しては、 予め設定する原点近傍領域では密で周縁部領域では粗の複数個数の代表 動きべク トルによるブロックマツチング処理により動きべク トルの検出 を行うことを特徴とする請求の範囲第 8項記載の画像信号のフレーム数 変換装置。
1 0 . 上記ブロック単位動きべク トル探索部は、 検出した動きべク トル の発生頻度の形態に応じて複数種類の探索モー ドのうちから 1つのモ一 ドを設定してブロックマツチング処理により動きべク トルの検出を行う ことを特徴とする請求の範囲第 8項記載の画像信号のフレーム数変換装 置。
1 1 . 上記プロック単位動きべク トル探索部は、 入力画像信号の動きべ ク トル情報の Pピクチャおよび Bピクチャの動きべク トルを 1 フレーム 間の動きべク トルに変換するべク トル変換部を有し、 動画ブロックに対 しては、 上記べク トル変換部出力の動きべク トルをもとに動きべク トル の検出を行うことを特徴とする請求の範囲第 8項記載の画像信号のフレ —ム数変換装置。
1 2 . 上記プロック単位動きべク トル探索部は、 ブロックマッチング処 理による動きべク トルの探索において、 水平方向の探索領域は垂直方向 の探索領域より広い領域に設定することを特徴とする請求の範囲第 8項 記載の画像信号のフレーム数変換装置。
1 3 . 上記プロック単位動きべク トル探索部は、 ブロックマッチング処 理を画像信号の輝度信号成分で行うことを特徴とする請求の範囲第 8項 記載の画像信号のフレーム数変換装置。
1 4 . 上記プロック単位動きべク トル探索部は、 ブロックマッチング処 理を画像信号の輝度信号成分と色差信号成分を用いて行うことを特徴と する請求の範囲第 8項記載の画像信号のフレーム数変換装置。
1 5 . 上記動き補正内挿フレーム信号生成部は、 動きべク トルの発生頻 度の形態に応じて特殊な動きを含むフレームに対して動き補正内挿フレ —ムの信号処理を行うことを特徴とする請求の範囲第 8項記載の画像信 号のフレーム数変換装置。
1 6 . 上記動き補正内挿フレーム信号生成部は、 現フレームと前フレー ムの動き補正内挿フレーム信号の誤差成分および誤差評価関数の値の算 出を画像信号の輝度信号成分で行うことを特徴とする請求の範囲第 8項 記載の画像信号のフレーム数変換装置。
1 7 . 上記動き補正内挿フ レーム信号生成部は、 現フレームと前フレー ムの動き補正内挿フレーム信号の誤差成分および誤差評価関数の値の算 出を画像信号の輝度信号成分と色差信号成分で行うことを特徴とする請 求の範囲第 8項記載の画像信号のフレーム数変換装置。
1 8 . 画像信号を入力する入力部と、 上記画像信号の動きを検出してブ 口ック単位動きべク トルを探索し、 ブロック単位動きべク トルの動き補 正誤差成分の大小に応じて動きべク トルを修正し、 修正動きべク トルに よる現フレームと前フレームの動き補正信号の誤差成分に基づいて選択 した動きべク トルを画素単位動きべク トルとして生成し、 画素単位動き べク トルによる現フレームと前フレームの動き補正信号の誤差成分の大 小に応じて動き補正内挿フレーム信号を生成することにより画像信号の フレーム数を変換処理する画像信号のフレーム数変換部と、 上記画像信 号のフレーム数変換部の出力を表示する表示部とを備えたことを特徴と する情報家電機器。
1 9 . 上記画像信号のフ レーム数変換部において上記画像信号を飛び越 し -順次の走査変換処理により順次走査の画像信号に変換して上記画像 信号の内挿フレームを生成し、 上記表示部に順次走査の画像信号を表示 するよう構成したことを特徴とする請求の範囲第 1 8項記載の情報家電
2 0 . 上記画像信号のフレーム数変換部において上記國像信号を飛び越 し一順次の走査変換処理により順次走査の画像信号に変換して上記画像 信号の内挿フレームを生成し、 上記画像信号のフレーム数変換部と上記 表示部の間に設けられた走査変換部により上記順次走査の画像信号を飛 び越し走査の画像信号に変換し、 上記表示部に飛び越し走査の國像信号 を表示するよう構成したことを特徴とする請求の範囲第 1 8項記載の情 報家電機器。
PCT/JP1998/002848 1998-06-25 1998-06-25 Method and device for converting number of frames of image signals WO1999067952A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000556504A JP4119092B2 (ja) 1998-06-25 1998-06-25 画像信号のフレーム数変換方法および装置
PCT/JP1998/002848 WO1999067952A1 (en) 1998-06-25 1998-06-25 Method and device for converting number of frames of image signals
US09/720,327 US6611294B1 (en) 1998-06-25 1998-06-25 Method and device for converting number of frames of image signals
EP98929690A EP1104970B1 (en) 1998-06-25 1998-06-25 Method and device for converting number of frames of image signals
DE69841059T DE69841059D1 (de) 1998-06-25 1998-06-25 Verfahren und vorrichtung zur umwandlung der zahl von videorahmen von bildsignalen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP1998/002848 WO1999067952A1 (en) 1998-06-25 1998-06-25 Method and device for converting number of frames of image signals

Publications (1)

Publication Number Publication Date
WO1999067952A1 true WO1999067952A1 (en) 1999-12-29

Family

ID=14208485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/002848 WO1999067952A1 (en) 1998-06-25 1998-06-25 Method and device for converting number of frames of image signals

Country Status (5)

Country Link
US (1) US6611294B1 (ja)
EP (1) EP1104970B1 (ja)
JP (1) JP4119092B2 (ja)
DE (1) DE69841059D1 (ja)
WO (1) WO1999067952A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1164792A2 (en) * 2000-06-13 2001-12-19 Samsung Electronics Co., Ltd. Format converter using bidirectional motion vector and method thereof
JP2005531962A (ja) * 2002-06-28 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオフォーマットを120Hz1−4インターレースフォーマットに変換するための方法および装置
US7586540B2 (en) 2004-10-29 2009-09-08 Hitachi Displays, Ltd. Image interpolation device and a frame rate converter and image display apparatus using the same
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
CN101377917B (zh) * 2007-08-31 2011-04-13 索尼株式会社 显示设备
US8175416B2 (en) 2007-05-07 2012-05-08 Mstar Semiconductor, Inc. Pixel interpolation apparatus and method thereof

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1515111A (zh) * 2001-06-08 2004-07-21 �ʼҷ����ֵ������޹�˾ 显示视频帧的方法和系统
US6992725B2 (en) * 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
TWI248073B (en) * 2002-01-17 2006-01-21 Media Tek Inc Device and method for displaying static pictures
US20070121724A1 (en) * 2004-01-27 2007-05-31 Koninklijke Philips Electronics, N.V. Image motion compensation arrangement and method therefor
KR100555869B1 (ko) * 2004-06-15 2006-03-03 삼성전자주식회사 저더 검출을 이용한 디인터레이싱 장치 및 방법
KR100577684B1 (ko) * 2004-10-08 2006-05-10 삼성전자주식회사 저더-맵을 이용한 영상 처리 장치 및 방법
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing
JP2009060377A (ja) * 2007-08-31 2009-03-19 Toshiba Corp 補間フレーム生成装置及び補間フレーム生成方法
US20100103313A1 (en) * 2008-10-23 2010-04-29 Kabushiki Kaisha Toshiba Signal processor and signal processing method
CN107113394B (zh) * 2015-01-06 2019-10-18 麦克赛尔株式会社 影像显示装置、影像显示方法以及影像显示系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63313982A (ja) * 1987-06-09 1988-12-22 Sony Corp テレビジョン画像の動きベクトル評価方法
JPH0614305A (ja) * 1990-09-28 1994-01-21 Sony Broadcast & Commun Ltd 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置
JPH06506578A (ja) * 1991-04-12 1994-07-21 デーヴェー スウェーデン アクチボラグ ビデオ信号における運動内容推定方法
JPH0795593A (ja) * 1993-04-08 1995-04-07 Sony United Kingdom Ltd 動き補償ビデオ信号処理方式
JPH0799651A (ja) * 1993-09-28 1995-04-11 Canon Inc 画像信号再生装置
JPH07170496A (ja) * 1993-09-08 1995-07-04 Thomson Consumer Electron Sa ブロックマッチングによる動き予測方法および装置
JPH08322019A (ja) * 1995-03-31 1996-12-03 Thomson Multimedia Sa 動き補償されたアップコンバージョンの方法及び装置
US5761398A (en) * 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294959B1 (en) * 1987-06-09 1994-10-05 Sony Corporation Television standards converters
GB2231745B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231744B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2263602B (en) * 1992-01-24 1995-06-21 Sony Broadcast & Communication Motion compensated video signal processing
EP0637889B1 (en) * 1993-08-06 2001-01-17 Lg Electronics Inc. Device for converting the frame rate of an image
EP0648052B1 (en) * 1993-09-08 2000-03-01 THOMSON multimedia Method and apparatus for motion estimation using block matching
JP2001054075A (ja) * 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63313982A (ja) * 1987-06-09 1988-12-22 Sony Corp テレビジョン画像の動きベクトル評価方法
JPH0614305A (ja) * 1990-09-28 1994-01-21 Sony Broadcast & Commun Ltd 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置
JPH06506578A (ja) * 1991-04-12 1994-07-21 デーヴェー スウェーデン アクチボラグ ビデオ信号における運動内容推定方法
JPH0795593A (ja) * 1993-04-08 1995-04-07 Sony United Kingdom Ltd 動き補償ビデオ信号処理方式
JPH07170496A (ja) * 1993-09-08 1995-07-04 Thomson Consumer Electron Sa ブロックマッチングによる動き予測方法および装置
JPH0799651A (ja) * 1993-09-28 1995-04-11 Canon Inc 画像信号再生装置
JPH08322019A (ja) * 1995-03-31 1996-12-03 Thomson Multimedia Sa 動き補償されたアップコンバージョンの方法及び装置
US5761398A (en) * 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAHN M.: "HARDWARE IMPLEMENTATION OF A MOTION -CONPENSATING FORMAT CONVERTER.", JOURNAL OF ELECTRONICS IMAGING, vol. 4, no. 3, 1 July 1995 (1995-07-01), pages 270 - 277, XP000517864 *
See also references of EP1104970A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1164792A2 (en) * 2000-06-13 2001-12-19 Samsung Electronics Co., Ltd. Format converter using bidirectional motion vector and method thereof
EP1164792A3 (en) * 2000-06-13 2003-08-13 Samsung Electronics Co., Ltd. Format converter using bidirectional motion vector and method thereof
US6900846B2 (en) 2000-06-13 2005-05-31 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP2005531962A (ja) * 2002-06-28 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオフォーマットを120Hz1−4インターレースフォーマットに変換するための方法および装置
US7961251B2 (en) 2002-06-28 2011-06-14 Trident Microsystems (Far East) Ltd. Method and apparatus for conversion of video formats to 120 Hz 4 to 1 interlaced formats
US7586540B2 (en) 2004-10-29 2009-09-08 Hitachi Displays, Ltd. Image interpolation device and a frame rate converter and image display apparatus using the same
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
US8472524B2 (en) 2006-04-03 2013-06-25 Intel Corporation Motion compensated frame rate conversion with protection against compensation artifacts
US8175416B2 (en) 2007-05-07 2012-05-08 Mstar Semiconductor, Inc. Pixel interpolation apparatus and method thereof
CN101377917B (zh) * 2007-08-31 2011-04-13 索尼株式会社 显示设备
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム

Also Published As

Publication number Publication date
EP1104970A4 (en) 2005-08-03
DE69841059D1 (de) 2009-09-24
JP4119092B2 (ja) 2008-07-16
EP1104970A1 (en) 2001-06-06
US6611294B1 (en) 2003-08-26
EP1104970B1 (en) 2009-08-12

Similar Documents

Publication Publication Date Title
JP4083265B2 (ja) 画像信号の方式変換方法および装置
US5689305A (en) System for deinterlacing digitally compressed video and method
US6509930B1 (en) Circuit for scan conversion of picture signal using motion compensation
JP4145275B2 (ja) 動きベクトル検出・補償装置
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
EP0883298A2 (en) Conversion apparatus for image signals and TV receiver
KR20060047595A (ko) 적응 시간적인 예측을 채용하는 움직임 벡터 추정
JP4119092B2 (ja) 画像信号のフレーム数変換方法および装置
JP4092778B2 (ja) 画像信号の方式変換装置及びテレビジョン受像機
JP4083266B2 (ja) 動きベクトルの生成方法および装置
JP4092773B2 (ja) 画像信号のフレーム数変換方法および装置
JP3649370B2 (ja) 動き補償符号化装置及び動き補償符号化方法
KR100235988B1 (ko) 디티브이 영상 포맷 변환장치 및 그 방법
KR100364762B1 (ko) 순차주사 영상 변환 장치 및 방법과, 그를 이용한 수직주사율 변환 장치
JP3201079B2 (ja) インターレース動画像信号の動き補償予測方法、符号化方法及び装置
JPH0851599A (ja) 画像情報変換装置
JP2002010267A (ja) 動きベクトル変換装置及び方法
JP2001086508A (ja) 動画像復号方法及び動画像復号装置
JP2000244877A (ja) 画像信号の動き補正倍速変換回路及びテレビジョン装置
WO2010143497A1 (ja) 動画像データ処理装置、撮像装置および動画像再生装置
JP3172323B2 (ja) 映像信号の方式変換装置
JPH11266440A (ja) 画像信号の走査変換回路及び画像復号化装置
JP4556286B2 (ja) 動きベクトル変換装置及び方法
JP3201344B2 (ja) インターレース動画像信号の動き補償予測方法及び符号化装置
JP4035808B2 (ja) 動画像走査構造変換装置、動画像走査構造変換方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1998929690

Country of ref document: EP

Ref document number: 09720327

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1998929690

Country of ref document: EP