WO2011067870A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2011067870A1
WO2011067870A1 PCT/JP2010/002316 JP2010002316W WO2011067870A1 WO 2011067870 A1 WO2011067870 A1 WO 2011067870A1 JP 2010002316 W JP2010002316 W JP 2010002316W WO 2011067870 A1 WO2011067870 A1 WO 2011067870A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion vector
interpolation
motion
phase
Prior art date
Application number
PCT/JP2010/002316
Other languages
English (en)
French (fr)
Inventor
野澤和志
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011544173A priority Critical patent/JPWO2011067870A1/ja
Priority to EP10834327A priority patent/EP2509307A4/en
Publication of WO2011067870A1 publication Critical patent/WO2011067870A1/ja
Priority to US13/337,632 priority patent/US20120093231A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Definitions

  • the present invention relates to an image processing apparatus that generates an interpolated image that is interpolated between two original images that are included in a moving image and that are temporally mixed, and in particular, by performing motion compensation processing using a motion vector.
  • the present invention relates to an image processing apparatus that generates an interpolated image.
  • a method of generating the interpolated image a method of generating the same original image as the frame or field included in the moving image (hereinafter referred to as “original image”) as an interpolated image, or between frames or between fields.
  • original image a method of generating the same original image as the frame or field included in the moving image
  • linear interpolation processing There is a method of generating an interpolated image by linear interpolation processing.
  • jerkiness or judder there is a problem that unnatural motion occurs, called jerkiness or judder, in the moving image after the frame rate conversion process.
  • motion compensation interpolation processing that generates an interpolation image by performing motion compensation processing using a motion vector (see, for example, Patent Document 1).
  • motion compensation interpolation processing When an interpolated image is generated by such motion compensation interpolation processing, a natural and smooth moving image with little jerkiness or judder can be obtained.
  • the motion vector used in this motion compensation type interpolation process represents the motion state of the image.
  • the motion vector is detected using a block matching method or the like.
  • the target image is divided into a plurality of blocks each composed of one or more pixels.
  • a target block from which motion is to be detected is selected from the plurality of divided blocks.
  • the degree of correlation between the selected block of interest and a plurality of candidate areas (hereinafter referred to as “candidate blocks”) within a predetermined search range in the previous frame or the subsequent frame that is temporally before or after the target image, respectively. evaluate.
  • the candidate block having the highest correlation among the candidate blocks is determined, and the displacement between the candidate block and the target block is detected as a motion vector.
  • the correct motion vector that should be detected may not be detected effectively. is there.
  • the object and the background move in different directions it is often impossible to detect the correct motion vector that should be detected in the boundary region of the object.
  • the motion indicated by the detected motion vector may not match the actual motion because the size of the search range is limited due to restrictions of hardware resources and the like.
  • the interpolated image may be greatly degraded. Further, such degradation of the interpolated image often occurs at an object boundary, a screen boundary, or the like.
  • a method for improving such deterioration there are a method not using a motion vector, a method of performing a filtering process, and the like. Specifically, for example, there is a method of generating the same image as the image included in the original image as all or part of the interpolation image, or a method of generating an interpolation image by linear interpolation processing between frames or fields. . When an interpolated image is generated by these methods, there is a problem that the motion is discontinuous or unclear in the whole or a part of the moving image.
  • the present invention solves the above-described conventional problems, and provides an image processing apparatus that can generate an interpolated image that suppresses image degradation and that has smooth motion. Objective.
  • an image processing apparatus generates an interpolated image that is interpolated between two original images that are included in an input moving image and that are temporally mixed.
  • An image processing apparatus a motion vector detection unit that detects a motion vector between two original images that move back and forth in time, and a reliability that indicates the reliability of the motion vector detected by the motion vector detection unit
  • a compensation strength determining unit that determines a motion compensation strength for specifying an interpolation phase, which is a phase of the generated interpolated image, according to the calculated reliability and the compensation strength determining unit
  • motion compensation processing is performed using at least one of the two original images.
  • the compensation intensity determination unit includes an interpolation image generation unit that generates an interpolation image. The lower the reliability indicated by the calculated reliability, the more the interpolation phase is one of the two original images. The motion compensation intensity is determined so as to approach.
  • the lower the reliability of the motion vector the closer the interpolation phase can be to the phase of the original image, so that image degradation can be suppressed.
  • the reliability of the motion vector is high, the interpolation phase is not brought close to the phase of the original image, so that the motion of the image can be made smooth.
  • the motion compensation intensity for specifying the interpolation phase can be determined according to the reliability of the motion vector, it is possible to adaptively generate an interpolation image for the input moving image.
  • the compensation strength determination unit detects a motion vector detected for a target block included in one of the two original images and at least one block located around the target block. It is preferable to calculate the degree of change from the motion vector as the reliability.
  • the degree of change between the motion vector of the block of interest and the motion vector of the block located around the block of interest can be calculated as the reliability, and the reliability of the motion vector can be calculated with high accuracy.
  • the reliability of the motion vector can be calculated with high accuracy.
  • the compensation strength determination unit may include a block corresponding to a start point of the motion vector included in one of the two original images and an end point of the motion vector included in the other of the two original images. It is preferable to calculate the non-approximation with the corresponding block as the reliability.
  • the compensation strength determination unit is detected for at least one block located around the target block and a motion vector detected for the target block included in one of the two original images.
  • the block corresponding to the start point of the motion vector included in one of the two original images, and the end point of the motion vector included in the other of the two original images It is preferable to calculate the sum of the block non-approximation as the reliability.
  • the compensation strength determination unit determines the motion compensation strength for each block, and the interpolation image generation unit performs the motion compensation processing for each block using the determined motion compensation strength, thereby the interpolation image. Is preferably generated.
  • an interpolation image can be generated by changing the interpolation phase for each block, so that an interpolation image with suppressed image degradation and smooth motion can be adaptively generated.
  • the compensation strength determination unit determines the motion compensation strength by performing a spatial filter process so as to reduce a difference in motion compensation strength between adjacent blocks. Is preferred.
  • the motion compensation unit determines the motion compensation so that the lower the reliability indicated by the calculated reliability is, the closer the interpolation phase is to the phase closer to the normal phase among the phases of the two original images.
  • the intensity is determined, and the normal phase is preferably a phase that is logically calculated from a frame rate before conversion and a frame rate after conversion.
  • the compensation strength determination unit further acquires scroll information indicating a possibility that the image is scrolled in a part or all of the regions of the two original images, and the acquired scroll information may indicate the scroll information. It is preferable to re-determine the motion compensation intensity so that the interpolation phase approaches the normal phase as the interpolation phase specified by the determined motion compensation intensity increases.
  • the motion compensation strength of the region where the image is scrolling is redetermined to a motion compensation strength that specifies a phase closer to the normal phase than the interpolation phase determined according to the reliability of the motion vector as the interpolation phase. Can do. Therefore, it is possible to smoothly move the scrolled image in the converted moving image.
  • the compensation strength determination unit further acquires telop information indicating a possibility that the telop is displayed while moving in a part or all of the regions of the two original images, and the acquired telop information indicates It is preferable to re-determine the motion compensation strength such that the greater the possibility, the closer the interpolation phase is to the normal phase than the interpolation phase specified by the determined motion compensation strength.
  • the motion compensation strength of the area displayed while the telop is moving is redetermined as a motion compensation strength that specifies a phase closer to the normal phase than the interpolation phase determined according to the reliability of the motion vector as the interpolation phase. can do. Therefore, it is possible to make the telop move smoothly in the converted moving image.
  • the present invention can be realized not only as such an image processing apparatus, but also as an image processing method using characteristic processes included in the image processing apparatus as steps.
  • the present invention can also be realized as a program that causes a computer to execute the characteristic steps included in such an image processing method. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI: Large Scale Integration) that realizes part or all of the functions of such an image processing apparatus, or an image such as a digital television provided with such an image processing apparatus. It can also be realized as a display device.
  • LSI Large Scale Integration
  • the image processing apparatus can generate an interpolated image in which image degradation is suppressed and the motion is smooth.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the flow of processing by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing an example of the relationship between the absolute difference value and the degree of change in the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of the relationship between the degree of change and the motion compensation strength according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram for describing filter processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the flow of processing by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing an example of the relationship between the absolute difference value and the degree
  • FIG. 6 is a diagram for explaining the relationship between the motion compensation intensity and the interpolation phase when the normal phase is “0.4” in the embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the relationship between the motion compensation intensity and the interpolation phase when the normal phase is “0.6” in the embodiment of the present invention.
  • FIG. 8 is a diagram schematically showing processing for generating an interpolated image by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 9A is a diagram for explaining an interpolated image generated by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 9B is a diagram for explaining an interpolated image generated by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 9A is a diagram for explaining an interpolated image generated by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 9B is a diagram for explaining an interpolated image generated by the image processing apparatus according to Embodiment 1 of the present
  • FIG. 10A is a diagram showing an example of the relationship between the absolute difference value and the degree of change in Embodiment 1 of the present invention.
  • FIG. 10B is a diagram showing an example of the relationship between the absolute difference value and the degree of change in Embodiment 1 of the present invention.
  • FIG. 11A is a diagram showing an example of the relationship between the absolute difference value and the degree of change in the first embodiment of the present invention.
  • FIG. 11B is a diagram showing an example of the relationship between the absolute difference value and the degree of change in Embodiment 1 of the present invention.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 13 is a diagram showing an example of the relationship between the correlation value and the non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 14 is a diagram illustrating an example of the relationship between the non-approximation degree and the motion compensation strength according to Embodiment 2 of the present invention.
  • FIG. 15A is a diagram illustrating an example of a relationship between a correlation value and a non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 15B is a diagram showing an example of the relationship between the correlation value and the non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 16A is a diagram illustrating an example of a relationship between a correlation value and a non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 16B is a diagram showing an example of the relationship between the correlation value and the non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 17 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 18 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 19 is a flowchart showing a flow of processing by the image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 20A is a diagram for describing processing in which the compensation strength determination unit according to Embodiment 4 of the present invention redetermines motion compensation strength.
  • FIG. 20B is a diagram for describing processing in which the compensation strength determination unit according to Embodiment 4 of the present invention redetermines motion compensation strength.
  • the following embodiments are configured using at least one of hardware and software.
  • the configuration using hardware can be configured using software
  • the configuration using software includes hardware. It can also be configured.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 10 is an apparatus that generates an interpolation image that is interpolated between two original images that are included in an input moving image and that are temporally mixed.
  • the moving image may be a frame unit or a field unit.
  • the original image means a frame image
  • the moving image is a field unit
  • the original image means a field image.
  • the image processing apparatus 10 includes a motion vector detection unit 11, a compensation strength determination unit 12, and an interpolation image generation unit 13.
  • the motion vector detection unit 11 detects a motion vector between two original images that move back and forth in time for each block.
  • the compensation strength determination unit 12 calculates the reliability of the motion vector and determines the motion compensation strength according to the calculated reliability. Further, the compensation strength determination unit 12 determines the motion compensation strength so that the interpolation phase approaches the phase closer to the normal phase of the two original images as the reliability indicated by the calculated reliability is lower. To do.
  • the motion compensation strength is a value for specifying the interpolation phase that is the phase of the interpolation image.
  • the phase is a value indicating the temporal position of the image.
  • the interpolation phase is a value indicating the temporal position of the interpolation image.
  • the interpolation image generated by the motion compensation process described later is an image that has moved greatly from the original image. Therefore, the motion compensation strength can also be referred to as a value indicating the degree of coincidence between the original image and the interpolated image.
  • the interpolation phase is a value used when generating the interpolation image, and may be different from the phase at which the interpolation image is displayed.
  • the normal phase is a phase that is logically calculated from the ratio between the frame rate before conversion and the frame rate after conversion, and the time during which images included in the moving image after frame rate conversion are continuous at equal intervals. This is a phase indicating a specific position.
  • the interpolated image generation unit 13 generates an interpolated image by performing a motion compensation process using at least one of the two original images using the interpolation phase and the motion vector specified by the motion compensation intensity.
  • FIG. 2 is a flowchart showing the flow of processing by the image processing apparatus according to Embodiment 1 of the present invention.
  • the motion vector detection unit 11 detects a motion vector for each block of the original image included in the input moving image indicated by the input image signal (S102). In addition, the motion vector detection unit 11 outputs the detected motion vector to the compensation intensity determination unit 12 and the interpolation image generation unit 13.
  • the compensation strength determination unit 12 selects a block that is included in the processing target image and has not been subjected to the following processing (S106 to S114) as a target block (S104). Then, the compensation strength determination unit 12 calculates a reliability indicating the reliability of the motion vector of the block of interest (S106). The compensation strength determination unit 12 determines the motion compensation strength so that the interpolation phase approaches the phase of the original image as the reliability indicated by the calculated reliability is lower (S108).
  • the compensation strength determination unit 12 performs a spatial filter process on the motion compensation strength so that the difference in motion compensation strength between adjacent blocks is reduced (S112). Then, the compensation strength determination unit 12 outputs the motion compensation strength after the filter processing to the interpolation image generation unit 13.
  • the interpolated image generation unit 13 performs a motion compensation process using the motion vector adjusted according to the interpolation phase specified for each block by the motion compensation intensity and the block of interest (S114).
  • the compensation strength determination unit 12 determines whether all the blocks included in the processing target image have been selected as the target block (S116).
  • the compensation strength determination unit 12 repeats the processing from step S104 again.
  • the image processing apparatus 10 ends the process of generating the interpolation image.
  • the interpolated image generation unit 13 generates an interpolated image by repeating the motion compensation process for each block.
  • the interpolated image generated in this way is inserted between two original images that move back and forth in time, so that an output image signal indicating an output moving image is output.
  • the interpolated image generation unit 13 performs the motion compensation process every time the motion compensation strength is determined. However, after the motion compensation strengths of all the blocks are determined, the motion compensation processing is performed collectively. May be performed.
  • the motion vector detection unit 11 divides an original image included in an input moving image indicated by an input image signal which is an image signal input to the image processing apparatus 10 into a plurality of blocks. Then, the motion vector detection unit 11 detects a motion vector between two original images that move back and forth in time for each divided block. Further, the motion vector detection unit 11 outputs a motion vector value indicating the magnitude and direction of the detected motion vector to the compensation strength determination unit 12 and the interpolation image generation unit 13.
  • the motion vector detection unit 11 detects, for each block, a motion vector between two original images that are temporally changed based on the block matching method. That is, the motion vector detecting unit 11 is a block included in one of the two original images and within a predetermined search range in the target block that is a block for detecting motion and the other of the two original images. Correlation values are calculated for each of a plurality of candidate regions (candidate blocks) included.
  • the motion vector detection unit 11 calculates a correlation value by comparing pixel values of pixels constituting the block between the blocks. For example, the motion vector detection unit 11 calculates, as a correlation value, the difference absolute value sum or the difference square value sum between the corresponding pixels between the target block and the candidate region.
  • the correlation value is the difference absolute value sum or the difference square value sum, the smaller the correlation value, the greater the degree of approximation between blocks.
  • the motion vector detection unit 11 selects a candidate region having the highest correlation with the block of interest based on the calculated correlation value, and detects a displacement between the selected candidate region and the block of interest as a motion vector.
  • the motion vector detection unit 11 detects a motion vector for each block included in the original image by detecting the motion vector as described above while changing the position of the block of interest.
  • search range does not necessarily need to be a region of one original image.
  • the search range may be a range corresponding to a desired region over one or more original images of the original image temporally and the original image temporally later than the original image including the target block. .
  • the compensation strength determination unit 12 calculates the average value of the motion vector values of a plurality of blocks located around the block of interest in order to calculate the degree of change of the motion vector. Then, the compensation strength determination unit 12 calculates the degree of change using the absolute difference value between the motion vector value of the block of interest and the average value of the calculated motion vector values. This degree of change corresponds to a degree of reliability indicating that the greater the value, the lower the reliability.
  • the blocks located around the target block include a block adjacent to the target block and a block adjacent to the adjacent block. That is, the blocks located around the block of interest are blocks located near the block of interest. For example, the blocks located around the target block are eight blocks surrounding the target block.
  • the motion vector value has a horizontal component value and a vertical component value of the image. Further, the value of the horizontal direction component and the value of the vertical direction component of the motion vector value are finite values.
  • the compensation strength determination unit 12 may calculate the degree of change using only the absolute difference value between the horizontal component of the motion vector value of the block of interest and the horizontal component of the average value of the calculated motion vector values. .
  • the compensation strength determination unit 12 may calculate the degree of change using only the absolute difference between the vertical direction component of the motion vector value of the target block and the vertical direction component of the average value of the calculated motion vector values. .
  • the compensation strength determination unit 12 may calculate the degree of change using the sum of the absolute difference value of the horizontal component and the absolute difference value of the vertical component.
  • FIG. 3 is a diagram showing an example of the relationship between the absolute difference value and the degree of change in Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of the relationship between the degree of change and the motion compensation intensity in the first embodiment of the present invention.
  • the compensation strength determination unit 12 calculates the absolute difference value as the degree of change. Further, as shown in FIG. 4, the compensation strength determination unit 12 determines the motion compensation strength so that the motion compensation strength decreases as the degree of change increases. That is, the compensation strength determination unit 12 determines the motion compensation strength so that the interpolation phase specified by the motion compensation strength approaches the phase of the original image as the reliability of the motion vector is lower.
  • FIG. 5 is a diagram for explaining filter processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • the hatched portion indicates the target block, and the numerical value in the block indicates the motion compensation strength.
  • the compensation strength determination unit 12 performs a filtering process on the motion compensation strength determined for each block. As a result, the difference in motion compensation strength between adjacent blocks is reduced.
  • the compensation strength determination unit 12 performs the filtering process for each block by calculating an average value of motion compensation strengths of a plurality of blocks included in a predetermined range from the block as the motion compensation strength of the block. Just do it. Further, for example, the compensation strength determination unit 12 may perform the filtering process by calculating a weighted addition value of motion compensation strengths of a plurality of blocks included in a predetermined range from the block for each block.
  • the compensation strength determining unit 12 calculates the degree of change between the motion vector of the block of interest and the blocks located around the block of interest as reliability will be described below.
  • the motion vector of the block of interest and the motion vector of the blocks located around the block of interest are of the same magnitude. There is a high probability that the motion vector will be in the direction and direction.
  • the motion vector of the block of interest and the motion vectors of blocks located around the block of interest have the same magnitude and direction, it is highly likely that the motion vector is an accurate motion vector. It can be easily guessed.
  • the motion vector detected for the target block when only a relatively small area in the image is in a moving state where only a person or an object moves, the motion vector detected for the target block, especially at the boundary of the area, There is a high possibility that the motion vectors detected for the blocks located around the block of interest are greatly different from each other. Also, if the motion vector of the block of interest and the motion vectors of the blocks located around the block of interest are different in magnitude and direction, the motion vector may be an inaccurate motion vector Can be easily estimated.
  • the compensation strength determination unit 12 calculates the degree of change between the motion vector detected for the block of interest and the motion vector detected for blocks located around the block of interest as the reliability.
  • the interpolation image generation unit 13 first calculates an interpolation phase using the motion compensation intensity. At this time, the interpolation image generation unit 13 calculates the interpolation phase so that the phase difference between the phase of the original image and the interpolation phase becomes smaller as the motion compensation intensity is smaller. In particular, the interpolation image generation unit 13 calculates the interpolation phase such that the smaller the motion compensation intensity, the smaller the phase difference between the phase of the original image closer to the normal phase and the interpolation phase.
  • FIG. 6 is a diagram for explaining the relationship between the motion compensation intensity and the interpolation phase when the normal phase is “0.4” in the embodiment of the present invention.
  • the phases of the two original images moving back and forth in time are “0” and “1”.
  • the interpolation image generation unit 13 calculates “0.4”, which is the same as the normal phase, as the interpolation phase.
  • the motion compensation intensity is the minimum value (for example, “0”)
  • the interpolated image generation unit 13 calculates “0”, which is the same as the phase of the original image closer to the normal phase, as the interpolated phase.
  • the interpolation phase is calculated as follows.
  • FIG. 7 is a diagram for explaining the relationship between the motion compensation intensity and the interpolation phase when the normal phase is “0.6” in the embodiment of the present invention.
  • the phases of the two original images moving back and forth in time are “0” and “1”.
  • the interpolation image generation unit 13 calculates “0.6” that is the same as the normal phase as the interpolation phase.
  • the interpolation image generation unit 13 calculates “1”, which is the same as the phase of the original image closer to the normal phase, as the interpolation phase.
  • the interpolation phase is calculated as follows.
  • Interpolation phase 1 ⁇ (1 ⁇ normal phase) * motion compensation intensity / 100
  • the interpolation image generation unit 13 calculates the interpolation phase, but the compensation strength determination unit 12 may calculate the interpolation phase. In this case, the compensation strength determination unit 12 may output the calculated interpolation phase to the interpolation image generation unit 13 as the motion compensation strength.
  • the interpolation image generation unit 13 uses the interpolation phase and the motion vector calculated in this way to generate an interpolation image by performing a motion compensation process using the original image.
  • FIG. 8 is a diagram schematically illustrating a process in which the image processing apparatus according to the first embodiment of the present invention generates an interpolated image. Specifically, FIG. 8 is a diagram schematically illustrating a process of generating an interpolation image by performing a motion compensation process using the original image n or the original image n + 1.
  • the phase difference between the original image n and the original image n + 1 is “1.0”, and the interpolation phase is Km.
  • the interpolated image generation unit 13 when performing motion compensation processing using the original image n, the interpolated image generation unit 13 performs motion compensation processing using a motion vector obtained by multiplying the motion vector by the phase difference Km.
  • the interpolated image generation unit 13 when performing motion compensation processing using the original image n + 1, the interpolated image generation unit 13 performs motion compensation processing using a motion vector obtained by multiplying a motion vector by a phase difference ⁇ (1 ⁇ Km).
  • the interpolation image generation unit 13 generates an interpolation image by performing the motion compensation process in this way.
  • 9A and 9B are diagrams for explaining an interpolation image generated by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 9A since the motion vector detected in the image area of the automobile has high reliability, an intermediate phase between the original image n and the original image n + 1, that is, an interpolation image having a normal phase is generated.
  • FIG. 9B since the reliability of the motion vector detected in the image region of the automobile is low, an interpolation image having a phase close to the phase of the original image n is generated.
  • the interpolated image generation unit 13 generates an interpolated image according to an interpolated phase having a smaller phase difference from the original phase than the normal phase when the motion vector reliability is low.
  • the normal phase is a phase that is logically calculated from the ratio between the frame rate before conversion and the frame rate after conversion as described above. For example, when frame rate conversion of a 60 Hz input moving image to a 120 Hz output moving image is performed, “0.5”, which is a ratio between the frame rate “60” of the input moving image and the frame rate “120” of the output moving image.
  • the values “0.0”, “0.5”, “1.0”,... Obtained each time are integrated are normal phases.
  • the ratio of the frame rate “24” of the input moving image and the frame rate “60” of the output moving image is “0.4”. “0.0”, “0.4”, “0.8”, “1.2”, “1.6”, “2.0”... It is.
  • phase of the original image included in the input moving image is represented by an integer value
  • an image having a normal phase that is an integer value may not be generated as an interpolation image. That is, when the frame rate conversion of a 60 Hz input moving image to a 120 Hz output moving image is performed, if an interpolated image having a phase of “0.5” is interpolated between successive original images, the output moving image is Thus, a moving image that is continuous at regular intervals in time series and has a smooth movement is obtained.
  • the output moving image becomes a moving image that is continuous in time series at equal intervals and has a smooth movement.
  • the interpolated image generated using the motion vector breaks down. That is, when the reliability of the motion vector is low, there is a high possibility that the interpolated image generated using the motion vector is a greatly deteriorated image.
  • the image processing apparatus 10 generates an interpolated image using an interpolated phase obtained by correcting the normal phase according to the reliability of the motion vector.
  • the higher the reliability of the motion vector the more the interpolation image is generated using the interpolation phase closer to the normal phase. If the reliability of the motion vector is high, there is a high possibility that the motion vector indicates an accurate image motion. Therefore, even if the interpolation image has a phase close to the normal phase, the image may deteriorate. Because it is small. In addition, if an interpolation image having a phase close to the normal phase is inserted, the movement of the image in the output moving image becomes smooth.
  • an interpolation image is generated using an interpolation phase that is closer to the phase of the original image than the normal phase. This is because the smaller the phase difference between the interpolation phase and the phase of the original image, the closer the interpolated image becomes to the image of the original image, so that image degradation can be suppressed.
  • the image processing apparatus 10 can bring the interpolation phase closer to the phase of the original image to the normal phase as the reliability of the motion vector is lower. it can.
  • the image processing apparatus 10 can bring the interpolation phase closer to the normal phase, and therefore can smoothly move the image.
  • the image processing apparatus 10 can determine the motion compensation intensity for specifying the interpolation phase according to the reliability of the motion vector, the image processing apparatus 10 adaptively generates an interpolation image for the input moving image. It becomes possible.
  • the image processing apparatus 10 can bring the interpolation phase closer to the phase of the original image closer to the normal phase as the motion vector reliability is lower, and can further suppress image deterioration.
  • the image processing apparatus 10 can calculate the degree of change between the motion vector of the block of interest and the motion vector of the block located around the block of interest as the reliability, and the motion vector reliability can be calculated with high accuracy. Can be calculated. Then, the image processing apparatus 10 determines the motion compensation intensity according to the reliability calculated with high accuracy as described above, so that the interpolated image in which the deterioration of the image is suppressed and the motion is smooth. Can be generated.
  • the image processing apparatus 10 can generate an interpolation image by changing the interpolation phase for each block, it can adaptively select an interpolation image that suppresses image degradation and has a smooth motion. Can be generated.
  • the image processing apparatus 10 performs a spatial filter process on the motion compensation intensity to suppress a sudden change in motion compensation intensity between the block of interest and the blocks located around the block of interest. It is possible to determine the motion compensation strength with continuity.
  • the compensation strength determination unit 12 calculates the calculated absolute difference value itself as the degree of change, but it is not always necessary to calculate the absolute difference value itself as the degree of change.
  • the compensation strength determination unit 12 may calculate a value obtained by adding a predetermined addition value to the calculated difference absolute value as the degree of change. Thereby, the compensation strength determination unit 12 can increase or decrease the degree of change independently of the calculated absolute difference value.
  • FIGS. 10A and 10B are diagrams showing an example of the relationship between the absolute difference value and the degree of change in Embodiment 1 of the present invention. Specifically, FIG. 10A is a graph showing the relationship between the absolute difference value and the degree of change when a positive value is added to the absolute difference value as an added value. FIG. 10B is a graph showing the relationship between the difference absolute value and the degree of change when a negative value is added to the difference absolute value as an addition value.
  • the image processing apparatus 10 can generate an interpolated image in which image degradation is suppressed.
  • the image processing apparatus 10 can generate an interpolated image that moves smoothly.
  • the compensation strength determination unit 12 may calculate a value obtained by multiplying the calculated difference absolute value by a predetermined multiplication value as the degree of change. Thereby, the compensation strength determination unit 12 can increase or decrease the degree of change depending on the calculated difference absolute value. That is, the compensation strength determination unit 12 can adjust the rate of change in the degree of change with respect to the absolute difference value.
  • FIG. 11A and 11B are diagrams showing an example of the relationship between the absolute difference value and the degree of change in the first embodiment of the present invention. Specifically, FIG. 11A is a graph showing the relationship between the absolute difference value and the degree of change when the absolute value of difference is multiplied by one or more values as a multiplication value. FIG. 11B is a graph showing the relationship between the difference absolute value and the degree of change when a positive value less than 1 is multiplied by the difference absolute value as a multiplication value.
  • the image processing apparatus 10 can generate an interpolated image in which a difference from the original image is small and image degradation is suppressed.
  • the image processing apparatus 10 can generate an interpolation image that moves smoothly.
  • the compensation strength determination unit 12 calculates the difference between the motion vector value of the target block and the average value of the motion vector values of a plurality of blocks located around the target block. Thus, it is not necessary to calculate the difference.
  • the compensation strength determination unit 12 may calculate the difference between the motion vector value of the block of interest and the motion vector value of one block located around the block of interest.
  • the compensation strength determination unit 12 simply adds all the motion vector values detected for a plurality of blocks located around the block of interest, and the number of blocks to be added. Although the average value was calculated by dividing by the above, it is not always necessary to calculate the average value in this way.
  • the compensation strength determination unit 12 performs a filter process on the motion vector values detected for the block of interest and a plurality of blocks located around the block of interest, and generates a low frequency signal in the block group targeted for the filter process. You may calculate the numerical value of a component as an average value.
  • the compensation strength determination unit 12 performs a filter process on the motion vector values detected for the block of interest and a plurality of blocks located around the block of interest, and a high-frequency component in the block group targeted for the filter process May be calculated as the degree of change.
  • the image processing apparatus 10 preferably includes a memory in order to hold motion vector values detected for blocks located around the block of interest.
  • the compensation intensity determination unit 12 may include a memory for holding a motion vector for each block detected by the motion vector detection unit 11.
  • the compensation strength determination unit 12 may acquire the motion vector values detected for the blocks located around the block of interest from the motion vector detection unit 11 as needed.
  • the motion vector detection unit 11 may include a memory for holding the detected motion vector.
  • the image processing apparatus 20 according to the present embodiment is different from the image processing apparatus 10 according to the first embodiment in processing related to reliability calculation, but the other processes are the same.
  • the illustration and description of the same points as those of the image processing apparatus 10 in the first embodiment are omitted.
  • FIG. 12 is a block diagram showing a functional configuration of the image processing apparatus according to the second embodiment of the present invention.
  • components that perform the same processing as the components shown in FIG. 12 are shown in FIG. 12
  • the image processing apparatus 20 includes a motion vector detection unit 21, a compensation strength determination unit 22, and an interpolation image generation unit 13.
  • the motion vector detection unit 21 outputs a correlation value corresponding to the motion vector to the compensation strength determination unit 22.
  • This correlation value is a correlation value of a candidate area having the highest correlation with the block of interest among a plurality of candidate areas included in the predetermined search range. That is, this correlation value is a correlation value between the block corresponding to the start point of the motion vector and the block corresponding to the end point of the motion vector.
  • the compensation strength determination unit 22 determines whether the block corresponding to the start point of the motion vector included in one of the two original images and the block corresponding to the end point of the motion vector included in the other of the two original images. The degree of approximation is calculated.
  • the correlation value output from the motion vector detection unit 21 indicates the likelihood of the motion vector value detected in the corresponding block.
  • the larger the correlation value the higher the degree of non-approximation between the target block and the candidate block.
  • the compensation strength determination unit 22 calculates the degree of non-approximation with the candidate region according to the correlation value corresponding to the motion vector value detected for the block of interest. Specifically, the compensation strength determination unit 22 calculates the correlation value itself output from the motion vector detection unit 21 as a non-approximation degree. This non-approximation corresponds to a reliability indicating that the greater the value, the lower the reliability.
  • FIG. 13 is a diagram showing an example of the relationship between the correlation value and the non-approximation degree in the second embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of the relationship between the non-approximation degree and the motion compensation strength according to Embodiment 2 of the present invention.
  • the compensation strength determination unit 22 calculates the correlation value as a non-approximation degree. Further, as shown in FIG. 14, the compensation strength determination unit 22 determines the motion compensation strength so that the motion compensation strength becomes smaller as the non-approximation degree becomes larger. That is, the compensation strength determination unit 22 determines the motion compensation strength so that the interpolation phase specified by the motion compensation strength approaches the phase of the original image as the reliability of the motion vector is lower.
  • the compensation strength determination unit 22 performs a filtering process on the motion compensation strength determined for each block, as shown in FIG. 5, similarly to the compensation strength determination unit 12 in the first embodiment.
  • the compensation strength determination unit 22 does not necessarily have to calculate the correlation value itself as the non-approximation degree.
  • the compensation strength determination unit 22 may calculate a value obtained by adding a predetermined addition value to the correlation value as the non-approximation degree. Thereby, the compensation intensity determination unit 22 can increase or decrease the non-approximation degree independently of the correlation value.
  • FIG. 15A and FIG. 15B are diagrams showing an example of the relationship between the correlation value and the non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 15A is a graph showing the relationship between the correlation value and the degree of non-approximation when a positive value is added to the correlation value as an addition value.
  • FIG. 15B is a graph showing the relationship between the correlation value and the degree of non-approximation when a negative value is added as an addition value.
  • the image processing device 20 can generate an interpolated image in which image degradation is suppressed.
  • the image processing apparatus 20 can generate an interpolation image that moves smoothly.
  • the compensation strength determination unit 22 may calculate a value obtained by multiplying the correlation value by a predetermined multiplication value as the non-approximation degree. Thereby, the compensation strength determination unit 22 can increase or decrease the non-approximation degree depending on the correlation value. That is, the compensation strength determination unit 22 can adjust the rate of change in non-approximation with respect to the correlation value.
  • FIG. 16A and FIG. 16B are diagrams showing an example of the relationship between the correlation value and the non-approximation degree according to Embodiment 2 of the present invention.
  • FIG. 16A is a graph showing the relationship between the correlation value and the non-approximation degree when one or more values are multiplied by the correlation value as a multiplication value.
  • FIG. 16B is a graph showing the relationship between the correlation value and the degree of non-approximation when a positive value less than 1 is multiplied by the correlation value as a multiplication value.
  • the image processing apparatus 20 can generate an interpolated image in which a difference from the original image is small and image degradation is suppressed.
  • the image processing apparatus 20 can generate an interpolation image that moves smoothly.
  • the image processing apparatus 20 calculates the reliability of the motion vector with high accuracy by calculating the non-approximation between the blocks located at the start and end points of the motion vector as the reliability. can do. Then, the image processing apparatus 20 determines the motion compensation intensity according to the reliability calculated with high accuracy as described above, so that the interpolated image in which the deterioration of the image is suppressed and the motion is smooth. Can be generated.
  • the image processing apparatus 30 according to the present embodiment is different from the image processing apparatus 10 according to the first embodiment or the image processing apparatus 20 according to the second embodiment in processing related to reliability calculation, but other processes are the same. .
  • the illustration and description of the same points as those of the image processing apparatus 10 or 20 in the first or second embodiment are omitted.
  • FIG. 17 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • the same reference numerals are given to components that perform the same processing as the components shown in FIG. 1, and descriptions thereof are omitted.
  • the image processing apparatus 30 includes a motion vector detection unit 31, a compensation strength determination unit 32, and an interpolated image generation unit 13.
  • the motion vector detection unit 31 outputs a correlation value corresponding to the motion vector to the compensation strength determination unit 32 in addition to the motion vector value. Since other processes performed by the motion vector detection unit 31 are the same as those of the motion vector detection unit 11 in the first embodiment, the description thereof is omitted.
  • the compensation strength determination unit 32 calculates the degree of change using the motion vector value, similarly to the compensation strength determination unit 12 of the first embodiment. Further, the compensation strength determination unit 32 calculates the non-approximation degree using the correlation value, similarly to the compensation strength determination unit 22 of the second embodiment. Then, the compensation strength determination unit 32 calculates the reliability by adding the calculated degree of change and non-approximation. This reliability indicates that the greater the value, the lower the reliability.
  • the degree of change is a value calculated using the fact that the reliability of the motion vector is low when there is a different image motion between blocks.
  • the non-approximation degree is a value calculated using the fact that the reliability of the motion vector is low when there are different image motions within the block.
  • the compensation strength determination unit 32 reflects the reason why the motion vectors become less reliable by calculating the result of adding the calculated degree of change and the non-approximation as the reliability in the target block.
  • the reliability can be calculated with high accuracy. Then, by determining the motion compensation intensity according to the reliability calculated with high accuracy in this way, the image processing apparatus 30 is an interpolated image in which the degradation of the image is suppressed and the motion is smooth. Can be generated.
  • the image processing apparatus 30 can calculate the reliability with high accuracy using the degree of change and the degree of non-approximation. Then, the image processing apparatus 30 determines the motion compensation intensity according to the reliability calculated with high accuracy as described above, whereby the interpolated image in which the degradation of the image is suppressed and the motion is smooth. Can be generated.
  • the image processing device 40 according to the present embodiment is different from the image processing device 10 according to the first embodiment in the processing related to determination of motion compensation intensity, but the other processing is the same.
  • the following description will focus on differences from the image processing apparatus 10 according to the first embodiment.
  • FIG. 18 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 4 of the present invention.
  • components that perform the same processing as the components shown in FIG. 1 are assigned the same reference numerals, and descriptions thereof are omitted.
  • the image processing apparatus 40 includes a motion vector detection unit 11, a compensation strength determination unit 42, and an interpolated image generation unit 13.
  • the compensation strength determination unit 42 further acquires scroll information that is information related to scrolling and telop information that is information related to telop.
  • Scroll information is information indicating a possibility that an image is scrolled (hereinafter simply referred to as “scrollability”) in a part or all of the original image.
  • the telop information is information indicating a possibility that the telop is displayed while moving in a part or all of the original image (hereinafter simply referred to as “telop possibility”).
  • the compensation strength determination unit 42 re-determines the determined motion compensation strength according to the acquired scroll information and telop information. Specifically, the compensation strength determination unit 42 re-decides the motion compensation strength such that the greater the scrollability is, the closer the interpolation phase is to the normal phase than the interpolation phase specified by the determined motion compensation strength. In addition, the compensation strength determination unit 42 re-decides the motion compensation strength so that the interpolation phase is closer to the normal phase than the interpolation phase specified by the determined motion compensation strength as the telop possibility increases.
  • FIG. 19 is a flowchart showing the flow of processing by the image processing apparatus according to Embodiment 4 of the present invention. In FIG. 19, the same processes as those in FIG.
  • the compensation strength determination unit 42 acquires scroll information and telop information (S202). Subsequently, the compensation strength determination unit 42 re-decides the motion compensation strength according to the scroll information and telop information of the region including the block of interest (S204).
  • 20A and 20B are diagrams for explaining processing in which the compensation strength determination unit according to Embodiment 4 of the present invention redetermines motion compensation strength.
  • FIG. 20A illustrates a process in which the compensation strength determination unit 42 re-determines the motion compensation strength when scrollability or telopability is indicated by three levels of “large”, “medium”, and “small”. It is a figure for doing. As shown in FIG. 20A, in the case of “small” indicating that the possibility of scrolling or telop is small, the compensation strength determination unit 42 moves the motion compensation strength determined using the motion vector reliability as it is. Redetermined as compensation intensity. Further, in the case of “large” indicating that the possibility of scrolling or the possibility of telop is large, the compensation strength determination unit 42 redetermines the motion compensation strength that specifies the normal phase as the interpolation phase.
  • the compensation strength determination unit 42 uses the interpolation phase and normal phase determined using the reliability of the motion vector.
  • the motion compensation intensity that specifies the intermediate phase as the interpolation phase is redetermined.
  • scrollability or telopability is not limited to three levels of large, medium, and small, but may be four or more levels or two levels of large and small.
  • FIG. 20B is a diagram for explaining a process in which the compensation strength determination unit 42 re-determines the motion compensation strength when scrollability or telopability is indicated in multiple stages.
  • the compensation strength determination unit 42 makes the interpolation phase closer to the normal phase than the interpolation phase specified by the determined motion compensation strength as the scrollability or telopability increases. Re-determine the motion compensation strength.
  • the compensation strength determination unit 42 re-determines the motion compensation strength so that the interpolation phase does not match the normal phase. Also good.
  • the interpolation phase of the region where the image is scrolling or the region where the telop is displayed is closer to the normal phase than the interpolation phase determined according to the reliability of the motion vector.
  • the motion compensation strength can be redetermined. Therefore, the image processing apparatus 40 can smoothly or naturally move the scrolled image or the telop in the converted moving image.
  • the compensation strength determination unit 42 may acquire only one of the scroll information and the telop information. In this case, the compensation strength determination unit 42 re-determines the motion compensation strength according to only the acquired one of the scroll information and the telop information.
  • the image processing apparatus has been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which made the said embodiment the various deformation
  • the motion compensation strength is determined for each block, but it is not always necessary to determine the motion compensation strength for each block.
  • the motion compensation strength may be determined for each predetermined area composed of a plurality of blocks.
  • the compensation strength determination unit may determine, for example, the motion compensation strength of a representative block as the motion compensation strength of that region.
  • the phase of the original image that brings the interpolation phase closer when the reliability of the motion vector is low is the phase of the original image that is closer to the normal phase.
  • the phase of the original image temporally before the image or the phase of the original image temporally after the image may be used.
  • the interpolation image generation unit calculates the interpolation phase according to the phase difference between the normal phase and the phase of the original image to be approximated so that the larger the phase difference is, the closer the interpolation phase is to the phase of the original image. May be.
  • the compensation strength determination unit performs spatial filtering on the motion compensation strength for each block, but does not necessarily need to be filtered. Even when the compensation intensity determination unit does not perform the filter process, the image processing apparatus can bring the interpolation phase closer to the phase of the original image as the reliability of the motion vector is lower. It is possible to generate an interpolated image that is smooth and moves smoothly.
  • the present invention can be implemented not only as such an image processing apparatus, a characteristic processing included in the image processing apparatus may be realized as an image processing method having, as steps. Further, the present invention may be realized as a program that causes each step included in such an image processing method to be executed by a computer including a CPU (Central Processing Unit) and a memory. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • a recording medium such as a CD-ROM
  • a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such an image processing device, or as an image display device such as a digital television provided with such an image processing device. You can also do it. Specifically, it can be realized as an integrated circuit including all the components shown in FIG. 1, FIG. 12, FIG. 17, or FIG.
  • LSI semiconductor integrated circuit
  • the integrated circuit may be individually made into one chip, or may be made into one chip so as to include some or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can be used as an interpolated image in which image degradation is suppressed and an interpolated image having smooth motion can be generated, and an image display device including the image processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Television Systems (AREA)

Abstract

　画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成する。　動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置（１０）であって、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部（１１）と、検出された動きベクトルの信頼性を示す信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部（１２）と、決定された動き補償強度によって特定される補間位相と、検出された動きベクトルとを用いて、２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部（１３）とを備え、補償強度決定部（１２）は、算出した信頼度が示す信頼性が低いほど、補間位相が２枚の原画像の一方の位相に近づくように、動き補償強度を決定する。

Description

画像処理装置および画像処理方法
　本発明は、動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置等に関し、特に、動きベクトルを使用した動き補償処理を行うことにより補間画像を生成する画像処理装置等に関する。
　動画像を表示する際の技術として、画像信号のフレーム間あるいはフィールド間に補間画像を生成することにより、フレーム数またはフィールド数を増やすフレームレート変換処理がある。
　その補間画像を生成する方法としては、単に動画像に含まれるフレームまたはフィールド（以下、「原画像」と呼ぶ）と同一の原画像を補間画像として生成する方法、またはフレーム間またはフィールド間での線形補間処理によって補間画像を生成する方法などがある。しかし、このような方法によって補間画像が生成された場合には、フレームレート変換処理後の動画像に、ジャーキネスあるいはジャダーと呼ばれる、動きの不自然さが発生するなどの問題がある。
　このような問題を改善する方法として、動き補償型補間処理と呼ばれる、動きベクトルを用いて動き補償処理を行うことにより、補間画像を生成する方法がある（例えば、特許文献１を参照）。このような動き補償型補間処理によって補間画像が生成された場合、ジャーキネスあるいはジャダーの少ない、動きの自然かつ円滑な動画像を得ることができる。
国際公開第２００８／１０２８２６号
　この動き補償型補間処理において使用される動きベクトルは、画像の動き状態を表すものである。また、動きベクトルは、ブロックマッチング法などを用いて検出される。
　ブロックマッチング法では、まず、対象画像を、それぞれが１以上の画素からなる複数のブロックに分割する。そして、分割された複数のブロックの中から動きを検出しようとする注目ブロックを選択する。続いて、選択した注目ブロックと、対象画像と時間的に前後する前フレームまたは後フレームにおける、所定の探索範囲内の複数の候補領域（以下、「候補ブロック」と呼ぶ）との相関度をそれぞれ評価する。最後に、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとして検出する。
　このようなブロックマッチング法などでは、例えば、物体と背景とが違う方向に動くような、動きの異なるものが複数混在する画像において、本来検出されるべき正しい動きベクトルが効果的に検出できない場合がある。特に、物体と背景とが違う方向に動く場合に、その物体の境界領域等において、本来検出されるべき正しい動きベクトルを検出できないことが多い。
　また、ハードウェア資源等の制約から探索範囲の大きさが制限されることにより、検出された動きベクトルの示す動きが実際の動きと一致しない場合がある。
　このような場合において、検出された動きベクトルを使用して動き補償処理を行えば、補間画像が大きく劣化してしまう可能性がある。また、このような補間画像の劣化は、物体の境界や、画面の境界等で発生する場合が多い。
　このような劣化を改善する方法として、動きベクトルを使用しない方法、あるいはフィルタリング処理を行う方法等がある。具体的には、例えば、原画像に含まれる画像と同一の画像を補間画像の全部または一部として生成する方法、あるいはフレーム間またはフィールド間での線形補間処理によって補間画像を生成する方法がある。これらの方法により補間画像が生成された場合、動画像の全体または一部において、動きが不連続となったり、不鮮明となったりする問題がある。
　本発明は、上述した従来の課題を解決するものであり、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる画像処理装置を提供することを目的とする。
　上述した目的を達成するために、本発明の一態様に係る画像処理装置は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置であって、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する。
　これにより、動きベクトルの信頼性が低いほど、補間位相を原画像の位相に近づけることができるので、画像の劣化を抑制することができる。一方、動きベクトルの信頼性が高ければ、補間位相を原画像の位相に近づけないので、画像の動きを円滑にすることもできる。さらに、動きベクトルの信頼性に応じて補間位相を特定するための動き補償強度を決定することができるので、入力される動画像に対して適応的に補間画像を生成することが可能となる。
　また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルとの変化度を前記信頼度として算出することが好ましい。
　これにより、当該注目ブロックの動きベクトルと、注目ブロックの周囲に位置するブロックの動きベクトルとの変化度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロックと、前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックとの非近似度を前記信頼度として算出することが好ましい。
　これにより、動きベクトルの始点および終点に位置するブロック間の非近似度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトル、および当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルの変化度と、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロック、および前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックの非近似度との和を前記信頼度として算出することが好ましい。
　これにより、動きベクトルの信頼性が低くなる互いに異なる２つの理由を反映した信頼度を算出することができるので、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　また、前記補償強度決定部は、前記動き補償強度をブロックごとに決定し、前記補間画像生成部は、決定された動き補償強度を用いてブロックごとに動き補償処理を行うことにより、前記補間画像を生成することが好ましい。
　これにより、ブロックごとに補間位相を変えて補間画像を生成することができるので、画像の劣化を抑制された補間画像であって、かつ動きが円滑な補間画像を適応的に生成することができる。
　また、前記補償強度決定部は、動き補償強度を決定する際に、隣接するブロック間における動き補償強度の差異が小さくなるように空間的なフィルタ処理を行って、前記動き補償強度を決定することが好ましい。
　これにより、注目ブロックと、当該注目ブロックの周囲に位置するブロックとの間での動き補償強度の急激な変化を抑制することができ、画像の劣化を抑制することができる。
　また、前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記２枚の原画像の位相のうち正規位相に近い方の位相に前記補間位相が近づくように、前記動き補償強度を決定し、前記正規位相は、変換前のフレームレートと変換後のフレームレートとから論理的に算出される位相であることが好ましい。
　これにより、動きベクトルの信頼性が低いほど、正規位相に近い方の原画像の位相に補間位相を近づけることができ、さらに画像の劣化を抑制することができる。
　また、前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、画像がスクロールしている可能性を示すスクロール情報を取得し、取得したスクロール情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定することが好ましい。
　これにより、画像がスクロールしている領域の動き補償強度を、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近い位相を補間位相として特定する動き補償強度に再決定することができる。したがって、変換後の動画像において、スクロールしている画像の動きを円滑にすることができる。
　また、前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、テロップが動きながら表示されている可能性を示すテロップ情報を取得し、取得したテロップ情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定することが好ましい。
　これにより、テロップが動きながら表示されている領域の動き補償強度を、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近い位相を補間位相として特定する動き補償強度に再決定することができる。したがって、変換後の動画像において、テロップの動きを円滑にすることができる。
　なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現することができる。また、本発明は、そのような画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような画像処理装置の機能の一部またはすべてを実現する半導体集積回路（ＬＳＩ：Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像表示装置として実現したりすることもできる。
　本発明の一態様に係る画像処理装置によれば、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１における画像処理装置による処理の流れを示すフローチャートである。 図３は、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。 図４は、本発明の実施の形態１における変化度と動き補償強度との関係の一例を示す図である。 図５は、本発明の実施の形態１における画像処理装置が行うフィルタ処理を説明するための図である。 図６は、本発明の実施の形態において、正規位相が「０．４」である場合の動き補償強度と補間位相との関係を説明するための図である。 図７は、本発明の実施の形態において、正規位相が「０．６」である場合の動き補償強度と補間位相との関係を説明するための図である。 図８は、本発明の実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。 図９Ａは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。 図９Ｂは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。 図１０Ａは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。 図１０Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。 図１１Ａは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。 図１１Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。 図１２は、本発明の実施の形態２における画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。 図１４は、本発明の実施の形態２における非近似度と動き補償強度との関係の一例を示す図である。 図１５Ａは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。 図１５Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。 図１６Ａは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。 図１６Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。 図１７は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。 図１８は、本発明の実施の形態４における画像処理装置の機能構成を示すブロック図である。 図１９は、本発明の実施の形態４における画像処理装置による処理の流れを示すフローチャートである。 図２０Ａは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。 図２０Ｂは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
　以下、本発明の一態様に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
　なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　また、以下の実施の形態は、ハードウェアおよびソフトウェアの少なくとも一方を用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
　（実施の形態１）
　以下に、本発明の実施の形態１について、図面を用いて説明する。
　図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
　画像処理装置１０は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する装置である。なお、動画像は、フレーム単位であってもよいし、フィールド単位であってもよい。動画像がフレーム単位である場合は、原画像はフレーム画像を意味し、動画像がフィールド単位である場合は、原画像はフィールド画像を意味する。
　図１に示すように、画像処理装置１０は、動きベクトル検出部１１と、補償強度決定部１２と、補間画像生成部１３とを備える。
　動きベクトル検出部１１は、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する。
　補償強度決定部１２は、動きベクトルの信頼度を算出し、算出した信頼度に応じて動き補償強度を決定する。また、補償強度決定部１２は、算出した信頼度が示す信頼性が低いほど、２枚の原画像の位相のうち正規位相に近い方の位相に補間位相が近づくように、動き補償強度を決定する。
　なお、動き補償強度とは、補間画像の位相である補間位相を特定するための値である。また、位相とは、画像の時間的な位置を示す値である。また、補間位相とは、補間画像の時間的な位置を示す値である。
　補間位相と原画像の位相との位相差が大きいほど、後述する動き補償処理によって生成される補間画像は、原画像から大きく動いた画像となる。したがって、動き補償強度とは、原画像と補間画像との一致度合いを示す値ということもできる。なお、補間位相は、補間画像を生成する際に利用される値であり、補間画像が表示される位相と異なってもよい。
　また、正規位相とは、変換前のフレームレートと変換後のフレームレートとの比から論理的に算出される位相であり、フレームレート変換後の動画像に含まれる画像が等間隔に連続する時間的な位置を示す位相である。
　補間画像生成部１３は、動き補償強度によって特定される補間位相と動きベクトルとを用いて、２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する。
　次に、以上のように構成された画像処理装置１０における各種動作について説明する。
　図２は、本発明の実施の形態１における画像処理装置による処理の流れを示すフローチャートである。
　まず、動きベクトル検出部１１は、入力画像信号が示す入力動画像に含まれる原画像のブロックごとに動きベクトルを検出する（Ｓ１０２）。また、動きベクトル検出部１１は、検出した動きベクトルを、補償強度決定部１２および補間画像生成部１３へ出力する。
　続いて、補償強度決定部１２は、処理対象の画像に含まれるブロックであって、まだ以下の処理（Ｓ１０６～Ｓ１１４）が行われていないブロックを注目ブロックとして選択する（Ｓ１０４）。そして、補償強度決定部１２は、注目ブロックの動きベクトルの信頼性を示す信頼度を算出する（Ｓ１０６）。補償強度決定部１２は、算出した信頼度が示す信頼性が低いほど、補間位相が原画像の位相に近づくように、動き補償強度を決定する（Ｓ１０８）。
　次に、補償強度決定部１２は、隣接するブロック間における動き補償強度の差異が小さくなるように、動き補償強度に対して空間的なフィルタ処理を施す（Ｓ１１２）。そして、補償強度決定部１２は、フィルタ処理後の動き補償強度を補間画像生成部１３へ出力する。
　補間画像生成部１３は、動き補償強度によってブロックごとに特定される補間位相にしたがって調整された動きベクトルと注目ブロックとを用いて、動き補償処理を行う（Ｓ１１４）。
　そして、補償強度決定部１２は、処理対象の画像に含まれるすべてのブロックが注目ブロックとして選択されたか否かを判定する（Ｓ１１６）。ここで、すべてのブロックが注目ブロックとして選択されていない場合（Ｓ１１６のＮｏ）、補償強度決定部１２は、再びステップＳ１０４からの処理を繰り返す。一方、すべてのブロックが注目ブロックとして選択された場合（Ｓ１１６のＹｅｓ）、画像処理装置１０は、補間画像を生成する処理を終了する。
　このように、補間画像生成部１３は、動き補償処理をブロックごとに繰り返すことにより補間画像を生成する。そして、このように生成された補間画像が時間的に前後する２枚の原画像間に挿入されることにより、出力動画像を示す出力画像信号が出力される。
　なお、本実施の形態では、補間画像生成部１３は、動き補償強度が決定されるごとに動き補償処理を行っていたが、すべてのブロックの動き補償強度が決定された後にまとめて動き補償処理を行ってもよい。
　次に、動きベクトル検出部１１、補償強度決定部１２、および補間画像生成部１３が行う処理（図２のＳ１０２～Ｓ１１４）について、以下に詳細に説明する。
　まず、動きベクトル検出部１１が動きベクトルを検出する処理（図２のＳ１０２）の詳細について説明する。
　動きベクトル検出部１１は、画像処理装置１０に入力された画像信号である入力画像信号が示す入力動画像に含まれる原画像を複数のブロックに分割する。そして、動きベクトル検出部１１は、分割したブロックごとに、時間的に前後する２枚の原画像間の動きベクトルを検出する。さらに、動きベクトル検出部１１は、検出した動きベクトルの大きさおよび方向を示す動きベクトル値を補償強度決定部１２および補間画像生成部１３へ出力する。
　具体的には、動きベクトル検出部１１は、ブロックマッチング法に基づいて、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する。つまり、動きベクトル検出部１１は、２枚の原画像の一方に含まれるブロックであって動きを検出しようとするブロックである注目ブロックと、２枚の原画像の他方における所定の探索範囲内に含まれる複数の候補領域（候補ブロック）との間で、相関値をそれぞれ算出する。
　さらに具体的には、動きベクトル検出部１１は、ブロックを構成する画素の画素値をブロック間で比較することにより相関値を算出する。例えば、動きベクトル検出部１１は、注目ブロックと候補領域との間で、それぞれに対応する画素同士の差分絶対値総和、あるいは、差分二乗値総和などを相関値として算出する。なお、相関値が差分絶対値総和または差分二乗値総和である場合、相関値が小さいほどブロック間の近似度が大きいことを示す。
　また、動きベクトル検出部１１は、算出した相関値に基づいて最も注目ブロックと相関が高い候補領域を選択し、選択した候補領域と注目ブロックとの変位を動きベクトルとして検出する。
　動きベクトル検出部１１は、注目ブロックの位置を変更しながら、上記のように動きベクトルを検出することにより、原画像に含まれる各ブロックについて動きベクトルを検出する。
　なお、上記の探索範囲は、必ずしも１枚の原画像の領域である必要はない。探索範囲は、注目ブロックを含む原画像よりも、時間的に前の原画像および時間的に後の原画像のうち、１枚以上の原画像にわたる所望の領域に対応する範囲であってもよい。
　次に、補償強度決定部１２が動き補償強度を決定する処理の詳細について説明する。
　はじめに、補償強度決定部１２が動きベクトルの信頼度を算出する処理（図２のＳ１０６）の詳細について説明する。
　補償強度決定部１２は、動きベクトルの変化度を算出するために、注目ブロックの周囲に位置する複数のブロックの動きベクトル値の平均値を算出する。そして、補償強度決定部１２は、注目ブロックの動きベクトル値と、算出した動きベクトル値の平均値との差分絶対値を用いて変化度を算出する。この変化度は、値が大きいほど信頼性が低いことを示す信頼度に相当する。
　なお、注目ブロックの周囲に位置するブロックには、注目ブロックに隣接するブロックと、その隣接するブロックに隣接するブロックとが含まれる。つまり、注目ブロックの周囲に位置するブロックは、注目ブロックの近傍に位置するブロックである。例えば、注目ブロックの周囲に位置するブロックは、注目ブロックを取り囲む８つのブロックである。
　なお、動きベクトル値は、画像の水平方向成分の値および垂直方向成分の値を有する。また、動きベクトル値の水平方向成分の値および垂直方向成分の値は有限な値である。
　したがって、補償強度決定部１２は、注目ブロックの動きベクトル値の水平方向成分と、算出した動きベクトル値の平均値の水平方向成分との差分絶対値のみを用いて変化度を算出してもよい。また、補償強度決定部１２は、注目ブロックの動きベクトル値の垂直方向成分と、算出した動きベクトル値の平均値の垂直方向成分との差分絶対値のみを用いて変化度を算出してもよい。また、補償強度決定部１２は、前記の水平方向成分の差分絶対値と、前記の垂直方向成分の差分絶対値との和を用いて変化度を算出してもよい。
　図３は、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。また、図４は、本発明の実施の形態１における変化度と動き補償強度との関係の一例を示す図である。
　図３に示すように、補償強度決定部１２は、差分絶対値を変化度として算出する。また、補償強度決定部１２は、図４に示すように、変化度が大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。つまり、補償強度決定部１２は、動きベクトルの信頼性が低いほど、動き補償強度によって特定される補間位相が原画像の位相に近づくように動き補償強度を決定する。
　次に、補償強度決定部１２が行うフィルタ処理（図２のＳ１１２）の詳細について説明する。
　図５は、本発明の実施の形態１における画像処理装置が行うフィルタ処理を説明するための図である。図５において、斜線部は注目ブロックを示し、ブロック内の数値は動き補償強度を示す。
　図５に示すように、補償強度決定部１２は、ブロックごとに決定された動き補償強度に対してフィルタ処理を施す。その結果、隣接するブロック間における動き補償強度の差異が小さくなる。
　例えば、補償強度決定部１２は、ブロックごとに、そのブロックから所定の範囲に含まれる複数のブロックの動き補償強度の平均値を、そのブロックの動き補償強度として算出することにより、フィルタ処理を行えばよい。また例えば、補償強度決定部１２は、ブロックごとに、そのブロックから所定の範囲に含まれる複数のブロックの動き補償強度の加重加算値を算出することにより、フィルタ処理を行ってもよい。
　次に、補償強度決定部１２が、注目ブロックの動きベクトルと、当該注目ブロックの周囲に位置するブロックとの変化度を信頼度として算出する理由について以下に説明する。
　画像全体が一様に動くような、画像内の比較的大きい領域が同様な動き状態である場合には、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが同様の大きさおよび方向の動きベクトルとなる可能性が高い。また、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが同様の大きさおよび方向の動きベクトルとなる場合には、その動きベクトルが正確な動きベクトルである可能性も高くなることが容易に推測できる。
　つまり、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとの変化度が小さい場合には、注目ブロックの動きベクトルの信頼性が高いと評価することができる。
　逆に、人あるいは物体のみが動くような、画像内の比較的小さい領域のみが動き状態となるような場合には、特にその領域の境界部分において、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとは、互いに大きく異なる動きベクトルとなる可能性が高い。また、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが互いに大きく異なる大きさおよび方向の動きベクトルとなる場合には、その動きベクトルが不正確な動きベクトルである可能性も高くなることが容易に推測できる。
　つまり、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとの変化度が大きい場合には、注目ブロックの動きベクトルの信頼性が低いと評価することができる。
　以上より、補償強度決定部１２は、注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置するブロックに対して検出された動きベクトルとの変化度を信頼度として算出する。
　次に、補間画像生成部１３が行う動き補償処理（図２のＳ１１４）の詳細について説明する。
　補間画像生成部１３は、まず動き補償強度を用いて補間位相を算出する。このとき、補間画像生成部１３は、動き補償強度が小さいほど、原画像の位相と補間位相との位相差が小さくなるように、補間位相を算出する。特に、補間画像生成部１３は、動き補償強度が小さいほど、正規位相に近い方の原画像の位相と補間位相との位相差が小さくなるように、補間位相を算出する。
　図６は、本発明の実施の形態において、正規位相が「０．４」である場合の動き補償強度と補間位相との関係を説明するための図である。なお、図６において、時間的に前後する２枚の原画像の位相は、「０」と「１」である。
　図６に示すように、動き補償強度が最大値（例えば「１００」）である場合、補間画像生成部１３は、正規位相と同じ「０．４」を補間位相として算出する。一方、動き補償強度が最小値（例えば「０」）である場合、補間画像生成部１３は、正規位相に近い方の原画像の位相と同じ「０」を補間位相として算出する。
　例えば、動き補償強度が０～１００の値で表され、かつ、正規位相が０．５未満である場合、補間位相は次のように計算される。
　補間位相＝正規位相＊動き補償強度／１００
　図７は、本発明の実施の形態において、正規位相が「０．６」である場合の動き補償強度と補間位相との関係を説明するための図である。なお、図７において、時間的に前後する２枚の原画像の位相は、「０」と「１」である。
　図７に示すように、動き補償強度が最大値（例えば「１００」）である場合、補間画像生成部１３は、正規位相と同じ「０．６」を補間位相として算出する。一方、動き補償強度が最小値（例えば「０」）である場合、補間画像生成部１３は、正規位相に近い方の原画像の位相と同じ「１」を補間位相として算出する。
　例えば、動き補償強度が０～１００の値で表され、かつ、正規位相が０．５以上である場合、補間位相は次のように計算される。
　補間位相＝１－（１－正規位相）＊動き補償強度／１００
　なお、本実施の形態では、補間画像生成部１３が補間位相を算出したが、補償強度決定部１２が補間位相を算出してもよい。この場合、補償強度決定部１２は、算出した補間位相を動き補償強度として補間画像生成部１３へ出力すればよい。
　このように算出した補間位相と動きベクトルとを用いて、補間画像生成部１３は、原画像を使用して動き補償処理を行うことにより、補間画像を生成する。
　図８は、本発明の実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。具体的には、図８は、原画像ｎあるいは原画像ｎ＋１の原画像を使用して動き補償処理を行って補間画像を生成する処理を模式的に示した図である。
　図８において、原画像ｎと原画像ｎ＋１との位相差は「１．０」であり、補間位相はＫｍである。ここで、原画像ｎを使用して動き補償処理を行う場合、補間画像生成部１３は、動きベクトルに位相差Ｋｍを乗じた動きベクトルを用いて動き補償処理を行う。一方、原画像ｎ＋１を使用して動き補償処理を行う場合、補間画像生成部１３は、動きベクトルに位相差－（１－Ｋｍ）を乗じた動きベクトルを用いて動き補償処理を行う。補間画像生成部１３は、このように動き補償処理を行うことにより、補間画像を生成する。
　図９Ａおよび図９Ｂは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
　図９Ａでは、自動車の画像領域において検出された動きベクトルの信頼性が高いので、原画像ｎと原画像ｎ＋１との中間の位相、つまり正規位相の補間画像が生成されている。一方、図９Ｂでは、自動車の画像領域において検出された動きベクトルの信頼性が低いので、原画像ｎの位相に近い位相の補間画像が生成されている。
　次に、補間画像生成部１３が、動きベクトルの信頼性が低い場合に、正規位相よりも原画像の位相との位相差が小さい補間位相にしたがって、補間画像を生成する理由について説明する。
　正規位相とは、上述したように変換前のフレームレートと変換後のフレームレートとの比から論理的に算出される位相である。例えば、６０Ｈｚの入力動画像を１２０Ｈｚの出力動画像にフレームレート変換する場合、入力動画像のフレームレート「６０」と、出力動画像のフレームレート「１２０」との比である「０．５」を積算するたびに得られる値「０．０」、「０．５」、「１．０」・・・が正規位相である。
　また例えば、２４Ｈｚの入力動画像を６０Ｈｚの出力動画像にフレームレート変換する場合、入力動画像のフレームレート「２４」と、出力動画像のフレームレート「６０」との比である「０．４」を積算するたびに得られる値「０．０」、「０．４」、「０．８」、「１．２」、「１．６」、「２．０」・・・が正規位相である。
　入力動画像に含まれる原画像の位相は整数値で表されるので、整数値となる正規位相の画像は、補間画像として生成されなくてよい。つまり、６０Ｈｚの入力動画像を１２０Ｈｚの出力動画像にフレームレート変換する場合は、連続する各原画像の間に「０．５」の位相の補間画像が内挿されれば、出力動画像は、時系列で等間隔に連続し、動きが円滑な動画像となる。一方、２４Ｈｚの入力動画像を６０Ｈｚの出力動画像にフレームレート変換する場合は、２枚おきの原画像の間に、「０．４」、「０．８」、「１．２」、及び「１．６」の位相の補間画像がそれぞれ内挿されれば、出力動画像は、時系列で等間隔に連続し、動きが円滑な動画像となる。
　しかしながら、動きベクトル検出部１１によって検出された動きベクトルが実際の画像の動きと異なる場合には、その動きベクトルを用いて生成された補間画像は破綻する。つまり、動きベクトルの信頼性が低い場合は、その動きベクトルを用いて生成された補間画像は、大きく劣化した画像である可能性が高い。
　そこで、画像処理装置１０は、動きベクトルの信頼性に応じて正規位相を修正した補間位相を用いて補間画像を生成する。つまり、動きベクトルの信頼性が高いほど、正規位相に近い位相の補間位相を用いて補間画像を生成する。これは、動きベクトルの信頼性が高ければ、その動きベクトルが正確な画像の動きを示している可能性が高いので、正規位相に近い位相の補間画像であっても画像が劣化する可能性が小さいからである。また、正規位相に近い位相の補間画像が挿入されれば、出力動画像における画像の動きも滑らかになるからである。
　逆に、動きベクトルの信頼性が低ければ、正規位相よりも原画像の位相に近い位相の補間位相を用いて補間画像を生成する。これは、補間位相と原画像の位相との位相差が小さいほど、補間画像が原画像に近似した画像となるので、画像の劣化を抑制することができるからである。
　以上のように、本実施の形態における画像処理装置１０は、動きベクトルの信頼性が低いほど、正規位相に原画像の位相に補間位相を近づけることができるので、画像の劣化を抑制することができる。一方、画像処理装置１０は、動きベクトルの信頼性が高ければ、補間位相を正規位相に近づけることができるので、画像の動きを円滑にすることもできる。さらに、画像処理装置１０は、動きベクトルの信頼性に応じて補間位相を特定するための動き補償強度を決定することができるので、入力される動画像に対して適応的に補間画像を生成することが可能となる。

　また、画像処理装置１０は、動きベクトルの信頼性が低いほど、正規位相に近い方の原画像の位相に補間位相を近づけることができ、さらに画像の劣化を抑制することができる。
　また、画像処理装置１０は、当該注目ブロックの動きベクトルと、注目ブロックの周囲に位置するブロックの動きベクトルとの変化度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、画像処理装置１０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　また、画像処理装置１０は、ブロックごとに補間位相を変えて補間画像を生成することができるので、画像の劣化を抑制された補間画像であって、かつ動きが円滑な補間画像を適応的に生成することができる。
　また、画像処理装置１０は、動き補償強度に対して空間的なフィルタ処理を施すことにより、注目ブロックとその注目ブロックの周囲に位置するブロックとの間での急激な動き補償強度の変化を抑制することができ、連続性のある動き補償強度を決定することができる。
　なお、本実施の形態において、補償強度決定部１２は、算出した差分絶対値そのものを変化度として算出していたが、必ずしも差分絶対値そのものを変化度として算出する必要はない。
　例えば、補償強度決定部１２は、算出した差分絶対値に、予め定められた加算値を加算して得られる値を変化度として算出してもよい。これにより、補償強度決定部１２は、算出された差分絶対値から独立して、変化度を増減させることができる。
　図１０Ａおよび図１０Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。具体的には、図１０Ａは、正の値が加算値として差分絶対値に加算された場合の、差分絶対値と変化度との関係を示すグラフである。また、図１０Ｂは、負の値が加算値として差分絶対値に加算された場合の、差分絶対値と変化度との関係を示すグラフである。
　図１０Ａに示すように、正の値の加算値が差分絶対値に加算された場合、変化度は一律に大きくなる。したがって、動き補償強度は小さくなり、原画像の位相に近い位相の補間画像が生成される。つまり、画像処理装置１０は、画像の劣化が抑制された補間画像を生成することが可能となる。
　一方、図１０Ｂに示すように、負の値の加算値が差分絶対値に加算された場合、一律に変化度は小さくなる。したがって、動き補償強度は大きくなり、正規位相に近い位相の補間画像が生成される。つまり、画像処理装置１０は、動きが円滑な補間画像を生成することが可能となる。
　また例えば、補償強度決定部１２は、算出された差分絶対値に、予め定められた乗算値を乗算して得られる値を変化度として算出してもよい。これにより、補償強度決定部１２は、算出された差分絶対値に従属して、変化度を増減させることができる。つまり、補償強度決定部１２は、差分絶対値に対する変化度の変化の割合を調整することができる。
　図１１Ａおよび図１１Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。具体的には、図１１Ａは、１以上の値が乗算値として差分絶対値に乗算された場合の、差分絶対値と変化度との関係を示すグラフである。また、図１１Ｂは、１未満の正の値が乗算値として差分絶対値に乗算された場合の、差分絶対値と変化度との関係を示すグラフである。
　図１１Ａに示すように、１以上の値の乗算値が差分絶対値に乗算された場合、差分絶対値に対する変化度の変化の割合が大きくなる。したがって、画像処理装置１０は、原画像との差が小さい、画像の劣化が抑制された補間画像を生成することが可能となる。
　一方、図１１Ｂに示すように、１未満の正の値の乗算値が差分絶対値に乗算された場合、差分絶対値に対する変化度の変化の割合が小さくなる。したがって、画像処理装置１０は、動きが円滑な補間画像を生成することが可能となる。
　また、本実施の形態では、補償強度決定部１２は、注目ブロックの動きベクトル値と、注目ブロックの周囲に位置する複数ブロックの動きベクトル値の平均値との差分を算出していたが、必ずしもこのように差分を算出する必要はない。例えば、補償強度決定部１２は、注目ブロックの動きベクトル値と、注目ブロックの周囲に位置する１つのブロックの動きベクトル値との差分を算出してもよい。
　また、本実施の形態では、補償強度決定部１２は、単純に、注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値をすべて加算して、その加算の対象としたブロックの数で除算して平均値を算出していたが、必ずしもこのように平均値を算出する必要はない。
　例えば、補償強度決定部１２は、注目ブロックとその注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値に対してフィルタ処理を行い、そのフィルタ処理の対象としたブロック群における低周波成分の数値を平均値として算出してもよい。
　さらに、補償強度決定部１２は、注目ブロックとその注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値に対してフィルタ処理を行い、そのフィルタ処理の対象としたブロック群における高周波成分の数値を変化度として算出してもよい。
　なお、本実施の形態における画像処理装置１０は、注目ブロックの周囲に位置するブロックについて検出された動きベクトル値を保持するために、メモリを備えることが好ましい。例えば、補償強度決定部１２が、動きベクトル検出部１１によって検出されたブロックごとの動きベクトルを保持するためのメモリを備えればよい。
　また例えば、補償強度決定部１２が、動きベクトル検出部１１から、注目ブロックの周囲に位置するブロックについて検出された動きベクトル値を随時取得してもよい。この場合、動きベクトル検出部１１が、検出した動きベクトルを保持するためのメモリを備えればよい。
　（実施の形態２）
　次に、本発明の実施の形態２について、図面を用いて説明する。
　本実施の形態における画像処理装置２０は、実施の形態１における画像処理装置１０と、信頼度の算出に関する処理が異なるが、他の処理は同様である。実施の形態１における画像処理装置１０と同様の点については、図示および説明を省略する。
　図１２は、本発明の実施の形態２における画像処理装置の機能構成を示すブロック図である。なお、図１２において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
　図１２に示すように、画像処理装置２０は、動きベクトル検出部２１と、補償強度決定部２２と、補間画像生成部１３とを備える。
　動きベクトル検出部２１は、実施の形態１における動きベクトル検出部１１と異なり、動きベクトルに対応する相関値を補償強度決定部２２へ出力する。この相関値は、所定の探索範囲内に含まれる複数の候補領域のうち、最も注目ブロックと相関が高い候補領域の相関値である。つまり、この相関値は、動きベクトルの始点に対応するブロックと、動きベクトルの終点に対応するブロックとの相関値である。
　なお、動きベクトル検出部２１が行う他の処理については、実施の形態１における動きベクトル検出部１１と同じであるので、説明を省略する。
　補償強度決定部２２は、２枚の原画像の一方に含まれる、動きベクトルの始点に対応するブロックと、２枚の原画像の他方に含まれる、動きベクトルの終点に対応するブロックとの非近似度を算出する。
　動きベクトル検出部２１から出力された相関値は、該当するブロックにおいて検出された動きベクトル値に対する確からしさを示すものである。相関値の大きさが大きいほど、注目ブロックと候補ブロックとの非近似度が高いことを示す。そして、非近似度が高いほど、検出された動きベクトル値の信頼性が低いことを示唆する。
　したがって、補償強度決定部２２は、注目ブロックについて検出された動きベクトル値に対応する相関値に応じて、候補領域との非近似度を算出する。具体的には、補償強度決定部２２は、動きベクトル検出部２１から出力された相関値そのものを非近似度として算出する。この非近似度は、値が大きいほど信頼性が低いことを示す信頼度に相当する。
　図１３は、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。また、図１４は、本発明の実施の形態２における非近似度と動き補償強度との関係の一例を示す図である。
　図１３に示すように、補償強度決定部２２は、相関値を非近似度として算出する。また、補償強度決定部２２は、図１４に示すように、非近似度が大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。つまり、補償強度決定部２２は、動きベクトルの信頼性が低いほど、動き補償強度によって特定される補間位相が原画像の位相に近づくように動き補償強度を決定する。
　また、補償強度決定部２２は、実施の形態１における補償強度決定部１２と同様に、図５に示したように、ブロックごとに決定された動き補償強度に対してフィルタ処理を施す。
　なお、補償強度決定部２２は、必ずしも相関値そのものを非近似度として算出しなくてもよい。例えば、補償強度決定部２２は、その相関値に、予め定められた加算値を加算して得られる値を非近似度として算出してもよい。これにより、補償強度決定部２２は、相関値から独立して、非近似度を増減させることができる。
　図１５Ａおよび図１５Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。具体的には、図１５Ａは、正の値が加算値として相関値に加算された場合の、相関値と非近似度との関係を示すグラフである。また、図１５Ｂは、負の値が加算値として加算された場合の、相関値と非近似度との関係を示すグラフである。
　図１５Ａに示すように、正の値の加算値が相関値に加算された場合、非近似度は一律に大きくなる。したがって、動き補償強度は小さくなり、原画像の位相に近い位相の補間画像が生成される。つまり、画像処理装置２０は、画像の劣化が抑制された補間画像を生成することが可能となる。
　一方、図１５Ｂに示すように、負の値の加算値が相関値に加算された場合、一律に非近似度は小さくなる。したがって、動き補償強度は大きくなり、正規位相に近い位相の補間画像が生成される。つまり、画像処理装置２０は、動きが円滑な補間画像を生成することが可能となる。
　また例えば、補償強度決定部２２は、その相関値に、予め定められた乗算値を乗算して得られる値を非近似度として算出してもよい。これにより、補償強度決定部２２は、相関値に従属して、非近似度を増減させることができる。つまり、補償強度決定部２２は、相関値に対する非近似度の変化の割合を調整することができる。
　図１６Ａおよび図１６Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。具体的には、図１６Ａは、１以上の値が乗算値として相関値に乗算された場合の、相関値と非近似度との関係を示すグラフである。また、図１６Ｂは、１未満の正の値が乗算値として相関値に乗算された場合の、相関値と非近似度との関係を示すグラフである。
　図１６Ａに示すように、１以上の値の乗算値が相関値に乗算された場合、相関値に対する非近似度の変化の割合が大きくなる。したがって、画像処理装置２０は、原画像との差が小さい、画像の劣化が抑制された補間画像を生成することが可能となる。
　一方、図１６Ｂに示すように、１未満の正の値の乗算値が相関値に乗算された場合、相関値に対する非近似度の変化の割合が小さくなる。したがって、画像処理装置２０は、動きが円滑な補間画像を生成することが可能となる。
　以上のように、本実施の形態における画像処理装置２０は、動きベクトルの始点および終点に位置するブロック間の非近似度を信頼度として算出することにより、高精度に動きベクトルの信頼度を算出することができる。そして、画像処理装置２０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　（実施の形態３）
　次に、本発明の実施の形態３について、図面を用いて説明する。
　本実施の形態における画像処理装置３０は、実施の形態１における画像処理装置１０、または実施の形態２における画像処理装置２０と、信頼度の算出に関する処理が異なるが、他の処理は同様である。実施の形態１または２における画像処理装置１０または２０と同様の点については、図示および説明を省略する。
　図１７は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。なお、図１７において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
　図１７に示すように、画像処理装置３０は、動きベクトル検出部３１と、補償強度決定部３２と、補間画像生成部１３とを備える。
　動きベクトル検出部３１は、動きベクトル値に加えて、動きベクトルに対応する相関値を補償強度決定部３２へ出力する。なお、動きベクトル検出部３１が行う他の処理については、実施の形態１における動きベクトル検出部１１と同じであるので、説明を省略する。
　補償強度決定部３２は、実施の形態１の補償強度決定部１２と同様に、動きベクトル値を用いて変化度を算出する。さらに、補償強度決定部３２は、実施の形態２の補償強度決定部２２と同様に、相関値を用いて非近似度を算出する。そして、補償強度決定部３２は、算出した変化度と非近似度とを加算することにより信頼度を算出する。この信頼度は、値が大きいほど信頼性を低いことを示す。
　変化度は、ブロック間で異なる画像の動きがある場合に、動きベクトルの信頼性が低くなることを利用して算出される値である。一方、非近似度は、ブロック内で異なる画像の動きがある場合に、動きベクトルの信頼性が低くなることを利用して算出される値である。
　したがって、補償強度決定部３２は、算出した変化度と非近似度とを加算した結果を、注目ブロックにおける信頼度として算出することにより、動きベクトルの信頼性が低くなる、互いに異なる理由を反映した信頼度を高精度に算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像処理装置３０は、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　以上のように、本実施の形態における画像処理装置３０は、変化度と非近似度とを用いて高精度に信頼度を算出することができる。そして、画像処理装置３０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　（実施の形態４）
　次に、本発明の実施の形態４について、図面を用いて説明する。
　本実施の形態における画像処理装置４０は、実施の形態１における画像処理装置１０と、動き補償強度の決定に関する処理が異なるが、他の処理は同様である。実施の形態１における画像処理装置１０と異なる点を中心に、以下に説明する。
　図１８は、本発明の実施の形態４における画像処理装置の機能構成を示すブロック図である。なお、図１８において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
　図１８に示すように、画像処理装置４０は、動きベクトル検出部１１と、補償強度決定部４２と、補間画像生成部１３とを備える。
　補償強度決定部４２は、実施の形態１における補償強度決定部１２が行う処理に加えて、さらに、スクロールに関する情報であるスクロール情報およびテロップに関する情報であるテロップ情報を取得する。
　スクロール情報とは、原画像の一部または全部の領域において、画像がスクロールしている可能性（以下、単に「スクロール可能性」と呼ぶ）を示す情報である。また、テロップ情報とは、原画像の一部または全部の領域において、テロップが動きながら表示されている可能性（以下、単に「テロップ可能性」と呼ぶ）を示す情報である。
　さらに、補償強度決定部４２は、取得したスクロール情報およびテロップ情報に応じて、決定した動き補償強度を再決定する。具体的には、補償強度決定部４２は、スクロール可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。また、補償強度決定部４２は、テロップ可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。
　図１９は、本発明の実施の形態４における画像処理装置による処理の流れを示すフローチャートである。なお、図１９において、図２と同一の処理については同一の符号を付し、説明を省略する。
　動き補償強度が決定された後、補償強度決定部４２は、スクロール情報およびテロップ情報を取得する（Ｓ２０２）。続いて、補償強度決定部４２は、注目ブロックを含む領域のスクロール情報およびテロップ情報に応じて、動き補償強度を再決定する（Ｓ２０４）。
　そして、図２において説明した処理と同様の処理（Ｓ１１２～Ｓ１１６）を行って、画像処理装置４０は、補間画像を生成する処理を終了する。
　図２０Ａおよび図２０Ｂは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
　図２０Ａは、スクロール可能性またはテロップ可能性が「大」、「中」、「小」の３段階で示されている場合に、補償強度決定部４２が動き補償強度を再決定する処理を説明するための図である。図２０Ａに示すように、スクロール可能性またはテロップ可能性が小さいことを示す「小」の場合は、補償強度決定部４２は、動きベクトルの信頼度を用いて決定された動き補償強度をそのまま動き補償強度として再決定する。また、スクロール可能性またはテロップ可能性が大きいことを示す「大」の場合は、補償強度決定部４２は、正規位相を補間位相として特定する動き補償強度を再決定する。
　また、スクロール可能性またはテロップ可能性が「大」と「小」の間の「中」の場合は、補償強度決定部４２は、動きベクトルの信頼度を用いて決定された補間位相と正規位相との中間の位相を補間位相として特定する動き補償強度を再決定する。
　なお、スクロール可能性またはテロップ可能性は、大中小の３段階に限られず、４以上の多段階または大小の２段階であってもよい。
　図２０Ｂは、スクロール可能性またはテロップ可能性が多段階で示されている場合に、補償強度決定部４２が動き補償強度を再決定する処理を説明するための図である。
　図２０ＢのグラフＡに示すように、補償強度決定部４２は、スクロール可能性またはテロップ可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。
　また、図２０ＢのグラフＢに示すように、スクロール可能性またはテロップ可能性が最も大きい場合でも、補償強度決定部４２は、補間位相が正規位相と一致しないように動き補償強度を再決定してもよい。
　以上により、画像処理装置４０は、画像がスクロールしている領域またはテロップが動きながら表示されている領域の補間位相が、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近くなるように、動き補償強度に再決定することができる。したがって、画像処理装置４０は、変換後の動画像において、スクロールしている画像あるいはテロップの動きを円滑にあるいは自然にすることができる。
　なお、補償強度決定部４２は、スクロール情報およびテロップ情報のうち、どちらか一方のみを取得してもよい。この場合、補償強度決定部４２は、スクロール情報およびテロップ情報のうち、取得した一方の情報のみに応じて、動き補償強度を再決定する。
　以上、本発明の一態様における画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したもの、または異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　例えば、上記実施の形態では、ブロックごとに動き補償強度を決定していたが、必ずしもブロックごとに動き補償強度を決定する必要はない。例えば、複数のブロックからなる所定の領域ごとに、動き補償強度を決定してもよい。その場合、補償強度決定部は、例えば、代表となるブロックの動き補償強度をその領域の動き補償強度と決定すればよい。
　また、上記実施の形態において、動きベクトルの信頼性が低い場合に補間位相を近づける原画像の位相は、正規位相に近い方の原画像の位相であったが、正規位相に関わらず、常に補間画像よりも時間的に前の原画像の位相または時間的に後の原画像の位相であってもよい。
　また、補間画像生成部は、正規位相と、近づける対象とする原画像の位相との位相差に応じて、その位相差が大きいほど、補間位相が原画像の位相に近づくように補間位相を算出してもよい。
　また、上記実施の形態において、補償強度決定部は、ブロックごとの動き補償強度に空間的なフィルタ処理を施していたが、必ずしもフィルタ処理を施す必要はない。補償強度決定部がフィルタ処理を施さない場合であっても、画像処理装置は、動きベクトルの信頼性が低いほど、補間位相を原画像の位相に近づけることができるので、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
　なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現してもよい。また、本発明は、そのような画像処理方法に含まれる各ステップを、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）およびメモリ等を備えるコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような画像処理装置の機能の一部またはすべてを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像表示装置として実現したりすることもできる。具体的には、図１、図１２、図１７または図１８に示されたすべての構成要素を備える集積回路として実現することができる。
　また、集積回路化は個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
　画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる画像処理装置およびその画像処理装置を備える画像表示装置等として利用することができる。
　１０、２０、３０、４０　画像処理装置
　１１、２１、３１　動きベクトル検出部
　１２、２２、３２、４２　補償強度決定部
　１３　補間画像生成部

Claims (12)

  1. 　入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置であって、
    　時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、
    　前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、
    　前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、
    　前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
    　画像処理装置。
  2. 　前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルとの変化度を前記信頼度として算出する
    　請求項１に記載の画像処理装置。
  3. 　前記補償強度決定部は、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロックと、前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックとの非近似度を前記信頼度として算出する
    　請求項１に記載の画像処理装置。
  4. 　前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトル、および当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルの変化度と、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロック、および前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックの非近似度との和を前記信頼度として算出する
    　請求項１に記載の画像処理装置。
  5. 　前記補償強度決定部は、前記動き補償強度をブロックごとに決定し、
    　前記補間画像生成部は、決定された動き補償強度を用いてブロックごとに動き補償処理を行うことにより、前記補間画像を生成する
    　請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記補償強度決定部は、動き補償強度を決定する際に、隣接するブロック間における動き補償強度の差異が小さくなるように空間的なフィルタ処理を行って、前記動き補償強度を決定する
    　請求項５に記載の画像処理装置。
  7. 　前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記２枚の原画像の位相のうち正規位相に近い方の位相に前記補間位相が近づくように、前記動き補償強度を決定し、
    　前記正規位相は、変換前のフレームレートと変換後のフレームレートとから論理的に算出される位相である
    　請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、画像がスクロールしている可能性を示すスクロール情報を取得し、取得したスクロール情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する
    　請求項１～７のいずれか１項に記載の画像処理装置。
  9. 　前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、テロップが動きながら表示されている可能性を示すテロップ情報を取得し、取得したテロップ情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する
    　請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する集積回路であって、
    　時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、
    　前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、
    　前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、
    　前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
    　集積回路。
  11. 　入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理方法であって、
    　時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出ステップと、
    　前記動きベクトル検出ステップにおいて検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定ステップと、
    　前記補償強度決定ステップにおいて決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出ステップにおいて検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成ステップとを含み、
    　前記補償強度決定ステップでは、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
    　画像処理方法。
  12. 　請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2010/002316 2009-12-01 2010-03-30 画像処理装置および画像処理方法 WO2011067870A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011544173A JPWO2011067870A1 (ja) 2009-12-01 2010-03-30 画像処理装置および画像処理方法
EP10834327A EP2509307A4 (en) 2009-12-01 2010-03-30 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US13/337,632 US20120093231A1 (en) 2009-12-01 2011-12-27 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009274012 2009-12-01
JP2009-274012 2009-12-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/337,632 Continuation US20120093231A1 (en) 2009-12-01 2011-12-27 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2011067870A1 true WO2011067870A1 (ja) 2011-06-09

Family

ID=44114734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002316 WO2011067870A1 (ja) 2009-12-01 2010-03-30 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20120093231A1 (ja)
EP (1) EP2509307A4 (ja)
JP (1) JPWO2011067870A1 (ja)
WO (1) WO2011067870A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039956A1 (ja) * 2018-08-22 2020-02-27 ソニー株式会社 表示装置、信号処理装置、及び信号処理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218107B1 (en) 2011-12-30 2015-12-22 hopTo Inc. Cloud-based text management for cross-platform display
US8775545B1 (en) 2011-12-30 2014-07-08 hop To Inc. Image hosting for cross-platform display over a communication network
US9223534B1 (en) 2011-12-30 2015-12-29 hopTo Inc. Client side detection of motion vectors for cross-platform display
US9367931B1 (en) 2011-12-30 2016-06-14 hopTo Inc. Motion vectors for cross-platform display
US8856262B1 (en) 2011-12-30 2014-10-07 hopTo Inc. Cloud-based image hosting
US9454617B1 (en) 2011-12-30 2016-09-27 hopTo Inc. Client rendering
US8990363B1 (en) * 2012-05-18 2015-03-24 hopTo, Inc. Decomposition and recomposition for cross-platform display
US9124562B1 (en) * 2012-05-18 2015-09-01 hopTo Inc. Cloud-based decomposition and recomposition for cross-platform display
US9106612B1 (en) * 2012-05-18 2015-08-11 hopTo Inc. Decomposition and recomposition for cross-platform display
US8763054B1 (en) 2012-11-02 2014-06-24 hopTo Inc. Cross-platform video display
US8776152B1 (en) 2012-11-02 2014-07-08 hopTo Inc. Cloud-based cross-platform video display
US9430134B1 (en) 2013-03-15 2016-08-30 hopTo Inc. Using split windows for cross-platform document views
US9292157B1 (en) 2013-03-15 2016-03-22 hopTo Inc. Cloud-based usage of split windows for cross-platform document views

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163573A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
WO2008102826A1 (ja) 2007-02-20 2008-08-28 Sony Corporation 画像表示装置、映像信号処理装置および映像信号処理方法
JP2009159300A (ja) * 2007-12-26 2009-07-16 Toshiba Corp 順次走査変換装置および順次走査変換方法並びに映像表示装置
JP2009181067A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2305569B (en) * 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100588132B1 (ko) * 2004-10-04 2006-06-09 삼성전자주식회사 디스플레이장치
JP2008261984A (ja) * 2007-04-11 2008-10-30 Hitachi Ltd 画像処理方法及びこれを用いた画像表示装置
JP5106203B2 (ja) * 2008-03-27 2012-12-26 株式会社東芝 補間画像生成装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163573A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
WO2008102826A1 (ja) 2007-02-20 2008-08-28 Sony Corporation 画像表示装置、映像信号処理装置および映像信号処理方法
JP2009159300A (ja) * 2007-12-26 2009-07-16 Toshiba Corp 順次走査変換装置および順次走査変換方法並びに映像表示装置
JP2009181067A (ja) * 2008-01-31 2009-08-13 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039956A1 (ja) * 2018-08-22 2020-02-27 ソニー株式会社 表示装置、信号処理装置、及び信号処理方法
US11930207B2 (en) 2018-08-22 2024-03-12 Saturn Licensing Llc Display device, signal processing device, and signal processing method

Also Published As

Publication number Publication date
EP2509307A1 (en) 2012-10-10
EP2509307A4 (en) 2012-12-26
US20120093231A1 (en) 2012-04-19
JPWO2011067870A1 (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
WO2011067870A1 (ja) 画像処理装置および画像処理方法
KR100914619B1 (ko) 디인터레이싱 방법, 장치 및 시스템
US6614485B2 (en) Deinterlacing apparatus
US20070009038A1 (en) Motion estimator and motion estimating method thereof
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
JPWO2006117878A1 (ja) フレームレート変換装置及び映像表示装置
KR20060083978A (ko) 움직임 벡터 필드 리－타이밍
US7145950B2 (en) Method of motion vector determination in digital video compression
KR20070074781A (ko) 프레임율 변환장치
JP5192087B2 (ja) 画像処理装置及び画像処理方法
JP4385077B1 (ja) 動きベクトル検出装置および画像処理装置
US8243801B2 (en) Motion prediction apparatus and motion prediction method
US8244055B2 (en) Image processing apparatus and method, and program
JP5841345B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US20120274845A1 (en) Image processing device and method, and program
JP5737072B2 (ja) 動き補償フレーム生成装置及び方法
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP5975791B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
US8698954B2 (en) Image processing method, image processing apparatus and image processing program
JP2007527139A (ja) 動き補償画像信号の補間
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
JP4354799B2 (ja) 補間画像生成方法および装置
JP2010171672A (ja) フレームレート変換装置、映像表示装置、フレームレート変換方法
JP2004056586A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10834327

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011544173

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010834327

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE