WO2012169096A1 - 映像表示装置及び映像処理装置 - Google Patents
映像表示装置及び映像処理装置 Download PDFInfo
- Publication number
- WO2012169096A1 WO2012169096A1 PCT/JP2012/001007 JP2012001007W WO2012169096A1 WO 2012169096 A1 WO2012169096 A1 WO 2012169096A1 JP 2012001007 W JP2012001007 W JP 2012001007W WO 2012169096 A1 WO2012169096 A1 WO 2012169096A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frame
- video signal
- interpolation
- frame image
- thinned
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/106—Determination of movement vectors or equivalent parameters within the image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
Definitions
- the present invention relates to a video display device and a video processing device for correcting a video signal in which at least one frame image is periodically thinned out from a plurality of temporally continuous frame images.
- a reproducing apparatus for reproducing a video signal from an optical disk such as a DVD or a BD (Blu-ray Disc) is known.
- data is played back in units of blocks composed of data in units of frames, the playback speed of data in units of blocks is controlled, and the data in units of blocks is controlled according to the controlled playback speed.
- the data for each frame is omitted (for example, see Patent Document 1).
- the playback device outputs playback data obtained by thinning out a part of the frame unit data to a video display device such as a liquid crystal display or a plasma display, and the video display device displays the input playback data.
- a video display device such as a liquid crystal display or a plasma display
- FIG. 23 is a diagram illustrating an example of a playback video signal played back by the playback device and a thinned video signal output from the playback device.
- FIG. 23 shows a case where one frame image is thinned out of four frame images.
- FIG. 23 shows a circular image moving at a constant speed from the left to the right of the screen, and the frame image F4 is thinned out of the frame images F1 to F6 constituting the reproduced video signal. .
- the thinned video signal is composed of frame images F1 to F3, F5, and F6.
- the circular image moves to the right by one block in the reproduced video signal, but in the thinned video signal, the circular image moves to the right.
- the image moves two blocks between the frame image F3 and the frame image F5, and the motion becomes discontinuous.
- the frame image is thinned out in the playback device, the displayed image is discontinuous in the video display device, and the viewer feels uncomfortable visually.
- the present invention has been made to solve the above-described problems, and provides a video display device and a video processing device that can smooth the movement of an image and can improve visual discomfort. It is intended.
- a video display device includes a video signal acquisition unit that acquires a video signal in which at least one frame image is periodically thinned from a plurality of temporally continuous frame images, and temporally before and after
- a motion vector detection unit that detects a motion vector of a current frame image using at least two or more frame images that perform, and the at least one frame image of the video signal acquired by the video signal acquisition unit is thinned out
- an interpolation phase generation unit that generates an interpolation phase of an interpolated frame image, the video signal acquired by the video signal acquisition unit, and the motion vector detection unit detected by the motion vector detection unit Based on the motion vector, an interpolation frame corresponding to the interpolation phase generated by the interpolation phase generation unit is generated.
- An interpolation frame generation unit that generates a frame image, and a display unit that displays a video signal including the interpolation frame image generated by the interpolation frame generation unit, wherein the interpolation phase generation unit includes the plurality of frame images.
- the interpolation phase is generated so that the interval is the same as the phase interval of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are made equal within one cycle of the decimation cycle.
- the video signal acquisition unit acquires a video signal in which at least one frame image is periodically thinned out from a plurality of temporally continuous frame images.
- the motion vector detection unit detects a motion vector of the current frame image using at least two or more frame images that are temporally changed.
- the interpolation phase generation unit generates an interpolation phase of the interpolated frame image based on the thinned frame information indicating the thinning timing at which at least one frame image of the acquired video signal is thinned.
- the interpolation frame generation unit generates an interpolation frame image corresponding to the generated interpolation phase based on the acquired video signal and the detected motion vector.
- a video signal including the generated interpolated frame image is displayed by the display unit.
- the first interpolation frame image and the first interpolation frame among the plurality of interpolation frame images within one cycle of the thinning cycle in which at least one frame image is thinned out from the plurality of frame images by the interpolation phase generation unit The phase interval between the second interpolation frame images following the image is the same as the phase interval between adjacent interpolation frame images when the phase intervals of the plurality of interpolation frame images are equalized within one period of the thinning cycle.
- An interpolation phase is generated so that
- the phase interval between the first interpolation frame image of the plurality of interpolation frame images within one thinning cycle and the second interpolation frame image following the first interpolation frame image is thinned out. Since the phase intervals of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are equalized within one cycle of the cycle are the same, the first interpolated frame image and the second interpolated frame image Are continuously displayed, the movement of the image can be smoothed, and the visual discomfort can be improved.
- FIG. 5 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1 ⁇ 4 in the first embodiment. It is a figure which shows an example of the image signal after correction
- FIG. 10 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the first modification of the second embodiment.
- 12 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the second modification of the second embodiment. It is a figure which shows the structure of the video display apparatus in Embodiment 3 of this invention.
- FIG. 10 is a diagram for describing processing for creating thinned-out frame information from motion vector information in the third embodiment.
- 10 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/4 in the third embodiment.
- 10 is a timing chart for explaining processing for correcting a thinned video signal whose thinning cycle is 2/8 in the third embodiment.
- 12 is a timing chart for explaining processing for correcting a thinned video signal whose thinning cycle is 1/3 in the third embodiment.
- 10 is a timing chart for explaining processing for correcting a thinned video signal whose thinning cycle is 1 ⁇ 4 in the fourth embodiment.
- 10 is a timing chart for explaining processing for correcting a thinned video signal whose thinning cycle is 2/5 in the fourth embodiment. It is a figure which shows the structure of the video display apparatus in Embodiment 5 of this invention.
- FIG. 10 is a timing chart for explaining processing for correcting a thinned video signal whose thinning cycle is 2/5 in the fifth embodiment. It is a figure which shows an example of the reproduction
- FIG. 1 is a diagram showing a configuration of a video display apparatus according to Embodiment 1 of the present invention.
- 1 reproduces a video signal from an optical disc such as a CD, a DVD, and a BD, for example.
- the playback device 1 creates a thinned video signal in which at least one frame image is periodically thinned out from a plurality of temporally continuous frame images based on the reproduced video signal.
- the playback device 1 outputs the created video signal to the video display device 2.
- the playback device 1 plays back thinned frame information representing thinning timing at which at least one frame image of a video signal is thinned out from an optical disc.
- the reproduction device 1 outputs the reproduced thinned frame information to the video display device 2.
- the playback device 1 may include, for example, a tuner for TV broadcasting, an image input terminal, a network connection terminal, or the like, and may receive a video signal and create a thinned video signal from the received video signal.
- the video processing device 21 includes a video signal acquisition unit 211, a thinned frame information acquisition unit 212, a frame memory 213, a motion vector detection unit 214, an interpolation phase generation unit 215, and an interpolation frame generation unit 216.
- the video signal acquisition unit 211 acquires from the playback device 1 a thinned video signal in which at least one frame image is periodically thinned out from a plurality of temporally continuous frame images.
- the video signal acquisition unit 211 outputs the acquired thinned video signal to the frame memory 213.
- the thinned frame information acquisition unit 212 acquires thinned frame information representing the thinning timing at which at least one frame image of the thinned video signal acquired by the video signal acquisition unit 211 is thinned from the playback device 1.
- the thinned frame information acquisition unit 212 outputs the acquired thinned frame information to the interpolation phase generation unit 215.
- the frame memory 213 stores the thinned video signal acquired by the video signal acquisition unit 211 in units of frames.
- the frame memory 213 outputs the M frame delayed video signal and the N frame delayed video signal to the motion vector detection unit 214, and outputs the m frame delayed video signal and the n frame delayed video signal to the interpolation frame generation unit 216.
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal for example, 1 frame (M + 1).
- the n-frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frames) or 1 frame (N frames).
- the motion vector detection unit 214 detects the motion vector of the current frame image using at least two or more frame images that are temporally mixed.
- the motion vector detection unit 214 receives two temporally continuous frame image data, for example, image data of a frame M and image data of a frame M + 1 (where M is an integer), and the motion vector detection unit 214 By detecting the amount of motion between these frames, a motion vector for each pixel of the frame M is detected and output to the interpolation frame generation unit 216.
- this motion vector detection method a known motion vector detection method is used. For example, a detection method by block matching processing is used.
- the interpolation phase generating unit 215 calculates an interpolation phase of an interpolated frame image generated using two adjacent frame images among a plurality of frame images. Generate.
- the interpolation phase generation unit 215 includes a first interpolation frame image at the head of a plurality of interpolation frame images within one cycle of a thinning cycle in which at least one frame image is thinned out from the plurality of frame images, and a first interpolation
- the phase interval between the second interpolated frame image following the frame image is the same as the phase interval between adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are equalized within one thinning cycle.
- the interpolation phase is generated so that
- the interpolation frame generation unit 216 corresponds to the interpolation phase generated by the interpolation phase generation unit 215 based on the thinned video signal acquired by the video signal acquisition unit 211 and the motion vector detected by the motion vector detection unit 214. Generate an interpolated frame image.
- the display unit 22 displays the corrected video signal including the interpolation frame image generated by the interpolation frame generation unit 216.
- a thinned video signal in which one frame image is thinned out from four frame images within one thinning cycle that is, a thinned video signal whose thinning cycle is 1/4 is corrected, and a corrected video signal is displayed. Processing to be performed will be described.
- FIG. 2 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/4 in the first embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal shown in FIG. 2 represents the reproduced video signal reproduced by the reproducing apparatus 1, and the thinned video signal represents the thinned video signal output from the reproducing apparatus 1.
- the video signal acquisition unit 211 acquires a video signal in which one frame image is thinned out from four frame images within one cycle of the thinning cycle. In the thinned video signal, frame images having frame numbers “4”, “8”, and “12” are omitted. That is, the fourth frame image is thinned out of the first to fourth frame images continuous within one thinning cycle.
- the thinned frame information represents the thinned frame information acquired by the thinned frame information acquiring unit 212 and input to the interpolation phase generating unit 215.
- the thinned frame information is a pulse signal indicating the thinning timing at which the frame image is thinned out, and becomes high level “1” when the frame image is thinned out, and low level “when the frame image is not thinned out”. 0 ”.
- the thinned frame information shown in FIG. 2 becomes high level “1” at the timing when the frame images having the thinned video signal frame numbers “5”, “9”, and “13” are output.
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal represents, for example, 1 frame.
- the (M + 1 frame) delayed video signal is represented
- the n frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frame).
- the M frame delayed video signal represents a video signal that is not delayed and is the same as the thinned video signal.
- an interpolated frame image is generated in a state where all the motion vector information for one frame image has been calculated, so an M frame delayed video signal, an N frame delayed video signal, an m frame delayed video signal, and n
- the motion vector information represents the frame number of the frame image for calculating the motion vector and the frame number of the frame image to be referred to when calculating the motion vector.
- the motion vector detection unit 214 detects a motion vector using the M frame delayed video signal and the N frame delayed video signal output from the frame memory 213.
- the interpolation phase generation unit 215 includes a frame counter that counts the number of frame images after the frame images are thinned out.
- the frame count value counted by the frame counter changes according to the thinned frame information.
- the frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 215 stores a table in which the frame count value and the interpolation phase are associated with each other in advance.
- the frame count value “2” is associated with the interpolation phase “0”, and the frame count values “1” and “0” are associated with the interpolation phase “0.33”.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the interpolation phase generation unit 215 has a phase interval between the first interpolation frame image at the head of the plurality of interpolation frame images within one thinning cycle and the second interpolation frame image following the first interpolation frame image. However, the interpolation phase is generated so as to be the same as the phase interval of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are made equal within one thinning cycle. In addition, the interpolation phase generation unit 215 generates an interpolation phase so that the phase intervals of the three interpolation frame images are equalized within one thinning-out period.
- the interpolation phase corresponding to the first interpolation frame image is “0”
- the interpolation phase corresponding to the second interpolation frame image is “0.33”
- the interpolation corresponding to the third interpolation frame image is performed.
- the phase is “0.33”.
- the corrected video signal represents the corrected output video signal including the interpolation frame image generated by the interpolation frame generation unit 216.
- the interpolation frame generation unit 216 is based on the m frame delayed video signal and the n frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. An interpolation frame image corresponding to the interpolation phase is generated.
- the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “0.33”, “2” between the second frame image of the n-frame delayed video signal and the third frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .33 ′′ is output as the second interpolated frame image. Since the interpolation phase corresponding to the third interpolation frame image is “0.33”, “3” between the third frame image of the n-frame delayed video signal and the fifth frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .67 ′′ is output as the third interpolated frame image. Then, the first to third interpolation frame images are output every cycle.
- FIG. 3 is a diagram illustrating an example of the corrected video signal displayed on the display unit. Note that the corrected video signal shown in FIG. 3 shows an example in which the thinned video signal shown in FIG. 23 showing a circular image moving at a constant speed from the left to the right of the screen is corrected.
- the corrected video signal is composed of frame images F11 to F15.
- the circular image moves to the right by 1.33 blocks. Therefore, the movement of the circular image is not discontinuous as shown in the thinned-out video signal in FIG.
- an interpolated frame image is generated in a state where all the motion vector information for one frame image has been calculated.
- the present invention is not particularly limited to this, while calculating motion vector information.
- An interpolation frame image may be generated.
- FIG. 4 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/4 while calculating motion vector information. Only processing different from FIG. 2 will be described.
- the frame memory 213 outputs an m frame delayed video signal at the same timing as the M frame delayed video signal, and outputs an n frame delayed video signal at the same timing as the N frame delayed video signal. That is, in the timing chart shown in FIG. 2, an interpolation frame image is generated after all the motion vector information for one frame image is calculated. Therefore, an m-frame delayed video signal used when generating the interpolation frame image and The n-frame delayed video signal is delayed by one frame from the M-frame delayed video signal and the N-frame delayed video signal used when calculating motion vector information.
- the m frame delayed video signal and the n frame delayed video signal used when generating the interpolation frame image are: The timing is the same as that of the M frame delayed video signal and the N frame delayed video signal used when calculating the motion vector information.
- the interpolation frame generation unit 216 can generate the interpolation frame image while calculating the motion vector information.
- the thinning cycle is constant has been described.
- the thinning cycle may be disturbed due to some factor.
- FIG. 5 is a timing chart for explaining the process of correcting the thinned video signal when the thinning cycle changes from 1/4 to 1/3 and then returns to 1/4.
- the frame image in the reproduced video signal, the frame image is thinned out with a 1 ⁇ 4 thinning cycle, but the frame image is thinned out with a ⁇ ⁇ thinning cycle in the middle.
- the motion amount between the third interpolation frame image and the fourth interpolation frame image is “1.67”, and the motion amount between other interpolation frame images is “1.33”.
- the image becomes discontinuous when the third interpolation frame image is switched to the fourth interpolation frame image.
- the video signal before and after the thinning cycle is disturbed, that is, when the frame image is thinned with a 1/4 thinning cycle, the video signal is normally corrected. There is no particular visual discomfort.
- FIG. 6 is a timing chart for explaining the process of correcting the thinned video signal when the thinning cycle changes from 1/4 to 1/5 and then returns to 1/4.
- a thinned video signal obtained by thinning out two frame images consecutive from eight frame images within one thinning cycle that is, a thinned video signal having a thinning cycle of 2/8, is corrected, and a corrected video is obtained. Processing for displaying a signal will be described.
- FIG. 7 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the first embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the video signal acquisition unit 211 acquires a video signal obtained by thinning out two consecutive frame images from eight frame images within one thinning cycle.
- frame images having frame numbers “7”, “8”, “15”, and “16” are omitted. That is, among the first to eighth frame images that are continuous within one thinning cycle, the seventh and eighth frame images are thinned.
- the thinned frame information represents the thinned frame information acquired by the thinned frame information acquiring unit 212 and input to the interpolation phase generating unit 215.
- the thinned frame information is a pulse signal indicating the thinning timing at which the frame image is thinned out, and becomes high level “1” when the frame image is thinned out, and low level “when the frame image is not thinned out”. 0 ”.
- the thinned frame information shown in FIG. 7 becomes high level “1” at the timing when the frame images having the frame numbers “9” and “17” of the thinned video signal are output.
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal represents, for example, 1 frame.
- the (M + 1 frame) delayed video signal is represented
- the n frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frame).
- the M frame delayed video signal represents a video signal that is not delayed and is the same as the thinned video signal.
- the interpolation frame image may be generated while calculating the motion vector information.
- the motion vector information represents the frame number of the frame image for calculating the motion vector and the frame number of the frame image to be referred to when calculating the motion vector.
- the motion vector detection unit 214 detects a motion vector using the M frame delayed video signal and the N frame delayed video signal output from the frame memory 213.
- the frame images of the ideal corrected video signal are “1”, “2.33”, “3.67”, “5”, “6.33”, “7”. .67 ",...
- an interpolated frame image corresponding to “1” of the ideal corrected video signal is generated based on the ideal interpolation phase “0”, and becomes “2.33” of the ideal corrected video signal.
- the corresponding interpolation frame image is generated based on the ideal interpolation phase “1/3”, and the interpolation frame image corresponding to “3.67” of the ideal corrected video signal is the ideal interpolation phase “ An interpolated frame image generated based on 2/3 "and corresponding to" 5 "of the ideal corrected video signal is generated based on the ideal interpolated phase” 1 ", and the ideal corrected video signal The interpolated frame image corresponding to “7.67” is generated based on the ideal interpolated phase “5/9”.
- the interpolated frame image corresponding to “6.33” of the ideal corrected video signal cannot be generated because there is no interpolated phase.
- a motion vector that transitions from the frame image with the frame number “6” to the frame image with the frame number “5” is used.
- the interpolation position “6.33” of the interpolated frame image exceeds the frame number “6”
- a video signal is generated from the frame images with the frame numbers “5” and “6” adjacent to each other. I can't. Therefore, the interpolation phase generation unit 215 cannot generate an interpolation phase for generating an interpolation frame image corresponding to “6.33”.
- the interpolation frame generation unit 216 selects a frame image closest to the interpolation frame image to be generated from the video signal, and the interpolation frame image Generate as
- the interpolation phase generation unit 215 sets “1” as the interpolation phase corresponding to the fifth interpolation frame image among the first to sixth interpolation frame images within one thinning cycle.
- the interpolation phase generation unit 215 includes a frame counter that counts the number of frame images after the frame images are thinned out. The frame count value counted by the frame counter changes according to the thinned frame information. The frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 215 stores a table in which the frame count value and the interpolation phase are associated with each other in advance.
- the frame count value “2” is associated with the interpolation phase “0”
- the frame count value “3” is associated with the interpolation phase “1/3”
- the frame count value “4” is interpolated.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the interpolation frame generation unit 216 responds to the interpolation phase based on the m-frame delayed video signal and the n-frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. Generate an interpolated frame image.
- the interpolation phase corresponding to the first interpolation frame image is “0”, the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “1/3”, “2” between the second frame image of the n-frame delayed video signal and the third frame image of the m-frame delayed video signal. The interpolated frame image at the position corresponding to .33 ′′ is output as the second interpolated frame image. Since the interpolation phase corresponding to the third interpolation frame image is “2/3”, “3” between the third frame image of the n-frame delayed video signal and the fourth frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .67 ′′ is output as the third interpolated frame image. Since the interpolation phase corresponding to the fourth interpolation frame image is “1”, the fifth frame image of the m-frame delayed video signal is output as the fourth interpolation frame image. Since the interpolation phase corresponding to the fifth interpolation frame image is “1”, the sixth frame image of the m-frame delayed video signal is output as the fifth interpolation frame image. Since the interpolation phase corresponding to the sixth interpolation frame image is “5/9”, “7” between the sixth frame image of the n-frame delayed video signal and the ninth frame image of the m-frame delayed video signal. The interpolation frame image at the position corresponding to .67 ′′ is output as the sixth interpolation frame image. Then, the first to sixth interpolation frame images are output every cycle.
- an interpolated frame image can be generated by shifting the interpolation phase, and a visually uncomfortable video can be generated. Can be displayed.
- a thinned video signal in which one frame image is thinned out from three frame images within one cycle of the thinning cycle that is, a thinned video signal whose thinning cycle is 1/3 is corrected, and the corrected video signal is The display process will be described.
- FIG. 8 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/3 in the first embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the video signal acquisition unit 211 acquires a video signal in which one frame image is thinned out from three frame images within one cycle of the thinning cycle.
- the thinned video signal shown in FIG. 8 frame images having frame numbers “3”, “6”, “9”, “12”, “15”, and “18” are omitted. That is, of the first to third frame images that are continuous within one thinning cycle, the third frame image is thinned out.
- the thinned frame information represents the thinned frame information acquired by the thinned frame information acquiring unit 212 and input to the interpolation phase generating unit 215.
- the thinned frame information is a pulse signal indicating the thinning timing at which the frame image is thinned out, and becomes high level “1” when the frame image is thinned out, and low level “when the frame image is not thinned out”. 0 ”.
- the thinned frame information shown in FIG. 8 is at a high level at the timing when the frame images of the thinned video signal are “4”, “7”, “10”, “13”, “16”, and “19”. “1”.
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal represents, for example, 1 frame.
- the (M + 1 frame) delayed video signal is represented
- the n frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frame).
- the M frame delayed video signal represents a video signal that is not delayed and is the same as the thinned video signal.
- the interpolation frame image may be generated while calculating the motion vector information.
- the motion vector information represents the frame number of the frame image for calculating the motion vector and the frame number of the frame image to be referred to when calculating the motion vector.
- the motion vector detection unit 214 detects a motion vector using the M frame delayed video signal and the N frame delayed video signal output from the frame memory 213.
- the interpolation phase generation unit 215 includes a frame counter that counts the number of frame images after the frame images are thinned out.
- the frame count value counted by the frame counter changes according to the thinned frame information.
- the frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 215 stores a table in which the frame count value and the interpolation phase are associated with each other in advance.
- the frame count value “0” is associated with the interpolation phase “0”
- the frame count value “1” is associated with the interpolation phase “1/4”.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the interpolation phase generation unit 215 has a phase interval between the first interpolation frame image at the head of the plurality of interpolation frame images within one thinning cycle and the second interpolation frame image following the first interpolation frame image. However, the interpolation phase is generated so as to be the same as the phase interval of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are made equal within one thinning cycle.
- the interpolation phase corresponding to the first interpolation frame image is “0”, and the interpolation phase corresponding to the second interpolation frame image is “1 ⁇ 4”.
- the interpolation frame generation unit 216 is based on the m frame delayed video signal and the n frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. An interpolation frame image corresponding to the interpolation phase is generated.
- the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “1/4”, “2” between the second frame image of the n-frame delayed video signal and the fourth frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .5 ′′ is output as the second interpolated frame image. Then, the first and second interpolation frame images are output every cycle.
- the interpolation frame generation unit selects a frame image closest to the interpolation frame image to be generated from the video signal and uses it as an interpolation frame image. Is generated.
- the interpolated frame generating unit according to the second embodiment generates an interpolated frame image from the adjacent frame images after the adjacent frame images. .
- FIG. 9 is a diagram showing the configuration of the video display apparatus according to Embodiment 2 of the present invention.
- the video display device 2 illustrated in FIG. 9 includes a video processing device 21 and a display unit 22.
- the video processing device 21 includes a video signal acquisition unit 211, a thinned frame information acquisition unit 212, a frame memory 213, a motion vector detection unit 214, an interpolation phase generation unit 215, and an interpolation frame generation unit 216.
- FIG. 9 the description of the same configuration as that of the video display device of the first embodiment shown in FIG. 1 is omitted.
- the thinned frame information acquisition unit 212 acquires thinned frame information representing the thinning timing at which at least one frame image of the thinned video signal acquired by the video signal acquisition unit 211 is thinned from the playback device 1.
- the thinned frame information acquisition unit 212 outputs the acquired thinned frame information to the interpolation phase generation unit 215 and the frame memory 213.
- the frame memory 213 stores the thinned video signal acquired by the video signal acquisition unit 211 in units of frames.
- the frame memory 213 outputs the M frame delayed video signal and the N frame delayed video signal to the motion vector detection unit 214, and outputs the m frame delayed video signal and the n frame delayed video signal to the interpolation frame generation unit 216.
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal for example, 1 frame (M + 1).
- the n-frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frames) or 1 frame (N frames).
- the frame memory 213 switches the number of frames to be delayed between the m frame delayed video signal and the n frame delayed video signal based on the thinned frame information acquired by the thinned frame information acquisition unit 212.
- the interpolation phase generation unit 215 generates an interpolation phase so that the phase intervals of the six interpolation frame images are equalized within one thinning cycle.
- the interpolated frame generating unit 216 generates an interpolated frame image from the adjacent frame images next to the adjacent frame images.
- FIG. 10 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the second embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal, the thinned video signal, the thinned frame information, the M frame delayed video signal, the N frame delayed video signal, and the motion vector information are the same as the signals in the timing chart of the first embodiment shown in FIG. Since it is the same, description is abbreviate
- the frame memory 213 outputs the 1-frame delayed video signal and the 2-frame delayed video signal to the interpolation frame generation unit 216 when the thinned frame information is at the low level “0”, and the thinned frame information is at the high level “1”.
- the interpolation phase generation unit 215 includes a frame counter that counts the number of frame images after the frame images are thinned out.
- the frame count value counted by the frame counter changes according to the thinned frame information.
- the frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 215 stores a table in which the frame count value and the interpolation phase are associated with each other in advance.
- the frame count value “2” is associated with the interpolation phase “0”
- the frame count value “3” is associated with the interpolation phase “1/3”
- the frame count value “4” is interpolated.
- the phase “2/3” is associated, the frame count value “5” is associated with the interpolation phase “1”, and the frame count value “0” is associated with the interpolation phase “1/9”.
- the frame count value “1” is associated with the interpolation phase “5/9”.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the interpolation frame generation unit 216 responds to the interpolation phase based on the m-frame delayed video signal and the n-frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. Generate an interpolated frame image.
- the interpolation phase corresponding to the first interpolation frame image is “0”, the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “1/3”, “2” between the second frame image of the n-frame delayed video signal and the third frame image of the m-frame delayed video signal. The interpolated frame image at the position corresponding to .33 ′′ is output as the second interpolated frame image. Since the interpolation phase corresponding to the third interpolation frame image is “2/3”, “3” between the third frame image of the n-frame delayed video signal and the fourth frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .67 ′′ is output as the third interpolated frame image. Since the interpolation phase corresponding to the fourth interpolation frame image is “1”, the fifth frame image of the m-frame delayed video signal is output as the fourth interpolation frame image. Since the interpolation phase corresponding to the fifth interpolation frame image is “1/9”, “6” between the sixth frame image of the n-frame delayed video signal and the ninth frame image of the m-frame delayed video signal. The interpolated frame image at the position corresponding to .33 ′′ is output as the fifth interpolated frame image.
- the interpolation phase corresponding to the sixth interpolation frame image is “5/9”, “7” between the sixth frame image of the n-frame delayed video signal and the ninth frame image of the m-frame delayed video signal.
- the interpolation frame image at the position corresponding to .67 ′′ is output as the sixth interpolation frame image. Then, the first to sixth interpolation frame images are output every cycle.
- the interpolation phase generation unit 215 can generate an interpolation phase for generating an ideal corrected video signal corresponding to “6.33”.
- the motion vector detection unit in the first modification of the second embodiment detects a motion vector based on a frame image that is not delayed with respect to the video signal and a frame image that is delayed by one frame with respect to the video signal. In addition, based on a frame image delayed by one frame with respect to the video signal and a frame image delayed by two frames with respect to the video signal at the thinning timing at which at least one frame image specified by the thinned frame information is thinned out The motion vector is detected.
- the configuration of the video display apparatus in the first modification of the second embodiment is the same as the configuration of the video display apparatus in the second embodiment shown in FIG. This is done using a display device.
- FIG. 11 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the first modification of the second embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal, the thinned video signal, and the thinned frame information are the same as the signals in the timing chart of the first embodiment shown in FIG.
- the frame memory 213 outputs the 0 frame delayed video signal and the 1 frame delayed video signal to the motion vector detecting unit 214 when the thinned frame information is at the low level “0”, and the thinned frame information is at the high level “1”.
- the frame memory 213 switches from the M frame delayed video signal with the frame number “10” to the M frame delayed video signal with the frame number “9”, and outputs the frame.
- the N frame delayed video signal with the number “9” is switched from the N frame delayed video signal with the frame number “6” to be output.
- a motion vector is not required at the timing of outputting the original frame image. Therefore, it is not necessary to detect a motion vector that transitions from the frame image with the frame number “10” to the frame image with the frame number “9”.
- the motion vector detection unit 214 detects the motion vector that transitions from the frame image with the frame number “9” to the frame image with the frame number “6” twice in succession. At this time, the motion vector detection unit 214 detects the second motion vector using the detection result of the first motion vector. As described above, when detecting the motion vector of the same frame image, the detection accuracy of the second motion vector is improved by detecting the second motion vector using the detection result of the first motion vector. Can do.
- the frame memory 213 outputs the 1-frame delayed video signal and the 2-frame delayed video signal to the interpolation frame generation unit 216 when the thinned frame information is at the low level “0”, and the thinned frame information is at the high level “1”.
- the second motion vector is detected by using the first motion vector detection result.
- the detection accuracy of the second motion vector can be improved.
- a video display device according to a second modification of the second embodiment will be described.
- the motion vector is used.
- a predetermined interpolation phase determined in advance is set.
- the configuration of the video display apparatus in the second modification of the second embodiment is the same as the configuration of the video display apparatus in the second embodiment shown in FIG. This is done using a display device.
- FIG. 12 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the second modification of the second embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- a reproduced video signal, a thinned video signal, thinned frame information, motion vector information, an M frame delayed video signal, an N frame delayed video signal, an m frame delayed video signal, and an n frame delayed video The signals are the same as those in the timing chart of the first modification of the second embodiment shown in FIG.
- the motion vector detection unit 214 detects a motion vector using the M frame delayed video signal and the N frame delayed video signal output from the frame memory 213.
- a motion vector is detected using the frame image with the frame number “9” and the frame image with the frame number “6”, the frame image with the frame number “9” and the frame image with the frame number “6” are reproduced. Since the video signal is not continuous, the reliability of the detected motion vector may be low.
- the interpolation phase generation unit 215 sets the interpolation phase corresponding to the fifth interpolation frame image among the first to sixth interpolation frame images within one thinning cycle to “0”.
- the interpolation phase generation unit 215 includes a frame counter that counts the number of frame images after the frame images are thinned out. The frame count value counted by the frame counter changes according to the thinned frame information. The frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 215 stores a table in which the frame count value and the interpolation phase are associated with each other in advance.
- the frame count value “2” is associated with the interpolation phase “0”
- the frame count value “3” is associated with the interpolation phase “1/3”
- the frame count value “4” is interpolated.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the interpolation frame generation unit 216 responds to the interpolation phase based on the m-frame delayed video signal and the n-frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. Generate an interpolated frame image.
- the interpolation phase corresponding to the first interpolation frame image is “0”, the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “1/3”, “2” between the second frame image of the n-frame delayed video signal and the third frame image of the m-frame delayed video signal. The interpolated frame image at the position corresponding to .33 ′′ is output as the second interpolated frame image. Since the interpolation phase corresponding to the third interpolation frame image is “2/3”, “3” between the third frame image of the n-frame delayed video signal and the fourth frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .67 ′′ is output as the third interpolated frame image. Since the interpolation phase corresponding to the fourth interpolation frame image is “1”, the fifth frame image of the m-frame delayed video signal is output as the fourth interpolation frame image. Since the interpolation phase corresponding to the fifth interpolation frame image is “0”, the sixth frame image of the n-frame delayed video signal is output as the fifth interpolation frame image. Since the interpolation phase corresponding to the sixth interpolation frame image is “5/9”, “7” between the sixth frame image of the n-frame delayed video signal and the ninth frame image of the m-frame delayed video signal. The interpolation frame image at the position corresponding to .67 ′′ is output as the sixth interpolation frame image. Then, the first to sixth interpolation frame images are output every cycle.
- the interpolation phase at a location where frame images that are likely to have low motion vector reliability are thinned out is set to a predetermined interpolation phase.
- the present invention is not particularly limited to this.
- the video processing apparatus may further include a determination unit that determines the reliability of the motion vector detected by the motion vector detection unit, and the interpolation phase generation unit is determined by the determination unit to have a low reliability of the motion vector.
- a frame image closest to the interpolation frame image generated using the motion vector is selected from the video signal, the interpolation phase is set so as to be generated as the interpolation frame image, and the motion vector is highly reliable by the determination unit If it is determined that the interpolation phase is set to be the same as the phase interval of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are made equal within one thinning cycle Also good.
- the motion vector detection unit 214 calculates a difference absolute value between the luminance value of each pixel of the target block of the current frame image and the luminance value of each pixel of the reference block referred to when detecting the motion vector of the past frame image. The sum of the calculated difference absolute values is calculated as the block matching difference value of the block of interest.
- the motion vector detection unit 214 extracts a plurality of candidate vectors as motion vector candidates when detecting a motion vector.
- the motion vector detection unit 214 calculates an absolute difference value between the luminance value of each pixel of the target block of the current frame image and the luminance value of each pixel of each reference block corresponding to a plurality of candidate vectors of the past frame image. Then, the difference absolute values are summed for each reference block.
- the motion vector detection unit 214 detects, as a motion vector, a candidate vector corresponding to the reference block having the minimum total value among the plurality of candidate vectors. Further, the motion vector detection unit 214 calculates the minimum total value as the block matching difference value of the block of interest.
- the block matching difference value is an index of motion vector reliability. If the block matching difference value is small, the motion vector reliability is high, and if the block matching difference value is large, the motion vector reliability is low.
- the determination unit determines whether or not the block matching difference value is equal to or less than a predetermined threshold value.
- the interpolation phase generation unit 215 associates the interpolation phase “0” with the frame count value “0” of the table information.
- the interpolation phase generation unit 215 associates the interpolation phase “1/9” with the frame count value “0” of the table information when the determination unit determines that the block matching difference value is equal to or less than the predetermined threshold.
- an interpolation frame image is generated by the second modification of the second embodiment, and when the reliability of the motion vector is high, the first of the second embodiment.
- An interpolated frame image is generated according to the modified example.
- the thinned frame information acquisition unit acquires the thinned frame information from the playback device.
- the thinned frame information cannot always be acquired from the playback device. Therefore, in the third embodiment, instead of acquiring the thinned frame information from the playback device, the thinned frame frame is thinned based on the motion vector detected by the motion vector detecting unit, and the thinned frame is detected. Create information.
- FIG. 13 is a diagram showing the configuration of the video display apparatus according to Embodiment 3 of the present invention.
- the video display device 2 illustrated in FIG. 13 includes a video processing device 21 and a display unit 22.
- the video processing device 21 includes a video signal acquisition unit 211, a frame memory 213, a motion vector detection unit 214, an interpolation phase generation unit 215, an interpolation frame generation unit 216, and a thinning detection unit 217.
- FIG. 13 the description of the same configuration as that of the video display device of the first embodiment shown in FIG. 1 is omitted.
- the motion vector detection unit 214 outputs motion vector statistical information for each frame image to the thinning detection unit 217.
- the motion vector statistical information represents, for example, an average value of motion vectors for each frame image.
- a frame image is divided into a plurality of blocks, and a motion vector is calculated for each block.
- the motion vector detection unit 214 calculates an average value of motion vectors for each frame image.
- the thinning detection unit 217 determines whether or not the motion vector statistical information output from the motion vector detection unit 214 is greater than a predetermined threshold, and when it is determined that the motion vector statistical information is greater than the predetermined threshold, When the motion vector statistical information is determined to be less than or equal to a predetermined threshold, a low-level pulse signal is generated, and the generated pulse signal is output to the interpolation phase generation unit 215 as thinned frame information. .
- FIG. 14 is a diagram for explaining processing for creating thinned frame information from motion vector information in the third embodiment.
- the motion vector statistical information (motion vector average value) is equal to or smaller than the vector value determination threshold, and in the frame N + 3, the motion vector statistical information is larger than the vector value determination threshold. It has become. Therefore, the thinning detection unit 217 generates a low-level pulse signal in the display period of frame N to frame N + 2, and generates a high-level pulse signal in the display period of frame N + 3. The thinning detection unit 217 outputs the generated pulse signal to the interpolation phase generation unit 215 as thinning frame information.
- a thinned video signal in which one frame image is thinned out from four frame images within one thinning cycle that is, a thinned video signal whose thinning cycle is 1/4 is corrected and corrected.
- a process for displaying a subsequent video signal will be described.
- FIG. 15 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/4 in the third embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, the n frame delayed video signal, and The motion vector information is the same, but the thinning timing of the thinned frame information is different.
- the phase of the pulse signal of the thinned frame information is delayed by one frame.
- the correspondence between the frame count value and the interpolation phase is different from the example shown in FIG. That is, the frame count value “1” is associated with the interpolation phase “0”, and the frame count values “2” and “0” are associated with the interpolation phase “0.33”.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the corrected video signal can be obtained at the same timing as when the thinned frame information is acquired from the reproducing apparatus shown in FIG.
- the process of correcting the thinned video signal whose thinning cycle is 1 ⁇ 4 of the third embodiment can also be applied to the process of generating an interpolated frame image while extracting the motion vector information of FIG.
- Embodiment 3 a thinned video signal in which two consecutive frame images are thinned out from eight frame images within one thinning cycle, that is, a thinned video signal having a thinning cycle of 2/8 is corrected. A process for displaying the corrected video signal will be described.
- FIG. 16 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/8 in the third embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, the n frame delayed video signal, and The motion vector information is the same, but the thinning timing of the thinned frame information is different.
- the correspondence relationship between the frame count value and the interpolation phase is different from the example shown in FIG. That is, the frame count value “2” is associated with the interpolation phase “1/3”, the frame count value “3” is associated with the interpolation phase “2/3”, and the frame count value “4”. Is associated with the interpolation phase “1”, the frame count value “5” is associated with the interpolation phase “1”, and the frame count value “0” is associated with the interpolation phase “5/9”. The frame count value “1” is associated with the interpolation phase “0”.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the corrected video signal can be obtained at the same timing as when the thinned frame information is acquired from the reproducing apparatus shown in FIG.
- a thinned video signal in which one frame image is thinned out from three frame images within one thinning cycle that is, a thinned video signal whose thinning cycle is 1/3 is corrected. Processing for displaying the corrected video signal will be described.
- FIG. 17 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/3 in the third embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal is the same, but the thinning timing of the thinned frame information is different.
- the correspondence relationship between the frame count value and the interpolation phase is different from the example shown in FIG. That is, the frame count value “0” is associated with the interpolation phase “1/4”, and the frame count value “1” is associated with the interpolation phase “0”.
- the interpolation phase generation unit 215 refers to the table and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the corrected video signal can be obtained at the same timing as when the thinned frame information is acquired from the reproducing apparatus shown in FIG.
- the thinning timing is automatically detected, but it is possible to predict the thinning timing to be thinned next based on the detection result of the past thinning timing. Therefore, the thinning detection unit 217 predicts the thinning timing to be thinned next based on the thinning timing detected in the past. Then, the thinning detection unit 217 further reduces the vector value determination threshold at the predicted thinning timing. As a result, it is possible to reduce omission of detection of the thinning timing when the amount of motion is accidentally reduced at the thinning timing.
- a thinned video signal having a thinning cycle of 1/4 and a thinned video signal having a thinning cycle of 2/5 have different thinning cycles, but have the same thinning timing. Therefore, when an interpolation phase is generated based only on the thinning timing, a correct interpolation phase may not be generated.
- the interpolation phase generation unit generates the interpolation phase of the interpolation frame image based on the thinning timing and the number of thinning frames.
- FIG. 18 is a diagram showing a configuration of a video display apparatus according to Embodiment 4 of the present invention.
- the video display device 2 illustrated in FIG. 18 includes a video processing device 21 and a display unit 22.
- the video processing device 21 includes a video signal acquisition unit 211, a frame memory 213, a motion vector detection unit 214, an interpolation frame generation unit 216, a thinned frame information acquisition unit 218, and an interpolation phase generation unit 219.
- FIG. 18 the description of the same configuration as that of the video display device of the first embodiment shown in FIG. 1 is omitted.
- the thinned frame information acquisition unit 218 reproduces thinned frame information representing the thinning timing at which at least one frame image of the thinned video signal acquired by the video signal acquiring unit 211 is thinned and the number of thinned frames of the thinned video signal. Get from 1.
- the thinned frame information acquisition unit 218 outputs the acquired thinned frame information to the interpolation phase generation unit 219.
- the interpolation phase generation unit 219 generates two frame images adjacent to each other based on the thinning timing and the number of thinning frames included in the thinning frame information acquired by the thinning frame information acquisition unit 218. An interpolation phase of the interpolation frame image to be generated is generated.
- the interpolation phase generation unit 219 includes a first interpolation frame image at the head of the plurality of interpolation frame images within one cycle of the thinning cycle in which at least one frame image is thinned out from the plurality of frame images, and the first interpolation
- the phase interval between the second interpolated frame image following the frame image is the same as the phase interval between adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are equalized within one thinning cycle.
- the interpolation phase is generated so that
- a thinned video signal in which one frame image is thinned out from four frame images within one thinning cycle that is, a thinned video signal whose thinning cycle is 1/4 is corrected, and a corrected video signal is displayed. Processing to be performed will be described.
- FIG. 19 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 1/4 in the fourth embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal shown in FIG. 19 represents the reproduced video signal reproduced by the reproducing apparatus 1, and the thinned video signal represents the thinned video signal output from the reproducing apparatus 1.
- the video signal acquisition unit 211 acquires a video signal in which one frame image is thinned out from four frame images within one cycle of the thinning cycle. In the thinned video signal, frame images having frame numbers “4”, “8”, and “12” are omitted. That is, the fourth frame image is thinned out of the first to fourth frame images continuous within one thinning cycle.
- the thinned frame information represents thinned frame information acquired by the thinned frame information acquiring unit 218 and input to the interpolation phase generating unit 219.
- the thinned frame information includes a pulse signal that represents a thinning timing at which frame images are thinned, and a thinned frame number that represents the number of frames that have been thinned at the thinning timing.
- the thinning-out timing is high level “1” when the frame image is thinned out, and low level “0” when the frame image is not thinned out.
- the decimation timing shown in FIG. 19 becomes high level “1” at the timing when the frame images of the decimation video signal with the frame numbers “5”, “9”, and “13” are output.
- the number of thinned frames is acquired together with the thinning timing. As shown in FIG. 19, when one frame image is thinned out from four frame images within one thinning cycle, the number of thinned frames is “1”.
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal represents, for example, 1 frame.
- the (M + 1 frame) delayed video signal is represented
- the n frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frame).
- the M frame delayed video signal represents a video signal that is not delayed and is the same as the thinned video signal.
- an interpolated frame image is generated in a state where all the motion vector information for one frame image has been calculated, so an M frame delayed video signal, an N frame delayed video signal, an m frame delayed video signal, and n
- the motion vector information represents the frame number of the frame image for calculating the motion vector and the frame number of the frame image to be referred to when calculating the motion vector.
- the motion vector detection unit 214 detects a motion vector using the M frame delayed video signal and the N frame delayed video signal output from the frame memory 213.
- the interpolation phase generation unit 219 includes a frame counter that counts the number of frame images after the frame images are thinned out.
- the frame count value counted by the frame counter changes according to the thinned frame information.
- the frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 219 identifies the thinning mode based on the frame count value and the number of thinned frames.
- the thinning mode represents the thinning rate and represents how fast the video is played back. For example, if the decimation is 1/4 cycle or 2/8 cycle, the mode is 1.33 times speed mode. For example, if the decimation is 1/3 cycle, the mode is 1.5 times speed mode. If the cycle is thinned out, the mode is 1.67 times speed mode.
- the interpolation phase generation unit 219 determines that the mode is the 1.33 double speed mode (thinning cycle 1 ⁇ 4). . For example, when the maximum value of the frame count value is “2” and the number of thinned frames is “2”, the interpolation phase generation unit 219 determines that the mode is 1.67 times speed mode. Further, for example, when the maximum value of the frame count value is “5” and the number of thinned frames is “2”, the interpolation phase generation unit 219 is in the 1.33 double speed mode (thinning cycle 2/8). to decide. Further, for example, when the maximum frame count value is “1” and the number of thinned frames is “1”, the interpolation phase generation unit 219 determines that the mode is the 1.5 ⁇ speed mode.
- the interpolation phase generation unit 219 stores a table in which the frame count value and the interpolation phase are associated in advance for each thinning mode.
- the thinning mode is the 1.33 times speed mode (thinning cycle 1/4)
- the frame count value “2” is associated with the interpolation phase “0”
- the frame count values “1” and “0” The interpolation phase “0.33” is associated.
- the interpolation phase generation unit 219 refers to a table corresponding to the specified thinning mode and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the corrected video signal represents the corrected output video signal including the interpolation frame image generated by the interpolation frame generation unit 216.
- the interpolation frame generation unit 216 is based on the m frame delayed video signal and the n frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. An interpolation frame image corresponding to the interpolation phase is generated.
- the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “0.33”, “2” between the second frame image of the n-frame delayed video signal and the third frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .33 ′′ is output as the second interpolated frame image. Since the interpolation phase corresponding to the third interpolation frame image is “0.33”, “3” between the third frame image of the n-frame delayed video signal and the fifth frame image of the m-frame delayed video signal.
- the interpolated frame image at the position corresponding to .67 ′′ is output as the third interpolated frame image. Then, the first to third interpolation frame images are output every cycle.
- a thinned video signal obtained by thinning out two frame images consecutive from five frame images within one thinning cycle that is, a thinned video signal having a thinning cycle of 2/5 is corrected, and a corrected video is obtained. Processing for displaying a signal will be described.
- FIG. 20 is a timing chart for explaining processing for correcting a thinned video signal having a thinning cycle of 2/5 in the fourth embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal shown in FIG. 20 represents the reproduced video signal reproduced by the reproducing apparatus 1, and the thinned video signal represents the thinned video signal output from the reproducing apparatus 1.
- the video signal acquisition unit 211 acquires a video signal obtained by thinning out two consecutive frame images from five frame images within one thinning cycle. In the thinned video signal, frame images having frame numbers “4”, “5”, “9”, and “10” are omitted. That is, among the first to fifth frame images that are continuous within one thinning cycle, the fourth and fifth frame images are thinned.
- the thinned frame information represents thinned frame information acquired by the thinned frame information acquiring unit 218 and input to the interpolation phase generating unit 219.
- the thinned frame information includes a pulse signal that represents a thinning timing at which frame images are thinned, and a thinned frame number that represents the number of frames that have been thinned at the thinning timing.
- the thinning-out timing is high level “1” when the frame image is thinned out, and low level “0” when the frame image is not thinned out.
- the decimation timing shown in FIG. 20 becomes high level “1” at the timing when the frame images of the decimation video signal with the frame numbers “6”, “11”, and “16” are output.
- the number of thinned frames is acquired together with the thinning timing. As shown in FIG. 20, when two consecutive frame images are thinned out from five frame images within one thinning cycle, the number of thinned frames is “2
- the M frame delayed video signal represents, for example, a video signal delayed by 0 frame
- the N frame delayed video signal represents, for example, a video signal delayed by 1 frame (M + 1 frame)
- the m frame delayed video signal represents, for example, 1 frame.
- the (M + 1 frame) delayed video signal is represented
- the n frame delayed video signal represents, for example, a video signal delayed by 2 frames (N + 1 frame).
- the M frame delayed video signal represents a video signal that is not delayed and is the same as the thinned video signal.
- an interpolated frame image is generated in a state where all the motion vector information for one frame image has been calculated, so an M frame delayed video signal, an N frame delayed video signal, an m frame delayed video signal, and n
- the motion vector information represents the frame number of the frame image for calculating the motion vector and the frame number of the frame image to be referred to when calculating the motion vector.
- the motion vector detection unit 214 detects a motion vector using the M frame delayed video signal and the N frame delayed video signal output from the frame memory 213.
- the interpolation phase generation unit 219 includes a frame counter that counts the number of frame images after the frame images are thinned out.
- the frame count value counted by the frame counter changes according to the thinned frame information.
- the frame count value is reset to 0 when the thinned frame information is high level “1”, and is incremented when the thinned frame information is low level “0”.
- the interpolation phase is an interpolated frame image between two adjacent frame images when the distance between the two adjacent frame images is 1 within one frame period representing a period during which one frame image is displayed. Represents the position where is generated.
- the interpolation phase generation unit 219 identifies the thinning mode based on the frame count value and the number of thinned frames. For example, when the maximum value of the frame count value is “2” and the number of thinned frames is “2”, the interpolation phase generation unit 219 determines that the mode is 1.67 times speed mode.
- the interpolation phase generation unit 219 stores a table in which the frame count value and the interpolation phase are associated in advance for each thinning mode.
- the thinning mode is the 1.67 ⁇ speed mode (thinning cycle 2/5)
- the frame count value “2” is associated with the interpolation phase “0”
- the frame count value “1” is associated with the interpolation phase “ 0.56 "is associated
- the frame count value" 0 is associated with the interpolation phase” 0.66 ".
- the interpolation phase generation unit 219 refers to a table corresponding to the specified thinning mode and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the corrected video signal represents the corrected output video signal including the interpolation frame image generated by the interpolation frame generation unit 216.
- the interpolation frame generation unit 216 is based on the m frame delayed video signal and the n frame delayed video signal output from the frame memory 213 and the motion vector detected by the motion vector detection unit 214. An interpolation frame image corresponding to the interpolation phase is generated.
- the first frame image of the n-frame delayed video signal is output as the first interpolation frame image. Since the interpolation phase corresponding to the second interpolation frame image is “0.66”, “2” between the second frame image of the n-frame delayed video signal and the third frame image of the m-frame delayed video signal. The interpolation frame image at the position corresponding to .67 ′′ is output as the second interpolation frame image. Since the interpolation phase corresponding to the third interpolation frame image is “0.56”, “4” between the third frame image of the n-frame delayed video signal and the sixth frame image of the m-frame delayed video signal. .3 ′′ is output as a third interpolation frame image. Then, the first to third interpolation frame images are output every cycle.
- the decimation timing is the same in the 1.33 ⁇ speed mode in which the decimation cycle is 1 ⁇ 4 shown in FIG. 19 and the 1.67 ⁇ speed mode in which the decimation cycle is 2/5 shown in FIG. 20. .
- the thinning timing is the same, so the interpolation phase cannot be specified based solely on the frame count value.
- the interpolation phase can be specified based on the thinning timing and the number of thinning frames.
- the thinned frame information acquisition unit 218 acquires the number of thinned frames together with the thinned timing.
- the present invention is not particularly limited to this, and the timing at which the number of thinned frames changes, that is, the operation Only when the state changes, the number of thinned frames may be acquired.
- the thinning cycle is 1/4 and 2/5.
- the present invention is not particularly limited to this, and for example, 2/8 or 1/3. It may be applied to the thinning cycle.
- the thinned frame information shown in the fourth embodiment may be applied.
- the timing at which the frame image is thinned out is detected based on the motion vector detected by the motion vector detection unit, instead of acquiring the thinning timing from the playback device. And create a thinning timing.
- the number of thinned frames is acquired from the playback device.
- FIG. 21 is a diagram showing the configuration of the video display apparatus according to Embodiment 5 of the present invention.
- the video display device 2 illustrated in FIG. 21 includes a video processing device 21 and a display unit 22.
- the video processing device 21 includes a video signal acquisition unit 211, a frame memory 213, a motion vector detection unit 214, an interpolation frame generation unit 216, a decimation detection unit 220, a decimation frame number acquisition unit 221, and an interpolation phase generation unit 222.
- FIG. 21 the description of the same configuration as that of the video display device according to the third embodiment shown in FIG. 13 is omitted.
- the decimation detection unit 220 determines whether or not the motion vector statistical information output from the motion vector detection unit 214 is greater than a predetermined threshold, and if it is determined that the motion vector statistical information is greater than a predetermined threshold, When the motion vector statistical information is determined to be less than or equal to a predetermined threshold, a low-level pulse signal is generated, and the generated pulse signal is output to the interpolation phase generation unit 222 as a thinning timing.
- the thinned frame number acquisition unit 221 acquires information indicating the number of thinned frames of the thinned video signal from the playback device 1.
- the thinned frame number acquisition unit 221 outputs the acquired thinned frame number to the interpolation phase generation unit 222. Note that the thinned frame number acquisition unit 221 acquires the number of thinned frames when the number of thinned frames changes, that is, when the operation state changes.
- the interpolation phase generation unit 222 uses two adjacent frame images of the plurality of frame images based on the thinning timing detected by the thinning detection unit 220 and the thinned frame number acquired by the thinned frame number acquisition unit 221. The interpolation phase of the interpolation frame image generated in this way is generated.
- a thinned video signal in which two consecutive frame images are thinned out from five frame images within one thinning cycle that is, a thinned video signal having a thinning cycle of 2/5 is corrected.
- a process for displaying the corrected video signal will be described.
- FIG. 22 is a timing chart for explaining processing for correcting a thinned video signal whose thinning cycle is 2/5 in the fifth embodiment. Note that the numbers in the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, and the n frame delayed video signal represent frame numbers.
- the reproduced video signal, the thinned video signal, the M frame delayed video signal, the N frame delayed video signal, the m frame delayed video signal, the n frame delayed video signal, and The motion vector information is the same, but the thinning timing is different.
- the number of thinned frames is acquired by the thinned frame number acquisition unit 221.
- the interpolation phase generation unit 222 identifies the thinning mode based on the frame count value and the number of thinned frames. For example, when the maximum value of the frame count value is “2” and the number of thinned frames is “2”, the interpolation phase generation unit 222 determines that the mode is 1.67 ⁇ speed mode.
- the thinning timing is compared with the case of obtaining the thinning timing from the playback device.
- the phase of the pulse signal is delayed by one frame.
- the correspondence between the frame count value and the interpolation phase is different from the example shown in FIG. That is, when the thinning mode is the 1.67 ⁇ speed mode (thinning cycle 2/5), the frame count value “1” is associated with the interpolation phase “0”, and the frame count value “2” is interpolated. The phase “0.66” is associated, and the frame count value “0” is associated with the interpolation phase “0.56”.
- the interpolation phase generation unit 222 refers to a table corresponding to the specified thinning mode and selects an interpolation phase corresponding to the frame count value of the frame counter.
- the corrected video signal can be obtained at the same timing as when the thinned frame information is acquired from the reproducing apparatus shown in FIG.
- the present invention is not particularly limited to this, for example, other than 1/4, 2/8, or 1/3. It may be applied to the thinning cycle.
- the video display device and the playback device are provided separately.
- the video display device may include the playback device.
- the playback device may include a video processing device.
- the video display device can be applied to a liquid crystal display device, a plasma display device, an organic EL display device, and the like, and the playback device can be applied to an optical disc player, an optical disc recorder, and the like.
- a video display device includes a video signal acquisition unit that acquires a video signal in which at least one frame image is periodically thinned from a plurality of temporally continuous frame images, and temporally before and after
- a motion vector detection unit that detects a motion vector of a current frame image using at least two or more frame images that perform, and the at least one frame image of the video signal acquired by the video signal acquisition unit is thinned out
- an interpolation phase generation unit that generates an interpolation phase of an interpolated frame image, the video signal acquired by the video signal acquisition unit, and the motion vector detection unit detected by the motion vector detection unit Based on the motion vector, an interpolation frame corresponding to the interpolation phase generated by the interpolation phase generation unit is generated.
- An interpolation frame generation unit that generates a frame image, and a display unit that displays a video signal including the interpolation frame image generated by the interpolation frame generation unit, wherein the interpolation phase generation unit includes the plurality of frame images.
- the interpolation phase is generated so that the interval is the same as the phase interval of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are made equal within one cycle of the decimation cycle.
- the video signal acquisition unit acquires a video signal in which at least one frame image is periodically thinned out from a plurality of temporally continuous frame images.
- the motion vector detection unit detects a motion vector of the current frame image using at least two or more frame images that are temporally changed.
- the interpolation phase generation unit generates an interpolation phase of the interpolated frame image based on the thinned frame information indicating the thinning timing at which at least one frame image of the acquired video signal is thinned.
- the interpolation frame generation unit generates an interpolation frame image corresponding to the generated interpolation phase based on the acquired video signal and the detected motion vector.
- a video signal including the generated interpolated frame image is displayed by the display unit.
- the first interpolation frame image and the first interpolation frame among the plurality of interpolation frame images within one cycle of the thinning cycle in which at least one frame image is thinned out from the plurality of frame images by the interpolation phase generation unit The phase interval between the second interpolation frame images following the image is the same as the phase interval between adjacent interpolation frame images when the phase intervals of the plurality of interpolation frame images are equalized within one period of the thinning cycle.
- An interpolation phase is generated so that
- the phase interval between the first interpolation frame image of the plurality of interpolation frame images within one cycle of the thinning cycle and the second interpolation frame image following the first interpolation frame image is one cycle of the thinning cycle. Since the phase intervals of the adjacent interpolation frame images when the phase intervals of the plurality of interpolation frame images are made uniform are the same, the first interpolation frame image and the second interpolation frame image are continuous. It is possible to smooth the movement of the image and to improve the visual discomfort.
- the video signal acquisition unit acquires a video signal obtained by thinning one frame image from four frame images within one cycle of the thinning cycle
- the interpolation phase generation unit Preferably, the interpolation phase is generated so that the phase intervals of the three interpolation frame images are equalized within one cycle of the thinning cycle.
- the video signal acquisition unit acquires a video signal in which one frame image is thinned out from four frame images within one cycle of the thinning cycle. Then, the interpolation phase is generated by the interpolation phase generation unit so that the phase intervals of the three interpolation frame images are equalized within one thinning cycle.
- the phase intervals of the three interpolated frame images are equal within one cycle of the thinning cycle. Therefore, the interpolated frame images are continuously displayed, the motion of the images can be smoothed, and the visual discomfort can be improved.
- the video signal acquisition unit acquires a video signal obtained by thinning out two frame images consecutive from eight frame images within one cycle of the thinning cycle, and generates the interpolation frame.
- the unit preferably selects a frame image closest to the interpolated frame image to be generated from the video signal and generates the interpolated frame image as an interpolated frame image.
- the video signal acquisition unit acquires a video signal obtained by thinning out two consecutive frame images from eight frame images within one thinning cycle.
- the interpolation frame generation unit cannot generate an interpolation frame image from adjacent frame images, the frame image closest to the interpolation frame image to be generated is selected from the video signal, and the selected frame image is used as the interpolation frame image. Generated.
- the video signal acquisition unit acquires a video signal obtained by thinning out two frame images consecutive from eight frame images within one cycle of the thinning cycle, and generates the interpolation frame.
- the unit preferably generates the interpolated frame image using a frame image adjacent to each other next to the adjacent frame image.
- the video signal acquisition unit acquires a video signal obtained by thinning out two consecutive frame images from eight frame images within one thinning cycle.
- the interpolated frame generation unit cannot generate an interpolated frame image from adjacent frame images, an interpolated frame image is generated using a frame image adjacent to each other next to the adjacent frame image.
- an interpolated frame image is generated using a frame image adjacent to each other next to the adjacent frame image. It can be made smoother.
- the motion vector detection unit may be configured to use the motion vector based on a frame image that is not delayed with respect to the video signal and a frame image that is delayed by one frame with respect to the video signal. And at the thinning timing at which at least one frame image specified by the thinned frame information is thinned, a frame image delayed by one frame with respect to the video signal and a two frame delay with respect to the video signal.
- the motion vector is preferably detected based on the frame image.
- the motion vector detection unit detects the motion vector based on the frame image not delayed with respect to the video signal and the frame image delayed by one frame with respect to the video signal. Then, at the thinning-out timing at which at least one frame image specified by the thinned-out frame information is thinned out, the motion vector detection unit delays the frame image by one frame with respect to the video signal and delays by two frames with respect to the video signal. A motion vector is detected based on the frame image.
- the second motion vector is detected by using the detection result of the first motion vector, so that 2 The detection accuracy of the motion vector for the second time can be improved.
- the video signal acquisition unit acquires a video signal in which one frame image is thinned out from three frame images within one cycle of the thinning cycle.
- the video signal acquisition unit acquires a video signal in which one frame image is thinned out from three frame images within one cycle of the thinning cycle.
- a thinned frame for calculating an average value in each frame image of the motion vector detected by the motion vector detecting unit and detecting the thinned frame information based on the calculated average value It is preferable to further include an information detection unit.
- the thinned frame information detection unit calculates the average value of the motion vectors in each frame image, and the thinned frame information is detected based on the calculated average value.
- the thinned frame information can be detected from the input video signal.
- the thinned frame information further includes the number of thinned frames of the video signal acquired by the video signal acquiring unit, and the interpolation phase generating unit includes the thinning timing and the number of thinned frames. Based on the above, it is preferable to generate an interpolation phase of the interpolation frame image.
- the interpolation phase of the interpolated frame image is generated based on the thinning timing and the number of thinning frames, when the thinning timing is the same even though the thinning cycles are different.
- the thinning cycle can be specified based on the number of thinning frames.
- a video processing device includes a video signal acquisition unit that acquires a video signal in which at least one frame image is periodically thinned from a plurality of temporally continuous frame images, and temporally A motion vector detection unit that detects a motion vector of a current frame image using at least two preceding and following frame images, and the at least one frame image of the video signal acquired by the video signal acquisition unit is thinned out.
- An interpolation phase generation unit for generating an interpolation phase of an interpolation frame image generated using two adjacent frame images of the plurality of frame images based on thinning frame information representing the thinning timing to be used; and the video signal The video signal acquired by the acquisition unit, and the motion vector detected by the motion vector detection unit; Based on the interpolation phase generated by the interpolation phase generation unit, an interpolation frame generation unit that generates the interpolation frame image according to the interpolation phase, wherein the interpolation phase generation unit includes a plurality of thinning cycles within one cycle
- the phase interval between the first interpolation frame image at the head of the interpolation frame images and the second interpolation frame image following the first interpolation frame image is a plurality of interpolation frame images within one cycle of the thinning cycle.
- the interpolation phases are generated so as to be the same as the phase intervals of the adjacent interpolated frame images when the phase intervals are equalized.
- the video signal acquisition unit acquires a video signal in which at least one frame image is periodically thinned out from a plurality of temporally continuous frame images.
- the motion vector detection unit detects a motion vector of the current frame image using at least two or more frame images that are temporally changed. Based on thinned-out frame information representing thinning-out timing at which at least one frame image of the acquired video signal is thinned out by the interpolation phase generation unit, it is generated using two adjacent frame images among a plurality of frame images.
- the interpolation phase of the interpolated frame image is generated.
- the interpolation frame generation unit generates an interpolation frame image corresponding to the generated interpolation phase based on the acquired video signal and the detected motion vector.
- the phase between the first interpolation frame image at the head of the plurality of interpolation frame images within one period of the thinning-out period and the second interpolation frame image following the first interpolation frame image by the interpolation phase generation unit The interpolation phase is generated so that the interval is the same as the phase interval of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are equalized within one thinning cycle.
- the phase interval between the first interpolation frame image at the head of the plurality of interpolation frame images within one cycle of the decimation cycle and the second interpolation frame image following the first interpolation frame image is the decimation cycle. Since the phase intervals of the adjacent interpolated frame images when the phase intervals of the plurality of interpolated frame images are made uniform within one cycle are the same, the first interpolated frame image and the second interpolated frame image are Displayed continuously, the movement of the image can be smoothed, and the visual discomfort can be improved.
- the video display device and the video processing device according to the present invention can smooth the movement of the image and can improve the visual discomfort, and at least periodically from a plurality of temporally continuous frame images.
- the present invention is useful as a video display device and a video processing device that correct a video signal from which one frame image is thinned out.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる映像表示装置及び映像処理装置を提供する。映像表示装置(2)は、映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間位相を生成する補間位相生成部(215)と、補間位相に応じた補間フレーム画像を生成する補間フレーム生成部(216)とを備え、補間位相生成部(215)は、間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相を生成する。
Description
本発明は、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を補正する映像表示装置及び映像処理装置に関するものである。
従来、DVD又はBD(Blu-ray Disc)等の光ディスクから映像信号を再生する再生装置が知られている。従来の再生装置では、複数のフレーム単位のデータで構成されるブロック単位でデータが再生され、ブロック単位のデータの再生速度が制御され、制御された再生速度に応じてブロック単位のデータのなかから、フレーム単位のデータが省略される(例えば、特許文献1参照)。
また、再生装置は、フレーム単位のデータの一部が間引かれた再生データを液晶ディスプレイ又はプラズマディスプレイ等の映像表示装置へ出力し、映像表示装置は、入力された再生データを表示する。
このように、再生データの一部を間引くことで見かけ上高速にデータを表示することができる。
しかしながら、従来の映像表示装置では、再生装置においてフレーム単位で間引かれた再生データがそのまま表示されるので、動きが正確に再現されず、視聴者は、視覚上の違和感を感じることがある。
図23は、再生装置によって再生される再生映像信号と、再生装置から出力される間引き映像信号との一例を示す図である。図23は、4つのフレーム画像のうち、1つのフレーム画像が間引かれる場合を示している。図23では、円形画像が画面の左から右へ等速で移動している様子を表しており、再生映像信号を構成するフレーム画像F1~F6の中から、フレーム画像F4が間引かれている。その結果、間引き映像信号は、フレーム画像F1~F3,F5,F6で構成される。
図23に示すように、フレーム画像を円形画像の大きさに合わせて複数のブロックに分割した場合、再生映像信号では、円形画像は1ブロックずつ右方向へ移動するが、間引き映像信号では、円形画像はフレーム画像F3とフレーム画像F5との間で2ブロック移動することになり、動きが不連続となる。
このように、再生装置においてフレーム画像が間引かれた場合、映像表示装置では、表示される画像が不連続となり、視聴者は、視覚上の違和感を感じる。
本発明は、上記の問題を解決するためになされたもので、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる映像表示装置及び映像処理装置を提供することを目的とするものである。
本発明の一局面に係る映像表示装置は、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を取得する映像信号取得部と、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルを検出する動きベクトル検出部と、前記映像信号取得部によって取得される前記映像信号の前記少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間フレーム画像の補間位相を生成する補間位相生成部と、前記映像信号取得部によって取得される前記映像信号と、前記動きベクトル検出部によって検出された前記動きベクトルとに基づいて、前記補間位相生成部によって生成された前記補間位相に応じた補間フレーム画像を生成する補間フレーム生成部と、前記補間フレーム生成部によって生成された前記補間フレーム画像を含む映像信号を表示する表示部とを備え、前記補間位相生成部は、前記複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、前記第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、前記間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように前記補間位相を生成する。
この構成によれば、映像信号取得部によって、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号が取得される。動きベクトル検出部によって、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルが検出される。補間位相生成部によって、取得される映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間フレーム画像の補間位相が生成される。補間フレーム生成部によって、取得される映像信号と、検出された動きベクトルとに基づいて、生成された補間位相に応じた補間フレーム画像が生成される。表示部によって、生成された補間フレーム画像を含む映像信号が表示される。そして、補間位相生成部によって、複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相が生成される。
本発明によれば、間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるので、第1の補間フレーム画像と第2の補間フレーム画像とが連続的に表示され、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる。
本発明の目的、特徴及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
以下添付図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
(実施の形態1)
図1は、本発明の実施の形態1における映像表示装置の構成を示す図である。図1に示す再生装置1は、例えばCD、DVD及びBD等の光ディスクから映像信号を再生する。再生装置1は、再生した映像信号に基づいて、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた間引き映像信号を作成する。再生装置1は、作成した映像信号を映像表示装置2へ出力する。また、再生装置1は、映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報を光ディスクから再生する。再生装置1は、再生した間引きフレーム情報を映像表示装置2へ出力する。
図1は、本発明の実施の形態1における映像表示装置の構成を示す図である。図1に示す再生装置1は、例えばCD、DVD及びBD等の光ディスクから映像信号を再生する。再生装置1は、再生した映像信号に基づいて、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた間引き映像信号を作成する。再生装置1は、作成した映像信号を映像表示装置2へ出力する。また、再生装置1は、映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報を光ディスクから再生する。再生装置1は、再生した間引きフレーム情報を映像表示装置2へ出力する。
なお、再生装置1は、例えば、TV放送用のチューナー、画像入力端子又はネットワーク接続端子などを備えてもよく、映像信号を受信し、受信した映像信号から間引き映像信号を作成してもよい。
図1に示す映像表示装置2は、映像処理装置21及び表示部22を備える。映像処理装置21は、映像信号取得部211、間引きフレーム情報取得部212、フレームメモリ213、動きベクトル検出部214、補間位相生成部215及び補間フレーム生成部216を備える。
映像信号取得部211は、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた間引き映像信号を再生装置1から取得する。映像信号取得部211は、取得した間引き映像信号をフレームメモリ213へ出力する。
間引きフレーム情報取得部212は、映像信号取得部211によって取得される間引き映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報を再生装置1から取得する。間引きフレーム情報取得部212は、取得した間引きフレーム情報を補間位相生成部215へ出力する。
フレームメモリ213は、映像信号取得部211によって取得された間引き映像信号をフレーム単位で記憶する。フレームメモリ213は、Mフレーム遅延映像信号及びNフレーム遅延映像信号を動きベクトル検出部214へ出力し、mフレーム遅延映像信号及びnフレーム遅延映像信号を補間フレーム生成部216へ出力する。Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)又は0フレーム(Mフレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)又は1フレーム(Nフレーム)遅延した映像信号を表している。
動きベクトル検出部214は、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルを検出する。動きベクトル検出部214は、時間的に連続する2つのフレーム画像データ、例えば、フレームMの画像データ及びフレームM+1の画像データ(ここで、Mは整数)が入力され、動きベクトル検出部214は、これらのフレーム間の動き量を検出することによりフレームMの画素毎の動きベクトルを検出し、補間フレーム生成部216へ出力する。この動きベクトル検出方法としては、公知の動きベクトル検出方法が用いられ、例えば、ブロックマッチング処理による検出方法が用いられる。
補間位相生成部215は、間引きフレーム情報取得部212によって取得された間引きフレーム情報に基づいて、複数のフレーム画像のうちの隣接する2つのフレーム画像を用いて生成される補間フレーム画像の補間位相を生成する。補間位相生成部215は、複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相を生成する。
補間フレーム生成部216は、映像信号取得部211によって取得される間引き映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相生成部215によって生成された補間位相に応じた補間フレーム画像を生成する。
表示部22は、補間フレーム生成部216によって生成された補間フレーム画像を含む補正後の映像信号を表示する。
次に、図1に示す映像表示装置2の動作について説明する。まず、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が1/4である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図2は、実施の形態1において、間引き周期が1/4である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図2に示す再生映像信号は、再生装置1によって再生される再生映像信号を表し、間引き映像信号は、再生装置1から出力される間引き映像信号を表している。映像信号取得部211は、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得する。間引き映像信号は、フレーム番号が“4”、“8”及び“12”のフレーム画像が省略されている。すなわち、間引き周期の1周期内において連続した第1~第4のフレーム画像のうち、第4のフレーム画像が間引かれている。
間引きフレーム情報は、間引きフレーム情報取得部212によって取得され、補間位相生成部215に入力される間引きフレーム情報を表している。間引きフレーム情報は、フレーム画像が間引かれた間引きタイミングを表すパルス信号であり、フレーム画像が間引かれた場合にハイレベル“1”となり、フレーム画像が間引かれていない場合にローレベル“0”となる。図2に示す間引きフレーム情報は、間引き映像信号のフレーム番号が“5”、“9”及び“13”のフレーム画像が出力されるタイミングでハイレベル“1”となる。
また、Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)遅延した映像信号を表している。なお、Mフレーム遅延映像信号は、遅延していない映像信号を表し、間引き映像信号と同じである。
本実施の形態では、1フレーム画像分の動きベクトル情報が全て算出された状態で、補間フレーム画像が生成されるので、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号は、m=M+1及びn=N+1となる。
動きベクトル情報は、動きベクトルを算出するフレーム画像のフレーム番号と、動きベクトルを算出する際に参照するフレーム画像のフレーム番号とを表している。動きベクトル検出部214は、フレームメモリ213から出力されるMフレーム遅延映像信号及びNフレーム遅延映像信号を用いて動きベクトルを検出する。
補間位相生成部215は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部215は、フレームカウント値と補間位相とを対応付けたテーブルを予め記憶している。フレームカウント値“2”には、補間位相“0”が対応付けられ、フレームカウント値“1”及び“0”には、補間位相“0.33”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
補間位相生成部215は、間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相を生成する。また、補間位相生成部215は、間引き周期の1周期内において3つの補間フレーム画像のそれぞれの位相間隔を均等にするように補間位相を生成する。
例えば、第1の補間フレーム画像に対応する補間位相は“0”であり、第2の補間フレーム画像に対応する補間位相は“0.33”であり、第3の補間フレーム画像に対応する補間位相は“0.33”である。
補正後映像信号は、補間フレーム生成部216によって生成された補間フレーム画像を含む補正後の出力映像信号を表す。図2に示すように、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“0.33”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第3のフレーム画像との間の“2.33”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。第3の補間フレーム画像に対応する補間位相は“0.33”であるので、nフレーム遅延映像信号の第3のフレーム画像とmフレーム遅延映像信号の第5のフレーム画像との間の“3.67”に対応する位置の補間フレーム画像が第3の補間フレーム画像として出力される。そして、第1~第3の補間フレーム画像が1周期毎に出力される。
図3は、表示部に表示される補正後映像信号の一例を示す図である。なお、図3に示す補正後映像信号は、円形画像が画面の左から右へ等速で移動している様子を表した図23に示す間引き映像信号を補正した例を示している。
図3に示すように、補正後映像信号は、フレーム画像F11~F15で構成される。フレーム画像F11~F15において、円形画像は1.33ブロックずつ右方向へ移動している。そのため、円形画像の動きは、図23の間引き映像信号に示すような不連続ではなく、連続して移動しており、視覚上の違和感を解消することができる。
なお、本実施の形態では、1フレーム画像分の動きベクトル情報が全て算出された状態で、補間フレーム画像が生成されるが、本発明は特にこれに限定されず、動きベクトル情報を算出しながら、補間フレーム画像を生成してもよい。
図4は、動きベクトル情報を算出しながら、間引き周期が1/4である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、図2と異なる処理についてのみ説明する。
フレームメモリ213は、Mフレーム遅延映像信号と同じタイミングでmフレーム遅延映像信号を出力するとともに、Nフレーム遅延映像信号と同じタイミングでnフレーム遅延映像信号を出力する。すなわち、図2に示すタイミングチャートでは、1フレーム画像分の動きベクトル情報が全て算出された後、補間フレーム画像が生成されるため、補間フレーム画像を生成する際に使用するmフレーム遅延映像信号及びnフレーム遅延映像信号は、動きベクトル情報を算出する際に使用するMフレーム遅延映像信号及びNフレーム遅延映像信号よりも1フレーム遅れる。
一方、図4に示すタイミングチャートでは、動きベクトル情報を算出しながら、補間フレーム画像が生成されるため、補間フレーム画像を生成する際に使用するmフレーム遅延映像信号及びnフレーム遅延映像信号は、動きベクトル情報を算出する際に使用するMフレーム遅延映像信号及びNフレーム遅延映像信号と同じタイミングになる。
これにより、補間フレーム生成部216は、動きベクトル情報を算出しながら、補間フレーム画像を生成することが可能となる。
なお、本実施の形態では、間引き周期が一定である場合について説明しているが、何らかの要因により間引き周期が乱れるおそれがある。
図5は、間引き周期が1/4から1/3に変化した後、再度1/4に戻る場合の間引き映像信号を補正する処理について説明するためのタイミングチャートである。
図5において、再生映像信号は、1/4の間引き周期でフレーム画像が間引かれているが、途中で1/3の間引き周期でフレーム画像が間引かれている。その結果、第3の補間フレーム画像と第4の補間フレーム画像との間の動き量は“1.67”となり、他の補間フレーム画像間の動き量は“1.33”となる。そのため、第3の補間フレーム画像から第4の補間フレーム画像に切り替わる際に画像が不連続となる。しかしながら、間引き周期が乱れる前後、すなわち、1/4の間引き周期でフレーム画像が間引かれている場合には、正常に映像信号が補正されるため、1フレームだけ不連続になったとしても、視覚上の違和感は特にない。
図6は、間引き周期が1/4から1/5に変化した後、再度1/4に戻る場合の間引き映像信号を補正する処理について説明するためのタイミングチャートである。
図6において、再生映像信号は、1/4の間引き周期でフレーム画像が間引かれているが、途中で1/5の間引き周期でフレーム画像が間引かれている。その結果、第5の補間フレーム画像と第6の補間フレーム画像との間の動き量は“1”となり、他の補間フレーム画像間の動き量は“1.33”となる。そのため、第5の補間フレーム画像から第6の補間フレーム画像に切り替わる際に画像が不連続となる。しかしながら、間引き周期が乱れる前後、すなわち、1/4の間引き周期でフレーム画像が間引かれている場合には、正常に映像信号が補正されるため、1フレームだけ不連続になったとしても、視覚上の違和感は特にない。
次に、間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が2/8である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図7は、実施の形態1において、間引き周期が2/8である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
映像信号取得部211は、間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号を取得する。図7に示す間引き映像信号は、フレーム番号が“7”、“8”、“15”及び“16”のフレーム画像が省略されている。すなわち、間引き周期の1周期内において連続した第1~第8のフレーム画像のうち、第7及び第8のフレーム画像が間引かれている。
間引きフレーム情報は、間引きフレーム情報取得部212によって取得され、補間位相生成部215に入力される間引きフレーム情報を表している。間引きフレーム情報は、フレーム画像が間引かれた間引きタイミングを表すパルス信号であり、フレーム画像が間引かれた場合にハイレベル“1”となり、フレーム画像が間引かれていない場合にローレベル“0”となる。図7に示す間引きフレーム情報は、間引き映像信号のフレーム番号が“9”及び“17”のフレーム画像が出力されるタイミングでハイレベル“1”となる。
また、Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)遅延した映像信号を表している。なお、Mフレーム遅延映像信号は、遅延していない映像信号を表し、間引き映像信号と同じである。
図7に示す例では、1フレーム画像分の動きベクトル情報が全て算出された状態で、補間フレーム画像が生成されるので、m=M+1及びn=N+1となっているが、本発明は特にこれに限定されず、動きベクトル情報を算出しながら、補間フレーム画像を生成してもよく、この場合、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号は、m=M及びn=Nとなる。
動きベクトル情報は、動きベクトルを算出するフレーム画像のフレーム番号と、動きベクトルを算出する際に参照するフレーム画像のフレーム番号とを表している。動きベクトル検出部214は、フレームメモリ213から出力されるMフレーム遅延映像信号及びNフレーム遅延映像信号を用いて動きベクトルを検出する。
ここで、図7に示すように、理想的な補正後映像信号のフレーム画像は、“1”、“2.33”、“3.67”、“5”、“6.33”、“7.67”、・・・となる。このとき、理想的な補正後映像信号の“1”に対応する補間フレーム画像は、理想的な補間位相“0”に基づいて生成され、理想的な補正後映像信号の“2.33”に対応する補間フレーム画像は、理想的な補間位相“1/3”に基づいて生成され、理想的な補正後映像信号の“3.67”に対応する補間フレーム画像は、理想的な補間位相“2/3”に基づいて生成され、理想的な補正後映像信号の“5”に対応する補間フレーム画像は、理想的な補間位相“1”に基づいて生成され、理想的な補正後映像信号の“7.67”に対応する補間フレーム画像は、理想的な補間位相“5/9”に基づいて生成される。
ここで、理想的な補正後映像信号の“6.33”に対応する補間フレーム画像は、補間位相がないため、生成することができない。理想的な補正後映像信号の“6.33”に対応する補間フレーム画像を生成する際に、フレーム番号“6”のフレーム画像からフレーム番号“5”のフレーム画像へ遷移する動きベクトルが用いられるが、補間フレーム画像の補間位置“6.33”はフレーム番号“6”を超えているため、互いに隣接するフレーム番号“5”及びフレーム番号“6”のフレーム画像からは、映像信号を生成することができない。そのため、補間位相生成部215は、“6.33”に対応する補間フレーム画像を生成するための補間位相を生成することができない。
そこで、本実施の形態では、補間フレーム生成部216は、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、生成すべき補間フレーム画像に最も近いフレーム画像を映像信号から選択し、補間フレーム画像として生成する。
補間位相生成部215は、間引き周期の1周期内の第1~第6の補間フレーム画像のうちの第5の補間フレーム画像に対応する補間位相を“1”とする。補間位相生成部215は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部215は、フレームカウント値と補間位相とを対応付けたテーブルを予め記憶している。フレームカウント値“2”には、補間位相“0”が対応付けられ、フレームカウント値“3”には、補間位相“1/3”が対応付けられ、フレームカウント値“4”には、補間位相“2/3”が対応付けられ、フレームカウント値“5”には、補間位相“1”が対応付けられ、フレームカウント値“0”には、補間位相“1”が対応付けられ、フレームカウント値“1”には、補間位相“5/9”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
次に、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“1/3”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第3のフレーム画像との間の“2.33”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。第3の補間フレーム画像に対応する補間位相は“2/3”であるので、nフレーム遅延映像信号の第3のフレーム画像とmフレーム遅延映像信号の第4のフレーム画像との間の“3.67”に対応する位置の補間フレーム画像が第3の補間フレーム画像として出力される。第4の補間フレーム画像に対応する補間位相は“1”であるので、mフレーム遅延映像信号の第5のフレーム画像が第4の補間フレーム画像として出力される。第5の補間フレーム画像に対応する補間位相は“1”であるので、mフレーム遅延映像信号の第6のフレーム画像が第5の補間フレーム画像として出力される。第6の補間フレーム画像に対応する補間位相は“5/9”であるので、nフレーム遅延映像信号の第6のフレーム画像とmフレーム遅延映像信号の第9のフレーム画像との間の“7.67”に対応する位置の補間フレーム画像が第6の補間フレーム画像として出力される。そして、第1~第6の補間フレーム画像が1周期毎に出力される。
このように、互いに隣接するフレーム画像から補間フレーム画像を生成することができない場合であっても、補間位相をずらすことにより、補間フレーム画像を生成することができ、視覚上は違和感のない映像を表示することができる。
次に、間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が1/3である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図8は、実施の形態1において、間引き周期が1/3である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
映像信号取得部211は、間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得する。図8に示す間引き映像信号は、フレーム番号が“3”、“6”、“9”、“12”、“15”及び“18”のフレーム画像が省略されている。すなわち、間引き周期の1周期内において連続した第1~第3のフレーム画像のうち、第3のフレーム画像が間引かれている。
間引きフレーム情報は、間引きフレーム情報取得部212によって取得され、補間位相生成部215に入力される間引きフレーム情報を表している。間引きフレーム情報は、フレーム画像が間引かれた間引きタイミングを表すパルス信号であり、フレーム画像が間引かれた場合にハイレベル“1”となり、フレーム画像が間引かれていない場合にローレベル“0”となる。図8に示す間引きフレーム情報は、間引き映像信号のフレーム番号が“4”、“7”、“10”、“13”、“16”及び“19”のフレーム画像が出力されるタイミングでハイレベル“1”となる。
また、Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)遅延した映像信号を表している。なお、Mフレーム遅延映像信号は、遅延していない映像信号を表し、間引き映像信号と同じである。
図8に示す例では、1フレーム画像分の動きベクトル情報が全て算出された状態で、補間フレーム画像が生成されるので、m=M+1及びn=N+1となっているが、本発明は特にこれに限定されず、動きベクトル情報を算出しながら、補間フレーム画像を生成してもよく、この場合、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号は、m=M及びn=Nとなる。
動きベクトル情報は、動きベクトルを算出するフレーム画像のフレーム番号と、動きベクトルを算出する際に参照するフレーム画像のフレーム番号とを表している。動きベクトル検出部214は、フレームメモリ213から出力されるMフレーム遅延映像信号及びNフレーム遅延映像信号を用いて動きベクトルを検出する。
補間位相生成部215は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部215は、フレームカウント値と補間位相とを対応付けたテーブルを予め記憶している。フレームカウント値“0”には、補間位相“0”が対応付けられ、フレームカウント値“1”には、補間位相“1/4”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
補間位相生成部215は、間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相を生成する。
例えば、第1の補間フレーム画像に対応する補間位相は“0”であり、第2の補間フレーム画像に対応する補間位相は“1/4”である。
図2に示すように、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“1/4”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第4のフレーム画像との間の“2.5”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。そして、第1~第2の補間フレーム画像が1周期毎に出力される。
(実施の形態2)
実施の形態1において、間引き周期が2/8である間引き映像信号を補正する場合、互いに隣接するフレーム画像から生成することができない補間フレーム画像が存在する。そのため、実施の形態1では、補間フレーム生成部は、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、生成すべき補間フレーム画像に最も近いフレーム画像を映像信号から選択し、補間フレーム画像として生成している。これに対し、実施の形態2における補間フレーム生成部は、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像から補間フレーム画像を生成する。
実施の形態1において、間引き周期が2/8である間引き映像信号を補正する場合、互いに隣接するフレーム画像から生成することができない補間フレーム画像が存在する。そのため、実施の形態1では、補間フレーム生成部は、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、生成すべき補間フレーム画像に最も近いフレーム画像を映像信号から選択し、補間フレーム画像として生成している。これに対し、実施の形態2における補間フレーム生成部は、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像から補間フレーム画像を生成する。
図9は、本発明の実施の形態2における映像表示装置の構成を示す図である。図9に示す映像表示装置2は、映像処理装置21及び表示部22を備える。映像処理装置21は、映像信号取得部211、間引きフレーム情報取得部212、フレームメモリ213、動きベクトル検出部214、補間位相生成部215及び補間フレーム生成部216を備える。なお、図9において、図1に示す実施の形態1の映像表示装置と同じ構成については、説明を省略する。
間引きフレーム情報取得部212は、映像信号取得部211によって取得される間引き映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報を再生装置1から取得する。間引きフレーム情報取得部212は、取得した間引きフレーム情報を補間位相生成部215及びフレームメモリ213へ出力する。
フレームメモリ213は、映像信号取得部211によって取得された間引き映像信号をフレーム単位で記憶する。フレームメモリ213は、Mフレーム遅延映像信号及びNフレーム遅延映像信号を動きベクトル検出部214へ出力し、mフレーム遅延映像信号及びnフレーム遅延映像信号を補間フレーム生成部216へ出力する。Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)又は0フレーム(Mフレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)又は1フレーム(Nフレーム)遅延した映像信号を表している。フレームメモリ213は、間引きフレーム情報取得部212によって取得された間引きフレーム情報に基づいて、mフレーム遅延映像信号及びnフレーム遅延映像信号の遅延させるフレーム数を切り替える。
補間位相生成部215は、間引き周期の1周期内において6つの補間フレーム画像のそれぞれの位相間隔を均等にするように補間位相を生成する。補間フレーム生成部216は、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像から補間フレーム画像を生成する。
次に、図9に示す映像表示装置2の動作について説明する。間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が2/8である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図10は、実施の形態2において、間引き周期が2/8である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
実施の形態2において、再生映像信号、間引き映像信号、間引きフレーム情報、Mフレーム遅延映像信号、Nフレーム遅延映像信号及び動きベクトル情報は、図7に示す実施の形態1のタイミングチャートにおける各信号と同じであるので説明を省略する。
フレームメモリ213は、間引きフレーム情報がローレベル“0”である場合、1フレーム遅延映像信号及び2フレーム遅延映像信号を補間フレーム生成部216へ出力し、間引きフレーム情報がハイレベル“1”である場合、0フレーム遅延映像信号及び1フレーム遅延映像信号を補間フレーム生成部216へ出力する。すなわち、フレームメモリ213は、間引きフレーム情報取得部212によって取得された間引きフレーム情報に基づいて、フレーム画像が間引かれていない場合、mフレーム遅延映像信号(m=M+1)及びnフレーム遅延映像信号(n=N+1)を出力し、フレーム画像が間引かれた場合、mフレーム遅延映像信号(m=M)及びnフレーム遅延映像信号(n=N)に切り替えて出力する。
補間位相生成部215は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部215は、フレームカウント値と補間位相とを対応付けたテーブルを予め記憶している。フレームカウント値“2”には、補間位相“0”が対応付けられ、フレームカウント値“3”には、補間位相“1/3”が対応付けられ、フレームカウント値“4”には、補間位相“2/3”が対応付けられ、フレームカウント値“5”には、補間位相“1”が対応付けられ、フレームカウント値“0”には、補間位相“1/9”が対応付けられ、フレームカウント値“1”には、補間位相“5/9”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
次に、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“1/3”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第3のフレーム画像との間の“2.33”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。第3の補間フレーム画像に対応する補間位相は“2/3”であるので、nフレーム遅延映像信号の第3のフレーム画像とmフレーム遅延映像信号の第4のフレーム画像との間の“3.67”に対応する位置の補間フレーム画像が第3の補間フレーム画像として出力される。第4の補間フレーム画像に対応する補間位相は“1”であるので、mフレーム遅延映像信号の第5のフレーム画像が第4の補間フレーム画像として出力される。第5の補間フレーム画像に対応する補間位相は“1/9”であるので、nフレーム遅延映像信号の第6のフレーム画像とmフレーム遅延映像信号の第9のフレーム画像との間の“6.33”に対応する位置の補間フレーム画像が第5の補間フレーム画像として出力される。第6の補間フレーム画像に対応する補間位相は“5/9”であるので、nフレーム遅延映像信号の第6のフレーム画像とmフレーム遅延映像信号の第9のフレーム画像との間の“7.67”に対応する位置の補間フレーム画像が第6の補間フレーム画像として出力される。そして、第1~第6の補間フレーム画像が1周期毎に出力される。
このように、“6.33”に対応する理想的な補正後映像信号を生成する際に、フレーム番号“6”のフレーム画像からフレーム番号“5”のフレーム画像へ遷移する動きベクトルが用いられるのではなく、フレーム番号“9”のフレーム画像からフレーム番号“6”のフレーム画像へ遷移する動きベクトルが用いられる。そのため、補間位相生成部215は、“6.33”に対応するである理想的な補正後映像信号を生成するための補間位相を生成することができる。
次に、実施の形態2の第1の変形例における映像表示装置について説明する。実施の形態2の第1の変形例における動きベクトル検出部は、映像信号に対して遅延していないフレーム画像と、映像信号に対して1フレーム遅延したフレーム画像とに基づいて、動きベクトルを検出し、間引きフレーム情報によって特定される少なくとも1つのフレーム画像が間引かれた間引きタイミングにおいて、映像信号に対して1フレーム遅延したフレーム画像と、映像信号に対して2フレーム遅延したフレーム画像とに基づいて、動きベクトルを検出する。なお、実施の形態2の第1の変形例における映像表示装置の構成は、図9に示す実施の形態2における映像表示装置の構成と同じであるので、以下の説明は、図9に示す映像表示装置を用いて行う。
図11は、実施の形態2の第1の変形例において、間引き周期が2/8である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
実施の形態2の第1の変形例において、再生映像信号、間引き映像信号及び間引きフレーム情報は、図7に示す実施の形態1のタイミングチャートにおける各信号と同じであるので説明を省略する。
フレームメモリ213は、間引きフレーム情報がローレベル“0”である場合、0フレーム遅延映像信号及び1フレーム遅延映像信号を動きベクトル検出部214へ出力し、間引きフレーム情報がハイレベル“1”である場合、間引きフレーム情報がハイレベル“1”である映像信号の次に出力する映像信号を1フレーム遅延映像信号及び2フレーム遅延映像信号に切り替えて、動きベクトル検出部214へ出力する。すなわち、フレームメモリ213は、間引きフレーム情報取得部212によって取得された間引きフレーム情報に基づいて、フレーム画像が間引かれていない場合、Mフレーム遅延映像信号(M=0)及びNフレーム遅延映像信号(N=1)を出力し、フレーム画像が間引かれた場合、フレーム画像が間引かれた映像信号の次に出力される映像信号をMフレーム遅延映像信号(M=1)及びNフレーム遅延映像信号(N=2)に切り替えて出力する。
これにより、図11に示すように、フレームメモリ213は、フレーム番号が“10”であるMフレーム遅延映像信号からフレーム番号が“9”であるMフレーム遅延映像信号に切り替えて出力するとともに、フレーム番号が“9”であるNフレーム遅延映像信号からフレーム番号が“6”であるNフレーム遅延映像信号に切り替えて出力する。原フレーム画像を出力するタイミングでは、動きベクトルは必要ない。そのため、フレーム番号“10”のフレーム画像からフレーム番号“9”のフレーム画像へ遷移する動きベクトルは検出する必要がない。
その結果、動きベクトル検出部214は、フレーム番号“9”のフレーム画像からフレーム番号“6”のフレーム画像へ遷移する動きベクトルが2回連続で検出される。このとき、動きベクトル検出部214は、1回目の動きベクトルの検出結果を用いて、2回目の動きベクトルを検出する。このように、同一フレーム画像の動きベクトルを検出する際、1回目の動きベクトルの検出結果を用いて、2回目の動きベクトルを検出することにより、2回目の動きベクトルの検出精度を向上させることができる。
フレームメモリ213は、間引きフレーム情報がローレベル“0”である場合、1フレーム遅延映像信号及び2フレーム遅延映像信号を補間フレーム生成部216へ出力し、間引きフレーム情報がハイレベル“1”である場合、0フレーム遅延映像信号及び1フレーム遅延映像信号を補間フレーム生成部216へ出力する。すなわち、フレームメモリ213は、間引きフレーム情報取得部212によって取得された間引きフレーム情報に基づいて、フレーム画像が間引かれていない場合、mフレーム遅延映像信号(m=M+1)及びnフレーム遅延映像信号(n=N+1)を出力し、フレーム画像が間引かれた場合、mフレーム遅延映像信号(m=M)及びnフレーム遅延映像信号(n=N)に切り替えて出力する。
実施の形態2の第1の変形例における補間位相生成部215及び補間フレーム生成部216の処理は、上記の実施の形態2の処理と同じであるので説明を省略する。
このように、フレーム画像が間引かれた際に動きベクトルを検出するために使用する互いに隣接するフレーム画像と、フレーム画像が間引かれる前に動きベクトルを検出するために使用する互いに隣接するフレーム画像とが同じとなり、同一の互いに隣接するフレーム画像に基づいて動きベクトルが2回連続で検出されるので、1回目の動きベクトルの検出結果を用いて、2回目の動きベクトルを検出することにより、2回目の動きベクトルの検出精度を向上させることができる。
次に、実施の形態2の第2の変形例における映像表示装置について説明する。実施の形態2の第2の変形例では、実施の形態2の第1の変形例においてフレーム画像が間引かれた間引きタイミングで検出される動きベクトルの信頼性が低い場合、当該動きベクトルを用いて補間フレーム画像を生成するのではなく、予め決められた所定の補間位相が設定される。なお、実施の形態2の第2の変形例における映像表示装置の構成は、図9に示す実施の形態2における映像表示装置の構成と同じであるので、以下の説明は、図9に示す映像表示装置を用いて行う。
図12は、実施の形態2の第2の変形例において、間引き周期が2/8である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
実施の形態2の第1の変形例において、再生映像信号、間引き映像信号、間引きフレーム情報、動きベクトル情報、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号は、図11に示す実施の形態2の第1の変形例のタイミングチャートにおける各信号と同じであるので説明を省略する。
動きベクトル検出部214は、フレームメモリ213から出力されるMフレーム遅延映像信号及びNフレーム遅延映像信号を用いて動きベクトルを検出する。フレーム番号“9”のフレーム画像と、フレーム番号“6”のフレーム画像とを用いて動きベクトルを検出する場合、フレーム番号“9”のフレーム画像と、フレーム番号“6”のフレーム画像とは再生映像信号において連続していないので、検出された動きベクトルの信頼性が低くなることがある。
そこで、補間位相生成部215は、間引き周期の1周期内の第1~第6の補間フレーム画像のうちの第5の補間フレーム画像に対応する補間位相を“0”とする。補間位相生成部215は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部215は、フレームカウント値と補間位相とを対応付けたテーブルを予め記憶している。フレームカウント値“2”には、補間位相“0”が対応付けられ、フレームカウント値“3”には、補間位相“1/3”が対応付けられ、フレームカウント値“4”には、補間位相“2/3”が対応付けられ、フレームカウント値“5”には、補間位相“1”が対応付けられ、フレームカウント値“0”には、補間位相“0”が対応付けられ、フレームカウント値“1”には、補間位相“5/9”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
次に、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“1/3”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第3のフレーム画像との間の“2.33”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。第3の補間フレーム画像に対応する補間位相は“2/3”であるので、nフレーム遅延映像信号の第3のフレーム画像とmフレーム遅延映像信号の第4のフレーム画像との間の“3.67”に対応する位置の補間フレーム画像が第3の補間フレーム画像として出力される。第4の補間フレーム画像に対応する補間位相は“1”であるので、mフレーム遅延映像信号の第5のフレーム画像が第4の補間フレーム画像として出力される。第5の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第6のフレーム画像が第5の補間フレーム画像として出力される。第6の補間フレーム画像に対応する補間位相は“5/9”であるので、nフレーム遅延映像信号の第6のフレーム画像とmフレーム遅延映像信号の第9のフレーム画像との間の“7.67”に対応する位置の補間フレーム画像が第6の補間フレーム画像として出力される。そして、第1~第6の補間フレーム画像が1周期毎に出力される。
このように、動きベクトルの信頼性が低い場合であっても、補間位相を予め設定することにより、動きベクトルの影響を低減した補間フレーム画像を生成することができ、視覚上は違和感のない映像を表示することができる。
なお、実施の形態2の第2の変形例では、動きベクトルの信頼性が低くなる可能性の高いフレーム画像が間引かれた箇所の補間位相が予め決められている補間位相に設定されるが、本発明は特にこれに限定されない。映像処理装置は、動きベクトル検出部によって検出された動きベクトルの信頼性を判断する判断部をさらに備えてもよく、補間位相生成部は、判断部によって動きベクトルの信頼性が低いと判断された場合、当該動きベクトルを用いて生成される補間フレーム画像に最も近いフレーム画像を映像信号から選択し、補間フレーム画像として生成するように補間位相を設定し、判断部によって動きベクトルの信頼性が高いと判断された場合、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相を設定してもよい。
動きベクトル検出部214は、現在のフレーム画像の注目ブロックの各画素の輝度値と、過去のフレーム画像の動きベクトルを検出する際に参照した参照ブロックの各画素の輝度値との差分絶対値を算出し、算出した差分絶対値の合計値を注目ブロックのブロックマッチング差分値として算出する。動きベクトル検出部214は、動きベクトルを検出する際に、動きベクトルの候補となる複数の候補ベクトルを抽出する。動きベクトル検出部214は、現在のフレーム画像の注目ブロックの各画素の輝度値と、過去のフレーム画像の複数の候補ベクトルに対応する各参照ブロックの各画素の輝度値との差分絶対値を算出し、参照ブロック毎に差分絶対値を合計する。動きベクトル検出部214は、複数の候補ベクトルのうち、合計値が最小となる参照ブロックに対応する候補ベクトルを動きベクトルとして検出する。また、動きベクトル検出部214は、最小となる合計値を注目ブロックのブロックマッチング差分値として算出する。
ブロックマッチング差分値は、動きベクトルの信頼性の指標であり、ブロックマッチング差分値が小さければ、動きベクトルの信頼性は高く、ブロックマッチング差分値が大きければ、動きベクトルの信頼は低くなる。
したがって、判断部は、ブロックマッチング差分値が所定の閾値以下であるか否かを判断する。補間位相生成部215は、判断部によってブロックマッチング差分値が所定の閾値より大きいと判断された場合、テーブル情報のフレームカウント値“0”に補間位相“0”を対応付ける。一方、補間位相生成部215は、判断部によってブロックマッチング差分値が所定の閾値以下であると判断された場合、テーブル情報のフレームカウント値“0”に補間位相“1/9”を対応付ける。
これにより、動きベクトルの信頼性が低い場合には、実施の形態2の第2の変形例によって補間フレーム画像が生成され、動きベクトルの信頼性が高い場合には、実施の形態2の第1の変形例によって補間フレーム画像が生成される。
(実施の形態3)
実施の形態1,2では、間引きフレーム情報取得部が間引きフレーム情報を再生装置から取得しているが、再生装置から間引きフレーム情報を必ずしも取得できるとは限らない。そこで、実施の形態3では、再生装置から間引きフレーム情報を取得するのではなく、動きベクトル検出部によって検出された動きベクトルに基づいて、フレーム画像が間引かれた間引きタイミングを検出し、間引きフレーム情報を作成する。
実施の形態1,2では、間引きフレーム情報取得部が間引きフレーム情報を再生装置から取得しているが、再生装置から間引きフレーム情報を必ずしも取得できるとは限らない。そこで、実施の形態3では、再生装置から間引きフレーム情報を取得するのではなく、動きベクトル検出部によって検出された動きベクトルに基づいて、フレーム画像が間引かれた間引きタイミングを検出し、間引きフレーム情報を作成する。
図13は、本発明の実施の形態3における映像表示装置の構成を示す図である。図13に示す映像表示装置2は、映像処理装置21及び表示部22を備える。映像処理装置21は、映像信号取得部211、フレームメモリ213、動きベクトル検出部214、補間位相生成部215、補間フレーム生成部216及び間引き検出部217を備える。なお、図13において、図1に示す実施の形態1の映像表示装置と同じ構成については、説明を省略する。
動きベクトル検出部214は、フレーム画像毎の動きベクトル統計情報を間引き検出部217へ出力する。動きベクトル統計情報とは、例えば、フレーム画像毎の動きベクトルの平均値を表す。フレーム画像は複数のブロックに分割され、動きベクトルはブロック毎に算出される。動きベクトル検出部214は、フレーム画像毎の動きベクトルの平均値を算出する。
間引き検出部217は、動きベクトル検出部214から出力された動きベクトル統計情報が所定の閾値より大きいか否かを判断し、動きベクトル統計情報が所定の閾値より大きいと判断された場合、ハイレベルのパルス信号を生成し、動きベクトル統計情報が所定の閾値より以下である判断された場合、ローレベルのパルス信号を生成し、生成したパルス信号を間引きフレーム情報として補間位相生成部215へ出力する。
図14は、実施の形態3において動きベクトル情報から間引きフレーム情報を作成する処理について説明するための図である。
図14に示すように、フレームN~フレームN+2では、動きベクトル統計情報(動きベクトル平均値)がベクトル値判定閾値以下となっており、フレームN+3では、動きベクトル統計情報がベクトル値判定閾値より大きくなっている。そのため、間引き検出部217は、フレームN~フレームN+2の表示期間においてローレベルのパルス信号を生成し、フレームN+3の表示期間においてハイレベルのパルス信号を生成する。間引き検出部217は、生成したパルス信号を間引きフレーム情報として補間位相生成部215へ出力する。
次に、図13に示す映像表示装置2の動作について説明する。まず、実施の形態3において、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が1/4である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図15は、実施の形態3において、間引き周期が1/4である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図2に示す再生装置から間引きフレーム情報を取得する場合と比較すると、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号、nフレーム遅延映像信号及び動きベクトル情報は同じであるが、間引きフレーム情報の間引きタイミングが異なっている。
図15に示すように、動きベクトル情報から間引きフレーム情報を作成する場合、動きベクトル情報を検出した後、間引きフレーム情報が検出されるので、再生装置から間引きフレーム情報を取得する場合に比べて、間引きフレーム情報のパルス信号の位相が1フレーム遅れることになる。
そこで、図15に示す例では、フレームカウント値と補間位相との対応関係を図2に示す例とは異ならせる。すなわち、フレームカウント値“1”には、補間位相“0”が対応付けられ、フレームカウント値“2”及び“0”には、補間位相“0.33”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
これにより、図2に示す再生装置から間引きフレーム情報を取得する場合と同じタイミングで、補正後映像信号を得ることができる。
なお、実施の形態3の間引き周期が1/4である間引き映像信号を補正する処理は、図4の動きベクトル情報を抽出しながら補間フレーム画像を生成する処理にも適用することができる。
次に、実施の形態3において、間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が2/8である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図16は、実施の形態3において、間引き周期が2/8である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図7に示す再生装置から間引きフレーム情報を取得する場合と比較すると、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号、nフレーム遅延映像信号及び動きベクトル情報は同じであるが、間引きフレーム情報の間引きタイミングが異なっている。
図15に示す間引き周期が1/4である間引き映像信号を補正する処理と同様に、図16に示す間引き周期が2/8である間引き映像信号を補正する処理では、間引きフレーム情報のパルス信号の位相が1フレーム遅れることになる。
そこで、図16に示す例では、フレームカウント値と補間位相との対応関係を図7に示す例とは異ならせる。すなわち、フレームカウント値“2”には、補間位相“1/3”が対応付けられ、フレームカウント値“3”には、補間位相“2/3”が対応付けられ、フレームカウント値“4”には、補間位相“1”が対応付けられ、フレームカウント値“5”には、補間位相“1”が対応付けられ、フレームカウント値“0”には、補間位相“5/9”が対応付けられ、フレームカウント値“1”には、補間位相“0”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
これにより、図7に示す再生装置から間引きフレーム情報を取得する場合と同じタイミングで、補正後映像信号を得ることができる。
なお、実施の形態3の間引き周期が2/8である間引き映像信号を補正する処理は、図10~図12に示す実施の形態2の処理にも同様に適用することができる。
次に、実施の形態3において、間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が1/3である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図17は、実施の形態3において、間引き周期が1/3である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図8に示す再生装置から間引きフレーム情報を取得する場合と比較すると、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号、nフレーム遅延映像信号及び動きベクトル情報は同じであるが、間引きフレーム情報の間引きタイミングが異なっている。
図15に示す間引き周期が1/4である間引き映像信号を補正する処理と同様に、図17に示す間引き周期が1/3である間引き映像信号を補正する処理では、間引きフレーム情報のパルス信号の位相が1フレーム遅れることになる。
そこで、図17に示す例では、フレームカウント値と補間位相との対応関係を図8に示す例とは異ならせる。すなわち、フレームカウント値“0”には、補間位相“1/4”が対応付けられ、フレームカウント値“1”には、補間位相“0”が対応付けられている。補間位相生成部215は、テーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
これにより、図8に示す再生装置から間引きフレーム情報を取得する場合と同じタイミングで、補正後映像信号を得ることができる。
実施の形態3では、間引きタイミングを自動的に検出しているが、それまでの過去の間引きタイミングの検出結果に基づいて、次に間引かれる間引きタイミングを予測することが可能である。そこで、間引き検出部217は、過去に検出された間引きタイミングに基づいて、次に間引かれる間引きタイミングを予測する。そして、間引き検出部217は、予測した間引きタイミングにおけるベクトル値判定閾値をより小さくする。これにより、間引きタイミングにおいて動き量が偶然に小さくなった場合の間引きタイミングの検出漏れを低減することが可能になる。
(実施の形態4)
フレームを間引く周期、すなわち、間引かれるフレーム数が互いに異なる場合であっても、フレームを間引く間引きタイミングが互いに同じとなる場合がある。
フレームを間引く周期、すなわち、間引かれるフレーム数が互いに異なる場合であっても、フレームを間引く間引きタイミングが互いに同じとなる場合がある。
例えば、間引き周期が1/4である間引き映像信号と、間引き周期が2/5である間引き映像信号とでは、間引き周期は異なっているが、フレームを間引く間引きタイミングは同じとなる。そのため、間引きタイミングのみに基づいて補間位相が生成された場合、正しい補間位相を生成することができない場合がある。
そこで、実施の形態4では、補間位相生成部は、間引きタイミングと間引きフレーム数とに基づいて、補間フレーム画像の補間位相を生成する。
図18は、本発明の実施の形態4における映像表示装置の構成を示す図である。図18に示す映像表示装置2は、映像処理装置21及び表示部22を備える。映像処理装置21は、映像信号取得部211、フレームメモリ213、動きベクトル検出部214、補間フレーム生成部216、間引きフレーム情報取得部218及び補間位相生成部219を備える。なお、図18において、図1に示す実施の形態1の映像表示装置と同じ構成については、説明を省略する。
間引きフレーム情報取得部218は、映像信号取得部211によって取得される間引き映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングと、間引き映像信号の間引きフレーム数とを表す間引きフレーム情報を再生装置1から取得する。間引きフレーム情報取得部218は、取得した間引きフレーム情報を補間位相生成部219へ出力する。
補間位相生成部219は、間引きフレーム情報取得部218によって取得された間引きフレーム情報に含まれる間引きタイミング及び間引きフレーム数に基づいて、複数のフレーム画像のうちの隣接する2つのフレーム画像を用いて生成される補間フレーム画像の補間位相を生成する。補間位相生成部219は、複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相を生成する。
次に、図18に示す映像表示装置2の動作について説明する。まず、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が1/4である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図19は、実施の形態4において、間引き周期が1/4である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図19に示す再生映像信号は、再生装置1によって再生される再生映像信号を表し、間引き映像信号は、再生装置1から出力される間引き映像信号を表している。映像信号取得部211は、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得する。間引き映像信号は、フレーム番号が“4”、“8”及び“12”のフレーム画像が省略されている。すなわち、間引き周期の1周期内において連続した第1~第4のフレーム画像のうち、第4のフレーム画像が間引かれている。
間引きフレーム情報は、間引きフレーム情報取得部218によって取得され、補間位相生成部219に入力される間引きフレーム情報を表している。間引きフレーム情報は、フレーム画像が間引かれた間引きタイミングを表すパルス信号と、当該間引きタイミングにおいて間引かれているフレームの数を表す間引きフレーム数とを含む。間引きタイミングは、フレーム画像が間引かれた場合にハイレベル“1”となり、フレーム画像が間引かれていない場合にローレベル“0”となる。図19に示す間引きタイミングは、間引き映像信号のフレーム番号が“5”、“9”及び“13”のフレーム画像が出力されるタイミングでハイレベル“1”となる。また、間引きフレーム数は、間引きタイミングとともに取得される。図19に示すように、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれている場合、間引きフレーム数は“1”となる。
また、Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)遅延した映像信号を表している。なお、Mフレーム遅延映像信号は、遅延していない映像信号を表し、間引き映像信号と同じである。
本実施の形態では、1フレーム画像分の動きベクトル情報が全て算出された状態で、補間フレーム画像が生成されるので、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号は、m=M+1及びn=N+1となる。
動きベクトル情報は、動きベクトルを算出するフレーム画像のフレーム番号と、動きベクトルを算出する際に参照するフレーム画像のフレーム番号とを表している。動きベクトル検出部214は、フレームメモリ213から出力されるMフレーム遅延映像信号及びNフレーム遅延映像信号を用いて動きベクトルを検出する。
補間位相生成部219は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部219は、フレームカウント値と間引きフレーム数とに基づいて間引きモードを特定する。間引きモードは、間引き率を表し、どれくらいの速さで映像を再生するかを表している。例えば、1/4周期又は2/8周期の間引きであれば、1.33倍速モードであり、例えば、1/3周期の間引きであれば、1.5倍速モードであり、例えば、2/5周期の間引きであれば、1.67倍速モードである。
補間位相生成部219は、例えばフレームカウント値の最大値が“2”であり、かつ間引きフレーム数が“1”である場合、1.33倍速モード(間引き周期1/4)であると判断する。また、補間位相生成部219は、例えばフレームカウント値の最大値が“2”であり、かつ間引きフレーム数が“2”である場合、1.67倍速モードであると判断する。また、補間位相生成部219は、例えばフレームカウント値の最大値が“5”であり、かつ間引きフレーム数が“2”である場合、1.33倍速モード(間引き周期2/8)であると判断する。さらに、補間位相生成部219は、例えばフレームカウント値の最大値が“1”であり、かつ間引きフレーム数が“1”である場合、1.5倍速モードであると判断する。
補間位相生成部219は、フレームカウント値と補間位相とを対応付けたテーブルを間引きモード毎に予め記憶している。間引きモードが1.33倍速モード(間引き周期1/4)である場合、フレームカウント値“2”には、補間位相“0”が対応付けられ、フレームカウント値“1”及び“0”には、補間位相“0.33”が対応付けられている。補間位相生成部219は、特定した間引きモードに対応するテーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
補正後映像信号は、補間フレーム生成部216によって生成された補間フレーム画像を含む補正後の出力映像信号を表す。図19に示すように、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“0.33”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第3のフレーム画像との間の“2.33”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。第3の補間フレーム画像に対応する補間位相は“0.33”であるので、nフレーム遅延映像信号の第3のフレーム画像とmフレーム遅延映像信号の第5のフレーム画像との間の“3.67”に対応する位置の補間フレーム画像が第3の補間フレーム画像として出力される。そして、第1~第3の補間フレーム画像が1周期毎に出力される。
次に、間引き周期の1周期内において5つのフレーム画像から連続した2つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が2/5である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図20は、実施の形態4において、間引き周期が2/5である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図20に示す再生映像信号は、再生装置1によって再生される再生映像信号を表し、間引き映像信号は、再生装置1から出力される間引き映像信号を表している。映像信号取得部211は、間引き周期の1周期内において5つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号を取得する。間引き映像信号は、フレーム番号が“4”、“5”、“9”及び“10”のフレーム画像が省略されている。すなわち、間引き周期の1周期内において連続した第1~第5のフレーム画像のうち、第4及び第5のフレーム画像が間引かれている。
間引きフレーム情報は、間引きフレーム情報取得部218によって取得され、補間位相生成部219に入力される間引きフレーム情報を表している。間引きフレーム情報は、フレーム画像が間引かれた間引きタイミングを表すパルス信号と、当該間引きタイミングにおいて間引かれているフレームの数を表す間引きフレーム数とを含む。間引きタイミングは、フレーム画像が間引かれた場合にハイレベル“1”となり、フレーム画像が間引かれていない場合にローレベル“0”となる。図20に示す間引きタイミングは、間引き映像信号のフレーム番号が“6”、“11”及び“16”のフレーム画像が出力されるタイミングでハイレベル“1”となる。また、間引きフレーム数は、間引きタイミングとともに取得される。図20に示すように、間引き周期の1周期内において5つのフレーム画像から連続した2つのフレーム画像が間引かれている場合、間引きフレーム数は“2”となる。
また、Mフレーム遅延映像信号は、例えば0フレーム遅延した映像信号を表し、Nフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、mフレーム遅延映像信号は、例えば1フレーム(M+1フレーム)遅延した映像信号を表し、nフレーム遅延映像信号は、例えば2フレーム(N+1フレーム)遅延した映像信号を表している。なお、Mフレーム遅延映像信号は、遅延していない映像信号を表し、間引き映像信号と同じである。
本実施の形態では、1フレーム画像分の動きベクトル情報が全て算出された状態で、補間フレーム画像が生成されるので、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号は、m=M+1及びn=N+1となる。
動きベクトル情報は、動きベクトルを算出するフレーム画像のフレーム番号と、動きベクトルを算出する際に参照するフレーム画像のフレーム番号とを表している。動きベクトル検出部214は、フレームメモリ213から出力されるMフレーム遅延映像信号及びNフレーム遅延映像信号を用いて動きベクトルを検出する。
補間位相生成部219は、フレーム画像が間引かれてからのフレーム画像数をカウントするフレームカウンタを含む。フレームカウンタによってカウントされるフレームカウント値は、間引きフレーム情報に応じて変化する。フレームカウント値は、間引きフレーム情報がハイレベル“1”である場合、0にリセットされ、間引きフレーム情報がローレベル“0”である場合、インクリメントされる。
補間位相は、1のフレーム画像が表示される期間を表す1フレーム期間内において、隣接する2つのフレーム画像の間の距離を1としたとき、当該隣接する2つのフレーム画像の間の補間フレーム画像が生成される位置を表す。補間位相生成部219は、フレームカウント値と間引きフレーム数とに基づいて間引きモードを特定する。補間位相生成部219は、例えばフレームカウント値の最大値が“2”であり、かつ間引きフレーム数が“2”である場合、1.67倍速モードであると判断する。
補間位相生成部219は、フレームカウント値と補間位相とを対応付けたテーブルを間引きモード毎に予め記憶している。間引きモードが1.67倍速モード(間引き周期2/5)である場合、フレームカウント値“2”には、補間位相“0”が対応付けられ、フレームカウント値“1”には、補間位相“0.56”が対応付けられ、フレームカウント値“0”には、補間位相“0.66”が対応付けられている。補間位相生成部219は、特定した間引きモードに対応するテーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
補正後映像信号は、補間フレーム生成部216によって生成された補間フレーム画像を含む補正後の出力映像信号を表す。図20に示すように、補間フレーム生成部216は、フレームメモリ213から出力されるmフレーム遅延映像信号及びnフレーム遅延映像信号と、動きベクトル検出部214によって検出された動きベクトルとに基づいて、補間位相に応じた補間フレーム画像を生成する。
第1の補間フレーム画像に対応する補間位相は“0”であるので、nフレーム遅延映像信号の第1のフレーム画像が第1の補間フレーム画像として出力される。第2の補間フレーム画像に対応する補間位相は“0.66”であるので、nフレーム遅延映像信号の第2のフレーム画像とmフレーム遅延映像信号の第3のフレーム画像との間の“2.67”に対応する位置の補間フレーム画像が第2の補間フレーム画像として出力される。第3の補間フレーム画像に対応する補間位相は“0.56”であるので、nフレーム遅延映像信号の第3のフレーム画像とmフレーム遅延映像信号の第6のフレーム画像との間の“4.33”に対応する位置の補間フレーム画像が第3の補間フレーム画像として出力される。そして、第1~第3の補間フレーム画像が1周期毎に出力される。
上記のように、図19に示す間引き周期が1/4である1.33倍速モードと、図20に示す間引き周期が2/5である1.67倍速モードとでは、間引きタイミングが同じである。つまり、間引き周期が互いに異なるにもかかわらず、間引きタイミングが互いに同じであるので、単にフレームカウント値のみに基づいて補間位相を特定することができない。
一方、本実施の形態4では、間引きタイミングと間引きフレーム数とに基づいて補間位相を特定することができる。
なお、本実施の形態4において、間引きフレーム情報取得部218は、間引きタイミングとともに間引きフレーム数を取得しているが、本発明は特にこれに限定されず、間引きフレーム数が変化するタイミング、すなわち動作状態が変化する時にのみ、間引きフレーム数を取得してもよい。
また、本実施の形態4では、間引き周期が1/4及び2/5である場合について説明しているが、本発明は特にこれに限定されず、例えば2/8又は1/3等の他の間引き周期に適用してもよい。また、実施の形態2において、本実施の形態4に示す間引きフレーム情報を適用してもよい。
(実施の形態5)
実施の形態5では、実施の形態3と同様に、再生装置から間引きタイミングを取得するのではなく、動きベクトル検出部によって検出された動きベクトルに基づいて、フレーム画像が間引かれたタイミングを検出し、間引きタイミングを作成する。また、実施の形態5では、再生装置から間引きフレーム数を取得する。
実施の形態5では、実施の形態3と同様に、再生装置から間引きタイミングを取得するのではなく、動きベクトル検出部によって検出された動きベクトルに基づいて、フレーム画像が間引かれたタイミングを検出し、間引きタイミングを作成する。また、実施の形態5では、再生装置から間引きフレーム数を取得する。
図21は、本発明の実施の形態5における映像表示装置の構成を示す図である。図21に示す映像表示装置2は、映像処理装置21及び表示部22を備える。映像処理装置21は、映像信号取得部211、フレームメモリ213、動きベクトル検出部214、補間フレーム生成部216、間引き検出部220、間引きフレーム数取得部221及び補間位相生成部222を備える。なお、図21において、図13に示す実施の形態3の映像表示装置と同じ構成については、説明を省略する。
間引き検出部220は、動きベクトル検出部214から出力された動きベクトル統計情報が所定の閾値より大きいか否かを判断し、動きベクトル統計情報が所定の閾値より大きいと判断された場合、ハイレベルのパルス信号を生成し、動きベクトル統計情報が所定の閾値より以下である判断された場合、ローレベルのパルス信号を生成し、生成したパルス信号を間引きタイミングとして補間位相生成部222へ出力する。
なお、動きベクトル情報から間引きタイミングを作成する処理については、実施の形態3と同じであるので、説明を省略する。
間引きフレーム数取得部221は、間引き映像信号の間引きフレーム数を表す情報を再生装置1から取得する。間引きフレーム数取得部221は、取得した間引きフレーム数を補間位相生成部222へ出力する。なお、間引きフレーム数取得部221は、間引きフレーム数が変化するタイミング、すなわち動作状態が変化する時に、間引きフレーム数を取得する。
補間位相生成部222は、間引き検出部220によって検出された間引きタイミング及び間引きフレーム数取得部221によって取得された間引きフレーム数に基づいて、複数のフレーム画像のうちの隣接する2つのフレーム画像を用いて生成される補間フレーム画像の補間位相を生成する。
次に、図21に示す映像表示装置2の動作について説明する。まず、実施の形態5において、間引き周期の1周期内において5つのフレーム画像から連続した2つのフレーム画像が間引かれた間引き映像信号、すなわち間引き周期が2/5である間引き映像信号を補正し、補正後の映像信号を表示する処理について説明する。
図22は、実施の形態5において、間引き周期が2/5である間引き映像信号を補正する処理について説明するためのタイミングチャートである。なお、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号及びnフレーム遅延映像信号における数字は、フレーム番号を表している。
図20に示す再生装置から間引きフレーム情報を取得する場合と比較すると、再生映像信号、間引き映像信号、Mフレーム遅延映像信号、Nフレーム遅延映像信号、mフレーム遅延映像信号、nフレーム遅延映像信号及び動きベクトル情報は同じであるが、間引きタイミングが異なっている。間引きフレーム数は、間引きフレーム数取得部221によって取得される。
補間位相生成部222は、フレームカウント値と間引きフレーム数とに基づいて間引きモードを特定する。補間位相生成部222は、例えばフレームカウント値の最大値が“2”であり、かつ間引きフレーム数が“2”である場合、1.67倍速モードであると判断する。
図22に示すように、動きベクトル情報から間引きタイミングを作成する場合、動きベクトル情報を検出した後、間引きタイミングが検出されるので、再生装置から間引きタイミングを取得する場合に比べて、間引きタイミングのパルス信号の位相が1フレーム遅れることになる。
そこで、図22に示す例では、フレームカウント値と補間位相との対応関係を図20に示す例とは異ならせる。すなわち、間引きモードが1.67倍速モード(間引き周期2/5)である場合、フレームカウント値“1”には、補間位相“0”が対応付けられ、フレームカウント値“2”には、補間位相“0.66”が対応付けられ、フレームカウント値“0”には、補間位相“0.56”が対応付けられている。補間位相生成部222は、特定した間引きモードに対応するテーブルを参照し、フレームカウンタのフレームカウント値に対応する補間位相を選択する。
これにより、図20に示す再生装置から間引きフレーム情報を取得する場合と同じタイミングで、補正後映像信号を得ることができる。
なお、本実施の形態5では、間引き周期が2/5である場合について説明しているが、本発明は特にこれに限定されず、例えば1/4、2/8又は1/3等の他の間引き周期に適用してもよい。
なお、実施の形態1~5において、映像表示装置と再生装置とはそれぞれ個別に設けられているが、本発明は特にこれに限定されず、映像表示装置が再生装置を備えてもよく、また、再生装置が映像処理装置を備えてもよい。また、映像表示装置は、液晶表示装置、プラズマ表示装置及び有機EL表示装置等に適用可能であり、再生装置は、光ディスクプレーヤ及び光ディスクレコーダ等に適用可能である。
なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
本発明の一局面に係る映像表示装置は、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を取得する映像信号取得部と、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルを検出する動きベクトル検出部と、前記映像信号取得部によって取得される前記映像信号の前記少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間フレーム画像の補間位相を生成する補間位相生成部と、前記映像信号取得部によって取得される前記映像信号と、前記動きベクトル検出部によって検出された前記動きベクトルとに基づいて、前記補間位相生成部によって生成された前記補間位相に応じた補間フレーム画像を生成する補間フレーム生成部と、前記補間フレーム生成部によって生成された前記補間フレーム画像を含む映像信号を表示する表示部とを備え、前記補間位相生成部は、前記複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、前記第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、前記間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように前記補間位相を生成する。
この構成によれば、映像信号取得部によって、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号が取得される。動きベクトル検出部によって、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルが検出される。補間位相生成部によって、取得される映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間フレーム画像の補間位相が生成される。補間フレーム生成部によって、取得される映像信号と、検出された動きベクトルとに基づいて、生成された補間位相に応じた補間フレーム画像が生成される。表示部によって、生成された補間フレーム画像を含む映像信号が表示される。そして、補間位相生成部によって、複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相が生成される。
したがって、間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるので、第1の補間フレーム画像と第2の補間フレーム画像とが連続的に表示され、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる。
また、上記の映像表示装置において、前記映像信号取得部は、前記間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得し、前記補間位相生成部は、前記間引き周期の1周期内において3つの補間フレーム画像のそれぞれの位相間隔を均等にするように前記補間位相を生成することが好ましい。
この構成によれば、映像信号取得部によって、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた映像信号が取得される。そして、補間位相生成部によって、間引き周期の1周期内において3つの補間フレーム画像のそれぞれの位相間隔を均等にするように補間位相が生成される。
したがって、間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた映像信号が取得される場合、間引き周期の1周期内において3つの補間フレーム画像のそれぞれの位相間隔が均等にされるので、補間フレーム画像が連続的に表示され、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる。
また、上記の映像表示装置において、前記映像信号取得部は、前記間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号を取得し、前記補間フレーム生成部は、互いに隣接するフレーム画像から前記補間フレーム画像が生成できない場合、生成すべき前記補間フレーム画像に最も近いフレーム画像を前記映像信号から選択し、補間フレーム画像として生成することが好ましい。
この構成によれば、映像信号取得部によって、間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号が取得される。そして、補間フレーム生成部によって、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、生成すべき補間フレーム画像に最も近いフレーム画像が映像信号から選択され、選択されたフレーム画像が補間フレーム画像として生成される。
したがって、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合であっても、補間フレーム画像を生成することができる。
また、上記の映像表示装置において、前記映像信号取得部は、前記間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号を取得し、前記補間フレーム生成部は、互いに隣接するフレーム画像から前記補間フレーム画像が生成できない場合、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像を用いて前記補間フレーム画像を生成することが好ましい。
この構成によれば、映像信号取得部によって、間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号が取得される。そして、補間フレーム生成部によって、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像を用いて補間フレーム画像が生成される。
したがって、互いに隣接するフレーム画像から補間フレーム画像が生成できない場合であっても、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像を用いて補間フレーム画像が生成されるので、画像の動きをより滑らかにすることができる。
また、上記の映像表示装置において、前記動きベクトル検出部は、前記映像信号に対して遅延していないフレーム画像と、前記映像信号に対して1フレーム遅延したフレーム画像とに基づいて、前記動きベクトルを検出し、前記間引きフレーム情報によって特定される少なくとも1つのフレーム画像が間引かれた前記間引きタイミングにおいて、前記映像信号に対して1フレーム遅延したフレーム画像と、前記映像信号に対して2フレーム遅延したフレーム画像とに基づいて、前記動きベクトルを検出することが好ましい。
この構成によれば、動きベクトル検出部によって、映像信号に対して遅延していないフレーム画像と、映像信号に対して1フレーム遅延したフレーム画像とに基づいて、動きベクトルが検出される。そして、間引きフレーム情報によって特定される少なくとも1つのフレーム画像が間引かれた間引きタイミングにおいて、動きベクトル検出部によって、映像信号に対して1フレーム遅延したフレーム画像と、映像信号に対して2フレーム遅延したフレーム画像とに基づいて、動きベクトルが検出される。
したがって、フレーム画像が間引かれた際に動きベクトルを検出するために使用する互いに隣接するフレーム画像と、フレーム画像が間引かれる前に動きベクトルを検出するために使用する互いに隣接するフレーム画像とが同じとなり、同一の互いに隣接するフレーム画像に基づいて動きベクトルが2回連続で検出されるので、1回目の動きベクトルの検出結果を用いて、2回目の動きベクトルを検出することにより、2回目の動きベクトルの検出精度を向上させることができる。
また、上記の映像表示装置において、前記映像信号取得部は、前記間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得することが好ましい。
この構成によれば、映像信号取得部によって、間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた映像信号が取得される。
したがって、間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた映像信号が取得される場合であっても、補間フレーム画像が連続的に表示され、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる。
また、上記の映像表示装置において、前記動きベクトル検出部によって検出される前記動きベクトルの各フレーム画像における平均値を算出し、算出された平均値に基づいて、前記間引きフレーム情報を検出する間引きフレーム情報検出部をさらに備えることが好ましい。
この構成によれば、間引きフレーム情報検出部によって、動きベクトルの各フレーム画像における平均値が算出され、算出された平均値に基づいて、間引きフレーム情報が検出される。
したがって、間引きフレーム情報を外部から取得できない場合であっても、入力された映像信号から間引きフレーム情報を検出することができる。
また、上記の映像表示装置において、前記間引きフレーム情報は、前記映像信号取得部によって取得される前記映像信号の間引きフレーム数をさらに含み、前記補間位相生成部は、前記間引きタイミングと前記間引きフレーム数とに基づいて、補間フレーム画像の補間位相を生成することが好ましい。
この構成によれば、間引きタイミングと間引きフレーム数とに基づいて、補間フレーム画像の補間位相が生成されるので、間引き周期が異なっているにもかかわらず、間引かれるタイミングが同じである場合に、間引きフレーム数に基づいて間引き周期を特定することができる。
本発明の他の局面に係る映像処理装置は、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を取得する映像信号取得部と、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルを検出する動きベクトル検出部と、前記映像信号取得部によって取得される前記映像信号の前記少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、前記複数のフレーム画像のうちの隣接する2つのフレーム画像を用いて生成される補間フレーム画像の補間位相を生成する補間位相生成部と、前記映像信号取得部によって取得される前記映像信号と、前記動きベクトル検出部によって検出された前記動きベクトルとに基づいて、前記補間位相生成部によって生成された前記補間位相に応じた前記補間フレーム画像を生成する補間フレーム生成部とを備え、前記補間位相生成部は、前記間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、前記第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、前記間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように前記補間位相を生成する。
この構成によれば、映像信号取得部によって、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号が取得される。動きベクトル検出部によって、時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルが検出される。補間位相生成部によって、取得される映像信号の少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、複数のフレーム画像のうちの隣接する2つのフレーム画像を用いて生成される補間フレーム画像の補間位相が生成される。補間フレーム生成部によって、取得される映像信号と、検出された動きベクトルとに基づいて、生成された補間位相に応じた補間フレーム画像が生成される。そして、補間位相生成部によって、間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように補間位相が生成される。
したがって、間引き周期の1周期内の複数の補間フレーム画像のうちの先頭の第1の補間フレーム画像と、第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるので、第1の補間フレーム画像と第2の補間フレーム画像とが連続的に表示され、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができる。
なお、発明を実施するための形態の項においてなされた具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と特許請求事項との範囲内で、種々変更して実施することができるものである。
本発明に係る映像表示装置及び映像処理装置は、画像の動きを滑らかにすることができるとともに、視覚上の違和感を改善することができ、時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を補正する映像表示装置及び映像処理装置として有用である。
Claims (9)
- 時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を取得する映像信号取得部と、
時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルを検出する動きベクトル検出部と、
前記映像信号取得部によって取得される前記映像信号の前記少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間フレーム画像の補間位相を生成する補間位相生成部と、
前記映像信号取得部によって取得される前記映像信号と、前記動きベクトル検出部によって検出された前記動きベクトルとに基づいて、前記補間位相生成部によって生成された前記補間位相に応じた補間フレーム画像を生成する補間フレーム生成部と、
前記補間フレーム生成部によって生成された前記補間フレーム画像を含む映像信号を表示する表示部とを備え、
前記補間位相生成部は、前記複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、前記第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、前記間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように前記補間位相を生成することを特徴とする映像表示装置。 - 前記映像信号取得部は、前記間引き周期の1周期内において4つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得し、
前記補間位相生成部は、前記間引き周期の1周期内において3つの補間フレーム画像のそれぞれの位相間隔を均等にするように前記補間位相を生成することを特徴とする請求項1記載の映像表示装置。 - 前記映像信号取得部は、前記間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号を取得し、
前記補間フレーム生成部は、互いに隣接するフレーム画像から前記補間フレーム画像が生成できない場合、生成すべき前記補間フレーム画像に最も近いフレーム画像を前記映像信号から選択し、補間フレーム画像として生成することを特徴とする請求項1記載の映像表示装置。 - 前記映像信号取得部は、前記間引き周期の1周期内において8つのフレーム画像から連続した2つのフレーム画像が間引かれた映像信号を取得し、
前記補間フレーム生成部は、互いに隣接するフレーム画像から前記補間フレーム画像が生成できない場合、当該互いに隣接するフレーム画像の次に互いに隣接するフレーム画像を用いて前記補間フレーム画像を生成することを特徴とする請求項1記載の映像表示装置。 - 前記動きベクトル検出部は、前記映像信号に対して遅延していないフレーム画像と、前記映像信号に対して1フレーム遅延したフレーム画像とに基づいて、前記動きベクトルを検出し、前記間引きフレーム情報によって特定される少なくとも1つのフレーム画像が間引かれた前記間引きタイミングにおいて、前記映像信号に対して1フレーム遅延したフレーム画像と、前記映像信号に対して2フレーム遅延したフレーム画像とに基づいて、前記動きベクトルを検出することを特徴とする請求項4記載の映像表示装置。
- 前記映像信号取得部は、前記間引き周期の1周期内において3つのフレーム画像から1つのフレーム画像が間引かれた映像信号を取得することを特徴とする請求項1記載の映像表示装置。
- 前記動きベクトル検出部によって検出される前記動きベクトルの各フレーム画像における平均値を算出し、算出された平均値に基づいて、前記間引きフレーム情報を検出する間引きフレーム情報検出部をさらに備えることを特徴とする請求項1~6のいずれかに記載の映像表示装置。
- 前記間引きフレーム情報は、前記映像信号取得部によって取得される前記映像信号の間引きフレーム数をさらに含み、
前記補間位相生成部は、前記間引きタイミングと前記間引きフレーム数とに基づいて、補間フレーム画像の補間位相を生成することを特徴とする請求項1~7のいずれかに記載の映像表示装置。 - 時間的に連続した複数のフレーム画像から周期的に少なくとも1つのフレーム画像が間引かれた映像信号を取得する映像信号取得部と、
時間的に前後する少なくとも2つ以上のフレーム画像を用いて現在のフレーム画像の動きベクトルを検出する動きベクトル検出部と、
前記映像信号取得部によって取得される前記映像信号の前記少なくとも1つのフレーム画像が間引かれる間引きタイミングを表す間引きフレーム情報に基づいて、補間フレーム画像の補間位相を生成する補間位相生成部と、
前記映像信号取得部によって取得される前記映像信号と、前記動きベクトル検出部によって検出された前記動きベクトルとに基づいて、前記補間位相生成部によって生成された前記補間位相に応じた前記補間フレーム画像を生成する補間フレーム生成部とを備え、
前記補間位相生成部は、前記複数のフレーム画像から少なくとも1つのフレーム画像が間引かれる間引き周期の1周期内の複数の補間フレーム画像のうちの第1の補間フレーム画像と、前記第1の補間フレーム画像に続く第2の補間フレーム画像との位相間隔が、前記間引き周期の1周期内において複数の補間フレーム画像のそれぞれの位相間隔を均等にした際の互いに隣接する補間フレーム画像の位相間隔と同じになるように前記補間位相を生成することを特徴とする映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/122,811 US9001895B2 (en) | 2011-06-08 | 2012-02-16 | Image display device and image processing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-128258 | 2011-06-08 | ||
JP2011128258 | 2011-06-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012169096A1 true WO2012169096A1 (ja) | 2012-12-13 |
Family
ID=47295690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/001007 WO2012169096A1 (ja) | 2011-06-08 | 2012-02-16 | 映像表示装置及び映像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9001895B2 (ja) |
WO (1) | WO2012169096A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9836814B2 (en) | 2015-01-09 | 2017-12-05 | Panasonic Intellectual Property Management Co., Ltd. | Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio |
US10057538B2 (en) * | 2017-01-16 | 2018-08-21 | Gopro, Inc. | Apparatus and methods for the selection of one or more frame interpolation techniques |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2919211B2 (ja) * | 1992-12-25 | 1999-07-12 | 日本電気株式会社 | 動画像のフレーム内挿方式及び符号化復号化方式 |
JP3495485B2 (ja) * | 1995-12-19 | 2004-02-09 | 日本放送協会 | 画像変換装置 |
JP2006094261A (ja) * | 2004-09-27 | 2006-04-06 | Shibasoku:Kk | 映像信号処理装置 |
JP2008090176A (ja) * | 2006-10-04 | 2008-04-17 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
JP4416796B2 (ja) * | 2004-09-13 | 2010-02-17 | シャープ株式会社 | 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5614952A (en) * | 1994-10-11 | 1997-03-25 | Hitachi America, Ltd. | Digital video decoder for decoding digital high definition and/or digital standard definition television signals |
US6618443B1 (en) * | 1997-03-12 | 2003-09-09 | Matsushita Electric Industrial Co., Ltd. | Upsampling filter for a down conversion system |
JP3166971B2 (ja) * | 1997-04-01 | 2001-05-14 | 日本ビクター株式会社 | ディジタルデータ記録再生装置及び再生装置 |
JPH11328862A (ja) | 1998-05-18 | 1999-11-30 | Sony Corp | 情報再生装置および情報記録再生装置 |
EP1634461A2 (en) * | 2003-06-19 | 2006-03-15 | THOMSON Licensing | Method and apparatus for low-complexity spatial scalable decoding |
US8340177B2 (en) * | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
WO2006039382A2 (en) * | 2004-09-29 | 2006-04-13 | Thomson Research Funding Corporation | Method and apparatus for reduced resolution update video coding and decoding |
US8121195B2 (en) * | 2006-11-30 | 2012-02-21 | Lsi Corporation | Memory reduced H264/MPEG-4 AVC codec |
JP4353253B2 (ja) * | 2007-01-31 | 2009-10-28 | ソニー株式会社 | フレームレート制御装置とフレームレート制御方法および記録装置と撮像装置 |
JP4895204B2 (ja) * | 2007-03-22 | 2012-03-14 | 富士フイルム株式会社 | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム |
JPWO2011018878A1 (ja) * | 2009-08-13 | 2013-01-17 | 日本電気株式会社 | 画像処理システム、画像処理方法および画像処理用プログラム |
CN102714726B (zh) * | 2010-01-15 | 2015-03-25 | 杜比实验室特许公司 | 使用元数据的用于时间缩放的边缘增强 |
JP4991907B2 (ja) * | 2010-05-11 | 2012-08-08 | キヤノン株式会社 | 画像処理装置、および、画像処理装置の制御方法 |
-
2012
- 2012-02-16 US US14/122,811 patent/US9001895B2/en not_active Expired - Fee Related
- 2012-02-16 WO PCT/JP2012/001007 patent/WO2012169096A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2919211B2 (ja) * | 1992-12-25 | 1999-07-12 | 日本電気株式会社 | 動画像のフレーム内挿方式及び符号化復号化方式 |
JP3495485B2 (ja) * | 1995-12-19 | 2004-02-09 | 日本放送協会 | 画像変換装置 |
JP4416796B2 (ja) * | 2004-09-13 | 2010-02-17 | シャープ株式会社 | 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム |
JP2006094261A (ja) * | 2004-09-27 | 2006-04-06 | Shibasoku:Kk | 映像信号処理装置 |
JP2008090176A (ja) * | 2006-10-04 | 2008-04-17 | Sharp Corp | 画像表示装置及び方法、画像処理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US9001895B2 (en) | 2015-04-07 |
US20140112646A1 (en) | 2014-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4438795B2 (ja) | 映像変換装置、映像表示装置、映像変換方法 | |
JP5116498B2 (ja) | 映像処理装置及びその制御方法 | |
JP4431089B2 (ja) | 映像補間装置、フレームレート変換装置および映像表示装置 | |
JP4749314B2 (ja) | インタレース/プログレッシブ変換方法および変換装置 | |
US20140028909A1 (en) | Method for converting frame rate and video processing apparatus using the same | |
JP2006109491A (ja) | ジャダーマップを利用した画像処理装置及びその方法 | |
JP2005124201A (ja) | タイムシフト及び動き補償を利用したフレームレート変換装置及びその方法 | |
US20140036148A1 (en) | Apparatus and method for converting frame rate of video signal, and video processing apparatus using the same | |
JP2012169727A (ja) | 映像信号処理装置および映像信号処理方法 | |
WO2012169096A1 (ja) | 映像表示装置及び映像処理装置 | |
US20120308137A1 (en) | Image processing apparatus, image processing method, and program | |
JP5318811B2 (ja) | 2次元/3次元映像処理装置および映像表示装置 | |
EP3699896A1 (en) | Projection display apparatus and display method | |
JP2009135847A (ja) | 映像処理装置及びフレームレート変換方法 | |
WO2010122726A1 (ja) | 映像処理装置及び映像処理方法 | |
JP2007074439A (ja) | 映像処理装置 | |
JP2007288483A (ja) | 画像変換装置 | |
JP2007081500A (ja) | 画像処理装置、動画像データのフィールド・オーダを決定する方法及びプログラム | |
JP5123643B2 (ja) | 映像処理装置 | |
JP5337282B1 (ja) | 3次元画像生成装置および3次元画像生成方法 | |
JP2009124261A5 (ja) | ||
JP2010263468A (ja) | フレームレート変換装置及び方法 | |
JP2001333391A (ja) | 映像表示装置 | |
JP2012182691A (ja) | 画像変換装置 | |
JP2009147767A (ja) | 画像変換装置、画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12796827 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14122811 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12796827 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |