WO2012137394A1 - フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置 - Google Patents

フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置 Download PDF

Info

Publication number
WO2012137394A1
WO2012137394A1 PCT/JP2012/000301 JP2012000301W WO2012137394A1 WO 2012137394 A1 WO2012137394 A1 WO 2012137394A1 JP 2012000301 W JP2012000301 W JP 2012000301W WO 2012137394 A1 WO2012137394 A1 WO 2012137394A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame rate
frame
rate conversion
video signal
pull
Prior art date
Application number
PCT/JP2012/000301
Other languages
English (en)
French (fr)
Inventor
谷川 悟
義浩 岸本
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013508727A priority Critical patent/JPWO2012137394A1/ja
Priority to CN2012800171305A priority patent/CN103477631A/zh
Publication of WO2012137394A1 publication Critical patent/WO2012137394A1/ja
Priority to US14/042,668 priority patent/US20140028909A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern

Definitions

  • the present invention relates to a frame rate conversion method for converting a frame rate used in a display device, a video signal processing device, etc., and a pull-down signal dejudder, and a video processing device using the frame rate conversion method.
  • film video created at 24 fps and video created at 24 fps can be converted into film video signals formed by 2-3 pull-down method, input video can be converted by 2-2 pull-down method, etc.
  • the interlace signal converted to the pull-down method is converted to a progressive signal to generate a progressive scan frame, and the frame rate of the display device is displayed while smoothly displaying the motion of the video signal converted to the pull-down method.
  • a frame rate conversion apparatus and method for converting the frame rate into a frame rate have become important.
  • various pull-down video signals are increasingly supported, and in the case of a pull-down signal with a large number of repeated frames, the processing delay time between different frame videos is larger than the processing time between consecutive frame videos. It is predicted that the processing time cannot be ignored.
  • the conventional frame rate conversion apparatus as described in Patent Document 1, for example, the number of images updated per unit time is changed to a number different from that of the input image signal and output, and the image signal is converted.
  • a plurality of frame rate conversion units having different delay times a first selection unit that selects and outputs one of a plurality of image signals output from the plurality of frame rate conversion units, and an audio signal
  • An audio signal delay unit that delays the audio signal, and the audio signal delay unit has a delay time corresponding to the delay time of the image signal in the frame rate conversion unit that outputs the image signal selected by the first selection unit. Is delayed.
  • FIG. 1 the input image signals A, A, B, and B are read out as the first readout signal and the second readout signal, respectively, and 2 frames out of 4 frames are the same video. Since no interpolation frame is generated and an interpolation frame using a motion vector is generated between frames with a change, frame interpolation between successive frames does not result in smooth motion.
  • the second readout signal further includes the input image as shown in FIG. It was read out with a delay of one frame, and an interpolation frame was generated according to the motion vector.
  • FIG. 7A shows that a video having a change every two frames is input
  • FIG. 7B shows an image output subjected to the frame rate conversion of FIG.
  • FIG. 7C shows an image output subjected to frame rate conversion subjected to 2: 2 pull-down processing in FIG.
  • FIG. 7D shows a case where 2: 2 pull-down detection is detected at the Nth frame and the state is switched from FIG. 7B to FIG. 7C.
  • FIG. FIG. 7E shows the case of switching to FIG.
  • FIG. 8 (A) represents that a video having a change every 4 frames is input, and FIG. 8 (B) shows an image output in which frame rate conversion has been performed from successive frames. .
  • FIG. 8C shows an image output subjected to frame rate conversion subjected to 4: 4 pull-down processing.
  • FIG. 8D shows the case where the 4: 4 pull-down detection is detected in the (N + 1) th frame and switched from FIG. 8 (B) to FIG. 8 (C), and the detection is performed in the (N + 2) th frame from FIG. 8 (B).
  • FIG. 8 shows the case where the 4: 4 pull-down detection is detected in the (N + 1) th frame and switched from FIG. 8 (B) to FIG. 8 (C), and the detection is performed in the (N + 2) th frame from FIG. 8 (B).
  • FIG. 8 (E) shows the case of switching to FIG. 8 (C)
  • FIG. 8 (F) shows the case of switching from FIG. 8 (B) to FIG. 8 (C) detected in the (N + 3) th frame.
  • the present invention when performing frame rate conversion when a pull-down video having a large number of repetitive frames is input, switches between consecutive frames to frames corresponding to pull-down processing.
  • To support more types of pull-down video signals by providing continuous frame rate conversion, providing frame rate conversion without moving back and advance of moving objects, and providing pull-down detection of various repetitive frame numbers. With the goal.
  • the frame rate conversion method to convert the frame rate of the display device or video processing device, when switching from consecutive frames to frames that support pull-down processing, continuity at the switching point is ensured. It is another object of the present invention to provide a video signal processing apparatus that does not return or advance a moving object.
  • the afterimage can be made inconspicuous by switching the frame rate conversion process between when the entire screen is moving uniformly and when a part of the screen is moving.
  • the object is to make the error inconspicuous even when an error occurs in motion vector prediction.
  • a frame rate conversion method includes a film detection step for detecting an M: N (M and N are integers) pull-down video signal from an input video signal, and an input continuous.
  • a frame rate conversion step for converting a frame rate from a frame video signal, and a video corresponding to M: N when the detection result output from the film detection step is detected as an M: N pull-down signal in the frame rate conversion step.
  • Switching to frame rate conversion for converting the frame rate from the signal switching for controlling switching with a frame that eliminates the time difference required for frame rate conversion from the video signal corresponding to M: N from the time required for frame rate conversion from the continuous frame video signal A control step, and performs frame rate conversion.
  • the switching control step includes an M: N pull-down signal based on predetermined phase information indicating a frame phase of the M: N pull-down signal. It is characterized by switching to processing.
  • the switching control step switches to M: N pull-down signal processing based on the number of times the M: N pull-down signal is detected.
  • the film detection step includes an integration step of accumulating frame differences for one frame period, an integration value accumulated for one frame period, and a predetermined threshold value.
  • a comparison step a film determination step for determining the presence or absence of a frame difference based on an output result of the comparison step, and determining an M: N pull-down image, and an output result and a film determination result of the comparison step.
  • a phase information output step for outputting phase information of an M: N pull-down signal, and detecting an M: N pull-down signal.
  • the film detection step includes an integration step of accumulating the first frame difference for one frame period and an accumulation of the first one frame period.
  • a first comparison step for comparing the integral value with a predetermined threshold value
  • an integration step for accumulating the second frame difference for one frame period, and a comparison between the integral value accumulated for the second one frame period and the predetermined threshold value
  • a second comparison step and a film determination step of determining the presence or absence of a frame difference based on the output result of the first comparison step and the output result of the second comparison step, and determining an M: N pull-down image
  • a phase information output step of outputting phase information of the M: N pull-down signal based on the output results of the first and second comparison steps and the film determination result. It consists, M: and detects a pull-down signal of the N.
  • the video processing apparatus configured to process a broadcast wave or a signal input from video equipment, and to convert a frame rate of an output video of the input processing means.
  • an input conversion means for processing a signal decoded from a broadcast wave or a signal reproduced from a recording means, and a frame rate of an output video of the input conversion means are converted. It is characterized by comprising a frame rate converting means using the described frame rate converting method and an output processing means for outputting the frame rate converted video signal to the outside.
  • a frame rate conversion method for detecting an M: N (M and N is an integer) pull-down video signal from an input video signal;
  • the detection result output from the film detection step is detected as an M: N pull-down signal, and the screen has a uniform motion.
  • the video signal corresponding to M: N is switched to frame rate conversion for converting the frame rate.
  • a frame rate conversion method for detecting a uniform movement of the entire screen from an input video signal, and M: N (M and N are integers) from the input video signal.
  • M the number of frames in the film detection step for detecting the pull-down video signal
  • the frame rate conversion step for converting the frame rate a scroll whose screen moves uniformly is detected, and the detection result output from the film detection step is an M: N pull-down.
  • the video signal corresponding to M: N is switched to frame rate conversion for converting the frame rate.
  • a frame rate conversion method for detecting a M: N (M and N are integers) pull-down video signal from an input video signal, and a method for detecting an entire screen from the input video signal.
  • the detection result output from the film detection step is detected as an M: N pull-down signal, and the screen has a uniform motion.
  • the video signal corresponding to M: N is switched to frame rate conversion for converting the frame rate, and it is detected as an M: N pull-down signal.
  • FIG. 1 is a block diagram of a frame rate conversion method according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram of a film detection step in the frame rate conversion method of the embodiment.
  • FIG. 3 is a block diagram of a film detection step in the frame rate conversion method of the embodiment.
  • FIG. 4 is a block diagram of a video signal processing apparatus according to the second embodiment of the present invention.
  • FIG. 5 is a timing chart for explaining a video processing operation when a 2: 2 pull-down video signal is input in the conventional frame rate conversion method.
  • FIG. 6 is a timing chart for explaining a film processing operation when a 2: 2 pull-down video signal is input in the conventional frame rate conversion method.
  • FIG. 5 is a timing chart for explaining a video processing operation when a 2: 2 pull-down video signal is input in the conventional frame rate conversion method.
  • FIG. 7 is an interpolation frame diagram for explaining a switching operation when a 2: 2 pull-down video signal is input in the conventional frame rate conversion method.
  • FIG. 8 is an interpolation frame diagram for explaining a switching operation when a 4: 4 pull-down video signal is input in the conventional frame rate conversion method.
  • FIG. 9 is a timing chart for explaining a video processing operation when a 4: 4 pull-down video signal is input in the first embodiment of the present invention.
  • FIG. 10 is a timing chart for explaining a film processing operation when a 4: 4 pull-down video signal is input in the first embodiment of the present invention.
  • FIG. 11 is an interpolation frame diagram illustrating a switching operation when a 4: 4 pull-down video signal is input in the first embodiment of the present invention.
  • FIG. 12 is a flowchart of frame rate conversion according to the first embodiment of the present invention.
  • FIG. 13 is a second flowchart of frame rate conversion according to the first embodiment of the present invention.
  • FIG. 14 is a third flowchart of frame rate conversion according to the first embodiment.
  • FIG. 15 is a flowchart of frame rate conversion according to the third embodiment of the present invention.
  • FIG. 1 is a block diagram relating to a video signal frame rate conversion method according to a first embodiment of the present invention.
  • the video signal S100 input from the input unit 100 is input to the frame rate conversion unit 101 and input to the storage unit 102 using a memory.
  • the memory control means 103 sends the frame data S102A and S102B necessary for the motion vector detection means 104, the frame data S102C and S102D necessary for the interpolation frame generation means 105, and the film detection means 106 according to the output of the switching control means 107.
  • the necessary frame data S102E and S102F are read out.
  • the video signal S105 whose frame rate has been converted by the interpolation frame generation means (frame rate conversion means) 105 is output from the output means 108.
  • FIG. 9 is a timing chart for explaining a video processing operation when a 4: 4 pull-down video signal is input in the first embodiment.
  • FIG. 10 is a timing diagram when a 4: 4 pull-down video signal is input in the first embodiment.
  • FIG. 11 is an interpolation frame diagram illustrating a switching operation when a 4: 4 pull-down video signal is input in the first embodiment.
  • the input video signal S100 is input with signals A, A, A, A, B, B, B, B, which change every four frames.
  • the first read signal S102C and the second read signal S102D are read from the storage unit 102 and the frame data of the first read signal S102C and the second read signal S102D are compared, 6 frames in 8 frames are Since the video is the same, the motion vector is 0 during the 6-frame period of the output video, no interpolation frame is generated, and an interpolation frame using the motion vector is generated between two frames with changes, but the same frame is repeated. Therefore, when 8 frames of the output image are viewed, the image does not move smoothly and the image looks judder.
  • the frame data S102E and S102F output from the storage means 102 are the number of frame repetitions and M: N (M and N are integers) pull-down video input by the film detection means 106. Is detected, and the detected video format signal S106B is output.
  • M: N pull-down video signal When an M: N pull-down video signal is detected, a frame phase signal S106A that indicates the frame phase of one period of the pull-down video is output.
  • a 4: 4 pull-down video signal is input as an example, a 4: 4 pull-down method is detected, and a signal that repeats 0, 1, 2, and 3 is output as one frame phase signal S106A. To do.
  • the memory control unit 103 In order to read out frame data necessary for processing of each video system by the switching control unit 107 from the frame phase signal S106A and the video system signal S106B detected by the film detection unit 106, the memory control unit 103 is switched to detect motion vectors. The frame data output to the means 104 and the interpolation frame generation means 105 is switched according to the detected pull-down signal S107A.
  • FIG. 10 is a timing chart when a 4: 4 pull-down video signal is detected, and the second readout signal S102D is read out by delaying the input image by 4 frames in accordance with the pull-down process. Further, the switching control means 107 outputs a signal S107B indicating that the video system is switched to the motion vector detection means 104 to switch and set the motion vector detection means 104, and the motion vector S104 is changed from the frame A to the frame. A signal representing movement to B is detected.
  • the switching control means 107 outputs a signal S107C indicating a video system signal to the interpolation frame generation means 105 to generate an interpolation frame
  • the frame interpolation ratio of the motion vector signal S104 is switched and the setting of the interpolation frame generation means 105 is performed. Is going.
  • the interpolation frame generation unit 105 performs frame rate conversion according to the detected video system, and the output unit 108 outputs the frame rate converted video signal.
  • Fig. 8 (F) switched by N + 3 frame video data is returned backward. Therefore, the moving object becomes an unnatural movement at the time of switching, and the continuity of the moving object cannot be maintained. Is repeatedly input, even if it is determined by the film detection means 106 that an M: N pull-down signal is input from the N + 1, N + 2, N + 3 frames, the process does not switch to pull-down video processing, and N + 3 Since the next frame is the same as the N frame, the process is switched only in the N frame.
  • FIG. 11 shows that 4: 4 pull-down video having a change every 4 frames is input, and the video output obtained by converting the frame rate from consecutive frames is shown in FIG. 11 (B). It shows. Further, FIG. 11C shows a video output subjected to frame rate conversion subjected to 4: 4 pull-down processing. FIG. 11 (D) shows a case where the pull-down signal is detected and switching from FIG. 11 (B) to FIG. 11 (C) at the Nth frame.
  • the switching process is not performed until the value becomes 3, and when the pull-down video is detected and the frame phase signal reaches a predetermined value, the pull-down process for the frame rate conversion is switched.
  • the predetermined value is 0, 1,..., (K-1) when the frame phase signal is the number of repetitions K (K is an integer), and therefore a predetermined value is generated for each multiple of K.
  • the time of the moving object between the frame rate conversion between successive frames and the frame rate conversion in the pull-down process is a value based on the same or close frames.
  • an M: N pull-down signal it changes as 0, 1,..., (M + N ⁇ 1), so that a predetermined value is generated every multiple of M + N, and frame rate conversion and pull-down between successive frames are performed.
  • the time of the moving object with the frame rate conversion in the processing is a value based on the same or close frame.
  • the changing frame phase is described as one place in the number of repetitions (M + N), when the influence of the moving object is small, it may be switched at a plurality of places. A frame phase that changes with each repeated change may be provided.
  • the switching control means 107 performs switching by looking at the frame phase, but by providing the number of determinations of detection of the pull-down signal, and setting the threshold value of the number of determinations to a multiple of K and a multiple of (M + N). It can also respond.
  • FIG. 2 is a block diagram showing a first configuration example of the film detection means 106 in the frame rate conversion method of the first embodiment.
  • frame data S102E and S102F having a frame delay difference read from the storage unit 102 using a memory are input to the frame difference extraction unit 201 to obtain a frame difference value S201.
  • the frame difference value S201 is accumulated for one frame period by the integrating means 202, and the accumulated integral value S202 is obtained and compared with a threshold value prepared in advance by the comparing means 203. If the value is larger than the threshold value, a frame correlation signal S203 indicating the result that the data between frames is different is output.
  • the film determination means 204 determines whether or not the M: N pull-down signal is input, and the phase extraction means 205 determines the determination result S204 and the frame correlation signal S203.
  • the frame phase signal S106A is output.
  • the frame correlation signal S203 is 0, 1, 1, 1 when there is no correlation and 0 when there is a correlation.
  • FIG. 3 is a block diagram showing a second configuration example of the film detection means 106 in the frame rate conversion method of the first embodiment.
  • another frame data S102G is added to the two frame data S102E and S102F having a frame delay difference read from the storage means 102 using the memory, and the three frame data are input.
  • the three types of frame data S102E, S102F, and S102G are input to the frame difference extraction means 301 and 304 two by two to obtain frame difference values S301 and S304.
  • the frame difference values S301 and S304 are accumulated for one frame period by the integrating means 302 and 305, respectively, and the accumulated integral values S302 and S305 are obtained and compared with the threshold values prepared in advance by the comparing means 303 and 306, respectively.
  • the frame correlation signals S303 and S306 representing the result that the data between frames is the same when the value is smaller, and the data between frames are different when the value is larger than the threshold are output.
  • the film determination means 307 determines whether or not the M: N pull-down signal is input, and the phase extraction means 308 determines the determination result S307 and the frame correlation signal S303.
  • the frame phase signal S106A is output and compared with the correlation pattern prepared for the number of repetitions, so that various pull-down signals and video systems with various numbers of repetitions can be detected.
  • the input frame data has been described with two types and three types, respectively. However, it is not limited, and processing is performed using four or more types, and various pull-down signals and various repetition numbers are processed.
  • the video format may be detected.
  • FIG. 12 is a flowchart of this frame rate conversion, and the operation will be described with reference to FIG.
  • the input video determines whether the video signal input in the film determination is an M: N pull-down video signal. If it is not a pull-down video, the settings for memory control, motion vector, and interpolation frame generation are set for frame rate conversion from successive frames, and frame rate conversion from successive frames is performed.
  • the frame phase is determined to determine whether or not it is a predetermined phase. If it is not a predetermined phase, memory control, motion vector, and interpolation frame generation are set for frame rate conversion from successive frames, and frame rate conversion from successive frames is performed. If the frame phase is a predetermined phase, memory control, motion vector, and interpolation frame generation are set corresponding to M: N pull-down, the process is switched, and frame rate conversion corresponding to pull-down is performed. . During frame conversion corresponding to pull-down processing, film determination is performed for each frame. If the same pull-down video signal is used, frame rate conversion corresponding to pull-down processing is continued.
  • the settings for memory control, motion vector, and interpolation frame generation are set for frame rate conversion from successive frames, and frame rate conversion from successive frames is performed.
  • frame rate conversion is performed from consecutive frames, the process returns to the start at the next frame and the flow is repeated.
  • FIG. 13 is a second flowchart of the frame rate conversion, and the operation will be described with reference to FIG.
  • the input video is determined by M: N pull-down determination to determine whether or not the input video signal is an M: N pull-down video signal. If it is not an M: N pull-down video, it is determined that it is not M: N, and the frame rate from the continuous frame is determined by setting the memory control, the motion vector, and the interpolation frame generation as the frame rate conversion setting from the continuous frame. Perform conversion.
  • the frame rate conversion from successive frames is performed with the settings of memory control, motion vector, and interpolation frame generation as the frame rate conversion settings from successive frames.
  • the settings for memory control, motion vector, and interpolation frame generation are set corresponding to M: N pull-down, and the process is switched to perform frame rate conversion corresponding to the pull-down process.
  • FIG. 14 is a third flowchart of the frame rate conversion, and the operation will be described with reference to FIG.
  • the input video is a scroll video in which the entire screen is moving uniformly or in the same direction. If it is not a scroll video, the frame rate conversion from successive frames is performed with the settings of memory control, motion vector, and interpolation frame generation as the frame rate conversion settings from successive frames. On the other hand, if it is a scroll video, it is determined whether or not the input video signal is an M: N pull-down video signal by M: N pull-down determination.
  • M N
  • the frame rate conversion from the continuous frame is performed by setting the memory control, the motion vector, and the interpolation frame generation as the frame rate conversion setting from the continuous frame.
  • the memory control, the motion vector, and the interpolation frame generation are set to the settings corresponding to the M: N pull-down, the processing is switched, and the frame rate conversion corresponding to the pull-down processing is performed.
  • the processing order of M: N pull-down detection and scroll detection is changed, but M: N pull-down detection and scroll detection are performed in parallel.
  • the frame rate conversion corresponding to the M: N pull-down process may be performed based on both determination results.
  • FIG. 4 is a block diagram relating to a video processing apparatus using the frame rate conversion method according to the second embodiment of the present invention.
  • reference numeral 400 denotes a recording means such as a DVD disk, Blu-ray disk, or hard disk
  • 401 denotes an input processing means for reproducing a video signal recording a broadcast wave or a video signal of a recording medium
  • 402 denotes the above-described implementation.
  • the frame rate conversion method according to the first aspect wherein 403 is an output processing unit for outputting video to the outside or outputting to a display device, and 404 is a display unit such as a liquid crystal display or a plasma display.
  • a video signal including an M: N pull-down signal is generated.
  • This pull-down video signal converts the frame rate from a 60 Hz video signal to a 120 Hz video signal using a frame rate conversion method as described in the first embodiment, for example.
  • the video signal whose frame rate has been converted is connected to an external device by the output processing means 403, so that the video signal format is processed so that it can be connected by a cable or wirelessly.
  • a synchronization signal that serves as a display reference and a timing signal for controlling the display device are generated and processed so that the video can be displayed on the display unit 404. Display on the screen.
  • the display unit 404 is necessary for a video processing device such as a television or a display that displays a screen.
  • a video processing device such as a DVD, Blu-ray, or hard disk
  • the display unit 404 A video signal whose frame rate has been converted is output from an output terminal that is connected to an external device.
  • FIG. 15 is a flowchart relating to a frame rate conversion method for a video signal according to the third embodiment of the present invention.
  • the frame rate conversion from successive frames is performed with the settings of memory control, motion vector, and interpolation frame generation set as frame rate conversion from successive frames.
  • the memory control, motion vector, and interpolation frame generation settings are set corresponding to X: Y pull-down, the process is switched, and frame rate conversion corresponding to X: Y pull-down is performed.
  • the setting of memory control, motion vector, and interpolation frame generation is set to a setting corresponding to M: N pull-down, and the process is switched, and frame rate conversion corresponding to M: N pull-down processing is performed.
  • M: N and X: Y have a relationship of M> X and N> Y.
  • M: N pull-down is set to 8: 7 pull-down
  • X: Y pull-down is set.
  • 3: 2 pull-down the frame rate conversion with a small number of repeated frames and the frame rate conversion with a large number of repeated frames are switched depending on whether the screen moves uniformly or in the same direction.
  • the frame rate conversion apparatus and method according to the present invention are useful as a method of performing frame rate conversion and pull-down video signal dejada processing used in display devices, video signal processing devices, television receivers, and the like. It is.
  • Frame rate conversion means 101 Frame rate conversion means 102 Storage means using memory 103 Memory control means 104 Motion vector detection means 105 Interpolated frame generation means (frame rate conversion means) 106 Film detection means 107 Switching control means 201 Frame difference extraction means 202 Integration means 203 Comparison means 204 Film determination means 205 Phase extraction means 301, 304 Frame difference extraction means 302, 305 Integration means 303, 306 Comparison means 307 Film determination means 308 Phase Extraction means 400 Recording means 401 Input processing means 402 Frame rate conversion device 403 Output processing means 404 Display means

Abstract

 映像信号のフレームレート変換方法において、入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出手段と、入力された連続するフレーム映像信号からフレームレートを変換するフレームレート変換手段と、前記フレームレート変換手段において、フィルム検出手段から出力された検出結果がM:Nのプルダウン信号と検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とM:Nに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御手段を具備する。従って、連続するフレームからのフレームレート変換から繰り返しフレーム数の多いプルダウン映像信号に切り換わる場合でも、切り換わりフレームで移動物体が後戻りを発生せず、不自然な動きとならない。

Description

フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置
 本発明は、表示装置や映像信号処理装置などに使用されるフレームレートの変換やプルダウン信号のデジャダーを行うフレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置に関するものである。
 近年、液晶表示デバイスやプラズマ表示デバイス等を用いたテレビジョン受像機において、大画面化、高精細化に伴い、より高画質な映像を表示することが重要視されてきており、画面内の物体や表示された映像の動きを滑らかに表示する為、フレームレートを変換する映像処理が重要視されてきている。また、24fpsで作成されたフィルム映像や24fpsで作成された映像を2-3プルダウン方式で形成されたフィルム映像信号に変換したり、入力された映像を2-2プルダウン方式で変換したり、これらプルダウン方式に変換されたインターレース信号をプログレッシブ信号に変換して順次走査フレームを生成することが行われ、プルダウン方式に変換された映像信号の動きを滑らかに表示しながらフレームレートを表示装置のフレームレートに変換するフレームレート変換装置及びその方法が重要となってきている。また、様々なプルダウン映像信号に対応することが多くなってきており、繰り返しフレーム数が多いプルダウン信号の場合、異なるフレーム映像間の処理遅延時間は連続するフレーム映像間の処理時間よりも遅延が大きくなることが予測され、処理時間が無視できなくなると予測される。従来のフレームレート変換装置では、例えば特許文献1に記載されるように、単位時間に更新される画像の枚数を入力画像信号とは異なる枚数に変更して出力するフレームレート変換を行うとともに画像信号の遅延時間が互いに異なる複数のフレームレート変換部と、この複数のフレームレート変換部から出力される複数の画像信号のうちの1つを選択して出力する第1の選択部と、音声信号を遅延させる音声信号遅延部とを備え、前記音声信号遅延部は、前記第1の選択部において選択された画像信号を出力するフレームレート変換部における画像信号の遅延時間に応じた遅延時間で音声信号を遅延させている。
特開2005-208613号公報(図1)
 しかしながら、上記のような従来のフレームレート変換装置では、例えば60fpsの映像信号が2フレーム毎に切り換わる2:2プルダウン映像が入力され、1フレーム遅延させてフレームレート変換を行った場合、図5に示すように、入力された画像信号A、A、B、Bは第1の読み出し信号と第2の読み出し信号としてそれぞれ読み出され、4フレーム中2フレームは同一映像となる為、動きベクトルが0となり、補間フレームは生成されず、変化があるフレーム間で動きベクトルを用いた補間フレームが生成されるため、連続するフレーム間のフレーム補間では滑らかな動きとならない。そこで、2フレーム毎の繰り返しを検出する2:2プルダウン信号を検出するフィルム検出回路を追加し、2:2プルダウンを検出した場合、図6のように、第2の読み出し信号は入力画像をさらに1フレーム遅延させて読み出され、動きベクトルに応じて補間フレームが生成されていた。
 ここで、2:2プルダウン映像が入力されていることを検出して、2:2プルダウンに対応したフレームレート変換処理への切り換わりを、図7を用いて説明する。図7において(A)は2フレーム毎に変化のある映像が入力されていることを表しており、図5のフレームレート変換が行われた画像出力を図7(B)に示している。また、図6の2:2プルダウン処理されたフレームレート変換が行われた画像出力を図7(C)に示している。2:2プルダウン検出がNフレーム目で検出されて図7(B)から図7(C)へ切り換わった場合を図7(D)に、N+1フレーム目で検出されて図7(B)から図7(C)へ切り換わった場合を図7(E)に示している。2:2プルダウン信号のように繰り返し数の少ない映像ではN+1フレームで切り換わっても後戻りや進みが無く、切り換わりでフレームの遅延差はあったが、大きな問題にはならなかった。例えば、図8に示すように、入力された画像信号A、A、A、A、B、B、B、Bの場合は、第1の読み出し信号と第2の読み出し信号が読み出され、8フレーム中6フレームは同一映像となる為、動きベクトルが0となり、補間フレームは生成されず、変化があるフレーム間で動きベクトルを用いた補間フレームが生成されるため、滑らかな動きとならない。そこで、4フレーム毎の繰り返しを検出するフィルム検出回路を新たに追加し、4:4プルダウンを検出して、4:4プルダウンに対応したフレームレート変換処理への切り換わりを、図8を用いて説明する。図8において、(A)は4フレーム毎に変化のある映像が入力されていることを表しており、連続するフレームからフレームレート変換が行われた画像出力を図8(B)に示している。また、4:4プルダウン処理されたフレームレート変換が行われた画像出力を図8(C)に示している。4:4プルダウン検出がN+1フレーム目で検出されて図8(B)から図8(C)へ切り換わった場合を図8(D)に、N+2フレーム目で検出されて図8(B)から図8(C)へ切り換わった場合を図8(E)に、N+3フレーム目で検出されて図8(B)から図8(C)へ切り換わった場合を図8(F)に示している。4:4プルダウン信号のように繰り返し数が多い映像では、N+1、N+2、N+3フレーム目で切り換わった場合、映像データの後戻りが発生してしまい、切り換わりにおいて移動物体が不自然な動きとなり、移動物体の連続性が保てず、かえって後戻りが目立つという問題点があった。また、繰り返しフレーム数が多くなればなるほど、フレームレート変換における処理時間がかかるため、音声信号などとの遅延調整を行う必要があるという課題を有していた。
 また、繰り返しフレーム数が多いプルダウン信号の場合、画面全体が一様に動いている場合よりも画面の一部が動いているときは、フレームレート変換処理によって残像感が目立ったり、動きベクトルの予測にエラーが発生した時に繰り返しフレーム数が多い分、エラーが目立つという課題を有していた。
 本発明は、上記の点に鑑み、繰り返しフレーム数の多いプルダウン映像が入力された際のフレームレート変換を行う場合、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのないフレームレート変換を提供するとともに、様々な繰り返しフレーム数のプルダウン検出を提供することで、より多くの種類のプルダウン映像信号に対応することを目的とする。また当該フレームレート変換方法を用いて表示装置や映像処理装置のフレームレート変換を行うことにより、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのない映像信号処理装置を提供することを目的とする。
 また、繰り返しフレーム数が多いプルダウン信号の場合、画面全体が一様に動いているときと画面の一部が動いているときとで、フレームレート変換処理を切り換えることにより、残像感を目立たなくしたり、動きベクトルの予測にエラーが発生した時でも、エラーが目立たなくすることを目的とする。
 上記課題を解決するため、請求項1記載のフレームレート変換方法は、入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、入力された連続するフレーム映像信号からフレームレートを変換するフレームレート変換ステップと、前記フレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とM:Nに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御ステップとを具備し、フレームレート変換を行う。
 請求項2記載の発明は、前記請求項1記載のフレームレート変換方法において、前記切換制御ステップは、M:Nのプルダウン信号のフレーム位相を示す所定の位相情報を基にM:Nのプルダウン信号処理に切り換えることを特徴とする。
 請求項3記載の発明は、前記請求項1記載のフレームレート変換方法において、前記切換制御ステップは、M:Nのプルダウン信号の検出した回数を基にM:Nのプルダウン信号処理に切り換えることを特徴とする。
 請求項4記載の発明は、前記請求項1記載のフレームレート変換方法において、前記フィルム検出ステップは、フレーム差分を1フレーム期間累積する積分ステップと、1フレーム期間累積された積分値と所定の閾値とを比較する比較ステップと、前記比較ステップの出力結果を基にフレーム差分の有無を判定し、M:Nのプルダウン映像を判定するフィルム判定ステップと、前記比較ステップの出力結果とフィルム判定結果を基にM:Nのプルダウン信号の位相情報を出力する位相情報出力ステップとから構成され、M:Nのプルダウン信号を検出することを特徴とする。
 請求項5記載の発明は、前記請求項1記載のフレームレート変換方法において、前記フィルム検出ステップは、第1のフレーム差分を1フレーム期間累積する積分ステップと、第1の1フレーム期間累積された積分値と所定の閾値とを比較する第1の比較ステップと、第2のフレーム差分を1フレーム期間累積する積分ステップと、第2の1フレーム期間累積された積分値と所定の閾値とを比較する第2の比較ステップと、前記第1の比較ステップの出力結果及び前記第2の比較ステップの出力結果を基にフレーム差分の有無を判定し、M:Nのプルダウン映像を判定するフィルム判定ステップと、前記第1及び第2の比較ステップの出力結果とフィルム判定結果を基にM:Nのプルダウン信号の位相情報を出力する位相情報出力ステップとから構成され、M:Nのプルダウン信号を検出することを特徴とする。
 請求項6記載の映像処理装置は、放送波や映像機器から入力された信号を処理する入力処理手段と、前記入力処理手段の出力映像のフレームレートを変換する前記請求項1記載のフレームレート変換方法を用いたフレームレート変換手段と、フレームレート変換された映像信号を表示手段に表示する出力変換手段とを具備することを特徴とする。
 請求項7記載の映像処理装置は、放送波からデコードされた信号や記録手段から再生された信号を処理する入力変換手段と、前記入力変換手段の出力映像のフレームレートを変換する前記請求項1記載のフレームレート変換方法を用いたフレームレート変換手段と、フレームレート変換された映像信号を外部へ出力する出力処理手段とを具備することを特徴とする。
 請求項8記載の発明のフレームレート変換方法は、入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合に、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換えることを特徴とする。
 請求項9記載の発明のフレームレート変換方法は、入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、フレームレートを変換するフレームレート変換ステップにおいて、画面が一様な動きであるスクロールを検出し、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出した場合に、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換えることを特徴とする。
 請求項10記載の発明のフレームレート変換方法は、入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、M:Nのプルダウン信号と検出し、画面が一様な動きでないと検出した場合は、M:Nよりも小さい整数比のX:Yに対応した映像信号からフレームレート変換するフレームレート変換に切り換えることを特徴とする。
 本発明によれば、繰り返しフレーム数の多いプルダウン映像が入力された際のフレームレート変換を行う場合、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのないフレームレート変換を提供することができ、様々な繰り返しフレーム数のプルダウン検出を具備することで、より多くの種類のプルダウン映像信号に対応することができる。
 また、当該フレームレート変換方法を用いて表示装置や映像処理装置のフレームレート変換を行うことにより、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保し、移動物体の後戻りや進みのない映像信号処理装置を提供することができる。
 更に、繰り返しフレーム数の多いプルダウン映像が入力された際のフレームレート変換を行う場合、連続するフレーム間からプルダウン処理に対応したフレーム間に切り換わる際、切り換わり点での連続性を確保するため、プルダウンの種類に応じて、音声信号の遅延を切り換えなくても遅延差の影響を軽減することができる。
 また、繰り返しフレーム数の多いプルダウン信号の場合、画面が一様な動きであるスクロールを検出することにより、画面が一様な動きであるスクロール中の時に繰り返しフレーム数に応じたフレームレート変換を行うので、画面の一部又は小面積が動く場合のフレーム補間による残像感を軽減できたり、動きベクトルの動き予測のエラーに起因するノイズを軽減することができる。
図1は本発明の実施形態1のフレームレート変換方法のブロック図である。 図2は同実施形態のフレームレート変換方法におけるフィルム検出ステップのブロック図である。 図3は同実施形態のフレームレート変換方法におけるフィルム検出ステップのブロック図である。 図4は本発明の実施形態2の映像信号処理装置のブロック図である。 図5は従来のフレームレート変換方法において2:2プルダウン映像信号を入力した場合のビデオ処理動作を説明するタイミング図である。 図6は従来のフレームレート変換方法において2:2プルダウン映像信号を入力した場合のフィルム処理動作を説明するタイミング図である。 図7は従来のフレームレート変換方法において2:2プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。 図8は従来のフレームレート変換方法において4:4プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。 図9は本発明の実施形態1において4:4プルダウン映像信号を入力した場合のビデオ処理動作を説明するタイミング図である。 図10は本発明の実施形態1において4:4プルダウン映像信号を入力した場合のフィルム処理動作を説明するタイミング図である。 図11は本発明の実施形態1において4:4プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。 図12は本発明の実施形態1のフレームレート変換のフローチャート図である。 図13は本発明の実施形態1のフレームレート変換の第2のフローチャートである。 図14は同実施形態1のフレームレート変換の第3のフローチャートである。 図15は本発明の実施形態3のフレームレート変換のフローチャートである。
 以下、本発明の実施形態を図面に基づいて詳細に説明する。
 (実施形態1)
 図1は、本発明の実施形態1の映像信号のフレームレート変換方法に関するブロック図である。
 図1では、入力手段100から入力された映像信号S100はフレームレート変換手段101に入力され、メモリを用いた記憶手段102へ入力される。メモリ制御手段103は切換制御手段107の出力に応じて、動きベクトル検出手段104に必要なフレームデータS102A、S102Bを、補間フレーム生成手段105に必要なフレームデータS102C、S102Dを、フィルム検出手段106に必要なフレームデータS102E、S102Fを読み出す。補間フレーム生成手段(フレームレート変換手段)105にてフレームレートを変換された映像信号S105は出力手段108から出力される。
 図9は、本実施形態1において4:4プルダウン映像信号を入力した場合のビデオ処理動作を説明するタイミング図であり、図10は本実施形態1において4:4プルダウン映像信号を入力した場合のフィルム処理動作を説明するタイミング図であり、図11は本実施形態1において4:4プルダウン映像信号を入力した場合の切り換え動作を説明する補間フレーム図である。
 図1、図9、図10、図11を用いて実施形態1の動作を説明する。例えば、図9に示すように入力された映像信号S100はA、A、A、A、B、B、B、Bと4フレーム毎に変化する信号が入力されている。第1の読み出し信号S102Cと第2の読み出し信号S102Dとが記憶手段102から読み出され、第1の読み出し信号S102Cと第2の読み出し信号S102Dとのフレームデータを比較すると、8フレーム中6フレームは同一映像となる為、出力映像の6フレーム期間は動きベクトルが0となり、補間フレームは生成されず、変化がある2フレーム間で動きベクトルを用いた補間フレームが生成されるが、同一フレームが繰返されるため、出力画像の8フレームを見た場合、滑らかな動きとならず、画像がジャダーして見える。
 そこで、本実施形態では、記憶手段102から出力されたフレームデータS102EとS102Fとは、フィルム検出手段106にてフレームの繰り返し数及びM:N(MとNは整数)プルダウン映像が入力されているか否かを検出し、検出した映像方式信号S106Bを出力する。また、M:Nプルダウン映像信号を検出した場合、プルダウン映像の1周期のフレーム位相が分かるフレーム位相信号S106Aを出力する。本実施形態では一例として4:4プルダウン映像信号が入力されているため、4:4プルダウン方式であると検出し、1周期のフレーム位相信号S106Aとして0、1、2、3を繰返す信号を出力する。フィルム検出手段106で検出されたフレーム位相信号S106Aと映像方式信号S106Bより切換制御手段107にて各映像方式の処理に必要なフレームデータを読み出す為、メモリ制御手段103の切り換えを行い、動きベクトル検出手段104及び補間フレーム生成手段105へ出力するフレームデータを、検出したプルダウン信号S107Aに応じて切り換えている。
 図10は、4:4プルダウン映像信号を検出した場合のタイミング図であり、第2の読出し信号S102Dはプルダウン処理に合わせて入力画像を4フレーム遅延させて読み出される。また、切換制御手段107から動きベクトル検出手段104へ映像方式の切り換わりがあることを示す信号S107Bを出力して、動きベクトル検出手段104の切換及び設定を行い、動きベクトルS104はフレームAからフレームBへの動きを表す信号を検出する。また、切換制御手段107から補間フレーム生成手段105へ映像方式信号を示す信号S107Cを出力し、補間フレームを生成する際、動きベクトル信号S104のフレーム補間比率の切換及び補間フレーム生成手段105の設定を行っている。補間フレーム生成手段105からは、検出された映像方式に応じたフレームレート変換が行われて、出力手段108からフレームレート変換された映像信号が出力される。
 ここで、切換制御手段107の動作を図8及び図11を用いて切換タイミングについて説明する。N+1のフレームで切り換わった図8(D)、N+2のフレームで切り換わった図8(E)、N+3のフレームで切り換わった図8(F)で切り換わった場合、映像データの後戻りが発生してしまい、切り換わりにおいて移動物体が不自然な動きとなり、かえって移動物体の連続性が保てず、かえって後戻りが目立つという問題点がおきるため、N、N+1、N+2、N+3のフレームと同一映像が繰り返されて入力されている場合には、フィルム検出手段106でN+1、N+2、N+3のフレームからM:Nのプルダウン信号が入力されていると判定してもプルダウン映像の処理へ切り換えず、N+3の次のフレームはNフレームと同じ処理となるためNフレームのみで処理を切り換えている。フィルム検出手段106でフレーム位相信号S106Aを検出しているので、フレーム位相信号S106Aが所定の値となった場合に切り換えるように制御している。図11において、(A)は4フレーム毎に変化のある4:4プルダウン映像が入力されていることを表しており、連続するフレームからフレームレート変換が行われた映像出力を図11(B)に示している。また、4:4プルダウン処理されたフレームレート変換が行われた映像出力を図11(C)に示している。プルダウン信号が検出され、Nフレーム目で図11(B)から図11(C)へ切り換わった場合を図11(D)に示しており、プルダウン映像を検出してから次にフレーム位相信号が3となるまで切換処理を行わず、プルダウン映像を検出かつフレーム位相信号が所定の値となった場合にフレームレート変換のプルダウン処理を切り換えるようにしている。ここで、所定の値とは、フレーム位相信号は繰り返し数K(Kは整数)の場合、0、1、…、(K-1)と変化するので、Kの倍数毎に所定の値が発生し、連続するフレーム間でのフレームレート変換とプルダウン処理でのフレームレート変換との移動物体の時間が同じまたは近いフレームを基準した値となる。尚、変化するフレーム位相は繰り返し数K個の中の1箇所として説明したが、移動物体の後戻りの影響が少ない場合は、複数個所で切り換えても構わない。また、M:Nのプルダウン信号の場合、0、1、…、(M+N-1)と変化するので、M+Nの倍数毎に所定の値が発生し、連続するフレーム間でのフレームレート変換とプルダウン処理でのフレームレート変換との移動物体の時間が同じまたは近いフレームを基準した値となる。尚、変化するフレーム位相は繰り返し数(M+N)個の中の1箇所として説明したが、移動物体の後戻りの影響が少ない場合は、複数個所で切り換えても構わないし、M:Nのプルダウン信号ではそれぞれの繰り返し変化ごとに変化するフレーム位相を設けても構わない。また、切換制御手段107において、フレーム位相を見て切換を行っているが、プルダウン信号の検出の判定回数を設け、判定回数の閾値設定をKの倍数、(M+N)の倍数に設定することで対応することもできる。
 (フィルム検出手段の第1の構成例)
 次に、本実施形態1のフィルム検出手段106の第1の構成例を図2及び図3を用いて説明する。
 図2は、本実施形態1のフレームレート変換方法におけるフィルム検出手段106の第1の構成例を示すブロック図である。
 図2では、メモリを用いた記憶手段102から読み出されたフレーム遅延差のあるフレームデータS102E、S102Fがフレーム差分抽出手段201に入力され、フレーム差分値S201を得る。このフレーム差分値S201は積分手段202で1フレーム期間累積し、累積された積分値S202を得て、比較手段203で予め用意した閾値と比較を行い、閾値より小さい場合はフレーム間のデータが同じ、閾値より大きい場合はフレーム間のデータが異なるという結果を表すフレーム相関信号S203を出力する。このフレーム相関信号S203を基にフィルム判定手段204にてフレームの繰り返し数、M:Nのプルダウン信号が入力されているかを判定するとともに、位相抽出手段205で判定結果S204とフレーム相関信号S203とを基にフレーム位相信号S106Aを出力する。例えば4フレーム毎に変化する映像が入力されている場合、フレーム相関信号S203は相関が無い場合を0、相関がある場合を1とすると、0,1,1,1となり、繰り返し数を用意した相関パターンと比較判定することで様々なプルダウン信号や様々な繰り返し数の映像方式を検出することができる。
 (フィルム検出手段の第2の構成例)
 図3は本実施形態1のフレームレート変換方法におけるフィルム検出手段106の第2の構成例を示すブロック図である。
 図3では、メモリを用いた記憶手段102から読み出されたフレーム遅延差のある2つのフレームデータS102E、S102Fに、さらにもう一つのフレームデータS102Gを追加し、この3つのフレームデータが入力される。この3種類のフレームデータS102E、S102F、S102Gは2つずつフレーム差分抽出手段301、304に入力され、フレーム差分値S301、S304を得る。このフレーム差分値S301、S304はそれぞれ積分手段302、305で1フレーム期間累積し、累積された積分値S302、S305を得て、比較手段303、306で予め用意した閾値とそれぞれ比較を行い、閾値より小さい場合はフレーム間のデータが同じ、閾値より大きい場合はフレーム間のデータが異なるという結果を表すフレーム相関信号S303、S306を出力する。このフレーム相関信号S303、S306を基にフィルム判定手段307にてフレームの繰り返し数、M:Nのプルダウン信号が入力されているかを判定するとともに、位相抽出手段308で判定結果S307とフレーム相関信号S303、S306とを基にフレーム位相信号S106Aを出力し、繰り返し数を用意した相関パターンと比較判定することで様々なプルダウン信号や様々な繰り返し数の映像方式を検出することができる。
 尚、図2及び図3において、入力されるフレームデータをそれぞれ2種類、3種類で説明したが、限定するもではなく、4種類以上用いて処理して、様々なプルダウン信号や様々な繰り返し数の映像方式を検出しても構わない。
 図12は、本フレームレート変換のフローチャートであり、図12を用いて動作を説明する。
 入力された映像はフィルム判定にて入力された映像信号がM:Nのプルダウン映像信号か否かを判定する。プルダウン映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定を行い、連続するフレームからのフレームレート変換を行う。
 一方、プルダウン映像信号である場合、フレーム位相判定を行い、所定の位相か否かを判定する。所定の位相でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定を行い、連続するフレームからのフレームレート変換を行う。そして、フレーム位相が所定の位相であれば、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、M:Nプルダウンに対応した設定を行い、処理を切り換え、プルダウン処理に対応したフレームレート変換を行う。プルダウン処理に対応したフレーム変換中は、フレーム毎にフィルム判定を行い、同一プルダウン映像信号である場合は、プルダウン処理に対応したフレームレート変換を継続する。プルダウン映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定を行い、連続するフレームからのフレームレート変換を行う。連続するフレームからのフレームレート変換が行れている場合は、次のフレームでスタートに戻り、フローが繰り返される。
 図13は、本フレームレート変換の第2のフローチャートであり、図13を用いて動作を説明する。
 入力された映像は、M:Nプルダウン判定にて、入力された映像信号がM:Nのプルダウン映像信号か否かを判定する。M:Nのプルダウン映像でない場合は、M:Nでないと判定し、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。
 一方、M:Nのプルダウン映像信号である場合、画面全体が一様に又は同一方向に動いているスクロール映像かをスクロール検出にて判定を行う。スクロール映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。これに対し、スクロール映像である場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、M:Nプルダウンに対応した設定とし、処理を切り換えて、プルダウン処理に対応したフレームレート変換を行う。
 図14は、本フレームレート変換の第3のフローチャートであり、図14を用いて動作を説明する。
 入力された映像は、画面全体が一様に又は同一方向に動いているスクロール映像かをスクロール検出にて判定を行う。スクロール映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。一方、スクロール映像である場合は、M:Nプルダウン判定にて、入力された映像信号がM:Nのプルダウン映像信号か否かを判定し、M:Nのプルダウン映像でない場合は、M:Nでないと判定し、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行い、M:Nのプルダウン映像である場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、M:Nプルダウンに対応した設定とし、処理を切り換えて、プルダウン処理に対応したフレームレート変換を行う。
 前記フレームレート変換において、第2のフローチャートと第3のフローチャートとでは、M:Nプルダウン検出とスクロール検出との処理の順番を入れ替えたフローチャートとしているが、M:Nプルダウン検出とスクロール検出とを並列処理して、両方の判定結果を基にM:Nのプルダウン処理に対応したフレームレート変換を行っても構わない。
 (実施形態2)
 図4は、本発明の実施形態2のフレームレート変換方法を用いた映像処理装置に関するブロック図である。
 図4において、400はDVDディスクやBlu-rayディスクやハードディスク等の記録手段であり、401は放送波を録画した映像信号や記録メディアの映像信号を再生する入力処理手段であり、402は前記実施形態1記載のフレームレート変換方法であり、403は外部へのビデオ出力または表示装置へ出力する出力処理手段であり、404は液晶やプラズマディスプレイ等の表示手段である。
 記録手段400に録画または作成された映像データを処理する入力処理手段401において、M:Nのプルダウン信号を含む映像信号を生成する。このプルダウン映像信号は、例えば前記実施形態1に記載されたようにフレームレート変換方法を用いて60Hzの映像信号を120Hzの映像信号へフレームレートを変換する。このフレームレートが変換された映像信号は、出力処理手段403で外部機器と接続するため、映像の信号形式をケーブルでの接続や無線での接続ができるように処理を行う。また、表示手段404を用いて表示する場合は、表示手段404に映像が表示できるように、映像信号の他に表示の基準となるような同期信号や表示装置を制御するタイミング信号を生成処理して画面表示する。
 ここで、表示手段404は、画面表示するテレビジョンやディスプレイ等の映像処理装置では必要とするが、例えばDVD、Blu-rayやハードディスクなどの録画再生や再生等の映像処理装置では、表示手段404を除いた構成で実現でき、外部機器との接続を行う出力端子からフレームレート変換された映像信号が出力される。
 (実施形態3)
 図15は、本発明の実施形態3の映像信号のフレームレート変換方法に関するフローチャートである。
 図15では、入力された映像は、フィルム判定にて、入力された映像信号がM:Nのプルダウン映像信号か否かを判定する。プルダウン映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、連続するフレームからのフレームレート変換の設定として、連続するフレームからのフレームレート変換を行う。
 一方、プルダウン映像信号である場合、画面全体が一様に又は同一方向に動いているスクロール映像かをスクロール検出にて判定を行う。スクロール映像でない場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、X:Yプルダウンに対応した設定とし、処理を切り換えて、X:Yプルダウン処理に対応したフレームレート変換を行い、一方、スクロール映像である場合は、メモリ制御及び動きベクトル及び補間フレーム生成の設定を、M:Nプルダウンに対応した設定として、処理を切り換え、M:Nプルダウン処理に対応したフレームレート変換を行う。
 ここで、M:NとX:Yとは、M>X、N>Yの関係を有しており、一例としては、M:Nプルダウンを8:7プルダウンとした場合、X:Yプルダウンを3:2プルダウンとすることにより、繰り返しフレーム数が少ないフレームレート変換と繰り返しフレーム数が多いフレームレート変換とを、画面が一様に又は同一方向に動いているかにより切り換えている。
 以上説明したとおり、本発明に係るフレームレート変換装置及びその方法は、表示装置や映像信号処理装置やテレビ受像機などに使用されるフレームレートの変換やプルダウン映像信号のデジャダー処理を行う方法として有用である。
101 フレームレート変換手段
102 メモリを用いた記憶手段
103 メモリ制御手段
104 動きベクトル検出手段
105 補間フレーム生成手段(フレームレート変換手段)
106 フィルム検出手段
107 切換制御手段
201 フレーム差分抽出手段
202 積分手段
203 比較手段
204 フィルム判定手段
205 位相抽出手段
301、304 フレーム差分抽出手段
302、305 積分手段
303、306 比較手段
307 フィルム判定手段
308 位相抽出手段
400 記録手段
401 入力処理手段
402 フレームレート変換装置
403 出力処理手段
404 表示手段

Claims (10)

  1.  入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、
     入力された連続するフレーム映像信号からフレームレートを変換するフレームレート変換ステップと、
     前記フレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とM:Nに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御ステップとを具備する
     ことを特徴とするフレームレート変換方法。
  2.  前記請求項1記載のフレームレート変換方法において、
     前記切換制御ステップは、
     M:Nのプルダウン信号のフレーム位相を示す所定の位相情報を基にM:Nのプルダウン信号処理に切り換える
     ことを特徴とするフレームレート変換方法。
  3.  前記請求項1記載のフレームレート変換方法において、
     前記切換制御ステップは、
     M:Nのプルダウン信号の検出した回数を基にM:Nのプルダウン信号処理に切り換える
     ことを特徴とするフレームレート変換方法。
  4.  前記請求項1記載のフレームレート変換方法において、
     前記フィルム検出ステップは、
     フレーム差分を1フレーム期間累積する積分ステップと、
     1フレーム期間累積された積分値と所定の閾値とを比較する比較ステップと、
     前記比較ステップの出力結果を基にフレーム差分の有無を判定し、M:Nのプルダウン映像を判定するフィルム判定ステップと、
     前記比較ステップの出力結果とフィルム判定結果を基にM:Nのプルダウン信号の位相情報を出力する位相抽出ステップとから構成され、
     M:Nのプルダウン信号を検出する
     ことを特徴とするフレームレート変換方法。
  5.  前記請求項1記載のフレームレート変換方法において、
     前記フィルム検出ステップは、
     第1のフレーム差分を1フレーム期間累積する積分ステップと、
     第1の1フレーム期間累積された積分値と所定の閾値とを比較する第1の比較ステップと、
     第2のフレーム差分を1フレーム期間累積する積分ステップと、
     第2の1フレーム期間累積された積分値と所定の閾値とを比較する第2の比較ステップと、
     前記第1の比較ステップの出力結果及び前記第2の比較ステップの出力結果を基にフレーム差分の有無を判定し、M:Nのプルダウン映像を判定するフィルム判定ステップと、
     前記第1及び第2の比較ステップの出力結果とフィルム判定結果を基にM:Nのプルダウン信号の位相情報を出力する位相情報出力ステップとから構成され、
     M:Nのプルダウン信号を検出する
     ことを特徴とするフレームレート変換方法。
  6.  放送波や映像機器から入力された信号を処理する入力処理手段と、
     前記入力処理手段の出力映像のフレームレートを変換するフレームレート変換手段と、
     フレームレート変換された映像信号を表示手段に表示する出力変換手段とを具備し、
     前記フレームレート変換手段は、
     入力手段の出力映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出手段と、
     連続するフレーム映像信号からフレームレートを変換するフレームレート変換手段と、
     フィルム検出手段から出力された検出結果がM:Nのプルダウン信号と検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とM:Nに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御手段とを具備する
     ことを特徴とする映像処理装置。
  7.  放送波からデコードされた信号や記録手段から再生された信号を処理する入力変換手段と、
     前記入力変換手段の出力映像のフレームレートを変換するフレームレート変換手段と、
     フレームレート変換された映像信号を外部へ出力する出力処理手段とを具備し、
     前記フレームレート変換手段は、
     入力手段の出力映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出手段と、
     連続するフレーム映像信号からフレームレートを変換するフレームレート変換手段と、
     フィルム検出手段から出力された検出結果がM:Nのプルダウン信号と検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、連続するフレーム映像信号からフレームレート変換に要する時間とM:Nに対応した映像信号からフレームレート変換に要する時間差を無くすフレームで切換を制御する切換制御手段とを具備する
     ことを特徴とする映像処理装置。
  8.  入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、
     入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、
     フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合に、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換える
     ことを特徴とするフレームレート変換方法。
  9.  入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、
     入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、
     フレームレートを変換するフレームレート変換ステップにおいて、画面が一様な動きであるスクロールを検出し、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出した場合に、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換える
     ことを特徴とするフレームレート変換方法。
  10.  入力された映像信号からM:N(MとNは整数)プルダウン映像信号を検出するフィルム検出ステップと、
     入力された映像信号から画面全体の一様な動きを検出するスクロール検出ステップと、
     フレームレートを変換するフレームレート変換ステップにおいて、フィルム検出ステップから出力された検出結果がM:Nのプルダウン信号と検出し、画面が一様な動きであるスクロールを検出した場合、M:Nに対応した映像信号からフレームレートを変換するフレームレート変換に切り換え、M:Nのプルダウン信号と検出し、画面が一様な動きでないと検出した場合は、M:Nよりも小さい整数比のX:Yに対応した映像信号からフレームレート変換するフレームレート変換に切り換える
     ことを特徴とするフレームレート変換方法。
PCT/JP2012/000301 2011-04-05 2012-01-19 フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置 WO2012137394A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013508727A JPWO2012137394A1 (ja) 2011-04-05 2012-01-19 フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置
CN2012800171305A CN103477631A (zh) 2011-04-05 2012-01-19 帧频变换方法以及采用该帧频变换方法的视频处理装置
US14/042,668 US20140028909A1 (en) 2011-04-05 2013-09-30 Method for converting frame rate and video processing apparatus using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-083308 2011-04-05
JP2011083308 2011-04-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/042,668 Continuation US20140028909A1 (en) 2011-04-05 2013-09-30 Method for converting frame rate and video processing apparatus using the same

Publications (1)

Publication Number Publication Date
WO2012137394A1 true WO2012137394A1 (ja) 2012-10-11

Family

ID=46968814

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000301 WO2012137394A1 (ja) 2011-04-05 2012-01-19 フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置

Country Status (4)

Country Link
US (1) US20140028909A1 (ja)
JP (1) JPWO2012137394A1 (ja)
CN (1) CN103477631A (ja)
WO (1) WO2012137394A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518369A (zh) * 2011-04-01 2014-01-15 松下电器产业株式会社 视频信号的帧频变换装置及其方法、采用该帧频变换的视频处理装置
CN106063242B (zh) * 2014-02-27 2019-07-09 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
JP6601020B2 (ja) * 2014-08-11 2019-11-06 セイコーエプソン株式会社 撮像表示装置
CN107644440A (zh) * 2017-09-11 2018-01-30 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
TWI664852B (zh) * 2018-03-19 2019-07-01 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
CN113691862B (zh) * 2020-05-19 2023-09-01 深圳市环球数码科技有限公司 视频处理方法、用于视频播放的电子设备和视频播放系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167887A (ja) * 2003-12-05 2005-06-23 Victor Co Of Japan Ltd 動画像フォーマット変換装置及び方法
JP4119360B2 (ja) * 2002-12-20 2008-07-16 三星電子株式会社 映像フォーマットの変換装置及びその方法
JP2010028472A (ja) * 2008-07-18 2010-02-04 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法
JP2010252117A (ja) * 2009-04-16 2010-11-04 Sharp Corp フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10145779A (ja) * 1996-11-06 1998-05-29 Sony Corp フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
US7075581B1 (en) * 2003-06-03 2006-07-11 Zoran Corporation Interlaced-to-progressive scan conversion based on film source detection
KR100692597B1 (ko) * 2004-10-06 2007-03-13 삼성전자주식회사 필드 선택이 가능한 영상처리 장치 및 그 방법
JP4703267B2 (ja) * 2005-05-31 2011-06-15 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法、及び順次走査変換装置
WO2007017808A2 (en) * 2005-08-09 2007-02-15 Nxp B.V. Motion judder cancellation in image sequences
JP4655218B2 (ja) * 2005-09-16 2011-03-23 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
JP4506882B2 (ja) * 2008-06-27 2010-07-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4513913B2 (ja) * 2008-08-07 2010-07-28 ソニー株式会社 画像信号処理装置および方法
JP2010124193A (ja) * 2008-11-19 2010-06-03 Nec Electronics Corp 映像信号処理装置及び映像信号処理方法
WO2010120480A1 (en) * 2009-04-01 2010-10-21 Marvell World Trade, Ltd. Cadence detection in progressive video
TWI398159B (zh) * 2009-06-29 2013-06-01 Silicon Integrated Sys Corp 具動態控制畫質功能的幀率轉換裝置及相關方法
JP5315162B2 (ja) * 2009-08-05 2013-10-16 株式会社日立製作所 映像処理装置及び映像処理方法
GB2491772B (en) * 2010-04-02 2013-12-11 Zoran France Cadence detection for interlaced video based on temporal regularity
JP2012231303A (ja) * 2011-04-26 2012-11-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2013030862A (ja) * 2011-07-27 2013-02-07 Sony Corp 画像処理装置、画像処理方法および画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119360B2 (ja) * 2002-12-20 2008-07-16 三星電子株式会社 映像フォーマットの変換装置及びその方法
JP2005167887A (ja) * 2003-12-05 2005-06-23 Victor Co Of Japan Ltd 動画像フォーマット変換装置及び方法
JP2010028472A (ja) * 2008-07-18 2010-02-04 Victor Co Of Japan Ltd 映像信号処理装置及び映像信号処理方法
JP2010252117A (ja) * 2009-04-16 2010-11-04 Sharp Corp フレームレート変換装置、フレームレート変換方法、動画像表示装置、フレームレート変換プログラムおよび記録媒体

Also Published As

Publication number Publication date
CN103477631A (zh) 2013-12-25
JPWO2012137394A1 (ja) 2014-07-28
US20140028909A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
US8693552B2 (en) Low latency cadence detection for frame rate conversion
WO2012137394A1 (ja) フレームレート変換方法及びそのフレームレート変換方法を用いた映像処理装置
JP2002125201A (ja) インターレース−プログレッシブスキャン変換用動き適応メディアンフィルタ
JP2004350281A (ja) 映像信号のデインターレース方法およびデインターレース装置
JP4749314B2 (ja) インタレース/プログレッシブ変換方法および変換装置
JP4273112B2 (ja) ジャダーマップを利用した画像処理装置及びその方法
EP1503582A1 (en) Video signal conversion apparatus
JP4772562B2 (ja) プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
JP2007020022A (ja) 映像信号処理装置及び映像信号の処理方法
JP2013030862A (ja) 画像処理装置、画像処理方法および画像表示装置
US20140036148A1 (en) Apparatus and method for converting frame rate of video signal, and video processing apparatus using the same
JP4513873B2 (ja) 映像処理装置、及び映像処理方法
KR20040092490A (ko) 영상정보처리장치 및 영상정보처리방법
JP2007074439A (ja) 映像処理装置
JP2005333254A (ja) 画像処理装置および画像処理方法
WO2010122726A1 (ja) 映像処理装置及び映像処理方法
JP2009159321A (ja) 補間処理装置、補間処理方法及び映像表示装置
JP5123643B2 (ja) 映像処理装置
WO2012169096A1 (ja) 映像表示装置及び映像処理装置
JP2011078136A (ja) 映像ノイズ削減処理装置及び映像処理装置
JP4679372B2 (ja) 映像ノイズ削減処理装置及び映像表示装置
JP4270071B2 (ja) 映像信号設定装置
JP2009124261A5 (ja)
JP2009077034A (ja) 映像信号処理装置および映像信号処理方法
JP4845569B2 (ja) 信号処理装置及び信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12767386

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013508727

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12767386

Country of ref document: EP

Kind code of ref document: A1