WO2014115522A1 - Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter - Google Patents

Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter Download PDF

Info

Publication number
WO2014115522A1
WO2014115522A1 PCT/JP2014/000228 JP2014000228W WO2014115522A1 WO 2014115522 A1 WO2014115522 A1 WO 2014115522A1 JP 2014000228 W JP2014000228 W JP 2014000228W WO 2014115522 A1 WO2014115522 A1 WO 2014115522A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
frame rate
video data
frames
motion vector
Prior art date
Application number
PCT/JP2014/000228
Other languages
French (fr)
Japanese (ja)
Inventor
孝好 古山
武田　英俊
純幸 沖本
木村　雅之
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2014115522A1 publication Critical patent/WO2014115522A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Definitions

  • the present disclosure relates to a frame rate conversion device and a conversion method that further suppress a reduction in output video quality even when the output video frame rate is lower than the input video frame rate.
  • Patent Document 1 discloses a technique for increasing the illuminance of a frame by adding a plurality of frames when the illuminance at the time of shooting is not sufficient. Specifically, a motion vector is calculated for each region obtained by dividing the entire image of each frame, and corresponding portions of a plurality of frames are added to a region having a large motion. On the other hand, for the region with small motion, the information of the same region of the same frame is added redundantly. This increases the illuminance of the image.
  • Patent Document 2 attempts to reduce the amount of video encoding by thinning out frames using motion vectors during video encoding in order to efficiently perform video encoding.
  • the present disclosure provides a frame rate conversion apparatus and a frame rate conversion method capable of generating a video signal displayed as a more natural video when the video signal is output after converting the frame rate to a lower frame rate. .
  • the frame rate conversion device of the present disclosure is a device that converts input video data into output video data having a frame rate lower than the frame rate of the input video data.
  • the frame rate conversion apparatus divides an image area of each frame constituting input video data into a plurality of divided areas and at least two frames based on at least two frames of data constituting the input video data.
  • One of the input video data used to generate one frame of data constituting the output video data based on the vector calculation unit for calculating the motion vector for each region and the size of the motion vector calculated for each divided region
  • a frame selection unit that selects one or a plurality of frames for each divided region, and a frame selected for each divided region, for each frame constituting the output video data, for each divided region in each frame
  • the frame rate conversion method of the present disclosure is a method of converting input video data into output video data having a frame rate lower than the frame rate of the input video data.
  • the frame rate conversion method includes a step of dividing an image area of each frame constituting the input video data into a plurality of divided areas, and at least two frames constituting the input video data, and the divided areas in each of the at least two frames.
  • One or a plurality of input video data used to generate one frame of data constituting the output video data based on the step of calculating a motion vector for each segment and the magnitude of the motion vector calculated for each divided region A frame for each divided region, and a step for generating data for each divided region in each frame for each frame constituting the output video data using the frame selected for each divided region. And including.
  • the frame rate conversion apparatus or the frame rate conversion method according to the present disclosure can generate a video signal that is displayed as a more natural video when the video signal is output after converting the frame rate to a lower frame rate.
  • FIG. 1 The figure which shows the system configuration example in Embodiment 1.
  • FIG. 1 The figure for demonstrating the relationship between the frame rate of the video signal input into the frame rate conversion apparatus in Embodiment 1, and the frame rate of the video signal to output Flowchart of an example of processing of frame rate conversion apparatus in embodiment 1
  • the figure explaining the image of the input frame and the image of the output frame in the frame rate conversion apparatus in the first embodiment The figure which shows the video frame which the frame rate conversion apparatus demonstrated in Embodiment 1 outputs.
  • the figure which shows the video frame output by the conventional frame rate conversion technology decimation
  • the figure which shows the video frame output by the conventional frame rate conversion technology frame composition
  • FIG. 6 illustrates a structure of a display device to which the frame rate conversion technique described in Embodiment 1 is applied.
  • FIG. 6 illustrates a configuration of an imaging device to which the frame rate conversion technique described in Embodiment 1 is applied.
  • FIG. 1 is a diagram illustrating an example of a system configuration in the present embodiment.
  • the system includes a high-speed camera 100, a frame rate conversion device 110, and a video display device 120.
  • the high-speed camera 100 captures a subject at a higher frame rate.
  • the high speed may be a frame rate higher than the frame rate (60 fps) of the image displayed on the video display device 120.
  • the high-speed camera 100 will be described as taking a subject at 240 fps.
  • the frame rate conversion device 110 inputs a video signal captured by the high speed camera 100.
  • the frame rate conversion device 110 converts the input video signal into a video signal having a frame rate lower than the frame rate of the input video signal and outputs the video signal.
  • the video display device 120 displays the video signal output from the frame rate conversion device 110 to the viewer.
  • the frame rate at the time of display on the video display device 120 is 60 fps as an example.
  • the frame rate conversion apparatus 110 will be described below assuming that a video signal of 240 fps is input and a video signal of 60 fps is output.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the frame rate conversion device 110 described in the present embodiment.
  • the frame rate conversion apparatus 110 includes a video memory 200, a dividing unit 210, a motion vector calculating unit 220, a frame selecting unit 230, and a frame generating unit 240.
  • the functions of the dividing unit 210, the motion vector calculating unit 220, the frame selecting unit 230, and the frame generating unit 240 can be realized by a semiconductor integrated circuit such as a CPU, MPU, FPGA, or ASIC.
  • the video memory 200 is composed of a semiconductor memory such as DRAM or SRAM, and temporarily holds video data for a plurality of frames of the input video signal.
  • the video memory 200 outputs a held video frame in response to a request from the dividing unit 210, the frame generating unit 240, and the like.
  • the dividing unit 210 takes out video data of one frame from the video memory 200, and divides the video area of the frame into a plurality of areas.
  • the division method of the video area by the dividing unit 210 may be a method of dividing into areas of a predetermined size (N ⁇ M pixels (N and M are natural numbers), for example, 8 ⁇ 8 pixels).
  • the method of dividing according to the content of the video to be played may be dynamically changed.
  • the motion vector calculation unit 220 reads from the video memory 200 the video data of other frames that are temporally mixed with the frame to be processed.
  • the motion vector calculation unit 220 calculates a motion vector for each divided region divided by the dividing unit 210 using the video data of the frame to be processed and the video data of another frame read from the video memory 200. .
  • the frame selection unit 230 considers the frame rate of the output video data, and determines the number of input frames used to generate one output frame according to the motion vector for each divided region calculated by the motion vector calculation 220. Determined for each divided area. For example, the number of frames to be used is increased as the calculated motion vector is larger. On the contrary, the smaller the calculated motion vector is, the smaller the number of frames to be used is.
  • the frame generation unit 240 reads out related frames from the video memory 200 in accordance with the number of frames determined by the frame selection unit 230 for each divided region of the frame, and uses the frames specified for each divided region. Generate one output frame.
  • FIG. 3 illustrates the relationship between the frame rate of the input video to the frame rate conversion apparatus 110 and the frame rate of the output video to be output.
  • the horizontal axis indicates time
  • the vertical axis indicates a video signal.
  • the frame rate of the input video signal is 240 fps
  • the frame rate of the output video signal is 60 fps. Therefore, in FIG. 3, it can be seen that the number of frames of the input video signal is four times that of the output video signal.
  • the input video signal has a frame rate of 240 fps.
  • a moving image is displayed at 240 fps
  • the viewer can view a smoother image.
  • one frame is selected from four consecutive frames of 240 fps and the number of frames is simply reduced to 1 ⁇ 4 to generate a 60 fps image
  • 3/4 of the information amount originally possessed by 240 fps is obtained.
  • Will be deleted Since the information of the 60 fps video generated in this way is deleted, it may be seen as an unnatural video for the viewer.
  • the generated 60 fps video there is a time difference of 3 frames between one frame and the subsequent frame, and the amount of change between frames is large.
  • each frame has a smaller amount of information than an image shot at a normal 60 fps. Such a point may cause a viewer to feel an unnatural image.
  • the quality of the low frame rate video generated by improving the frame rate conversion to improve the above points is further improved.
  • FIG. 4 is an example of a flowchart showing the flow of processing executed by the frame rate conversion device 110 described in FIG.
  • the processing of the frame rate conversion apparatus 110 will be described with reference to the flowchart of FIG.
  • the nth frame is referred to as “frame n”.
  • Step S401 For the frame n of the input video signal, the dividing unit 210 divides the entire area of the image indicated by the image data of the frame n into a plurality of areas (divided areas) by a predetermined method.
  • the motion vector calculation unit 220 calculates a motion vector for each divided region of the frame n divided by the dividing unit 210. Specifically, the motion vector calculation unit 220 reads the frame n + 1, the frame n + 2, and the frame n + 3 that follow the frame n from the video memory 200 in time. The motion vector calculation unit 220 calculates a motion vector for each divided region of the frame n using the data of the frames n + 1, n + 2, and n + 3.
  • Step S403 For each divided region, the frame selection unit 230 compares the magnitude of the motion vector calculated by the motion vector calculation unit 220 with a predetermined threshold T1. The frame selection unit 230 transmits an instruction (a frame selected for each divided region) based on the comparison result to the frame generation unit 240. The frame generation unit 240 generates an output frame in accordance with an instruction from the frame selection unit 230 (a frame selected for each divided region). That is, when the magnitude of the motion vector is larger than the threshold value T1, the process of step S405 is executed. On the other hand, when the magnitude of the motion vector is equal to or less than the threshold value T1, the process of step S404 is executed.
  • Step S404 When the magnitude of the motion vector is equal to or smaller than the threshold value T1, the frame selection unit 230 selects the frame n that is the current processing target for the divided region, and displays an instruction indicating the selected frame n as a frame.
  • the data is transmitted to the generation unit 240.
  • the frame generation unit 240 uses the frame n that is the current processing target as an output frame for the area. That is, in the divided area of frame n, the contents of the corresponding area of frame n are adopted as they are.
  • Step S405 When the magnitude of the motion vector is larger than the threshold value T1, the frame selection unit 230 selects and selects the current frame n to be processed and the subsequent frames n + 1, n + 2, n + 3 for the divided region.
  • An instruction indicating the frames n to n + 3 is transmitted to the frame generation unit 240.
  • the frame generation unit 240 In accordance with an instruction (frames n to n + 3) from the frame selection unit 230, the frame generation unit 240 not only uses the current frame n to be processed but also other frames n + 1, n + 2, A new image is generated for the divided region using four frames of n + 3.
  • Step S406 When the processing in steps S402 to S405 has been completed for all the divided areas of the frame n, the frame rate conversion apparatus 110 ends the processing. If there is still an unprocessed area, the frame rate conversion apparatus 110 performs the process from step S402 on the unprocessed area.
  • FIG. 5 is a diagram showing an example of an image having a portion for combining a plurality of frames (frames n to n + 3) for each frame region and a portion using only frame n according to the flowchart of FIG.
  • FIG. 5A is a diagram illustrating an image of frame n input to the frame generation unit 240.
  • the image of frame n includes a background portion 500, a person portion 510, and a ball portion 520.
  • the background portion 500 is determined by the motion vector calculation unit 220 as having no motion.
  • the person portion 510 is determined to be relatively small (threshold value T1 or less) by the motion vector calculation unit 220 although there is a motion.
  • the ball portion 520 is determined by the motion vector calculation unit 220 to have a motion, and the magnitude of the motion is relatively large (greater than the threshold value T).
  • FIG. 5B is a diagram illustrating an output frame image generated by the frame generation unit 240.
  • the frame n is used for generating the output frame in the region other than the region 540 including the ball portion 520 shown in FIG. That is, for the region 530 including the background portion 500 and the person portion 510 in FIG. 5A, only the frame n is used for generating an output frame.
  • 5B is an area including the ball portion 520 in FIG. 5A.
  • region 540 an output frame is generated using frame n, frame n + 1, frame n + 2, and frame n + 3. Therefore, in the area 540, the images of the balls indicated by the frame n, the frame n + 1, the frame n + 2, and the frame n + 3 are superimposed and displayed.
  • one frame is generated using a plurality of frames.
  • a portion with motion is generated by synthesizing a plurality of frames, and thus is displayed redundantly.
  • This overlapped display is expressed as an “afterimage” representation of the moving part. Therefore, even a low-rate video can be viewed as a more natural video for the viewer.
  • FIG. 6A is a diagram showing an image by the frame rate conversion apparatus described above.
  • FIG. 6B and FIG. 6C are diagrams showing images when frame rate conversion is performed by a conventional method.
  • the region 600 (ball portion) with a large motion vector is generated by combining a plurality of frames of the input high frame rate video, a plurality of subjects (balls) are displayed by combining. Is done.
  • the viewer views a video having such a frame, the viewer can feel an afterimage on a plurality of subjects and feel a moving subject as a natural video.
  • FIG. 6B shows an output video generated by thinning out frames so as to convert from an input high frame rate video to a low frame rate according to a conventional method.
  • all subjects displayed in the frame have a time (for example, 1/60) longer than a shooting (generation) time (for example, 1/240 second) per frame generated when a high frame rate video is generated. Second).
  • a shooting (generation) time for example, 1/240 second
  • FIG. 6C shows an output video generated by synthesizing a plurality of frames of the input video over the entire frame of the output video according to the conventional method.
  • a portion with motion but also a portion with small motion or a portion without motion is synthesized from a plurality of input video frames.
  • the generated subject may be affected by an error generated between the plurality of frames, and the contour may be unclear. Therefore, the sharpness of the outline of the entire video after frame rate conversion may be lowered.
  • FIG. 7 is a diagram showing the relationship between the magnitude of the motion vector and the number of frames used to create the output frame.
  • the frame selection unit 230 determines the number of frames used for generating the output frame based on the relationship shown in FIG.
  • the horizontal axis indicates the magnitude of the motion vector calculated by the motion vector calculation unit 220
  • the vertical axis indicates the number of frames used when generating the frame.
  • the frame selection unit 230 selects only one input frame when the magnitude of the motion vector is equal to or less than the threshold T1. On the other hand, when the magnitude of the motion vector is larger than the predetermined threshold T1, the frame selection unit 230 selects M input frames for the divided region for which the motion vector is calculated. In accordance with an instruction from the frame selection unit 230, the frame generation unit 240 generates an output frame by synthesizing M input frames with respect to the divided region for which the motion vector is calculated.
  • FIG. 8 is a diagram showing the contents of control different from the example of FIG. FIG. 8 shows the relationship between the magnitude of the motion vector and the number of frames used to create the output frame, which is different from FIG.
  • M types of threshold values are set as T1, T2,... TM (T1 ⁇ T2 ⁇ ... ⁇ TM).
  • the frame selection unit 230 selects one input frame when the magnitude of the motion vector is T1 or less. When the magnitude of the motion vector is greater than T1 and less than or equal to T2, the frame selection unit 230 selects two input frames. Furthermore, when the magnitude of the motion vector is greater than T2 and less than or equal to T3, the frame selection unit 230 selects three input frames.
  • the number of input frames used to generate an output frame may be changed stepwise according to the magnitude of the motion vector. In this case, it is general that the number of input frames to be used increases as the size of the motion vector increases.
  • FIG. 9 is a diagram illustrating the composition rate (blend rate) of each input frame when the frame generation unit 240 generates an output frame using one or more frames in accordance with an instruction from the frame selection unit 230. is there.
  • the horizontal axis indicates the space position in the frame
  • the vertical axis indicates the weight (blend rate) of the input frame in the frame synthesis process.
  • the frame generation unit 240 When generating an output frame using one or a plurality of frames according to the input frame weight (blend rate) shown in FIG. 9, the frame generation unit 240 operates as follows.
  • X0 is the position of a pixel at the boundary between an input frame region that generates an output frame using only one frame and an input frame region that generates an output frame using multiple frames. Show.
  • the frame generation unit 240 generates an output frame using only one input frame (frame n) when the intra-frame space position is X0 or less.
  • the frame generation unit 240 combines a plurality of frames (four frames n to n + 3 in the example of FIG. 9) selected by the frame selection unit 230. Generate an output frame.
  • the frame generation unit 240 sets the weight (blend rate) of each frame to a ratio as shown in the example of FIG. 9 and generates an output frame. In the example of FIG. 9, it means that frames n to n + 3 are combined with equal weight (that is, a blend rate of 25%).
  • FIG. 10 shows another example of blend rate control.
  • FIG. 10 shows an example for smoothing the change in the blend ratio near the boundary between the divided area where the output frame is generated using only one frame and the divided area where the output frame is generated using a plurality of frames. Show. In the example of FIG. 10, the blend rate is changed according to the space position in the frame.
  • the frame blend ratio is the position of the space position in the frame in the vicinity of the input frame region where the output frame is generated using only one frame and the input frame region where the output frame is generated using a plurality of frames. It changes smoothly with changes. Therefore, the viewer can view the frame rate converted video as a more natural video.
  • the dividing unit 210 divides the image area of the video frame constituting the input video into a plurality of areas.
  • the motion vector calculation unit 220 calculates a motion vector in the region using the frame and the frame and the temporally previous and / or subsequent frame.
  • the frame selection unit 230 selects the number of frames of the input video that the frame generation unit 240 uses when generating a frame.
  • the magnitude of the motion vector may be compared with a predetermined reference value, and the number of frames used for generating the output frame may be selected based on the comparison result. Alternatively, the number of frames to be used may be changed substantially in proportion to the magnitude of the motion vector.
  • the frame generation unit 240 generates an output frame using the frame selected by the frame selection unit 230. At that time, the frame generation unit 240 generates a video having a frame rate lower than the frame rate of the input video. When generating an output frame using the frame selected by the frame selection unit 230, the frame generation unit 240 may change the blend ratio of frames according to a predetermined condition. One output frame is generated by performing the above processing on all the divided regions in the image.
  • the frame rate conversion device 110 of the present disclosure is a device that converts input video data into output video data having a frame rate lower than the frame rate of the input video data.
  • the frame rate conversion device 110 divides the image area of each frame constituting the input video data into a plurality of divided areas and at least two frames based on at least two frames of data constituting the input video data.
  • a motion vector calculation unit 220 that calculates a motion vector for each divided region and an input used to generate one frame of data constituting the output video data based on the magnitude of the motion vector calculated for each divided region.
  • a frame selection unit 230 that selects one or a plurality of frames of video data for each divided region, and a frame selected for each divided region, for each frame constituting the output video data,
  • a frame generation unit 240 that generates data for each of the divided regions.
  • the generated output video has a lower frame rate than the input video.
  • the frame rate conversion apparatus 110 since a portion having a motion in the video generates an output frame using a plurality of frames of the input video, a lack of information due to a reduction in the frame rate is suppressed. It becomes possible.
  • the amount of information lost by lowering the frame rate is small, so there is no sense of incongruity even if the frame rate of the output frame is reduced. Even if the frame rate conversion apparatus 110 converts the frame rate from the high frame rate to the low frame rate, the output video can be made more natural.
  • FIG. 11 is a diagram illustrating a configuration of a display device to which the frame rate conversion technique disclosed in the first embodiment is applied.
  • the display device 300 includes an input interface (IF) 310 that inputs a video signal from an external device, a signal processing unit 320 that performs predetermined signal processing on the input video signal, and a frame rate conversion unit that performs frame rate conversion processing. 330 and a display unit 340 for displaying an image.
  • IF input interface
  • the frame rate conversion unit 330 is composed of, for example, a semiconductor integrated circuit, and its functional configuration is the same as the configuration shown in FIG.
  • the frame rate conversion device 330 converts the frame rate of the video signal that has been subjected to signal processing by the signal processing unit 320.
  • the display unit 340 includes a liquid crystal panel or an organic EL display, for example.
  • the display unit 340 receives the video signal output from the frame rate conversion unit 330 and displays the video on the liquid crystal panel.
  • the display device 300 having the above configuration causes the frame rate conversion unit 330 to convert the input video signal to a lower frame rate, and then causes the display unit 340 to display the video.
  • FIG. 12 is a diagram illustrating a configuration of an example of an imaging device (in this example, a digital camera) to which the frame rate conversion technique disclosed in the first embodiment is applied.
  • the digital camera 400 includes an optical system 410, an image sensor 420, an image processing unit 430, a frame rate conversion unit 440, a display unit 450, and an output interface 470.
  • Light incident through the optical system 410 forms an image on the image sensor 420.
  • the image sensor 420 is a device that converts an incident optical signal into an electrical signal (image signal), and is, for example, a CCD or a CMOS image sensor.
  • the image processing unit 430 performs image processing such as AD conversion, gamma correction, and white balance correction on the image signal input from the image sensor 420.
  • the frame rate conversion unit 440 is configured by, for example, a semiconductor integrated circuit, and the functional configuration is the same as the configuration illustrated in FIG.
  • the display unit 450 includes, for example, a liquid crystal display or an organic EL display.
  • the recording medium 460 is an information recording medium such as a removable memory card, a built-in hard disk, or a built-in semiconductor storage device, and stores photographed image data (still image data, moving image data).
  • the output interface 470 is an interface for outputting data from the digital camera 400 to an external device.
  • the output interface 470 performs communication based on a communication standard such as USB, HDMI, IEEE 1394, or the like.
  • the digital camera 400 can record the image data picked up by the image sensor 420 on the recording medium 460 and read out the image data (still image, moving image) from the recording medium 460 and display (reproduce) it on the display unit 450. Can do. In particular, when reproducing moving image data from the recording medium 460, the digital camera 400 converts the frame rate of the moving image data to a lower frame rate by the frame rate conversion unit 440, and converts the converted moving image data with a lower frame rate to It can be displayed on the display unit 450 or output to an external device via the output interface 470.
  • the digital camera 400 captures an image at a high frame rate (for example, 240 fps), and records the captured image data on the recording medium 460 by converting the captured image data to a low frame rate by the frame rate conversion unit 440. It may be.
  • a high frame rate for example, 240 fps
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the motion vector calculation unit 220 calculates a motion vector using a frame n that is a target for calculating a motion vector, and three frames n + 1, n + 2, and n + 3 following the motion vector.
  • the vector calculation method is not limited to this.
  • a frame n-1, a frame n-2,... That appears temporally before the frame n may be used.
  • both frames that appear earlier in time and frames that appear later in time may be used.
  • the motion vector calculation unit 220 calculates motion vectors using a total of four frames n to n + 3, but the number of frames used for motion vector calculation is as follows: If it is 2 or more, it is not limited to 4. This is because a motion vector can be obtained by using two or more frames.
  • various combinations of frames can be considered for obtaining motion vectors.
  • the motion vector may be calculated using the frame n and the frame n + 3, or the motion vector may be calculated using the frame n and the frame n + 1.
  • Various combinations are conceivable.
  • the frame selection unit 230 has a different processing flow based on the magnitude of the motion vector, but the present disclosure is not limited to this. Not only the magnitude of the motion vector but also the direction of motion may be considered. That is, the frame selection unit 230 may use any index as long as it determines the number of input frames used to generate subsequent output frames using the motion vector.
  • the procedure of the flowchart shown in FIG. 4 can be realized by executing a program that discloses a frame rate conversion method.
  • the above-described frame rate conversion method is realized in a hardware device that executes the processing flow described in the flowchart shown in FIG. 4 on a CPU and includes a video memory 200 and a memory for realizing the processing flow. Is possible.
  • the configuration and operation of the frame rate conversion device 110 described in the above embodiment can also be applied to an imaging device such as a digital camera, a display device such as a television, and an information processing device such as a personal computer.
  • the frame rate conversion device 110 can also be realized by a single semiconductor integrated circuit.
  • the technology of the present disclosure is useful for a video processing device that performs video frame rate conversion, a video playback device, and various electronic devices (such as an imaging device and a display device) that perform video frame rate conversion.

Abstract

The frame rate converter converts input video data into output video data havin g a frame rate lower than the frame rate of the input video data. The frame rate converter is provided with: a dividing unit for dividing an image region of each frame constituting the input video data into a plurality of divided regions; a vector calculation unit for calculating, on the basis of data for at least two frames constituting the input video data, a motion vector for each divided re gion in each of at least two frames; a frame selection unit for selecting for each divided region, on the basis of the size of the motion vector calculated for each divided region, one or a plurality of frames of the input video data used to generate data for one frame constituting the output video data; and a frame generation unit for generating, using the frame selected for each divided region, data for each divided region in each frame constituting the output video data.

Description

フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置Frame rate conversion apparatus, frame rate conversion method, and display apparatus and imaging apparatus provided with frame rate conversion apparatus
　本開示は、出力時の映像フレームレートが入力時の映像フレームレートより低い場合でも、出力される映像品質の低減をより抑制するフレームレート変換装置、及び変換方法に関する。 The present disclosure relates to a frame rate conversion device and a conversion method that further suppress a reduction in output video quality even when the output video frame rate is lower than the input video frame rate.
　従来からフレームレートの変換は様々に検討されている。代表的なものとして、例えば映画とＴＶとでのフレームレートの互換性を保つための技術として、２４ｆｐｓと３０ｆｐｓとの間で変換する技術等がある。 Conventionally, various frame rate conversions have been studied. As a representative technique, for example, a technique for converting between 24 fps and 30 fps is available as a technique for maintaining the compatibility of the frame rate between a movie and a TV.
　特許文献１は、撮影時の照度等が十分ない場合に、複数のフレームを加算することで、フレームの照度を上げる技術を開示している。具体的には、各フレームの画像全体を分割した領域毎に動きベクトルを算出し、動きの大きい領域については複数のフレームの対応部分を加算する。反対に動きの小さい領域については、同じフレームの同一領域の情報を重複して加算する。こうすることで映像の照度をあげている。 Patent Document 1 discloses a technique for increasing the illuminance of a frame by adding a plurality of frames when the illuminance at the time of shooting is not sufficient. Specifically, a motion vector is calculated for each region obtained by dividing the entire image of each frame, and corresponding portions of a plurality of frames are added to a region having a large motion. On the other hand, for the region with small motion, the information of the same region of the same frame is added redundantly. This increases the illuminance of the image.
　特許文献２は、映像の符号化を効率的に行うために、映像符号化時に、動きベクトルを用いてフレームを間引くことで、映像符号化の符号化量の低減を図っている。 Patent Document 2 attempts to reduce the amount of video encoding by thinning out frames using motion vectors during video encoding in order to efficiently perform video encoding.
特開２００６－３１０７８４号公報JP 2006-310784 A 特開２００７－２９５１４２号公報JP 2007-295142 A
　入力される映像信号のフレームレートを単純に間引くだけでは、出力される映像信号が表示する映像が滑らかに表示されない場合がある。これは、フレームが単純に間引かれることで、フレーム間の相違が大きくなる可能性があるため、視聴者には不自然な映像と感じされるためである。 * Simply decimation of the frame rate of the input video signal may result in the video displayed by the output video signal not being displayed smoothly. This is because the frame is simply thinned out, so that the difference between the frames may become large, so that the viewer feels an unnatural image.
　本開示は、映像信号をそのフレームレートをより低いフレームレートに変換して出力する場合に、より自然な映像として表示される映像信号を生成できるフレームレート変換装置、およびフレームレート変換方法を提供する。 The present disclosure provides a frame rate conversion apparatus and a frame rate conversion method capable of generating a video signal displayed as a more natural video when the video signal is output after converting the frame rate to a lower frame rate. .
　本開示のフレームレート変換装置は、入力映像データを、前記入力映像データのフレームレートよりも低いフレームレートを有する出力映像データへ変換する装置である。フレームレート変換装置は、入力映像データを構成する各フレームの画像の領域を複数の分割領域に分割する分割部と、入力映像データを構成する少なくとも２フレームのデータに基づき、少なくとも２フレームそれぞれにおいて分割領域毎に動きベクトルを算出するベクトル算出部と、分割領域毎に算出された動きベクトルの大きさに基づいて、出力映像データを構成する１フレームのデータを生成するために用いる入力映像データの一つ又は複数のフレームを、分割領域毎に選択するフレーム選択部と、分割領域毎に選択されたフレームを用いて、前記出力映像データを構成する各フレームに対して、各フレーム内の分割領域毎のデータを生成するフレーム生成部と、を備える。 The frame rate conversion device of the present disclosure is a device that converts input video data into output video data having a frame rate lower than the frame rate of the input video data. The frame rate conversion apparatus divides an image area of each frame constituting input video data into a plurality of divided areas and at least two frames based on at least two frames of data constituting the input video data. One of the input video data used to generate one frame of data constituting the output video data based on the vector calculation unit for calculating the motion vector for each region and the size of the motion vector calculated for each divided region A frame selection unit that selects one or a plurality of frames for each divided region, and a frame selected for each divided region, for each frame constituting the output video data, for each divided region in each frame A frame generation unit for generating the data.
　本開示のフレームレート変換方法は、入力映像データを、入力映像データのフレームレートよりも低いフレームレートを有する出力映像データへ変換する方法である。フレームレート変換方法は、入力映像データを構成する各フレームの画像の領域を複数の分割領域に分割するステップと、入力映像データを構成する少なくとも２フレームに基づき、前記少なくとも２つのフレームそれぞれにおいて分割領域毎に動きベクトルを算出するステップと、分割領域毎に算出された動きベクトルの大きさに基づいて、出力映像データを構成する１フレームのデータを生成するために用いる入力映像データの一つ又は複数のフレームを、分割領域毎に選択するステップと、分割領域毎に選択されたフレームを用いて、出力映像データを構成する各フレームに対して、各フレーム内の分割領域毎のデータを生成するステップと、を含む。 The frame rate conversion method of the present disclosure is a method of converting input video data into output video data having a frame rate lower than the frame rate of the input video data. The frame rate conversion method includes a step of dividing an image area of each frame constituting the input video data into a plurality of divided areas, and at least two frames constituting the input video data, and the divided areas in each of the at least two frames. One or a plurality of input video data used to generate one frame of data constituting the output video data based on the step of calculating a motion vector for each segment and the magnitude of the motion vector calculated for each divided region A frame for each divided region, and a step for generating data for each divided region in each frame for each frame constituting the output video data using the frame selected for each divided region. And including.
　本開示におけるフレームレート変換装置またはフレームレート変換方法は、映像信号をそのフレームレートをより低いフレームレートに変換して出力する場合に、より自然な映像として表示される映像信号を生成することを可能とする。 The frame rate conversion apparatus or the frame rate conversion method according to the present disclosure can generate a video signal that is displayed as a more natural video when the video signal is output after converting the frame rate to a lower frame rate. And
実施の形態１におけるシステム構成例を示す図The figure which shows the system configuration example in Embodiment 1. 実施の形態１におけるフレームレート変換装置の構成例を示す図The figure which shows the structural example of the frame rate conversion apparatus in Embodiment 1. FIG. 実施の形態１におけるフレームレート変換装置へ入力する映像信号のフレームレートと、出力する映像信号のフレームレートと、の関係を説明するための図The figure for demonstrating the relationship between the frame rate of the video signal input into the frame rate conversion apparatus in Embodiment 1, and the frame rate of the video signal to output 実施の形態１におけるフレームレート変換装置の処理の一例のフローチャートFlowchart of an example of processing of frame rate conversion apparatus in embodiment 1 実施の形態１におけるフレームレート変換装置における、入力フレームの画像と、出力フレームの画像とを説明した図The figure explaining the image of the input frame and the image of the output frame in the frame rate conversion apparatus in the first embodiment 実施の形態１で説明するフレームレート変換装置が出力する映像フレームを示す図The figure which shows the video frame which the frame rate conversion apparatus demonstrated in Embodiment 1 outputs. 従来のフレームレート変換技術（間引き）により出力される映像フレームを示す図The figure which shows the video frame output by the conventional frame rate conversion technology (decimation) 従来のフレームレート変換技術（フレーム合成）により出力される映像フレームを示す図The figure which shows the video frame output by the conventional frame rate conversion technology (frame composition) 実施の形態１のフレームレート変換装置によるフレーム合成時における、動きベクトルと合成フレーム数との関係の一例を示す図The figure which shows an example of the relationship between a motion vector and the number of synthetic | combination frames at the time of the frame synthesis | combination by the frame rate conversion apparatus of Embodiment 1. 本実施の形態１のフレームレート変換装置によるフレーム合成時における、動きベクトルと合成フレーム数との関係の別の例を示す図The figure which shows another example of the relationship between a motion vector and the number of synthetic | combination frames at the time of the frame synthesis | combination by the frame rate conversion apparatus of this Embodiment 1. 本実施の形態１のフレームレート変換装置によるフレーム合成時における、フレームの重み（ブレンド率）の変更制御を説明した図The figure explaining the change control of the weight (blend rate) of the frame at the time of frame composition by the frame rate conversion apparatus of the first embodiment 本実施の形態１のフレームレート変換装置によるフレーム合成時における、フレームの空間位置に応じて変化するフレームの重み（ブレンド率）の変更制御の別の例を説明した図The figure explaining another example of the change control of the weight (blend rate) of the frame which changes according to the spatial position of the frame at the time of frame composition by the frame rate conversion apparatus of the first embodiment. 実施の形態１で示したフレームレート変換技術を適用した表示装置の構成を示す図FIG. 6 illustrates a structure of a display device to which the frame rate conversion technique described in Embodiment 1 is applied. 実施の形態１で示したフレームレート変換技術を適用した撮像装置の構成を示す図FIG. 6 illustrates a configuration of an imaging device to which the frame rate conversion technique described in Embodiment 1 is applied.
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 The inventor (s) provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is intended to limit the subject matter described in the claims. Not what you want.
　（実施の形態１）
１．システム構成
　図１は、本実施形態におけるシステム構成の一例を示す図である。システムは、高速撮影カメラ１００と、フレームレート変換装置１１０と、映像表示装置１２０と、を備えている。 (Embodiment 1)
1. System Configuration FIG. 1 is a diagram illustrating an example of a system configuration in the present embodiment. The system includes a high-speed camera 100, a frame rate conversion device 110, and a video display device 120.
　高速カメラ１００は、被写体をより高速なフレームレートで撮影する。ここで高速とは、映像表示装置１２０が表示する画像のフレームレート（６０ｆｐｓ）よりも高いフレームレートであれば良い。本実施の形態では、例として高速カメラ１００は２４０ｆｐｓで被写体を撮影するものとして説明する。 The high-speed camera 100 captures a subject at a higher frame rate. Here, the high speed may be a frame rate higher than the frame rate (60 fps) of the image displayed on the video display device 120. In the present embodiment, as an example, the high-speed camera 100 will be described as taking a subject at 240 fps.
　フレームレート変換装置１１０は、高速カメラ１００が撮影した映像信号を入力する。フレームレート変換装置１１０は、入力された映像信号を、入力された映像信号のフレームレートよりも低いフレームレートの映像信号に変換して出力する。 The frame rate conversion device 110 inputs a video signal captured by the high speed camera 100. The frame rate conversion device 110 converts the input video signal into a video signal having a frame rate lower than the frame rate of the input video signal and outputs the video signal.
　映像表示装置１２０は、フレームレート変換装置１１０が出力した映像信号を視聴者に表示する。本実施の形態では、映像表示装置１２０の表示の際のフレームレートは例として６０ｆｐｓとする。 The video display device 120 displays the video signal output from the frame rate conversion device 110 to the viewer. In the present embodiment, the frame rate at the time of display on the video display device 120 is 60 fps as an example.
　本実施の形態では、上記の通り、フレームレート変換装置１１０は、２４０ｆｐｓの映像信号を入力し、６０ｆｐｓの映像信号を出力するとして以下説明を行う。 In the present embodiment, as described above, the frame rate conversion apparatus 110 will be described below assuming that a video signal of 240 fps is input and a video signal of 60 fps is output.
　１．１　フレームレート変換装置の構成
　図２は、本実施形態で説明するフレームレート変換装置１１０の機能構成例を示すブロック図である。フレームレート変換装置１１０は、映像メモリ２００と、分割部２１０と、動きベクトル算出部２２０と、フレーム選択部２３０と、フレーム生成部２４０と、を備えている。分割部２１０と、動きベクトル算出部２２０と、フレーム選択部２３０と、フレーム生成部２４０との機能は、ＣＰＵ，ＭＰＵ，ＦＰＧＡ、ＡＳＩＣ等の半導体集積回路で実現できる。 1.1 Configuration of Frame Rate Conversion Device FIG. 2 is a block diagram illustrating a functional configuration example of the frame rate conversion device 110 described in the present embodiment. The frame rate conversion apparatus 110 includes a video memory 200, a dividing unit 210, a motion vector calculating unit 220, a frame selecting unit 230, and a frame generating unit 240. The functions of the dividing unit 210, the motion vector calculating unit 220, the frame selecting unit 230, and the frame generating unit 240 can be realized by a semiconductor integrated circuit such as a CPU, MPU, FPGA, or ASIC.
　映像メモリ２００は、ＤＲＡＭまたはＳＲＡＭのような半導体メモリで構成され、入力される映像信号の複数フレーム分の映像データを一時的に保持する。映像メモリ２００は、分割部２１０やフレーム生成部２４０等からの要求により、保持している映像フレームを出力する。 The video memory 200 is composed of a semiconductor memory such as DRAM or SRAM, and temporarily holds video data for a plurality of frames of the input video signal. The video memory 200 outputs a held video frame in response to a request from the dividing unit 210, the frame generating unit 240, and the like.
　分割部２１０は、映像メモリ２００から一つのフレームの映像データを取り出し、当該フレームの映像の領域を複数の領域に分割する。分割部２１０による映像領域の分割方法は、あらかじめ定められたサイズ（Ｎ×Ｍ画素（Ｎ、Ｍとも自然数）、例えば、８×８画素）の領域に分割するものであっても良いし、入力される映像の内容に応じて分割する方法を動的に変化させても良い。 The dividing unit 210 takes out video data of one frame from the video memory 200, and divides the video area of the frame into a plurality of areas. The division method of the video area by the dividing unit 210 may be a method of dividing into areas of a predetermined size (N × M pixels (N and M are natural numbers), for example, 8 × 8 pixels). The method of dividing according to the content of the video to be played may be dynamically changed.
　動きベクトル算出部２２０は、処理対象とするフレームと時間的に前後する他のフレームの映像データを映像メモリ２００から読み出す。動きベクトル算出部２２０は、処理対象とするフレームの映像データと、映像メモリ２００から読み出した他のフレームの映像データとを用いて、分割部２１０が分割したそれぞれの分割領域について動きベクトルを算出する。 The motion vector calculation unit 220 reads from the video memory 200 the video data of other frames that are temporally mixed with the frame to be processed. The motion vector calculation unit 220 calculates a motion vector for each divided region divided by the dividing unit 210 using the video data of the frame to be processed and the video data of another frame read from the video memory 200. .
　フレーム選択部２３０は、出力映像データのフレームレートを考慮し、動きベクトル算出２２０が算出した分割領域毎の動きベクトルに応じて、一つの出力フレームを生成するのに用いる入力フレームの数をそれぞれの分割領域毎に決定する。例えば、算出された動きベクトルの大きさが大きいほど、使用するフレームの数を増やす。反対に、算出された動きベクトルの大きさが小さいほど、使用するフレームの数を減らす。 The frame selection unit 230 considers the frame rate of the output video data, and determines the number of input frames used to generate one output frame according to the motion vector for each divided region calculated by the motion vector calculation 220. Determined for each divided area. For example, the number of frames to be used is increased as the calculated motion vector is larger. On the contrary, the smaller the calculated motion vector is, the smaller the number of frames to be used is.
　フレーム生成部２４０は、フレームの分割領域毎に、フレーム選択部２３０が決定したフレーム数に応じて、映像メモリ２００から関連するフレームを読み出し、分割領域毎に指定されたフレームを利用して、一つの出力フレームを生成する。 The frame generation unit 240 reads out related frames from the video memory 200 in accordance with the number of frames determined by the frame selection unit 230 for each divided region of the frame, and uses the frames specified for each divided region. Generate one output frame.
　図３は、フレームレート変換装置１１０への入力映像のフレームレートと、出力される出力映像のフレームレートと、の関係を図示したものである。図３では、横軸は時間を、縦軸は映像信号を示している。 FIG. 3 illustrates the relationship between the frame rate of the input video to the frame rate conversion apparatus 110 and the frame rate of the output video to be output. In FIG. 3, the horizontal axis indicates time, and the vertical axis indicates a video signal.
　本実施の形態では、一例として、入力映像信号のフレームレートを２４０ｆｐｓ、出力映像信号のフレームレートを６０ｆｐｓとしている。そのため、図３では、入力映像信号のフレーム数が、出力映像信号のフレーム数と比べると４倍のフレーム数があることがわかる。 In this embodiment, as an example, the frame rate of the input video signal is 240 fps, and the frame rate of the output video signal is 60 fps. Therefore, in FIG. 3, it can be seen that the number of frames of the input video signal is four times that of the output video signal.
　入力映像信号は２４０ｆｐｓのフレームレートを有している。特に動きのある映像を２４０ｆｐｓで表示すると、より滑らかな映像を視聴者は視聴することが可能となる。２４０ｆｐｓの映像の連続する４フレームのうちの１フレームを選択することにより単純にフレーム数を１／４に間引いて、６０ｆｐｓの映像を生成すると、本来２４０ｆｐｓが有していた情報量の３／４が削除されることとなる。このように生成される６０ｆｐｓの映像は情報が削除されることから、視聴者にとって不自然な映像と見える場合がある。生成された６０ｆｐｓの映像においては、一つのフレームとその後に続くフレームとでは３フレーム分の時間差があり、フレーム間の変化量が大きくなる。一方、個々のフレームは、通常の６０ｆｐｓで撮影された映像よりも少ない情報量しか有していない。このような点が視聴者に不自然な映像と感じさせる要因となる可能性がある。 The input video signal has a frame rate of 240 fps. In particular, when a moving image is displayed at 240 fps, the viewer can view a smoother image. When one frame is selected from four consecutive frames of 240 fps and the number of frames is simply reduced to ¼ to generate a 60 fps image, 3/4 of the information amount originally possessed by 240 fps is obtained. Will be deleted. Since the information of the 60 fps video generated in this way is deleted, it may be seen as an unnatural video for the viewer. In the generated 60 fps video, there is a time difference of 3 frames between one frame and the subsequent frame, and the amount of change between frames is large. On the other hand, each frame has a smaller amount of information than an image shot at a normal 60 fps. Such a point may cause a viewer to feel an unnatural image.
　本実施の形態では、上記のような点を改善すべくフレームレート変換時に工夫を加えることで生成される低フレームレートの映像の品質をより向上させている。 In this embodiment, the quality of the low frame rate video generated by improving the frame rate conversion to improve the above points is further improved.
２．フレームレート変換装置の動作
　図４は、図２で説明したフレームレート変換装置１１０により実行される処理の流れを示すフローチャートの例である。以下、図４のフローチャートを参照して、フレームレート変換装置１１０の処理を説明する。以下では、ｎ番目のフレームを「フレームｎ」と表記する。 2. Operation of Frame Rate Conversion Device FIG. 4 is an example of a flowchart showing the flow of processing executed by the frame rate conversion device 110 described in FIG. Hereinafter, the processing of the frame rate conversion apparatus 110 will be described with reference to the flowchart of FIG. Hereinafter, the nth frame is referred to as “frame n”.
　（ステップＳ４０１）分割部２１０は、入力した映像信号のフレームｎについて、所定の方法によりフレームｎの画像データが示す画像の全体領域を複数の領域（分割領域）に分割する。 (Step S401) For the frame n of the input video signal, the dividing unit 210 divides the entire area of the image indicated by the image data of the frame n into a plurality of areas (divided areas) by a predetermined method.
　（ステップＳ４０２）動きベクトル算出部２２０は、分割部２１０により分割されたフレームｎの各分割領域について動きベクトルを算出する。具体的には動きベクトル算出部２２０は、映像メモリ２００から、フレームｎに時間的に続くフレームｎ＋１と、フレームｎ＋２と、フレームｎ＋３とを読み出す。動きベクトル算出部２２０は、これらのフレームｎ＋１、ｎ＋２、ｎ＋３のデータを利用して、フレームｎの分割領域毎の動きベクトルを算出する。 (Step S402) The motion vector calculation unit 220 calculates a motion vector for each divided region of the frame n divided by the dividing unit 210. Specifically, the motion vector calculation unit 220 reads the frame n + 1, the frame n + 2, and the frame n + 3 that follow the frame n from the video memory 200 in time. The motion vector calculation unit 220 calculates a motion vector for each divided region of the frame n using the data of the frames n + 1, n + 2, and n + 3.
　（ステップＳ４０３）フレーム選択部２３０は、分割領域毎に、動きベクトル算出部２２０が算出した動きベクトルの大きさを所定の閾値Ｔ１と比較する。フレーム選択部２３０は、その比較結果に基づいた指示（分割領域毎に選択されたフレーム）をフレーム生成部２４０に送信する。フレーム生成部２４０は、フレーム選択部２３０からの指示（分割領域毎に選択されたフレーム）にしたがい出力フレームを生成する。すなわち、動きベクトルの大きさが閾値Ｔ１より大きい場合、ステップＳ４０５の処理が実行される。反対に、動きベクトルの大きさが閾値Ｔ１以下の場合には、ステップＳ４０４の処理が実行される。 (Step S403) For each divided region, the frame selection unit 230 compares the magnitude of the motion vector calculated by the motion vector calculation unit 220 with a predetermined threshold T1. The frame selection unit 230 transmits an instruction (a frame selected for each divided region) based on the comparison result to the frame generation unit 240. The frame generation unit 240 generates an output frame in accordance with an instruction from the frame selection unit 230 (a frame selected for each divided region). That is, when the magnitude of the motion vector is larger than the threshold value T1, the process of step S405 is executed. On the other hand, when the magnitude of the motion vector is equal to or less than the threshold value T1, the process of step S404 is executed.
　（ステップＳ４０４）動きベクトルの大きさが閾値Ｔ１以下である場合、フレーム選択部２３０は、その分割領域について、現在の処理対象であるフレームｎを選択し、選択されたフレームｎを示す指示をフレーム生成部２４０に送信する。フレーム生成部２４０は、フレーム選択部２３０からの指示（フレームｎ）にしたがい、現在の処理対象であるフレームｎを、当該領域についてはそのまま出力フレームとして用いる。つまり、フレームｎの当該分割領域では、フレームｎの該当領域の内容がそのまま採用される。 (Step S404) When the magnitude of the motion vector is equal to or smaller than the threshold value T1, the frame selection unit 230 selects the frame n that is the current processing target for the divided region, and displays an instruction indicating the selected frame n as a frame. The data is transmitted to the generation unit 240. In accordance with an instruction (frame n) from the frame selection unit 230, the frame generation unit 240 uses the frame n that is the current processing target as an output frame for the area. That is, in the divided area of frame n, the contents of the corresponding area of frame n are adopted as they are.
　（ステップＳ４０５）動きベクトルの大きさが閾値Ｔ１より大きい場合、フレーム選択部２３０は、その分割領域について、現在の処理対象であるフレームｎとそれに続くフレームｎ＋１、ｎ＋２、ｎ＋３を選択し、選択されたフレームｎ～ｎ＋３を示す指示をフレーム生成部２４０に送信する。フレーム生成部２４０は、フレーム選択部２３０からの指示（フレームｎ～ｎ＋３）にしたがい、現在の処理対象であるフレームｎだけでなく、動きベクトルを算出する際に利用した他のフレームｎ＋１、ｎ＋２、ｎ＋３の４つのフレームを用いて、当該分割領域について新たな画像を生成する。 (Step S405) When the magnitude of the motion vector is larger than the threshold value T1, the frame selection unit 230 selects and selects the current frame n to be processed and the subsequent frames n + 1, n + 2, n + 3 for the divided region. An instruction indicating the frames n to n + 3 is transmitted to the frame generation unit 240. In accordance with an instruction (frames n to n + 3) from the frame selection unit 230, the frame generation unit 240 not only uses the current frame n to be processed but also other frames n + 1, n + 2, A new image is generated for the divided region using four frames of n + 3.
　（ステップＳ４０６）上記のステップＳ４０２～Ｓ４０５の処理がフレームｎのすべての分割された領域について処理が終了している場合は、フレームレート変換装置１１０は、処理を終了する。まだ未処理の領域がある場合には、フレームレート変換装置１１０は、未処理領域についてステップＳ４０２からの処理を行う。 (Step S406) When the processing in steps S402 to S405 has been completed for all the divided areas of the frame n, the frame rate conversion apparatus 110 ends the processing. If there is still an unprocessed area, the frame rate conversion apparatus 110 performs the process from step S402 on the unprocessed area.
　図５は、図４のフローチャートによりフレームの領域毎に複数フレーム（フレームｎ～ｎ＋３）を合成する部分と、フレームｎだけを用いる部分と、を有した画像の例を示した図である。 FIG. 5 is a diagram showing an example of an image having a portion for combining a plurality of frames (frames n to n + 3) for each frame region and a portion using only frame n according to the flowchart of FIG.
　図５（ａ）は、フレーム生成部２４０に入力されるフレームｎの画像を示す図である。図５（ａ）において、フレームｎの画像には、背景部分５００と、人物部分５１０と、ボール部分５２０と、が含まれている。 FIG. 5A is a diagram illustrating an image of frame n input to the frame generation unit 240. In FIG. 5A, the image of frame n includes a background portion 500, a person portion 510, and a ball portion 520.
　背景部分５００は、動きベクトル算出部２２０により、動きがないものとして判断されている。 The background portion 500 is determined by the motion vector calculation unit 220 as having no motion.
　人物部分５１０は、動きベクトル算出部２２０により、動きがあるものの、その動きの大きさが比較的小さい（閾値Ｔ１以下）と判断されている。 The person portion 510 is determined to be relatively small (threshold value T1 or less) by the motion vector calculation unit 220 although there is a motion.
　ボール部分５２０は、動きベクトル算出部２２０により、動きがあり、その動きの大きさが比較的大きい（閾値Ｔより大きい）と判断されている。 The ball portion 520 is determined by the motion vector calculation unit 220 to have a motion, and the magnitude of the motion is relatively large (greater than the threshold value T).
　図５（ｂ）は、フレーム生成部２４０により生成された出力フレームの画像を示す図である。図５（ｂ）に示す画像において、図５（ａ）に示すボール部分５２０を含む領域５４０以外の領域について、フレームｎのみが出力フレームの生成に利用されている。すなわち、図５（ａ）の背景部分５００と、人物部分５１０とを含む領域５３０について、フレームｎのみが出力フレームの生成に利用されている。 FIG. 5B is a diagram illustrating an output frame image generated by the frame generation unit 240. In the image shown in FIG. 5B, only the frame n is used for generating the output frame in the region other than the region 540 including the ball portion 520 shown in FIG. That is, for the region 530 including the background portion 500 and the person portion 510 in FIG. 5A, only the frame n is used for generating an output frame.
　図５（ｂ）の領域５４０は、図５（ａ）のボール部分５２０を含む領域である。領域５４０については、フレームｎと、フレームｎ＋１と、フレームｎ＋２と、フレームｎ＋３とを用いて出力フレームが生成される。そのため、領域５４０においては、フレームｎ、フレームｎ＋１、フレームｎ＋２、フレームｎ＋３それぞれで示されるボールの画像が重畳して表示される。 5B is an area including the ball portion 520 in FIG. 5A. For region 540, an output frame is generated using frame n, frame n + 1, frame n + 2, and frame n + 3. Therefore, in the area 540, the images of the balls indicated by the frame n, the frame n + 1, the frame n + 2, and the frame n + 3 are superimposed and displayed.
　このように動きの大きさが所定の大きさ（閾値Ｔ１）よりも大きい部分については、複数のフレームを用いて一つのフレームを生成する。これにより、フレームレート変換により高いフレームレートから低いフレームレートに映像を変換した場合に、動きのある部分は、複数のフレームを合成して生成されるため、重複して表示される。この重複した表示は、動きのある部分について「残像」の表現として表される。そのため、低レートの映像であっても、視聴者にはより自然な映像として視聴することができる。 As described above, for a portion where the magnitude of the movement is larger than the predetermined magnitude (threshold value T1), one frame is generated using a plurality of frames. Thereby, when a video is converted from a high frame rate to a low frame rate by frame rate conversion, a portion with motion is generated by synthesizing a plurality of frames, and thus is displayed redundantly. This overlapped display is expressed as an “afterimage” representation of the moving part. Therefore, even a low-rate video can be viewed as a more natural video for the viewer.
　図６Ａは、上記に説明したフレームレート変換装置による映像を示した図である。図６Ｂおよび図６Ｃは、従来方法でフレームレート変換を行った場合の映像を示した図である。 FIG. 6A is a diagram showing an image by the frame rate conversion apparatus described above. FIG. 6B and FIG. 6C are diagrams showing images when frame rate conversion is performed by a conventional method.
　図６Ａでは、動きベクトルが大きい領域６００（ボールの部分）は、入力される高フレームレートの映像の複数のフレームを合成等して生成しているため、合成により、被写体（ボール）が複数表示される。視聴者はこのようなフレームを有する映像を視聴すると、複数の被写体に残像感を感じ、動きのある被写体を自然な映像として感じることが出来る。 In FIG. 6A, since the region 600 (ball portion) with a large motion vector is generated by combining a plurality of frames of the input high frame rate video, a plurality of subjects (balls) are displayed by combining. Is done. When a viewer views a video having such a frame, the viewer can feel an afterimage on a plurality of subjects and feel a moving subject as a natural video.
　図６Ｂは、従来の方法にしたがい、入力される高フレームレートの映像から低いフレームレートに変換するようにフレームを間引くことで生成された出力映像を示す。この場合、フレームに映し出されるすべての被写体は、高フレームレートの映像の生成時に生成された１フレームあたりの撮影（生成）時間（例えば、１／２４０秒）よりも長い時間（例えば、１／６０秒）、表示されることとなる。視聴者はこのような映像を視聴すると、特に動きのある部分について、不自然な映像と感じる可能性がある。 FIG. 6B shows an output video generated by thinning out frames so as to convert from an input high frame rate video to a low frame rate according to a conventional method. In this case, all subjects displayed in the frame have a time (for example, 1/60) longer than a shooting (generation) time (for example, 1/240 second) per frame generated when a high frame rate video is generated. Second). When a viewer views such a video, there is a possibility that a moving part may be felt as an unnatural video.
　図６Ｃは、従来の方法にしたがい、出力映像の各フレーム全体を、入力される映像の複数のフレームを合成して生成した出力映像を示す。この場合には、動きのある部分だけでなく、動きの小さい部分又は動きがない部分についても、複数の入力映像のフレームから合成されることとなる。動きの小さい又は動きがない被写体について、複数フレームから合成して出力フレームを生成すると、生成される被写体は複数フレーム間で生じる誤差に影響され、輪郭が不明瞭な映像となる可能性がある。そのため、フレームレート変換後の映像全体の輪郭の鮮明度が低くなる可能性がある。 FIG. 6C shows an output video generated by synthesizing a plurality of frames of the input video over the entire frame of the output video according to the conventional method. In this case, not only a portion with motion, but also a portion with small motion or a portion without motion is synthesized from a plurality of input video frames. When an output frame is generated by synthesizing a subject with small or no motion from a plurality of frames, the generated subject may be affected by an error generated between the plurality of frames, and the contour may be unclear. Therefore, the sharpness of the outline of the entire video after frame rate conversion may be lowered.
　２．１　フレーム合成処理
　以下、フレーム選択部２３０及びフレーム生成部２４０における出力フレーム生成のためのフレーム合成に関する制御について説明する。 2.1 Frame Synthesis Processing Hereinafter, control related to frame synthesis for output frame generation in the frame selection unit 230 and the frame generation unit 240 will be described.
　　２．１．１　フレーム合成に用いるフレーム数の制御
　最初に、フレーム選択部２３０における、出力フレームを生成するために用いるフレームの数の決定処理について説明する。 2.1.1 Control of Number of Frames Used for Frame Synthesis First, a process for determining the number of frames used for generating an output frame in the frame selection unit 230 will be described.
　図７は、動きベクトルの大きさと、出力フレームの作成に用いるフレーム数との関係を示した図である。フレーム選択部２３０は図７に示す関係に基づき、出力フレームの生成に用いるフレームの数を決定する。図７のグラフでは、横軸は、動きベクトル算出部２２０によって算出された動きベクトルの大きさを示し、縦軸は、フレーム生成時に用いるフレームの数を示す。 FIG. 7 is a diagram showing the relationship between the magnitude of the motion vector and the number of frames used to create the output frame. The frame selection unit 230 determines the number of frames used for generating the output frame based on the relationship shown in FIG. In the graph of FIG. 7, the horizontal axis indicates the magnitude of the motion vector calculated by the motion vector calculation unit 220, and the vertical axis indicates the number of frames used when generating the frame.
　フレーム選択部２３０は、動きベクトルの大きさが閾値Ｔ１以下の場合には、１つの入力フレームのみを選択する。他方、動きベクトルの大きさが所定の閾値Ｔ１よりも大きい場合は、フレーム選択部２３０は、当該動きベクトルが算出された分割領域についてＭ個の入力フレームを選択する。フレーム生成部２４０は、フレーム選択部２３０からの指示にしたがい、当該動きベクトルが算出された分割領域についてＭ個の入力フレームを合成して出力フレームを生成する。 The frame selection unit 230 selects only one input frame when the magnitude of the motion vector is equal to or less than the threshold T1. On the other hand, when the magnitude of the motion vector is larger than the predetermined threshold T1, the frame selection unit 230 selects M input frames for the divided region for which the motion vector is calculated. In accordance with an instruction from the frame selection unit 230, the frame generation unit 240 generates an output frame by synthesizing M input frames with respect to the divided region for which the motion vector is calculated.
　図８は、上記図７の例とは異なる制御の内容を示した図である。図８は、図７とは異なる、動きベクトルの大きさと、出力フレームの作成に用いるフレーム数との関係を示している。図８では、閾値がＴ１、Ｔ２、・・・ＴＭ（Ｔ１＜Ｔ２＜・・・＜ＴＭ）とＭ種類設定されている。フレーム選択部２３０は、動きベクトルの大きさがＴ１以下の場合は、１つの入力フレームを選択する。動きベクトルの大きさがＴ１より大きくＴ２以下の場合には、フレーム選択部２３０は、２つの入力フレームを選択する。さらに、動きベクトルの大きさがＴ２より大きくＴ３以下の場合には、フレーム選択部２３０は、３つの入力フレームを選択する。このように、動きベクトルの大きさに応じて、出力フレームの生成に使用する入力フレームの数を段階的に変更してもよい。この場合には、特に動きベクトルの大きさが大きいほど、使用する入力フレームの数も大きくなるのが一般的である。 FIG. 8 is a diagram showing the contents of control different from the example of FIG. FIG. 8 shows the relationship between the magnitude of the motion vector and the number of frames used to create the output frame, which is different from FIG. In FIG. 8, M types of threshold values are set as T1, T2,... TM (T1 <T2 <... <TM). The frame selection unit 230 selects one input frame when the magnitude of the motion vector is T1 or less. When the magnitude of the motion vector is greater than T1 and less than or equal to T2, the frame selection unit 230 selects two input frames. Furthermore, when the magnitude of the motion vector is greater than T2 and less than or equal to T3, the frame selection unit 230 selects three input frames. As described above, the number of input frames used to generate an output frame may be changed stepwise according to the magnitude of the motion vector. In this case, it is general that the number of input frames to be used increases as the size of the motion vector increases.
　　２．１．２　フレーム合成処理におけるフレームの重み
　以下、フレーム生成部２４０における、出力フレームを生成するために複数のフレームを合成する際の各フレームの重み（ブレンド率）の制御について説明する。 2.1.2 Frame Weight in Frame Combining Process Hereinafter, control of the weight (blend rate) of each frame when a plurality of frames are combined to generate an output frame in the frame generation unit 240 will be described.
　図９は、フレーム生成部２４０が、フレーム選択部２３０の指示に従い１つ又は複数のフレームを用いて出力フレームを生成する場合の、入力フレームのそれぞれの合成率（ブレンド率）を示した図である。図９において、横軸はフレーム内空間位置を示し、縦軸はフレーム合成処理における入力フレームの重み（ブレンド率）を示す。 FIG. 9 is a diagram illustrating the composition rate (blend rate) of each input frame when the frame generation unit 240 generates an output frame using one or more frames in accordance with an instruction from the frame selection unit 230. is there. In FIG. 9, the horizontal axis indicates the space position in the frame, and the vertical axis indicates the weight (blend rate) of the input frame in the frame synthesis process.
　図９に示す入力フレームの重み（ブレンド率）にしたがい１つ又は複数のフレームを用いて出力フレームを生成する場合、フレーム生成部２４０は以下のように動作する。なお、以下の説明において、Ｘ０とは、1フレームのみを用いて出力フレームを生成する入力フレームの領域と、複数フレームを用いて出力フレームを生成する入力フレームの領域との境界の画素の位置を示す。 When generating an output frame using one or a plurality of frames according to the input frame weight (blend rate) shown in FIG. 9, the frame generation unit 240 operates as follows. In the following description, X0 is the position of a pixel at the boundary between an input frame region that generates an output frame using only one frame and an input frame region that generates an output frame using multiple frames. Show.
　フレーム生成部２４０は、フレーム内空間位置がＸ０以下の場合には、１つの入力フレーム（フレームｎ）のみを用いて出力フレームを生成する。フレーム内空間位置（画素位置）がＸ０より大きい場合には、フレーム生成部２４０は、フレーム選択部２３０が選択した複数のフレーム（図９の例では、４つのフレームｎ～ｎ＋３）を合成して出力フレームを生成する。この際、フレーム生成部２４０は、それぞれのフレームの重み（ブレンド率）を図９の例に示すような比率に設定して出力フレームを生成する。図９の例では、フレームｎ～ｎ＋３が等しい重み（すなわち、ブレンド率２５％）をもって合成されることを意味する。 The frame generation unit 240 generates an output frame using only one input frame (frame n) when the intra-frame space position is X0 or less. When the intra-frame space position (pixel position) is larger than X0, the frame generation unit 240 combines a plurality of frames (four frames n to n + 3 in the example of FIG. 9) selected by the frame selection unit 230. Generate an output frame. At this time, the frame generation unit 240 sets the weight (blend rate) of each frame to a ratio as shown in the example of FIG. 9 and generates an output frame. In the example of FIG. 9, it means that frames n to n + 3 are combined with equal weight (that is, a blend rate of 25%).
　図１０に、ブレンド率の制御の別の例を示す。図１０は、1フレームのみを用いて出力フレームが生成される分割領域と、複数フレームを用いて出力フレームが生成される分割領域との境界付近のブレンド率の変化を滑らかにするための例を示している。図１０の例では、ブレンド率をフレーム内空間位置に応じて変化させている。 FIG. 10 shows another example of blend rate control. FIG. 10 shows an example for smoothing the change in the blend ratio near the boundary between the divided area where the output frame is generated using only one frame and the divided area where the output frame is generated using a plurality of frames. Show. In the example of FIG. 10, the blend rate is changed according to the space position in the frame.
　すなわち、フレーム内空間位置が（Ｘ０－Δ）以下の場合には、一つのフレームのみを利用する（Δは例えば２～４画素である）。フレーム内空間軸が（Ｘ０＋Δ）より大きい場合には、フレームｎ～ｎ＋３を等価なブレンド率で合成する。フレーム内空間位置が（Ｘ０－Δ）より大きく、（Ｘ０＋Δ）以下の場合、フレーム生成部２４０は、上記の２つのブレンド率を線形的に補間してブレンド率を算出し、算出したブレンド率でそれぞれのフレームのデータを合成して出力フレームを生成する。 That is, when the space position in the frame is (X0−Δ) or less, only one frame is used (Δ is, for example, 2 to 4 pixels). When the in-frame space axis is larger than (X0 + Δ), frames n to n + 3 are synthesized with an equivalent blend rate. When the spatial position in the frame is greater than (X0−Δ) and equal to or less than (X0 + Δ), the frame generation unit 240 calculates the blend rate by linearly interpolating the above two blend rates, and uses the calculated blend rate. The data of each frame is combined to generate an output frame.
　図１０の場合、1フレームのみを用いて出力フレームを生成する入力フレームの領域と、複数フレームを用いて出力フレームを生成する入力フレームの領域境界付近において、フレームのブレンド率がフレーム内空間位置の変化にともなって滑らかに変化する。このため、視聴者はフレームレート変換された映像をより自然な映像として視聴することができる。 In the case of FIG. 10, the frame blend ratio is the position of the space position in the frame in the vicinity of the input frame region where the output frame is generated using only one frame and the input frame region where the output frame is generated using a plurality of frames. It changes smoothly with changes. Therefore, the viewer can view the frame rate converted video as a more natural video.
３．効果等
　以上説明したフレームレート変換装置１１０の動作をまとめると以下のとおりである。分割部２１０が入力映像を構成する映像フレームの画像領域を複数の領域に分割する。分割されたそれぞれの領域において、動きベクトル算出部２２０が当該フレームと、その当該フレームと時間的に前の及び／又は後のフレームとを用いて当該領域における動きベクトルを算出する。フレーム選択部２３０は、動きベクトル算出部２２０により算出された動きベクトルの大きさに基づいて、フレーム生成部２４０がフレーム生成時に用いる入力映像のフレームの数を選択する。 3. Effects The operation of the frame rate conversion apparatus 110 described above is summarized as follows. The dividing unit 210 divides the image area of the video frame constituting the input video into a plurality of areas. In each of the divided regions, the motion vector calculation unit 220 calculates a motion vector in the region using the frame and the frame and the temporally previous and / or subsequent frame. Based on the magnitude of the motion vector calculated by the motion vector calculation unit 220, the frame selection unit 230 selects the number of frames of the input video that the frame generation unit 240 uses when generating a frame.
　具体的には、当該動きベクトルの大きさを所定の基準値と比較し、その比較結果に基づき、出力フレームの生成に利用するフレームの数を選択してもよい。または、動きベクトルの大きさに実質的に比例して利用するフレームの数を変化させてもよい。フレーム生成部２４０は、フレーム選択部２３０により選択されたフレームを用いて、出力用のフレームを生成する。その際、フレーム生成部２４０は、入力映像のフレームレートよりも低いフレームレートの映像を生成する。フレーム生成部２４０は、フレーム選択部２３０で選択されたフレームを利用して出力フレームを生成する場合、所定の条件に応じてフレームのブレンド率を変化させても良い。上記の処理を、画像中における全ての分割領域に対して実施することで、一つの出力フレームが生成される。 Specifically, the magnitude of the motion vector may be compared with a predetermined reference value, and the number of frames used for generating the output frame may be selected based on the comparison result. Alternatively, the number of frames to be used may be changed substantially in proportion to the magnitude of the motion vector. The frame generation unit 240 generates an output frame using the frame selected by the frame selection unit 230. At that time, the frame generation unit 240 generates a video having a frame rate lower than the frame rate of the input video. When generating an output frame using the frame selected by the frame selection unit 230, the frame generation unit 240 may change the blend ratio of frames according to a predetermined condition. One output frame is generated by performing the above processing on all the divided regions in the image.
　以上のように、本開示のフレームレート変換装置１１０は、入力映像データを、入力映像データのフレームレートよりも低いフレームレートを有する出力映像データへ変換する装置である。フレームレート変換装置１１０は、入力映像データを構成する各フレームの画像の領域を複数の分割領域に分割する分割部２１０と、入力映像データを構成する少なくとも２フレームのデータに基づき、少なくとも２フレームそれぞれにおいて分割領域毎に動きベクトルを算出する動きベクトル算出部２２０と、分割領域毎に算出された動きベクトルの大きさに基づいて、出力映像データを構成する１フレームのデータを生成するために用いる入力映像データの一つ又は複数のフレームを、分割領域毎に選択するフレーム選択部２３０と、分割領域毎に選択されたフレームを用いて、出力映像データを構成する各フレームに対して、各フレーム内の分割領域毎のデータを生成するフレーム生成部２４０と、を備える。 As described above, the frame rate conversion device 110 of the present disclosure is a device that converts input video data into output video data having a frame rate lower than the frame rate of the input video data. The frame rate conversion device 110 divides the image area of each frame constituting the input video data into a plurality of divided areas and at least two frames based on at least two frames of data constituting the input video data. And a motion vector calculation unit 220 that calculates a motion vector for each divided region and an input used to generate one frame of data constituting the output video data based on the magnitude of the motion vector calculated for each divided region. A frame selection unit 230 that selects one or a plurality of frames of video data for each divided region, and a frame selected for each divided region, for each frame constituting the output video data, A frame generation unit 240 that generates data for each of the divided regions.
　このフレームレート変換装置１１０によれば、生成される出力映像は、入力される映像よりも低いフレームレートを有する。フレームレートが高いフレームレートから低いフレームレートへ変換されると、一般的に映像としての情報量が減少するため、視聴者には見づらい又は不自然な映像となる可能性がある。しかし、フレームレート変換装置１１０によれば、映像中の動きのある部分は、複数の入力映像のフレームを用いて出力フレームを生成しているため、フレームレートを下げることによる情報の欠落を抑制することが可能となる。また、静止している被写体等、動きの少ない、画像の部分については、フレームレートを下げることで損なわれる情報量がすくないため、出力フレームのフレームレートをさげても違和感がない。フレームレート変換装置１１０は、高フレームレートから低フレームレートへフレームレートを変換しても、出力される映像がより自然な映像とすることが可能となる。 According to the frame rate conversion device 110, the generated output video has a lower frame rate than the input video. When the frame rate is converted from a high frame rate to a low frame rate, the amount of information as video is generally reduced, so that the video may be difficult to see or unnatural for the viewer. However, according to the frame rate conversion apparatus 110, since a portion having a motion in the video generates an output frame using a plurality of frames of the input video, a lack of information due to a reduction in the frame rate is suppressed. It becomes possible. In addition, for an image portion with little motion, such as a stationary subject, the amount of information lost by lowering the frame rate is small, so there is no sense of incongruity even if the frame rate of the output frame is reduced. Even if the frame rate conversion apparatus 110 converts the frame rate from the high frame rate to the low frame rate, the output video can be made more natural.
　（実施の形態２）
　実施の形態１で開示したフレームレート変換に関する技術は種々の電子機器に適用することができる。以下、実施の形態１で開示したフレームレート変換技術を表示装置及び撮像装置に応用した例を説明する。 (Embodiment 2)
The technique related to frame rate conversion disclosed in the first embodiment can be applied to various electronic devices. Hereinafter, an example in which the frame rate conversion technique disclosed in the first embodiment is applied to a display device and an imaging device will be described.
（１）表示装置
　図１１は、実施の形態１で開示したフレームレート変換技術を適用した表示装置の構成を示す図である。表示装置３００は、外部機器より映像信号を入力する入力インタフェース（ＩＦ）３１０と、入力した映像信号に対して所定の信号処理を行う信号処理部３２０と、フレームレート変換処理を行うフレームレート変換部３３０と、映像を表示する表示部３４０とを備える。 (1) Display Device FIG. 11 is a diagram illustrating a configuration of a display device to which the frame rate conversion technique disclosed in the first embodiment is applied. The display device 300 includes an input interface (IF) 310 that inputs a video signal from an external device, a signal processing unit 320 that performs predetermined signal processing on the input video signal, and a frame rate conversion unit that performs frame rate conversion processing. 330 and a display unit 340 for displaying an image.
　フレームレート変換部３３０は例えば半導体集積回路で構成され、その機能的な構成は図２に示す構成と同様である。フレームレート変換装置３３０は、信号処理部３２０で信号処理がなされた映像信号のフレームレートを変換する。 The frame rate conversion unit 330 is composed of, for example, a semiconductor integrated circuit, and its functional configuration is the same as the configuration shown in FIG. The frame rate conversion device 330 converts the frame rate of the video signal that has been subjected to signal processing by the signal processing unit 320.
　表示部３４０は例えば液晶パネルまたは有機ＥＬディスプレイを含む。表示部３４０は、フレームレート変換部３３０から出力された映像信号を受けて、液晶パネルに映像を表示する。 The display unit 340 includes a liquid crystal panel or an organic EL display, for example. The display unit 340 receives the video signal output from the frame rate conversion unit 330 and displays the video on the liquid crystal panel.
　以上の構成を有する表示装置３００は、入力した映像信号をフレームレート変換部３３０において、より低いフレームレートに変換した後、映像を表示部３４０に表示させる。 The display device 300 having the above configuration causes the frame rate conversion unit 330 to convert the input video signal to a lower frame rate, and then causes the display unit 340 to display the video.
（２）撮像装置
　図１２は、実施の形態１で開示したフレームレート変換技術を適用した撮像装置の一例（本例では、デジタルカメラ）の構成を示す図である。 (2) Imaging Device FIG. 12 is a diagram illustrating a configuration of an example of an imaging device (in this example, a digital camera) to which the frame rate conversion technique disclosed in the first embodiment is applied.
　デジタルカメラ４００は、光学系４１０と、撮像素子４２０と、画像処理部４３０と、フレームレート変換部４４０と、表示部４５０と、出力インタフェース４７０とを有する。光学系４１０を介して入射した光が撮像素子４２０に結像される。 The digital camera 400 includes an optical system 410, an image sensor 420, an image processing unit 430, a frame rate conversion unit 440, a display unit 450, and an output interface 470. Light incident through the optical system 410 forms an image on the image sensor 420.
　撮像素子４２０は、入射した光信号を電気信号（画像信号）に変換するデバイスであり、例えば、ＣＣＤやＣＭＯＳイメージセンサである。画像処理部４３０は撮像素子４２０から入力した画像信号に対して、ＡＤ変換、ガンマ補正、ホワイトバランス補正等の画像処理を行う。フレームレート変換部４４０は、例えば半導体集積回路で構成され、その機能的な構成は図２に示す構成と同様である。表示部４５０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含む。記録媒体４６０は、着脱可能なメモリカード、内蔵のハードディスク、内蔵の半導体記憶装置等の情報記録媒体であり、撮影した画像データ（静止画データ、動画データ）を保存する。出力インタフェース４７０は、がデジタルカメラ４００から外部機器へデータを出力するためのインタフェースである。出力インタフェース４７０は、例えば、ＵＳＢ，ＨＤＭＩ、ＩＥＥＥ１３９４等の通信規格に準拠した通信を行う。 The image sensor 420 is a device that converts an incident optical signal into an electrical signal (image signal), and is, for example, a CCD or a CMOS image sensor. The image processing unit 430 performs image processing such as AD conversion, gamma correction, and white balance correction on the image signal input from the image sensor 420. The frame rate conversion unit 440 is configured by, for example, a semiconductor integrated circuit, and the functional configuration is the same as the configuration illustrated in FIG. The display unit 450 includes, for example, a liquid crystal display or an organic EL display. The recording medium 460 is an information recording medium such as a removable memory card, a built-in hard disk, or a built-in semiconductor storage device, and stores photographed image data (still image data, moving image data). The output interface 470 is an interface for outputting data from the digital camera 400 to an external device. The output interface 470 performs communication based on a communication standard such as USB, HDMI, IEEE 1394, or the like.
　デジタルカメラ４００は、撮像素子４２０により撮像した画像データを記録媒体４６０に記録することができるとともに、記録媒体４６０から画像データ（静止画、動画）を読み出して表示部４５０に表示（再生）させることができる。特に、記録媒体４６０から動画データを再生する場合、デジタルカメラ４００は、フレームレート変換部４４０により、動画データのフレームレートをより低いフレームレートに変換し、変換後の低いフレームレートの動画データを、表示部４５０に表示する又は出力インタフェース４７０を介して外部機器に出力することができる。 The digital camera 400 can record the image data picked up by the image sensor 420 on the recording medium 460 and read out the image data (still image, moving image) from the recording medium 460 and display (reproduce) it on the display unit 450. Can do. In particular, when reproducing moving image data from the recording medium 460, the digital camera 400 converts the frame rate of the moving image data to a lower frame rate by the frame rate conversion unit 440, and converts the converted moving image data with a lower frame rate to It can be displayed on the display unit 450 or output to an external device via the output interface 470.
　また、デジタルカメラ４００は、画像撮影を高いフレームレート（例えば２４０ｆｐｓ）で行い、撮影した画像データを記録する際にフレームレート変換部４４０により低いフレームレートに変換して、記録媒体４６０に記録するようにしてもよい。 Also, the digital camera 400 captures an image at a high frame rate (for example, 240 fps), and records the captured image data on the recording medium 460 by converting the captured image data to a low frame rate by the frame rate conversion unit 440. It may be.
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。 (Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1, and it can also be set as a new embodiment.
　上記の実施の形態では、動きベクトル算出部２２０は、動きベクトルを算出する対象となるフレームｎと、それに続く３つのフレームｎ＋１、ｎ＋２、ｎ＋３とを用いて動きベクトルを算出しているが、動きベクトルの算出方法はこれに限定されない。例えば、フレームｎより時間的に前に現れるフレームｎ－１、フレームｎ－２、・・・を用いても良い。さらに、時間的に前に現れるフレーム及び時間的に後に現れるフレームの双方のフレームを使用してもよい。 In the above embodiment, the motion vector calculation unit 220 calculates a motion vector using a frame n that is a target for calculating a motion vector, and three frames n + 1, n + 2, and n + 3 following the motion vector. The vector calculation method is not limited to this. For example, a frame n-1, a frame n-2,... That appears temporally before the frame n may be used. Furthermore, both frames that appear earlier in time and frames that appear later in time may be used.
　さらに、上記の実施の形態では、動きベクトル算出部２２０は、フレームｎ～ｎ＋３の合計４つのフレームを利用して動きベクトルを算出しているが、動きベクトルの算出に利用するフレームの数は、２以上であれば、４に限定されるものではない。これは、２以上の数のフレームを使用すれば、動きベクトルを求めることができるからである。 Further, in the above embodiment, the motion vector calculation unit 220 calculates motion vectors using a total of four frames n to n + 3, but the number of frames used for motion vector calculation is as follows: If it is 2 or more, it is not limited to 4. This is because a motion vector can be obtained by using two or more frames.
　また、動きベクトルを求める際に使用するフレームの組み合わせも種々の組み合わせが考えられる。例えば、４つのフレームｎ～ｎ＋３中の２つのフレームを使用する場合、フレームｎとフレームｎ＋３を用いて動きベクトルを算出してもよいし、フレームｎとフレームｎ＋１を用いて動きベクトルを算出してもよく、種々の組み合わせが考えられる。 Also, various combinations of frames can be considered for obtaining motion vectors. For example, when using two of the four frames n to n + 3, the motion vector may be calculated using the frame n and the frame n + 3, or the motion vector may be calculated using the frame n and the frame n + 1. Various combinations are conceivable.
　また、上記の実施の形態では、フレーム選択部２３０は、動きベクトルの大きさに基づいて処理フローを異なるものとしているが、本開示はこれに限定されない。動きベクトルの大きさだけでなく、動きの向き等も考慮するものであってもよい。つまり、フレーム選択部２３０は、動きベクトルを用いて以降の出力フレームを生成するために用いる入力フレームの数を決定するものであれば、いずれの指標を用いるものであっても良い。 In the above embodiment, the frame selection unit 230 has a different processing flow based on the magnitude of the motion vector, but the present disclosure is not limited to this. Not only the magnitude of the motion vector but also the direction of motion may be considered. That is, the frame selection unit 230 may use any index as long as it determines the number of input frames used to generate subsequent output frames using the motion vector.
　上記の実施の形態では、フレームレート変換処理を、図２に示すように、ハードウェエアとして実現するための構成を説明したが、本開示はこれに限定されない。上記実施の形態において説明した内容は、フレームレート変換方法をも開示する In the above-described embodiment, the configuration for realizing the frame rate conversion processing as hardware as shown in FIG. 2 has been described, but the present disclosure is not limited to this. The content described in the above embodiment also discloses a frame rate conversion method.
　例えば、図４に示すフローチャートの手順は、フレームレート変換方法を開示するプログラムで実行することで実現できる。例えば、図４に示すフローチャートで説明した処理フローをＣＰＵで実行し、かつ、映像メモリ２００と、処理フローを実現するためのメモリとを備えたハードウェア装置において、上記のフレームレート変換方法を実現することが可能である。 For example, the procedure of the flowchart shown in FIG. 4 can be realized by executing a program that discloses a frame rate conversion method. For example, the above-described frame rate conversion method is realized in a hardware device that executes the processing flow described in the flowchart shown in FIG. 4 on a CPU and includes a video memory 200 and a memory for realizing the processing flow. Is possible.
　上記実施形態で説明したフレームレート変換装置１１０の構成および動作は、デジタルカメラのような撮像装置、テレビ等の表示装置、及びパソコンなどの情報処理装置に対しても適用することができる。フレームレート変換装置１１０は１つの半導体集積回路で実現することもできる。 The configuration and operation of the frame rate conversion device 110 described in the above embodiment can also be applied to an imaging device such as a digital camera, a display device such as a television, and an information processing device such as a personal computer. The frame rate conversion device 110 can also be realized by a single semiconductor integrated circuit.
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 In addition, since the above-described embodiments are for illustrating the technique in the present disclosure, various modifications, replacements, additions, omissions, and the like can be made within the scope of the claims and the equivalents thereof.
　本開示の技術は、映像のフレームレート変換を行う映像処理装置、映像再生装置、及び映像のフレームレート変換を行う種々の電子機器（撮像装置、表示装置等）に有用である。 The technology of the present disclosure is useful for a video processing device that performs video frame rate conversion, a video playback device, and various electronic devices (such as an imaging device and a display device) that perform video frame rate conversion.

Claims (8)

  1. 　入力映像データを、前記入力映像データのフレームレートよりも低いフレームレートを有する出力映像データへ変換するフレームレート変換装置であって、
    　前記入力映像データを構成する各フレームの画像の領域を複数の分割領域に分割する分割部と、
    　前記入力映像データを構成する少なくとも２フレームのデータに基づき、前記少なくとも２フレームそれぞれにおいて分割領域毎に動きベクトルを算出するベクトル算出部と、
    　前記分割領域毎に算出された動きベクトルの大きさに基づいて、前記出力映像データを構成する１フレームのデータを生成するために用いる入力映像データの一つ又は複数のフレームを、前記分割領域毎に選択するフレーム選択部と、
    　前記分割領域毎に選択されたフレームを用いて、前記出力映像データを構成する各フレームに対して、各フレーム内の分割領域毎のデータを生成するフレーム生成部と、
    　を備えるフレームレート変換装置。     A frame rate conversion device for converting input video data into output video data having a frame rate lower than the frame rate of the input video data,
    A dividing unit that divides an image area of each frame constituting the input video data into a plurality of divided areas;
    A vector calculation unit for calculating a motion vector for each divided region in each of the at least two frames based on at least two frames of data constituting the input video data;
    Based on the magnitude of the motion vector calculated for each divided area, one or more frames of input video data used to generate one frame data constituting the output video data are assigned to the divided areas. A frame selector to select
    A frame generation unit that generates data for each divided region in each frame for each frame constituting the output video data using a frame selected for each divided region;
    A frame rate conversion device comprising:
  2. 　前記フレーム選択部は、動きベクトルが大きい分割領域について選択するフレームの数が、動きベクトルが小さい分割領域について選択するフレームの数よりも多くなるように、フレームを選択する、
    　請求項１に記載のフレームレート変換装置。     The frame selection unit selects a frame so that the number of frames to be selected for a divided region with a large motion vector is larger than the number of frames to be selected for a divided region with a small motion vector;
    The frame rate conversion apparatus according to claim 1.
  3. 　前記フレーム生成部は、選択されたフレームの各々に対して重みづけを行って前記選択されたフレームの映像データを合成することで出力映像データを構成するフレームのデータを生成し、
    　その際、隣接する分割領域間で選択されたフレームの数が異なる場合、前記隣接する分割領域の境界近傍では、選択されたフレームに対する重みを滑らかに変化させる、
    　請求項１または請求項２のいずれかに記載のフレームレート変換装置。
    The frame generation unit generates data of frames constituting output video data by weighting each of the selected frames and combining the video data of the selected frames,
    At that time, when the number of selected frames is different between adjacent divided regions, the weight for the selected frame is smoothly changed near the boundary of the adjacent divided regions.
    The frame rate conversion apparatus according to claim 1 or 2.
  4. 　入力映像データを、前記入力映像データのフレームレートよりも低いフレームレートを有する出力映像データへ変換するフレームレート変換方法であって、
    　前記入力映像データを構成する各フレームの画像の領域を複数の分割領域に分割するステップと、
    　前記入力映像データを構成する少なくとも２フレームに基づき、前記少なくとも２つのフレームそれぞれにおいて分割領域毎に動きベクトルを算出するステップと、
    　前記分割領域毎に算出された動きベクトルの大きさに基づいて、前記出力映像データを構成する１フレームのデータを生成するために用いる入力映像データの一つ又は複数のフレームを、前記分割領域毎に選択するステップと、
    　前記分割領域毎に選択されたフレームを用いて、前記出力映像データを構成する各フレームに対して、各フレーム内の分割領域毎のデータを生成するステップと、
    　を含む、フレームレート変換方法。     A frame rate conversion method for converting input video data into output video data having a frame rate lower than the frame rate of the input video data,
    Dividing an image area of each frame constituting the input video data into a plurality of divided areas;
    Calculating a motion vector for each divided region in each of the at least two frames based on at least two frames constituting the input video data;
    Based on the magnitude of the motion vector calculated for each divided area, one or more frames of input video data used to generate one frame data constituting the output video data are assigned to the divided areas. A step to select
    Generating data for each divided region in each frame for each frame constituting the output video data using a frame selected for each divided region;
    Including a frame rate conversion method.
  5. 　前記フレームを選択するステップは、動きベクトルが大きい分割領域について選択するフレームの数が、動きベクトルが小さい分割領域について選択するフレームの数よりも多くなるように、フレームを選択する、
    　請求項４に記載のフレームレート変換方法。     The step of selecting the frame selects the frame such that the number of frames to be selected for a divided region with a large motion vector is larger than the number of frames to be selected for a divided region with a small motion vector.
    The frame rate conversion method according to claim 4.
  6. 　前記データを生成するステップは、選択されたフレームの各々に対して重みづけを行って前記選択されたフレームの映像データを合成することで、出力映像データを構成するフレームのデータを生成し、
    　その際、隣接する分割領域間で選択されたフレームの数が異なる場合、前記隣接する分割領域の境界近傍では、選択されたフレームに対する重みを滑らかに変化させる、
    　請求項４又は請求項５のいずれかに記載のフレームレート変換方法。     The step of generating the data generates the data of the frames constituting the output video data by combining the video data of the selected frames by weighting each of the selected frames,
    At that time, when the number of selected frames is different between adjacent divided regions, the weight for the selected frame is smoothly changed near the boundary of the adjacent divided regions.
    The frame rate conversion method according to claim 4 or 5.
  7. 　映像データを入力する入力部と、
    　映像データのフレームレートを変換する、請求項１から請求項３のいずれかに記載のフレームレート変換装置と、
    　前記フレームレート変換装置によりフレームレートが変換された映像データに基づく映像を表示する表示部と
    を備えた表示装置。     An input unit for inputting video data;
    The frame rate conversion device according to any one of claims 1 to 3, which converts a frame rate of video data;
    A display device comprising: a display unit configured to display a video based on the video data whose frame rate has been converted by the frame rate conversion device.
  8. 　撮影された映像データまたは記録媒体から読み出された映像データのフレームレートを変換する、請求項１から請求項３のいずれかに記載のフレームレート変換装置を備えた撮像装置。 An imaging apparatus comprising the frame rate conversion device according to any one of claims 1 to 3, which converts a frame rate of captured video data or video data read from a recording medium.
PCT/JP2014/000228 2013-01-24 2014-01-17 Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter WO2014115522A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-010984 2013-01-24
JP2013010984A JP2016048810A (en) 2013-01-24 2013-01-24 Frame rate conversion device and frame rate conversion method

Publications (1)

Publication Number Publication Date
WO2014115522A1 true WO2014115522A1 (en) 2014-07-31

Family

ID=51227315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/000228 WO2014115522A1 (en) 2013-01-24 2014-01-17 Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter

Country Status (2)

Country Link
JP (1) JP2016048810A (en)
WO (1) WO2014115522A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203866A1 (en) * 2015-06-17 2016-12-22 ソニーセミコンダクタソリューションズ株式会社 Recording device, recording system, and recording method
CN110838132A (en) * 2019-11-15 2020-02-25 北京字节跳动网络技术有限公司 Object segmentation method, device and equipment based on video stream and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6763826B2 (en) * 2017-06-14 2020-09-30 日本電信電話株式会社 Image generator, image generation method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165134A (en) * 1992-11-27 1994-06-10 Nippon Hoso Kyokai <Nhk> Television system converter
JPH11112939A (en) * 1997-10-07 1999-04-23 Hitachi Ltd Image signal system conversion method and device therefor
JP2008166932A (en) * 2006-12-27 2008-07-17 Sharp Corp Image display device and method, and image processing device and method
JP2010283548A (en) * 2009-06-04 2010-12-16 Hitachi Ltd Video interpolation device and video display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165134A (en) * 1992-11-27 1994-06-10 Nippon Hoso Kyokai <Nhk> Television system converter
JPH11112939A (en) * 1997-10-07 1999-04-23 Hitachi Ltd Image signal system conversion method and device therefor
JP2008166932A (en) * 2006-12-27 2008-07-17 Sharp Corp Image display device and method, and image processing device and method
JP2010283548A (en) * 2009-06-04 2010-12-16 Hitachi Ltd Video interpolation device and video display device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203866A1 (en) * 2015-06-17 2016-12-22 ソニーセミコンダクタソリューションズ株式会社 Recording device, recording system, and recording method
US10244271B2 (en) 2015-06-17 2019-03-26 Sony Semiconductor Solutions Corporation Audio recording device, audio recording system, and audio recording method
CN110838132A (en) * 2019-11-15 2020-02-25 北京字节跳动网络技术有限公司 Object segmentation method, device and equipment based on video stream and storage medium
CN110838132B (en) * 2019-11-15 2022-08-05 北京字节跳动网络技术有限公司 Object segmentation method, device and equipment based on video stream and storage medium

Also Published As

Publication number Publication date
JP2016048810A (en) 2016-04-07

Similar Documents

Publication Publication Date Title
US7692688B2 (en) Method for correcting distortion of captured image, device for correcting distortion of captured image, and imaging device
US8264565B2 (en) Image processing device and image processing method
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
US20120224766A1 (en) Image processing apparatus, image processing method, and program
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US8547479B2 (en) Display apparatus and control method thereof
JP2011097521A (en) Moving image processing program, device, and method, and imaging apparatus mounting the moving image processing device
US8976276B2 (en) Image processing apparatus, image capturing apparatus, and image processing method
JP4306638B2 (en) Image processing system, imaging apparatus, imaging method, image reproducing apparatus, and image reproducing method
JP2014119997A (en) Image processing apparatus and control method thereof
WO2014115522A1 (en) Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter
JP4966400B2 (en) Image output apparatus and image output method
JPWO2017203941A1 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
JP5202277B2 (en) Imaging device
JP2014042109A (en) Image processing apparatus, control method, program, and storage medium
US11202019B2 (en) Display control apparatus with image resizing and method for controlling the same
US8817191B2 (en) Image processing apparatus and image processing method
JP5820213B2 (en) Image processing apparatus and method, and imaging apparatus
JP4869302B2 (en) Image processing apparatus and image processing method
WO2011114633A1 (en) Video signal processing device and video signal processing method
JP2012142828A (en) Image processing apparatus and image processing method
JP2007156823A (en) Moving image generation apparatus, moving image generation method and program
JP2012142961A (en) Image output device and image output method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14743044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14743044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP