WO2012117464A1 - 立体映像処理装置および方法ならびに立体映像表示装置 - Google Patents

立体映像処理装置および方法ならびに立体映像表示装置 Download PDF

Info

Publication number
WO2012117464A1
WO2012117464A1 PCT/JP2011/004935 JP2011004935W WO2012117464A1 WO 2012117464 A1 WO2012117464 A1 WO 2012117464A1 JP 2011004935 W JP2011004935 W JP 2011004935W WO 2012117464 A1 WO2012117464 A1 WO 2012117464A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
image
interpolation
video signal
output
Prior art date
Application number
PCT/JP2011/004935
Other languages
English (en)
French (fr)
Inventor
征永 関
武田　英俊
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012526785A priority Critical patent/JPWO2012117464A1/ja
Priority to US13/543,292 priority patent/US20120274742A1/en
Publication of WO2012117464A1 publication Critical patent/WO2012117464A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Definitions

  • the present invention detects a motion vector between left and right images of a stereoscopic video signal and generates an interpolation frame using the detected motion vector, particularly a stereoscopic image captured at a frame frequency of 24 Hz.
  • the present invention relates to a stereoscopic image processing apparatus that converts a movie material into a stereoscopic image of 60 Hz and performs frame sequential display at 120 Hz.
  • the left and right images are displayed alternately on the display (frame sequential display), and the viewer enters the left or right eye in synchronization with the display.
  • Wear LCD shutter glasses to block the image. Thereby, only the left image is recognized by the viewer's left eye and only the right image is recognized by the right eye, so that the viewer can perceive a stereoscopic effect by the parallax between the left and right images.
  • FIG. 11 shows an example in which a scene where a ball crosses on the screen is photographed at 24 Hz and displayed at 60 Hz by 3: 2 pull-down.
  • FIG. 12 is a graph showing the relationship between the display position of the ball and the time in the video example of FIG.
  • the line of sight follows the displayed ball and moves like the movement locus of the line of sight indicated by the arrow in the figure.
  • the position of the ball coincides with the movement locus of the line of sight, but is shifted in other frames.
  • the frames 1, 4 and 6 appear to be behind the position of the ball whose line of sight is chasing, and the frames 3, 5, and 8 appear to be on the front side, respectively.
  • the moving ball appears to shake back and forth. Such a state is called film judder.
  • FIG. 13 is a graph showing the relationship between the ball display position and time when a 24 Hz stereoscopic image is converted into a 60 Hz image by 3: 2 pull-down on each of the left and right sides and frame sequential display is performed at 120 Hz.
  • FIG. 14 is a graph showing the deviation between the center of line of sight of the left and right eyes and the display position of the ball, and the left and right parallax caused thereby. As can be seen from FIG.
  • binocular parallax stereoscopic video since the viewer perceives a stereoscopic effect based on the binocular parallax amount, if the binocular parallax amount varies unevenly between frames by the film judder as shown in FIG. The viewer may not be able to perceive the 3D effect correctly. In addition, forcibly attempting to stereoscopically view images that are difficult to stereoscopically view may cause eye fatigue.
  • a motion vector is detected from a 24 Hz two-dimensional image, and an interpolation frame is generated and displayed in accordance with a display timing of 60 Hz using the motion vector, thereby displaying smooth motion without unnaturalness.
  • Such frame frequency conversion is called a film dejadder.
  • FIG. 15 is a graph showing the relationship between the display position of the ball and the time when the scene of FIG. 11 is film-juddered.
  • the film de-judger generates and displays an interpolated frame whose phase is shifted by +0.4 and +0.8 frames from the original frame of 24 Hz for frame 3 and frame 4, respectively.
  • Interpolated frames whose phases are shifted by +0.2 and +0.6 frames from the frames are generated and displayed.
  • frames 2 and 7 the original frame of 24 Hz is displayed as it is.
  • the display position of the moving ball coincides with the movement locus of the line of sight, and can be viewed as a smooth movement without film judder.
  • the binocular parallax amount becomes constant and the viewer can easily obtain a stereoscopic effect.
  • the motion vector used in frame frequency conversion is detected by comparing consecutive frames, so it can be detected correctly with respect to object movement, but it cannot detect motion such as rotation or enlargement / reduction correctly. There is.
  • a correct motion vector cannot be detected for a region that is hidden in the background of a moving object, a region that appears from the background, or a region that is included in only one of the continuous frames.
  • the normal motion vector is often detected by searching a predetermined range with reference to the detection target block, and a correct motion vector cannot be detected even when there is a motion exceeding the search range. Sometimes.
  • an object of the present invention is to provide a stereoscopic video processing apparatus that performs frame frequency conversion suitable for stereoscopic video.
  • a stereoscopic video processing apparatus for generating left and right output video signals of a second frame frequency from left and right input video signals of a first frame frequency is provided by: A vector detection unit for detecting a motion vector of the block, generating an interpolation frame based on the frame of the input video signal and the motion vector, arranging the frame of the input video signal and the interpolation frame in a time axis direction, and outputting the output An output image generation unit that generates a video signal, and an output control unit that controls an interpolation phase related to generation of the interpolation frame according to the motion vector.
  • the interpolation phase related to the generation of the interpolation frame is controlled according to the motion vector detected from the input video signal, it is possible to perform appropriate interpolation according to the motion and enable high-quality stereoscopic display. Therefore, it is possible to suppress image quality deterioration due to an interpolation error.
  • the output control unit generates an interpolated image for an image region including a block whose motion vector is larger than a threshold value, and generates the interpolated frame using the input video signal as it is for the other image region.
  • the output image generation unit may be controlled.
  • the output control unit generates an interpolated image for an image region including a block in which the direction of the motion vector is constant over a plurality of frames, and uses the input video signal as it is for the other image regions. Then, the output image generation unit may be controlled so that the interpolation frame is generated.
  • the stereoscopic video processing apparatus may include a frame frequency conversion unit including the vector detection unit, the output image generation unit, and the output control unit for each of the left and right signal systems of the stereoscopic video signal. Time sharing may be shared between the left and right signal systems of the video signal.
  • Diagram explaining motion vector detection Diagram showing the timing relationship between input video and interpolation frame generation Diagram explaining generation of interpolation frame
  • video and an interpolation frame when a motion vector is considered
  • FIG. 1 is a block diagram showing a main configuration of a stereoscopic video display apparatus 100 according to an embodiment of the present invention.
  • the stereoscopic video display device 100 includes an input image selection unit 1, a stereoscopic video processing device 2, and a display unit 3.
  • the stereoscopic video processing apparatus 2 includes two frame frequency conversion units 20 including a video memory 202, a vector detection unit 203, an output control unit 204, a vector memory 205, and an output image generation unit 206.
  • the input image selection unit 1 divides the input stereoscopic video signal 101 into left and right input video signals 102 and outputs them to the stereoscopic video processing device 2.
  • the stereoscopic video signal 101 is a stereoscopic video signal in which left and right images having a frame frequency of 24 Hz are alternately included.
  • the stereoscopic video processing device 2 detects a motion vector between frames of the input left and right input video signals 102, generates an interpolation frame using the motion vectors, and generates left and right output video signals 103. To do. Specifically, the two frame frequency conversion units 20 process the left and right input video signals 102, respectively.
  • the left and right video signals 103 output from the stereoscopic video processing device 2 are video signals having a frame frequency of 60 Hz.
  • the display unit 3 alternately displays the left and right output video signals 103 output from the stereoscopic video processing device 2 at 120 Hz in a frame sequential manner.
  • the display unit 3 is not particularly limited as long as it can display a stereoscopic video signal such as an LCD display or a PDP display.
  • the stereoscopic video display device 100 performs stereoscopic display at 120 Hz by performing frame frequency conversion of the input stereoscopic video signal 101 of 24 Hz.
  • the frame frequency conversion unit 20 performs frame frequency conversion (film dejudder) from the 24 Hz input video signal 102 to the 60 Hz output video signal 103.
  • the input video signal 102 input to the frame frequency conversion unit 20 is input to the vector detection unit 203 and the video memory 202.
  • the video memory 202 is a memory that can store an input video signal for at least three frames and can read any stored frame.
  • the video memory 202 stores the input video signal and reads the input video signal of the previous frame and outputs it to the vector detection unit 203.
  • the vector detection unit 203 divides the input video signal 102 into blocks of 8 pixels ⁇ 8 pixels, for example, and determines the position of the highest correlation from the previous frame video signal 104 input from the video memory 202 for each block.
  • a motion vector is detected by searching. For example, as shown in FIG. 2, when detecting the motion vector of the target block in the frame (1), the position having the largest correlation with the target block is searched in the previous frame (0), and this position Is detected as a motion vector.
  • the search range at this time is, for example, a range of horizontal ⁇ 64 pixels and vertical ⁇ 32 lines on the basis of a block for detecting a motion vector, and a position having the largest correlation is obtained in this range. Also, as the correlation value, the absolute value of the difference between the value of each pixel included in the block and the value of the pixel at the position to be compared is summed up for the entire block (SAD: Sum of AbsoluteifDifference, sum of absolute differences) ) Can be used.
  • SAD Sum of AbsoluteifDifference, sum of absolute differences
  • the block size is not limited to this, and it may be smaller or larger than this.
  • the vector detection unit 203 outputs the detected motion vector 110 detected from the input video signal 102 and the previous frame video signal 104 to the vector memory 205.
  • a vector memory 205 is a memory for storing a motion vector detected by the vector detection unit 203, and is for absorbing a time difference between writing from the vector detection unit 203 and reading from an output image generation unit 206 described later. .
  • the vector memory 205 only needs to have a capacity corresponding to this time difference, but it is assumed here that a vector corresponding to two frames of the input video can be stored.
  • the output control unit 204 reads out which one of the motion vectors corresponding to two frames stored in the vector memory 205, or before or after the interpolated frame generated from the video signals of a plurality of frames stored in the video memory 202. Which two frames are to be read out as frames and which phase between the two frames is to be generated is determined, and a control signal is output. Details of the output control unit 204 will be described later.
  • the video memory 202 receives a frame selection signal 108 for determining two frames to be used for interpolation from the output control unit 204, and uses the two frames designated by the frame selection signal 108 as the previous and next frame video signals 105, as an output image generation unit 206. Output to.
  • the vector memory 205 receives the vector selection signal 109 for selecting a vector to be used for interpolation from the output control unit 204, and outputs the motion vector designated by the vector selection signal 109 to the output image generation unit 206 as the interpolation motion vector 106. .
  • the output control unit 204 outputs a frame selection signal 108, a vector selection signal 109, and an interpolation phase control signal 107 at a cycle of 5 frames as follows.
  • the frame selection signal 108 for outputting the frame (0) is output as the previous frame, and 0 is output as the interpolation phase control signal 107. At this time, since no interpolation frame needs to be generated, an interpolation motion vector is unnecessary.
  • the frame selection signal 108 for outputting the frame (0) and the frame (1) is output to the preceding and following frame video signal 105, and detected between the frame (1) and the frame (0) as the interpolation motion vector 106
  • a signal for selecting a motion vector is output as the vector selection signal 109, and 0.2 is output as the interpolation phase control signal 107.
  • the frame selection signal 108 for outputting the frame (1) is output as the previous frame, and 0 is output as the interpolation phase control signal 107. At this time, since no interpolation frame needs to be generated, the interpolation motion vector 106 is unnecessary.
  • the frame selection signal 108 for outputting the frame (1) is output as the previous frame, and 0 is output as the interpolation phase control signal 107. At this time, since no interpolation frame needs to be generated, the interpolation motion vector 106 is unnecessary.
  • the frame selection signal 108 for outputting the frame (1) and the frame (2) is output to the preceding and following frame video signal 105, and detected as the interpolation motion vector 106 between the frame (2) and the frame (1).
  • a signal for selecting a motion vector is output as the vector selection signal 109 and 0.8 is output as the interpolation phase control signal 107.
  • the output video signal 103 Is frame (0), frame (0.2), frame (1), frame (1), frame (1.8), frame (2), frame (2.2), frame (3), frame (3 ), Frame (3.8), and frame (4).
  • the output control unit 204 appropriately selects an input frame and a motion vector necessary for generating an interpolation frame as described above, and outputs a control signal for inputting them to the output image generation unit 206. In accordance with this, the output control unit 204 outputs the interpolation phase control signal 107.
  • the output image generation unit 206 uses the two frames input as the preceding and following frame video signal 105 and the interpolation motion vector 106 corresponding to the motion between the two frames, and uses the interpolation phase control signal 107 to specify the interpolation phase. And an output video signal 103 is output.
  • the generation of the interpolation frame can be performed by moving at least one pixel or pixel block of the frame before and after the generated interpolation frame along the interpolation motion vector 106.
  • the position on the time axis for generating the interpolation frame that is, the interpolation phase
  • the interpolation phase can be arbitrarily selected between the frame (F-1) and the frame (F).
  • a fixed percentage of pixels moved from both frames, or the interpolation phase It is also possible to generate by mixing at a ratio corresponding to FIG. 4 shows an example in which an interpolation frame is generated with an interpolation phase of 1/5 from the frame (F-1).
  • FIG. 5 is a graph showing the relationship between the display position of the ball and time when the stereoscopic image obtained by stereoscopically shooting the scene of FIG.
  • FIG. 6 is a graph showing the deviation between the center of line of sight of the left and right eyes and the display position of the ball in this case, and the left and right parallax caused thereby.
  • the binocular parallax amount of the output image is N ⁇ 1 / 5V between many frames.
  • N + 2 / 5V it can be seen that the variation in the amount of parallax is suppressed in the stereoscopic video displayed on the stereoscopic video display device 100 according to the present embodiment. As a result, high-quality stereoscopic display is possible.
  • the frame frequency conversion method disclosed in this specification uses a small interpolation frame ratio and uses only the interpolation phase close to the input frame, so that image quality degradation is small when an incorrect motion vector is detected.
  • the output control unit 204 controls the interpolation phase related to the generation of the interpolation frame according to the detected motion vector 110. Specifically, as illustrated in FIG. 7, the output control unit 204 monitors the detected motion vector 110 and determines the magnitude of motion between frames based on the average value or the maximum value of motion vectors within one frame. Is determined to be outside the predetermined range, 0 is output to the interpolation phase control signal 107 during the period in which the interpolation frame is output using the motion vector. At this time, since it is not necessary to generate an interpolation frame, the interpolation motion vector 106 is not output. On the other hand, when it is determined that the magnitude of motion between frames is within a predetermined range, the output control unit 204 performs the above-described film dejudder process.
  • FIG. 8 is a graph of the relationship between the display position of the ball and time when a stereoscopic image obtained by stereoscopically shooting a scene with a relatively slow movement of the ball at left and right at 24 Hz is displayed on the stereoscopic image display device 100.
  • FIG. 9 is a graph showing the deviation between the center of line of sight of the left and right eyes and the display position of the ball, and the left and right parallax caused thereby. Comparing FIG. 9 and FIG. 14, it can be seen that when the movement of the ball becomes slow, the amount of motion between frames of the input image decreases to V ′, and the amount of binocular parallax variation between frames decreases. When the movement becomes a certain magnitude or less, the influence of the binocular parallax amount variation between frames on the image quality is slight. Conversely, if the movement becomes very large, the line of sight cannot follow the ball and the film judder is not recognized.
  • the frame frequency conversion method disclosed in the present invention generates the interpolated image based on the motion vectors detected from the left and right images only when the magnitude of the motion is within a predetermined range.
  • a predetermined range As compared with the case of 3: 2 pull-down display, it is possible to suppress a variation in the amount of parallax. As a result, high-quality stereoscopic display is possible.
  • an interpolation image is not generated, so that deterioration in image quality due to an interpolation error can be suppressed.
  • the description is given on the assumption that the left and right output video signals 103 with a frame frequency of 60 Hz are generated from the left and right input video signals 102 with a frame frequency of 24 Hz.
  • the frequency is not limited to this example.
  • the input video signal 102 and the output video signal 103 may be video signals having an arbitrary frame frequency.
  • the generation of the interpolated image is determined for each frame.
  • the generation of the interpolated image may be determined for each image area in the frame.
  • the size of the image area may be the same as the block in motion vector detection, or may be a different size. For example, when an object crosses a screen without motion, an interpolation image is generated only for an image region including the moving object. As a result, high-quality stereoscopic display is possible by generating an interpolated image for an image area that includes a moving object.
  • the ratio of the interpolated image in the output image is small, image quality deterioration due to an interpolation error is suppressed. it can.
  • the output control unit 204 determines whether or not an interpolated image is generated based on the magnitude of the motion vector, but whether or not the motion of the object is continuous over a plurality of frames. Whether or not an interpolation image is generated may be determined based on the above. Specifically, the output control unit 204 determines whether the direction of the detected motion vector 110 is constant over a plurality of frames. For example, in the example shown in FIG. 10, the direction of the detected motion vector 110 is not constant. In such a case, the movement of the object is not continuous, the line of sight cannot follow the object, and the film judder is not recognized.
  • the description is based on the assumption that a 24 Hz stereoscopic video signal 101 is input.
  • the stereoscopic video signal 101 is a 60 Hz stereoscopic video signal that is 3: 2 pulled down. It doesn't matter. If a 24 Hz stereoscopic video signal before being 3: 2 pulled down can be appropriately selected from a 3: 2 pulled down 60 Hz stereoscopic video signal, the same processing can be performed.
  • each signal shown in FIGS. 3 and 7 is an example, and depending on the capacity of the video memory 202 and the vector memory 205, it is possible to perform processing at a different timing.
  • the interpolation phase of the generated interpolation frame is not limited to 0.2 and 0.8. These neighborhood values, for example, 0.19 and 0.81 may be used.
  • the interpolation phase of the interpolation frame may gradually approach 0.2 or 0.8.
  • the output control unit 204 may change the value of the interpolation phase control signal 107 gradually.
  • the video memory 202 and the vector memory 205 do not need to be provided in the stereoscopic video processing device 2, and an external memory may be used.
  • the stereoscopic video processing device 2 includes the two frame frequency conversion units 20.
  • one frame frequency conversion unit 20 is time-divided in the left and right signal systems of the stereoscopic video signal. You may make it share.
  • the present invention can be used for an apparatus that detects a motion vector from a stereoscopic video signal, converts the frame frequency using the detected motion vector, and displays the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

　第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置は、入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部（２０３）と、入力映像信号のフレームおよび動きベクトルに基づいて補間フレームを生成し、入力映像信号のフレームおよび補間フレームを時間軸方向に並べて出力映像信号を生成する出力画像生成部（２０６）と、動きベクトルに応じて、補間フレームの生成に係る補間位相を制御する出力制御部（２０４）とを備えている。

Description

立体映像処理装置および方法ならびに立体映像表示装置
　本発明は、立体映像信号の左右それぞれの画像のフレーム間の動きベクトルを検出し、検出した動きベクトルを用いて補間フレームの生成を行う立体映像処理装置、特に２４Ｈｚのフレーム周波数で撮影された立体映画素材を６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示を行う立体映像処理装置に関するものである。
　近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。
　家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。
　一般に、映画は２４Ｈｚのフレーム周波数で撮影されているが、家庭用ＴＶではＮＴＳＣ方式による６０Ｈｚのフレーム周波数で表示されることが多い。従来、２４Ｈｚの二次元映像を６０Ｈｚの映像に変換する場合、３：２プルダウンによるフレーム周波数変換（テレシネ変換）が用いられてきた。３：２プルダウンでは、２４Ｈｚの１フレームが６０Ｈｚの３フレームと２フレームの交互に表示される。図１１は、画面上をボールが横切るシーンを２４Ｈｚで撮影し、３：２プルダウンにより６０Ｈｚで表示する場合の例を示す。
　人がこの例のようにほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図１２は、図１１の映像例のボールの表示位置と時間との関係をグラフ化したものである。図１２に示したように、視線は表示されているボールを追いかけ、図中矢印で示した視線の移動軌跡のように移動する。ここでフレーム２、およびフレーム７ではボールの位置と視線の移動軌跡とが一致しているが、それ以外のフレームではずれている。このため、フレーム１、フレーム４、フレーム６では視線が追いかけているボールの位置よりも後ろ側に、フレーム３、フレーム５、フレーム８では前側に、それぞれ、ボールがあるように見えてしまい、均一に動いているボールが前後にぶれて見える。このような状態をフィルム・ジャダーと呼ぶ。
　さらに立体映像の場合、フィルム・ジャダーは画質により大きな影響を与える。図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した場合を例に説明する。図１３は、２４Ｈｚの立体映像を左右それぞれ３：２プルダウンにより６０Ｈｚの映像に変換し、１２０Ｈｚでフレームシーケンシャル表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図１４は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図１４からわかるとおり、２４Ｈｚの立体映像を３：２プルダウンにより６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示すると、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとして、出力画像の両眼視差量がＮ－２／５ＶからＮ＋３／５Ｖの間で不均一に変動することになる。
　両眼視差方式の立体映像においては、視聴者は両眼視差量を元に立体感を知覚するため、図１４に示すとおりフィルム・ジャダーにより両眼視差量がフレーム間で不均一に変動すると、視聴者は立体感を正しく知覚できない可能性がある。また、立体視が困難な映像を無理に立体視しようとすることで、目の疲労の原因となる可能性がある。
　以上のような３：２プルダウンに起因する画質劣化を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて映像信号のフレーム周波数変換を行うことが可能である。従来、２４Ｈｚの二次元映像から動きベクトルを検出し、この動きベクトルを用いて６０Ｈｚの表示タイミングにあわせた補間フレームを生成して表示することで、不自然さのない、滑らかな動きの表示を可能にしている（例えば、特許文献１参照）。このようなフレーム周波数変換はフィルム・デジャダーと呼ばれている。
　図１５は、図１１のシーンをフィルム・デジャダーした場合のボールの表示位置と時間との関係をグラフ化したものである。フィルム・デジャダーによって、フレーム３、フレーム４では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．４、＋０．８フレーム分位相をずらした補間フレームが生成および表示され、フレーム５、フレーム６では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．２、＋０．６フレーム分位相をずらした補間フレームが生成および表示される。また、フレーム２、フレーム７では２４Ｈｚの原フレームがそのまま表示される。この結果、移動するボールの表示位置が視線の移動軌跡に一致し、フィルム・ジャダーのない、滑らかな動きとして見ることができる。また、立体映像の場合もフィルム・デジャダーにより移動物体を視線の移動軌跡に一致するような補間フレームを生成することで、両眼視差量が一定となり視聴者は容易に立体感を得ることができる。
特開平０９－１７２６１８号公報
　フレーム周波数変換で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。
　このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。ハロは間違った補間フレームが生成されることによるものであるため、表示されるフレームのうち補間フレームの割合が大きい場合や、補間フレームが表示される時間が長い場合に顕著に発生する。
　また、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換して表示する場合、補間の誤りにより左右画像間で対応がとれず立体視できない映像となる可能性がある。この結果、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。
　上記問題に鑑み、本発明は、立体映像に好適なフレーム周波数変換を行う立体映像処理装置を提供することを課題とする。
　上記課題を解決するための手段として、第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相を制御する出力制御部とを備えている。
　これによると、入力映像信号から検出した動きベクトルに応じて、補間フレームの生成に係る補間位相が制御されるため、動きに応じた適切な補間が可能となり、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
　前記出力制御部は、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。
　また、前記出力制御部は、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。
　上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。
　以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。
本発明の一実施形態に係る立体映像表示装置の構成を示す図 動きベクトル検出を説明する図 入力映像と補間フレームの生成のタイミング関係を示す図 補間フレームの生成を説明する図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きが連続しない場合の動きベクトルを示す図 ３：２プルダウンを示す図 ３：２プルダウンされた映像の見え方を示す図 ３：２プルダウンされた立体映像の見え方を示す図 ３：２プルダウンされた立体映像での視差量を示す図 フィルム・デジャダーされた映像の見え方を示す図
　以下に、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有するフレーム周波数変換部２０を２つ備えている。
　入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が２４Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。
　立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つのフレーム周波数変換部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。
　表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。
　以上のように、立体映像表示装置１００は、入力された２４Ｈｚの立体映像信号１０１のフレーム周波数変換を行って１２０Ｈｚで立体表示を行うものである。
　次に、フレーム周波数変換部２０において、２４Ｈｚの入力映像信号１０２を６０Ｈｚの出力映像信号１０３へフレーム周波数変換（フィルム・デジャダー）する場合について説明する。
　フレーム周波数変換部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。
　映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。
　ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。
　このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。
　なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。
　図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。
　ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。
　出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。
　映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。
　ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。
　出力制御部２０４は図３に示すように、以下のような５フレームの周期で、フレーム選択信号１０８、ベクトル選択信号１０９および補間位相制御信号１０７を出力する。
　１）前フレームとしてフレーム（０）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトルは不要である。
　２）前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．２を出力する。
　３）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
　４）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。
　５）前後フレーム映像信号１０５にフレーム（１）とフレーム（２）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（２）とフレーム（１）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．８を出力する。
　この結果、入力映像信号１０２をフレーム（０）、フレーム（１）、フレーム（２）、フレーム（３）、フレーム（４）、フレーム（５）とし、これを基準とした場合、出力映像信号１０３はフレーム（０）、フレーム（０．２）、フレーム（１）、フレーム（１）、フレーム（１．８）、フレーム（２）、フレーム（２．２）、フレーム（３）、フレーム（３）、フレーム（３．８）、フレーム（４）のようになる。
　出力制御部２０４は、上記のように補間フレームの生成に必要な入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて、出力制御部２０４は補間位相制御信号１０７を出力する。
　出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレーム間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。
　補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ－１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ－１）から１／５の補間位相に補間フレームを生成する例を示している。
　図５は、図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図６は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図６からわかるとおり、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとすると、多くのフレーム間で出力画像の両眼視差量がＮ－１／５ＶからＮ＋２／５Ｖの間で変動する。図１４と比較すると、本実施形態に係る立体映像表示装置１００で表示される立体映像では、視差量の変動が抑制されていることがわかる。これにより、高品位な立体表示が可能となる。
　また、上記のように補間位相を制御することにより、一般的な２４Ｈｚから６０Ｈｚへのフレーム周波数変換（フィルム・デジャダー）では出力フレームの５フレームのうち４フレームが生成された補間フレームであるのに対し、本明細書に開示した補間方法では、５フレームのうち２フレームのみが生成された補間フレームとなる。前述のように出力映像信号に含まれる、動きベクトルを使って生成された補間フレームの割合は、間違った動きベクトルが検出された場合の画質劣化の大きさに影響を与えるものであるため、本明細書に開示した補間方法では従来よりも画質劣化の小さいフレーム周波数変換が可能となる。またこの際、生成する補間フレームは半分であるため、補間フレームの生成に必要な処理量は従来のフィルム・デジャダーの半分にすることができる。
　さらには、本明細書に開示したフレーム周波数変換方法では、生成する補間フレームの補間位相として０．２と０．８のみを用いる。前述のようにフレームを生成する補間位相が入力フレームに近付くと、入力フレームからの移動量が小さくなるため、間違った動きベクトルの影響が小さくなる。このため本明細書に開示した補間方法では、０．４、０．６の補間位相を用いる従来のフィルム・デジャダーに比べて、間違った動きベクトルが画質に与える影響が小さい。
　すなわち本明細書に開示したフレーム周波数変換方法は、補間フレームの割合が小さく、かつ入力フレームに近い補間位相のみを用いるため、間違った動きベクトルが検出された場合の画質劣化が小さい。
　さらに、出力制御部２０４は、検出動きベクトル１１０に応じて、補間フレームの生成に係る補間位相を制御する。具体的には、図７に示したように、出力制御部２０４は検出動きベクトル１１０を監視し、１フレーム内の動きベクトルの平均値、または最大値をもとに、フレーム間の動きの大きさが所定の範囲外であると判定した場合、当該動きベクトルを用いて補間フレームを出力する期間、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きの大きさが所定の範囲内であると判断した場合、出力制御部２０４は前述のフィルム・デジャダー処理を行う。
　図８は、ボールの動きが比較的遅いシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図９は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図９と図１４を比較すると、ボールの動きが遅くなると入力画像のフレーム間での動き量がＶ’に減少し、フレーム間での両眼視差量の変動量が小さくなることがわかる。動きがある一定以下の大きさとなると、フレーム間での両眼視差量の変動が画質に与える影響は軽微なものとなる。逆に、動きが非常に大きくなると、視線がボールを追うことができずフィルム・ジャダーが認識されない。
　このように、本発明が開示するフレーム周波数変換方法は、動きの大きさが所定の範囲内の場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成することで、従来の３：２プルダウン表示の場合と比較して視差量の変動を抑制することができる。これにより、高品位な立体表示が可能となる。また、動きの大きさが所定の範囲外の場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。
　以上のように、本明細書に開示したフレーム周波数変換方法によれば、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。
　なお、上記の実施の形態では、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号１０２からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号１０３を生成する場合を前提とした説明を行っているが、フレーム周波数はこの例に限定されない。入力映像信号１０２および出力映像信号１０３は任意のフレーム周波数の映像信号であってもよい。
　また、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体を含む画像領域のみについて補間画像を生成する。これにより、動く物体を含む画像領域については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。
　また、上記の実施の形態では、出力制御部２０４は動きベクトルの大きさを元に補間画像の生成の有無を判定しているが、複数フレームに亘って物体の動きが連続しているか否かをもとに補間画像の生成の有無を判定してもよい。具体的には、出力制御部２０４は、複数フレームに亘って検出動きベクトル１１０の方向が一定であるかどうかを判定する。例えば、図１０に示した例では、検出動きベクトル１１０の方向が一定ではない。このような場合は物体の動きが連続しておらず、視線が物体を追うことができずフィルム・ジャダーが認識されない。よって、動きが連続している場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成すると、高品位な立体表示が可能となる。また、動きが連続していない場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。
　また、上記の実施の形態では、２４Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１が３：２プルダウンされた６０Ｈｚの立体映像信号であってもかまわない。３：２プルダウンされた６０Ｈｚの立体映像信号から、３：２プルダウンされる前の２４Ｈｚの立体映像信号を適切に選択することができれば、同様の処理を行うことが可能である。
　また、図３および図７に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。
　また、生成する補間フレームの補間位相は０．２および０．８に限定されない。これらの近傍値、例えば、０．１９と０．８１を用いてもよい。
　さらに、いきなり０．２あるいは０．８フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．２あるいは０．８に近づけるようにしてもよい。同様に、補間フレームの生成を停止する場合、補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。
　また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。
　また、上記の実施の形態では、立体映像処理装置２はフレーム周波数変換部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個のフレーム周波数変換部２０を時分割共有するようにしてもよい。
　本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用してフレーム周波数を変換して表示する装置等に用いることができる。
　１　　　入力画像選択部
　２　　　立体映像処理装置
　２０　　フレーム周波数変換部
　２０３　ベクトル検出部
　２０４　出力制御部
　２０６　出力画像生成部
　３　　　表示部

Claims (9)

  1. 第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置であって、
    　前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
    　前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、
    　前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相を制御する出力制御部とを備えている
    ことを特徴とする立体映像処理装置。
  2. 請求項１の立体映像処理装置において、
    　前記出力制御部は、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御する
    ことを特徴とする立体映像処理装置。
  3. 請求項１の立体映像処理装置において、
    　前記出力制御部は、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御する
    ことを特徴とする立体映像処理装置。
  4. 請求項１から３のいずれか一つの立体映像処理装置において、
    　前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えている
    ことを特徴とする立体映像処理装置。
  5. 請求項１から３のいずれか一つの立体映像処理装置において、
    　前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統で時分割共有する
    ことを特徴とする立体映像処理装置。
  6. 　立体映像信号を受け、第１のフレーム周波数の左右それぞれの入力映像信号を出力する入力画像選択部と、
    　前記左右それぞれの入力映像信号を処理する請求項１から５のいずれか一つの立体映像処理装置と、
    　前記立体映像処理装置から出力された第２のフレーム周波数の左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
    ことを特徴とする立体映像表示装置。
  7. 第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理方法であって、
    　前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
    　前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成するステップと、
    　前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成するステップとを備え、
    　前記補間フレームを生成するステップでは、前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相が制御される
    ことを特徴とする立体映像処理方法。
  8. 請求項７の立体映像処理方法において、
    　前記補間フレームを生成するステップでは、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成される
    ことを特徴とする立体映像処理方法。
  9. 請求項７の立体映像処理方法において、
    　前記補間フレームを生成するステップでは、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成される
    ことを特徴とする立体映像処理方法。
PCT/JP2011/004935 2011-03-03 2011-09-02 立体映像処理装置および方法ならびに立体映像表示装置 WO2012117464A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012526785A JPWO2012117464A1 (ja) 2011-03-03 2011-09-02 立体映像処理装置および方法ならびに立体映像表示装置
US13/543,292 US20120274742A1 (en) 2011-03-03 2012-07-06 Generation interpolation frames

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011046721 2011-03-03
JP2011-046721 2011-03-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/543,292 Continuation US20120274742A1 (en) 2011-03-03 2012-07-06 Generation interpolation frames

Publications (1)

Publication Number Publication Date
WO2012117464A1 true WO2012117464A1 (ja) 2012-09-07

Family

ID=46757434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004935 WO2012117464A1 (ja) 2011-03-03 2011-09-02 立体映像処理装置および方法ならびに立体映像表示装置

Country Status (3)

Country Link
US (1) US20120274742A1 (ja)
JP (1) JPWO2012117464A1 (ja)
WO (1) WO2012117464A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039956A1 (ja) * 2018-08-22 2020-02-27 ソニー株式会社 表示装置、信号処理装置、及び信号処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565420B2 (en) * 2012-05-28 2017-02-07 Panasonic Intellectual Property Management Co., Ltd. Image processor, image capture device, image processing method and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260810A (ja) * 2004-03-15 2005-09-22 Matsushita Electric Ind Co Ltd カメラレコーダ
JP2007267360A (ja) * 2006-02-28 2007-10-11 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
WO2008126252A1 (ja) * 2007-03-30 2008-10-23 Pioneer Corporation 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体
JP2010226243A (ja) * 2009-03-19 2010-10-07 Sony Corp 映像信号処理装置、立体映像表示装置、立体映像伝送表示システムおよび映像信号処理方法
JP2010268037A (ja) * 2009-05-12 2010-11-25 Panasonic Corp 映像変換方法および映像変換装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4929819B2 (ja) * 2006-04-27 2012-05-09 富士通株式会社 映像信号の変換装置及び方法
JP4868968B2 (ja) * 2006-07-31 2012-02-01 株式会社東芝 補間フレーム作成方法及び補間フレーム作成装置
JP2011097470A (ja) * 2009-10-30 2011-05-12 Toshiba Corp 立体視映像再生装置、立体視映像再生方法及び立体視映像再生システム
JP4818440B2 (ja) * 2010-01-21 2011-11-16 株式会社東芝 映像表示装置及び映像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260810A (ja) * 2004-03-15 2005-09-22 Matsushita Electric Ind Co Ltd カメラレコーダ
JP2007267360A (ja) * 2006-02-28 2007-10-11 Sharp Corp 画像表示装置及び方法、画像処理装置及び方法
WO2008126252A1 (ja) * 2007-03-30 2008-10-23 Pioneer Corporation 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体
JP2010226243A (ja) * 2009-03-19 2010-10-07 Sony Corp 映像信号処理装置、立体映像表示装置、立体映像伝送表示システムおよび映像信号処理方法
JP2010268037A (ja) * 2009-05-12 2010-11-25 Panasonic Corp 映像変換方法および映像変換装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039956A1 (ja) * 2018-08-22 2020-02-27 ソニー株式会社 表示装置、信号処理装置、及び信号処理方法
US11930207B2 (en) 2018-08-22 2024-03-12 Saturn Licensing Llc Display device, signal processing device, and signal processing method

Also Published As

Publication number Publication date
JPWO2012117464A1 (ja) 2014-07-07
US20120274742A1 (en) 2012-11-01

Similar Documents

Publication Publication Date Title
US20100238274A1 (en) Method of displaying three-dimensional image data and an apparatus of processing three-dimensional image data
JP4748251B2 (ja) 映像変換方法および映像変換装置
JP2010062695A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US8421847B2 (en) Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
JP5325341B2 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
JP5305094B2 (ja) 映像信号処理装置、立体映像表示装置、立体映像伝送表示システムおよび映像信号処理方法
CA2783588C (en) Method and apparatus for optimal motion reproduction in stereoscopic digital cinema
US20120307153A1 (en) Video processing device and video processing method
WO2012117464A1 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
WO2012117462A1 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
JP5478728B2 (ja) 立体映像処理装置および方法ならびに立体映像表示装置
US8953018B2 (en) Generation and display of stereoscopic images
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
US9330487B2 (en) Apparatus and method for processing 3D images through adjustment of depth and viewing angle
JP2014207492A (ja) 立体映像表示装置
JP2012182691A (ja) 画像変換装置
JP5490252B2 (ja) 立体画像処理装置、立体画像表示装置及び立体画像処理方法
US9237334B2 (en) Method and device for controlling subtitle applied to display apparatus
US8902286B2 (en) Method and apparatus for detecting motion vector, and method and apparatus for processing image signal
JP2006128842A (ja) 立体映像信号生成装置
JP2012015825A (ja) 映像変換方法および映像変換装置
JP2012175309A (ja) 映像表示装置および映像表示方法
JP2012100186A (ja) 補間画像生成装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2012526785

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11860023

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11860023

Country of ref document: EP

Kind code of ref document: A1