WO2011105220A1 - 立体映像処理装置および方法、並びにプログラム - Google Patents

立体映像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2011105220A1
WO2011105220A1 PCT/JP2011/052806 JP2011052806W WO2011105220A1 WO 2011105220 A1 WO2011105220 A1 WO 2011105220A1 JP 2011052806 W JP2011052806 W JP 2011052806W WO 2011105220 A1 WO2011105220 A1 WO 2011105220A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
parallax
maximum value
maximum
stereoscopic video
Prior art date
Application number
PCT/JP2011/052806
Other languages
English (en)
French (fr)
Inventor
克也 兵頭
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112012020774A priority Critical patent/BR112012020774A2/pt
Priority to US13/576,166 priority patent/US9013561B2/en
Priority to EP11747184.7A priority patent/EP2541949A4/en
Priority to KR20127021421A priority patent/KR20130040771A/ko
Priority to CN2011800101825A priority patent/CN102804792A/zh
Priority to RU2012135485/08A priority patent/RU2012135485A/ru
Publication of WO2011105220A1 publication Critical patent/WO2011105220A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Definitions

  • the present invention relates to a stereoscopic image processing apparatus, method, and program, and more particularly, to a stereoscopic image processing apparatus, method, and program that can reduce eye strain when viewing a stereoscopic image.
  • a human recognizes an object three-dimensionally using a difference (parallax) between images captured by the right eye and the left eye.
  • the rotational movement of the eyeball changes the angle of convergence, and humans recognize this as the distance to the object.
  • the convergence angle is a crossing angle of line of sight.
  • two two-dimensional images with parallax are prepared for the left and right eyes, and each is projected separately to the left and right eyes, giving an illusion of the distance from the angle of convergence to the object.
  • the parallax is the amount of shift between the left and right eye images.
  • a stereoscopic image a stereoscopic image
  • a plurality of left and right eye images are prepared and continuously changed are called three-dimensional images.
  • a device capable of displaying them is called a stereoscopic video display device.
  • the present invention has been made in view of such a situation, and is intended to reduce eye strain when viewing a stereoscopic image.
  • One aspect of the present invention is the frame specifying means for specifying a frame in which a change in the maximum value of parallax is discontinuous in time among frames of a stereoscopic video signal having a frame rate per unit time.
  • the maximum value of the parallax in the first frame that is a predetermined time before the reference frame and the maximum value of the parallax in the second frame that is a predetermined time after the reference frame
  • the parallax maximum value of the processing target frame based on the parallax maximum value of the processing target frame
  • a parallax coefficient calculating means for calculating a parallax coefficient, which is a coefficient for adjusting the conversion so as to be continuous in time, and adjusting the parallax coefficient maximum value by multiplying the calculated parallax coefficient by the calculated parallax
  • the parallax in each frame of the stereoscopic video signal is information included in the frame of the stereoscopic video signal, and can be specified based on a parallax plane representing the parallax for each pixel.
  • the parallax in each frame of the stereoscopic video signal may be specified by calculating a pixel difference between right-eye image data and left-eye image data included in the stereoscopic video signal frame. it can.
  • the frame specifying unit can detect a frame in which the change in the maximum value of the parallax is discontinuous in time by detecting a scene change frame in the video of the stereoscopic video signal. .
  • the frame specifying means may specify a frame in which a change in the maximum parallax value is discontinuous based on a difference between the maximum parallax values of two frames before and after the temporally continuous frame. it can.
  • the frame specifying unit specifies a frame in which the change in the maximum value of the parallax is discontinuous in time among the frames of the stereoscopic video signal having a frame rate per unit time.
  • the specifying means uses the specified frame as a reference frame, and a maximum value of parallax in the first frame that is a predetermined time before the reference frame, and a second frame that is a predetermined time after the reference frame.
  • the parallax coefficient calculating means specifies a parallax maximum value, and each of the frames between the first frame and the second frame is set as a processing target frame, and the parallax maximum value in the first frame, 2 based on the maximum parallax value in the second frame and the maximum parallax value in the processing target frame.
  • a parallax coefficient that is a coefficient for adjusting the change in the maximum parallax value to be continuous in time is calculated, and a parallax adjusting unit determines the parallax maximum value of the processing target frame as the calculated parallax.
  • a stereoscopic image processing method including a step of adjusting by multiplying by a coefficient.
  • One aspect of the present invention is a frame specifying means for specifying a frame in which a change in the maximum value of parallax is discontinuous in time among frames of a stereoscopic video signal having a frame rate per unit time; Using the specified frame as a reference frame, the maximum parallax in the first frame a predetermined time before the reference frame and the maximum parallax in the second frame a predetermined time after the reference frame And a maximum parallax specifying unit that specifies the maximum parallax value in the first frame and the parallax in the second frame, with each of the frames between the first frame and the second frame as processing target frames.
  • Parallax coefficient calculating means for calculating a parallax coefficient that is a coefficient for adjusting the change in the maximum parallax value to be continuous in time, and the parallax coefficient calculated as the maximum parallax coefficient of the processing target frame.
  • a frame in which a change in the maximum value of disparity is discontinuous in time is specified, and the specified frame is As the reference frame, a maximum value of parallax in a first frame that is a predetermined time before the reference frame and a maximum value of parallax in a second frame that is a predetermined time after the reference frame are specified, and Each frame between one frame and the second frame is a processing target frame, and the maximum parallax value in the first frame, the maximum parallax value in the second frame, and the parallax of the processing target frame Based on the maximum value of the parallax, the parallax maximum value of the processing target frame is set so that the change in the parallax maximum value is continuous in time.
  • Parallax coefficient is a coefficient for adjusting is calculated, the maximum value of the disparity of the processing target frame, the calculated parallax coefficient is adjusted by being multiplied.
  • FIG. 3 is a diagram illustrating an example in which the stereoscopic video illustrated in FIG. 2 is observed by a human. It is the figure which represented the change of the parallax with progress of time as a graph. It is a figure explaining the change of the convergence angle of a visual line in the case of observing a three-dimensional image. It is a block diagram which shows the structural example of the three-dimensional video display system which concerns on one embodiment of this invention. It is a block diagram which shows the detailed structural example of the parallax processing part of FIG.
  • FIG. 16 is a block diagram illustrating a configuration example of a personal computer.
  • FIG. 1 is a diagram for explaining a mechanism in which human eyes recognize stereoscopic images.
  • a human is configured to recognize an object three-dimensionally using a difference (parallax) between an image captured by the right eye and an image captured by the left eye.
  • a difference parallax
  • the same circular object is displayed in the image captured by the right eye and the image captured by the left eye, but the display positions are different.
  • the convergence angle is a crossing angle of line of sight.
  • a right-eye image and a left-eye image having parallax may be prepared and displayed.
  • the triangular object in the figure is displayed three-dimensionally (for example, displayed) due to the parallax. Can be displayed as if jumping out of the part).
  • the image for the right eye and the image for the left eye are displayed, for example, by overlapping with red and blue light, respectively, and separated by glasses with red and blue color filters, respectively, so that the human right eye and left eye can observe Is done.
  • FIG. 3 is a diagram showing an example in which the stereoscopic image shown in FIG. 2 is observed by a human.
  • the line of sight of the left eye is aligned with the approximate center of the object of the image for the left eye
  • the line of sight of the right eye is aligned with the approximate center of the object for the image for the right eye. Then, it feels as if the object is protruding at the position where the line of sight of the left eye and the line of sight of the right eye indicated by the dotted line in the figure intersect.
  • FIG. 4 is a diagram in which the horizontal axis is time, the vertical axis is the maximum value of the parallax of stereoscopic video at each time, and the change in parallax over time is represented as a graph. In the example of the figure, it is assumed that a scene change has occurred at time t1.
  • the human right and left eyeballs are oriented in such a way that the gaze angle of the line of sight is ⁇ .
  • the right and left eyeballs are rotated so that the convergence angle of the line of sight becomes ⁇ . In this way, sudden eye rotation causes eye strain.
  • discontinuous disparity in time is not generated in the stereoscopic image.
  • FIG. 6 is a block diagram showing a configuration example of a stereoscopic video display system according to an embodiment of the present invention.
  • the stereoscopic video display system 10 includes a stereoscopic video display device 21 and a display 22.
  • the stereoscopic video display device 21 is configured to include a stereoscopic video signal acquisition unit 41 and a parallax processing unit 42 therein.
  • the stereoscopic video signal acquisition unit 41 is configured to receive a stereoscopic video signal transmitted as a broadcast wave, such as a tuner. Further, the stereoscopic video signal acquisition unit 41 may be configured to read out a stereoscopic video signal recorded on a recording medium such as a DVD or an HDD such as a drive.
  • the parallax processing unit 42 is a functional block that performs processing for correcting a signal so that a discontinuous disparity in time does not occur in the stereoscopic video with respect to the stereoscopic video signal acquired by the stereoscopic video signal acquisition unit 41. Is done. A detailed configuration of the parallax processing unit 42 will be described later with reference to FIG.
  • the display 22 is composed of, for example, an LCD (Liquid Crystal Display) or the like, and has a two-dimensional image display area.
  • the user wears glasses with a color filter, for example, and sees a stereoscopic video displayed on the display 22.
  • the display 22 may be configured by a screen, for example, and a stereoscopic image projected from the stereoscopic image display device 21 may be displayed on the screen.
  • the stereoscopic video display system 10 can be configured as a device in which the stereoscopic video display device 21 and the display 22 are integrated.
  • FIG. 7 is a block diagram illustrating a detailed configuration example of the parallax processing unit 42 of FIG. As shown in the figure, the parallax processing unit 42 includes a scene change detection unit 61 and a parallax adjustment unit 62.
  • the scene change detection unit 61 identifies a scene change frame from the stereoscopic video signal.
  • the scene change detection unit 61 stores a frame of a stereoscopic video signal corresponding to a stereoscopic video for 3 seconds, for example, in an internal buffer or the like, and specifies a scene change frame.
  • FIG. 8 is a diagram for explaining a frame structure of a stereoscopic video signal. It is assumed that the stereoscopic video signal is configured in units of frames. FIG. 8 shows information included in one frame of the stereoscopic video signal. Note that a stereoscopic video signal that is a signal for displaying a moving image includes, for example, 60 frames per second. That is, it is possible to display a one-second stereoscopic video by using a stereoscopic video signal for 60 frames.
  • the frame of the stereoscopic video signal is configured to include a right-eye plane, a left-eye plane, a parallax plane, and a scene change flag.
  • information such as a frame header and error detection bits is appropriately inserted into the frame.
  • the right-eye plane and the left-eye plane are image data for one screen displayed on the display 22.
  • Each rectangle of the plane represents one pixel.
  • the right-eye plane and the left-eye plane each show 64 rectangles, and “0” or “1” is written inside each rectangle.
  • a rectangle marked “0” in the figure represents a black pixel
  • a rectangle marked “1” in the figure represents a white pixel. .
  • FIG. 8 represents an image in which a white object of 2 ⁇ 4 pixels is displayed on a black background, and the display position of the white object of 2 ⁇ 4 pixels is different between the right-eye plane and the left-eye plane. It has been made different. That is, as described above with reference to FIG. 3, an image having parallax is displayed, and the object feels as if it is popping out of the screen.
  • the difference in display position between the right-eye plane and the left-eye plane can be specified by the parallax plane.
  • the parallax plane has 64 rectangles corresponding to the pixels of the right-eye plane and the left-eye plane, and is information indicating how many pixels of the right-eye plane are shifted in the left-eye plane.
  • “2” is written in each of the rectangles corresponding to the display position of the 2 ⁇ 4 pixel white object in the right-eye plane. This represents that a 2 ⁇ 4 pixel white object in the right-eye plane is displayed with a two-pixel shift to the right in the left-eye plane.
  • the scene change flag is a flag for specifying the occurrence of a scene change.
  • the scene change flag is configured as a bit representing “0” or “1”, and when the scene change flag is “1”, it represents that a scene change occurs in the next frame.
  • “0” is written as the scene change flag, which indicates that no scene change occurs in the next frame.
  • a frame number indicating the number of frames counted from the head frame is added to each frame of the stereoscopic video signal.
  • the scene change detection unit 61 extracts a scene change detection flag from each of the accumulated 180 frames, and generates a scene change flag string.
  • FIG. 9 is a diagram illustrating an example of a scene change flag sequence.
  • a scene change flag string is generated by associating a scene change detection flag with a frame number. It is assumed that the first frame (at the start of the video) has a frame number 0. In this example, the scene change flag is set by the scene change detection flags of 180 frames (for 3 seconds) from frame numbers 0 to 179. A column has been generated.
  • the scene change detection flag corresponding to frame number 8 is set to “1”, and it can be seen that the scene switches at the frame of frame number 9. That is, the scenes are different between the frames of frame numbers 0 to 8 and the frames of frame numbers 9 to 179.
  • the parallax adjustment unit 62 acquires a frame of the stereoscopic video signal based on the frame number of the frame of the scene change specified by the scene change detection unit 61, and stores it in an internal buffer or the like.
  • the scene change frame identified by the scene change detection unit 61 is a frame having a scene change detection flag of “1”, and is a frame of frame number 8 in the example of FIG.
  • the frame having the frame number P-180 and the frame having the frame number P + 180 are acquired and stored (stored). To do. That is, a frame 3 seconds before and 3 seconds after the frame where the scene change occurs is acquired.
  • a frame with frame number 0 may be obtained instead.
  • the parallax adjustment unit 62 identifies the maximum parallax value in the two frames described above. That is, the maximum value among the numerical values of the parallax plane of each frame is specified.
  • the maximum parallax value of the frame with frame number P-180 is Db
  • the maximum parallax value of the frame with frame number P + 180 is Da.
  • the parallax adjustment unit 62 calculates the parallax coefficient ⁇ , which is a coefficient for adjusting the value of the maximum parallax of the frame to be subjected to the process of correcting the signal so that discontinuous parallax does not occur, using the formula (1).
  • Equation (1) Pc is the number of the frame to be processed, and Dc is the maximum value of the parallax of the frame with frame number Pc. Further, F in equation (1) is a value representing the number of frames per second, and the value of F is 60 in the above-described example.
  • the parallax coefficient ⁇ is obtained for each frame to be processed. That is, the parallax coefficient ⁇ is calculated individually for each frame with frame numbers P-180 to P + 180.
  • the parallax processing unit 42 specifies the maximum value among the numerical values of the parallax planes of the two frames as the parallax maximum value.
  • the value of Da is 4 and the value of Db is 2.
  • Formula (2) is obtained by substituting the values of F, Da, and Db described above into Formula (1).
  • the parallax adjustment unit 62 adjusts the maximum parallax of each frame from frame number P-180 to frame number P + 180 using the parallax coefficient ⁇ obtained as described above. For example, the frame number where the scene change actually occurs is substituted for P in the above-described equation (2), the frame number to be processed is substituted for Pc, and the maximum value of the parallax is substituted for Dc. ⁇ is obtained for each frame number.
  • the parallax adjustment unit 62 adjusts (corrects) the maximum parallax of the frame having the frame number Pc by multiplying the value of Dc by ⁇ . Note that frames with frame numbers P-180 to P + 180 are set as processing target frames, and the parallax coefficient ⁇ calculated individually is multiplied by the parallax maximum value of each frame.
  • FIG. 11 is a graph showing a change in the maximum parallax value of the stereoscopic video signal before the process by the parallax processing unit 42 is performed.
  • the horizontal axis is the frame number
  • the vertical axis is the parallax value
  • the scene change frame is the frame of frame number P.
  • the parallax maximum value discontinuously changes between the frame with the frame number P and the frame with the frame number P + 1.
  • FIG. 12 is a graph showing a change in the maximum parallax value of the stereoscopic video signal after the processing by the parallax processing unit 42 is performed. Also in the figure, as in FIG. 11, the horizontal axis is the frame number, the vertical axis is the parallax value, and the scene change frame is the frame of frame number P.
  • a change in the maximum value of the parallax of the stereoscopic video signal after the processing by the parallax processing unit 42 is represented by a line indicated by a solid line in the graph of the figure, and a parallax indicated by a line indicated by a dotted line
  • a change in the maximum value of the parallax of the stereoscopic video signal before being processed by the processing unit 42 is shown.
  • the maximum parallax of each of the frames with frame numbers P-180 to P + 180 is adjusted by the processing by the parallax processing unit 42. That is, the maximum parallax of frames from frame numbers P-180 to P is adjusted to be larger than the original value, and the maximum parallax of frames from frame numbers P + 1 to P + 180 is adjusted to be smaller than the original value. Has been. The maximum parallax is adjusted so as to gradually increase from the frame of frame number P-180 to the frame of P + 180.
  • processing for correcting the signal was performed so that discontinuous disparity in time does not occur in the stereoscopic image.
  • Equation (2) When the frame number and the maximum value of parallax in FIG. 13 are substituted into Equation (2), the value of ⁇ is 1.5.
  • the stereoscopic video signal corrected by adjusting the parallax is output to the display 22.
  • discontinuous disparity in time can be prevented from occurring in the stereoscopic image, and the user's eye strain can be reduced. Since the maximum parallax value of the corrected stereoscopic video signal is adjusted so as to gradually change around the time when the scene change occurs, it is possible to prevent the user from giving an unnatural impression.
  • step S21 the scene change detection unit 61 identifies the frame number of the scene change frame based on the stereoscopic video signal supplied from the stereoscopic video signal acquisition unit 41.
  • the scene change detection unit 61 accumulates the frame of the stereoscopic video signal corresponding to the stereoscopic video for 3 seconds in the internal buffer or the like, and sets the scene change flag string as described above with reference to FIG. Generate. Then, the frame number P of the scene change frame is specified based on the scene change flag string.
  • step S22 the parallax adjustment unit 62 acquires a frame of the stereoscopic video signal based on the frame number of the scene change frame specified by the scene change detection unit 61 in the process of step S21. At this time, a frame having a frame number P-180 and a frame having a frame number P + 180 are acquired.
  • step S23 the parallax adjustment unit 62 specifies the maximum parallax value in the two frames described above. That is, the maximum value among the numerical values of the parallax plane of each frame is specified.
  • step S24 the parallax adjustment unit 62 obtains the parallax coefficient ⁇ by the equation (1).
  • step S25 the parallax adjustment unit 62 adjusts the value of the maximum parallax of the parallax plane.
  • steps S24 and S25 are executed individually with the frames having frame numbers P-180 to P + 180 being processed frames. That is, the variable Pc in the equation (1) is sequentially counted up from, for example, P ⁇ 180 to P + 180, and the processes of step S24 and step S25 are executed.
  • step S26 the parallax adjustment unit 62 outputs a corrected stereoscopic video signal in which the parallax is adjusted through the processing in step S25.
  • the above description is based on the assumption that a stereoscopic video signal frame includes a parallax plane, but the present invention can be applied even when a stereoscopic video signal frame does not include a parallax plane.
  • the parallax plane is not included, for example, in the parallax processing unit 42, the position shift of the object (object) between the right-eye plane and the left-eye plane is specified by block matching processing, and the same information as the parallax plane is obtained You can do that.
  • the scene change detection flag is included in the frame of the stereoscopic video signal.
  • the present invention is applied even when the scene change detection flag is not included in the frame of the stereoscopic video signal. Is possible.
  • the scene change detection flag is not included, for example, a scene change is detected based on a histogram of luminance values of pixels of image data obtained from a stereoscopic video signal in advance, and information similar to the scene change detection flag is obtained. do it.
  • the frame number P has been described as a scene change frame.
  • a reference frame may be specified based on a change in the maximum parallax value of each frame.
  • the number P frame and the number P + 1 frame in which the absolute difference between the maximum parallax values is greater than or equal to the threshold value are detected in advance, and the parallax adjustment may be performed using the number P frame as a reference. Good.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed from a network or a recording medium into a computer incorporated in dedicated hardware. Further, by installing various programs, the program is installed from a network or a recording medium into a general-purpose personal computer 700 as shown in FIG. 16 that can execute various functions.
  • a CPU (Central Processing Unit) 701 executes various processes according to a program stored in a ROM (Read Only Memory) 702 or a program loaded from a storage unit 708 to a RAM (Random Access Memory) 703. To do.
  • the RAM 703 also appropriately stores data necessary for the CPU 701 to execute various processes.
  • the CPU 701, ROM 702, and RAM 703 are connected to each other via a bus 704.
  • An input / output interface 705 is also connected to the bus 704.
  • the input / output interface 705 is connected to an input unit 706 composed of a keyboard, a mouse, etc., a display composed of an LCD (Liquid Crystal Display), etc., and an output unit 707 composed of a speaker.
  • the input / output interface 705 is connected to a storage unit 708 composed of a hard disk and a communication unit 709 composed of a network interface card such as a modem and a LAN card.
  • the communication unit 709 performs communication processing via a network including the Internet.
  • a drive 710 is connected to the input / output interface 705 as necessary, and a removable medium 711 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted. Then, the computer program read from these removable media is installed in the storage unit 708 as necessary.
  • a program constituting the software is installed from a network such as the Internet or a recording medium such as a removable medium 711.
  • the recording medium shown in FIG. 16 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user separately from the apparatus main body.
  • Removable media consisting of optical discs (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 711 but also those configured by a ROM 702 storing a program and a hard disk included in the storage unit 708 distributed to the user in a state of being pre-installed in the apparatus main body.

Abstract

　本発明は、立体映像を見るときの眼精疲労を軽減することができるようにする立体映像処理装置および方法、並びにプログラムに関する。　シーンチェンジ検出部６１は、立体映像信号から、３秒分の立体映像に対応するフレームを内部のバッファなどに蓄積し、シーンチェンジのフレームを特定する。視差調整部６２は、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号に基づいて、３秒前のフレームと、３秒後のフレームとを取得し、２つのフレームにおける視差の最大値を特定して視差係数αを求める。そして、視差係数を用いて視差プレーンの最大視差の値が調整される。

Description

立体映像処理装置および方法、並びにプログラム
　本発明は、立体映像処理装置および方法、並びにプログラムに関し、特に、立体映像を見るときの眼精疲労を軽減することができるようにする立体映像処理装置および方法、並びにプログラムに関する。
　人間は、右目と左目で捉えた画像の違い（視差）を利用して、物体を立体的に認識している。眼球の回転運動は輻湊角を変化させ、人間はこれを物体までの距離として認識する。ここで輻湊角とは、視線の交差角である。
　この人間の目の特性を利用して、左右目用に視差をつけた二つの二次元画像用意し、それぞれを左右の目に別々に映すと、その輻湊角から物体までの距離を錯覚し立体を感じる。ここで視差とは左右目用画像のずれ量である。
　左右目用画像を一枚ずつ使って表示したものを立体画像、左右目用画像を複数枚ずつ用意し、それらを連続的に変化させたものを立体映像と称する。また、それらを表示できる装置を立体映像表示装置と称する。
　また、左右一対のレンズ部が透視状態と遮光状態に交互に切り換えられるシャッタ眼鏡を用い、右眼用画像と左眼用画像とをディスプレイに視差を有するように交互に表示させ、右眼用画像と左眼用画像の切り換えのタイミングに合わせて左右のレンズ部を透視状態と遮光状態とに交互に切換制御することで、シャッタ眼鏡の切換操作を不要とする立体画像表示装置も提案されている（例えば、特許文献１参照）。
特開２００１－３２０７３４号公報
　しかしながら、例えば、シーンチェンジが発生する時は、全く異なる映像が連続して表示されるため、立体映像では、時間的に不連続な視差が生じる傾向がある。
　例えば、シーンチェンジ前は視差なしの二次元オブジェクト、シーンチェンジ後は視差ありの立体オブジェクトが表示されたとする。その場合、二次元オブジェクトを見るための輻湊角αと立体オブジェクトを見るための輻湊角βが大きく異なるため、視聴者は眼球を回転させ、輻湊角を急激に変化させることを強いられる。
　このような急激な視差変化に伴う輻湊角の調整は眼精疲労を伴うと考えられており、従来の技術では、例えば、シーンチェンジの発生に伴う眼精疲労の問題を解決することができなかった。
　本発明はこのような状況に鑑みてなされたものであり、立体映像を見るときの眼精疲労を軽減することができるようにするものである。
　本発明の一側面は、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段とを備える立体映像処理装置である。
　前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる情報であって、画素毎の視差を表す視差プレーンに基づいて特定されるようにすることができる。
　前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる右目用の画像データと左目用の画像データとの画素の差分を算出することにより特定されるようにすることができる。
　前記フレーム特定手段は、前記立体映像信号の映像の中でシーンチェンジのフレームを検出することにより、前記視差の最大値の変化が時間的に不連続となるフレームを特定するようにすることができる。
　前記フレーム特定手段は、時間的に連続する前後２つのフレームの視差の最大値の差分に基づいて、前記視差の最大値の変化が時間的に不連続となるフレームを特定するようにすることができる。
　本発明の一側面は、フレーム特定手段が、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定し、最大視差特定手段が、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定し、視差係数算出手段が、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出し、視差調整手段が、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整するステップを含む立体映像処理方法である。
　本発明の一側面は、コンピュータを、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段とを備える立体映像処理装置として機能させるプログラムである。
　本発明の一側面においては、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームが特定され、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値が特定され、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数が算出され、前記処理対象フレームの視差の最大値が、前記算出された視差係数が乗じられることにより調整される。
　本発明によれば、立体映像を見るときの眼精疲労を軽減することができる。
人間の目が立体映像を認識する仕組みを説明する図である。 視差を有する右目用画像と左目用画像の例を示す図である。 図２に示される立体映像が人間により観察される例を示す図である。 時間の経過に伴う視差の変化をグラフとして表わした図である。 立体映像を観察する場合の視線の輻湊角の変化を説明する図である。 本発明の一実施の形態に係る立体映像表示システムの構成例を示すブロック図である。 図６の視差処理部の詳細な構成例を示すブロック図である。 立体映像信号のフレームの構成例を示す図である。 シーンチェンジフラグ列の例を示す図である。 フレーム番号Ｐ－１８０のフレームとフレーム番号Ｐ＋１８０のフレームの右目用プレーン、左目用プレーン、視差プレーンの例を示す図である。 視差処理部による処理が施される前の立体映像信号の視差の最大値の変化を表すグラフである。 視差処理部による処理が施された後の立体映像信号の視差の最大値の変化を表すグラフである。 視差処理部による処理が施される前の右目用プレーン、左目用プレーン、視差プレーンの例を示す図である。 視差処理部による処理が施された後の右目用プレーン、左目用プレーン、視差プレーンの例を示す図である。 立体映像信号補正処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
　以下、図面を参照して、本発明の実施の形態について説明する。
　最初に立体映像の表示について説明する。
　図１は、人間の目が立体映像を認識する仕組みを説明する図である。
　同図に示されるように、人間は、右目が捉えた画像と左目が捉えた画像との違い（視差）を利用して、物体を立体的に認識するようになされている。図１の例では、右目が捉えた画像と左目が捉えた画像において、円形の同じ物体が表示されているが、その表示位置が異なっている。
　人間が注目する物体に視線の焦点を合わせるために、右目と左目の眼球を回転させることになる。眼球の回転運動は輻湊角を変化させ、人間は輻湊角により物体までの距離を認識し、その結果立体的な映像が認識されるのである。ここで輻湊角とは、視線の交差角である。
　従って、例えば、２次元の表示部に立体映像を表示させる場合、視差を有する右目用画像と左目用画像を用意して表示するようにすればよい。例えば、図２に示されるように、視差を有する右目用画像と左目用画像を同時に２次元の表示部に表示すれば、その視差により、図中の三角形の物体が立体的に（例えば、表示部から飛び出しているように）表示されるようにすることができる。
　なお、右目用画像と左目用画像は、例えば、それぞれ赤と青の光で重ねて表示され、それぞれ赤と青のカラーフィルタの付いたメガネにより分離されることで、人間の右目と左目によって観察される。
　図３は、図２に示される立体映像が人間により観察される例を示す図である。同図に示されるように、左目の視線は、左目用画像の物体のほぼ中央に合わせられ、右目の視線は、右目用画像の物体のほぼ中央に合わせられている。そうすると、図中点線で示されている左目の視線と右目の視線の交差する位置に、あたかも物体が飛び出しているように感じられるのである。
　しかしながら、例えば、立体映像の中でシーンチェンジが発生する時は、全く異なる映像が連続して表示されることになるため、時間的に不連続な視差が生じることがある。
　図４は、横軸が時間とされ、縦軸が各時刻における立体映像の視差の最大値とされ、時間の経過に伴う視差の変化をグラフとして表わした図である。同図の例では、時刻ｔ１においてシーンチェンジが発生したものとする。
　図４のグラフは、時刻ｔ１において不連続となっている。すなわち、立体映像において、時間的に不連続な視差が生じたのである。
　このような急激な視差変化に伴う輻湊角の調整は眼精疲労を伴うと考えられている。説明を簡単にするために、例えば、映像において注目しているオブジェクトが２次元で表示されているシーンから、そのオブジェクトが立体的に表示されるシーンに切り替わるシーンチェンジを考える。
　例えば、図５に示されるように、オブジェクトが２次元で表示されているシーンでは、人間の右目と左目の眼球は、視線の輻湊角がαとなるような向きに向けられている。その直後、シーンチェンジが発生してオブジェクトが立体的に表示されるシーンに切り替わると、右目と左目の眼球は、視線の輻湊角がβとなるように回転させられる。このように、急激に眼球を回転させることが眼精疲労につながる。
　なお、輻湊角の変化と眼精疲労については、「岸 信介ら, 2眼式立体映像のコンテンツ評価システムの試作, 映像情報メディア学会誌, 2006, Vol.60, No. 6 pp.934-942」、「原島　博ら, 3次元画像と人間の科学, オーム社, 2000」などの文献に開示されている。
　そこで、本発明では、立体映像の中で時間的に不連続な視差が生じないようにする。
　図６は、本発明の一実施の形態に係る立体映像表示システムの構成例を示すブロック図である。同図に示されるように、立体映像表示システム１０は、立体映像表示装置２１とディスプレイ２２により構成されている。
　立体映像表示装置２１は、内部に立体映像信号取得部４１、および視差処理部４２を有する構成とされている。
　立体映像信号取得部４１は、例えば、チューナなど、放送波として送信された立体映像信号を受信するものとして構成される。また、立体映像信号取得部４１は、例えば、ドライブなどのように、ＤＶＤ、ＨＤＤなどの記録媒体に記録された立体映像信号を読み出すものとして構成されるようにしてもよい。
　視差処理部４２は、立体映像信号取得部４１により取得された立体映像信号に対して、立体映像の中で時間的に不連続な視差が生じないように信号を補正する処理を施す機能ブロックとされる。なお、視差処理部４２の詳細な構成については、図７を参照して後述する。
　ディスプレイ２２は、例えば、ＬＣＤ(Liquid Crystal display)などにより構成され、２次元の画像表示領域を有するものとされる。ユーザは、例えば、カラーフィルタの付いたメガネなどを装着して、ディスプレイ２２に表示された立体映像を見るようになされている。
　また、ディスプレイ２２は、例えば、スクリーンなどにより構成され、立体映像表示装置２１から投影された立体映像がスクリーンに表示されるようにしてもよい。さらに、立体映像表示装置２１とディスプレイ２２とが一体化された装置として、立体映像表示システム１０が構成されるようにすることも可能である。
　図７は、図６の視差処理部４２の詳細な構成例を示すブロック図である。同図に示されるように、視差処理部４２は、シーンチェンジ検出部６１、および視差調整部６２を有する構成とされている。
　シーンチェンジ検出部６１は、立体映像信号から、シーンチェンジのフレームを特定するようになされている。シーンチェンジ検出部６１は、例えば、３秒分の立体映像に対応する立体映像信号のフレームを内部のバッファなどに蓄積し、シーンチェンジのフレームを特定するようになされている。
　図８は、立体映像信号のフレームの構成を説明する図である。立体映像信号は、フレーム単位に構成されているものとする。図８は、立体映像信号の１フレームに含まれる情報を表している。なお、動画像を表示させる信号である立体映像信号は、例えば、１秒間に６０フレームを含むものとされる。すなわち、６０フレーム分の立体映像信号により、１秒間の立体映像を表示させることができる。
　図８の例では、立体映像信号のフレームは、右目用プレーン、左目用プレーン、視差プレーン、およびシーンチェンジフラグを有する構成とされている。なお、この他にもフレームヘッダ、誤り検出ビットなどの情報が当該フレームに適宜挿入される。
　右目用プレーン、および左目用プレーンは、ディスプレイ２２に表示される１画面分の画像データとされる。なお、図８の例では、説明を簡単にするため、ディスプレイ２２に表示される１画面分の画像は、６４（＝８×８）画素で構成されるものとし、右目用プレーン、および左目用プレーンの各矩形のそれぞれが１画素を表すものとする。
　右目用プレーン、および左目用プレーンには、それぞれ６４個の矩形が示されており、各矩形の内部には、「０」または「１」が記載されている。ここでは、説明を簡単にするため、図中「０」と記された矩形は、黒色の画素を表すものとし、図中「１」と記された矩形は、白色の画素を表すものとする。
　図８の例は、黒色の背景に２×４画素の白色の物体が表示される画像を表しており、２×４画素の白色の物体の表示位置が、右目用プレーンと左目用プレーンとでは異なるようになされている。すなわち、図３を参照して上述したように、視差を有する画像が表示され、その物体があたかも画面から飛び出しているように感じられる。
　右目用プレーンと左目用プレーンとの表示位置の違いは、視差プレーンにより特定することができる。視差プレーンは、右目用プレーン、および左目用プレーンの各画素に対応する６４の矩形を有しており、右目用プレーンの画素が、左目用プレーンにおいて何画素ずれているかを表す情報とされる。図８の例では、右目用プレーンにおける２×４画素の白色の物体の表示位置に対応する部分の矩形にそれぞれ「２」が記されている。これは、右目用プレーンにおける２×４画素の白色の物体が、左目用プレーンにおいて右に２画素ずれて表示されることを表している。
　シーンチェンジフラグは、シーンチェンジの発生を特定するためのフラグとされる。例えば、シーンチェンジフラグは、「０」または「１」を表すビットとして構成され、シーンチェンジフラグが「１」である場合、次のフレームにおいてシーンチェンジが発生することを表す。図８の例では、シーンチェンジフラグとして「０」が記されているので、次のフレームではシーンチェンジが発生しないことを表している。
　なお図８には示されていないが、立体映像信号のフレームのそれぞれには、先頭のフレームから数えて何番目のフレームであるかを表すフレーム番号が付加される。
　上述したように、シーンチェンジ検出部６１は、例えば、３秒分の立体映像に対応する立体映像信号のフレームを内部のバッファなどに蓄積し、シーンチェンジのフレームを特定するようになされている。すなわち、図８に示されるようなフレームが１８０（＝３×６０）個バッファに蓄積される。シーンチェンジ検出部６１は、蓄積した１８０のフレームのそれぞれから、シーンチェンジ検出フラグを抽出し、シーンチェンジフラグ列を生成する。図９は、シーンチェンジフラグ列の例を示す図である。
　図９の例では、フレーム番号にシーンチェンジ検出フラグが対応づけられることにより、シーンチェンジフラグ列が生成されている。なお、先頭（映像の開始時点）のフレームはフレーム番号０であるものとし、この例では、フレーム番号０から１７９までの１８０個（３秒分）のフレームのシーンチェンジ検出フラグにより、シーンチェンジフラグ列が生成されている。
　図９の例では、フレーム番号８に対応するシーンチェンジ検出フラグが「１」とされており、フレーム番号９のフレームで、シーンが切り替わることが分かる。すなわち、フレーム番号０から８までのフレームの映像と、フレーム番号９から１７９までのフレームの映像ではシーンが異なることになる。
　視差調整部６２は、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号に基づいて、立体映像信号のフレームを取得し、内部のバッファなどに蓄積する。ここで、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームは、シーンチェンジ検出フラグが「１」のフレームとされ、図９の例ではフレーム番号８のフレームである。
　例えば、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号をＰとすると、フレーム番号がＰ－１８０であるフレームと、フレーム番号がＰ＋１８０であるフレームとを取得して蓄積（記憶）する。すなわち、シーンチェンジが発生するフレームの３秒前のフレームと、３秒後のフレームが取得されるのである。
　なお、例えば、図９に示される例のように、フレーム番号Ｐ－１８０のフレームが存在しない場合は、例えば、それに代えてフレーム番号０のフレームが取得されるようにしてもよい。
　視差調整部６２は、上述した２つのフレームにおける視差の最大値を特定する。すなわち、各フレームの視差プレーンの数値のうちの最大の値が特定される。ここで、フレーム番号Ｐ－１８０のフレームの視差の最大値をＤｂとし、フレーム番号Ｐ＋１８０のフレームの視差の最大値をＤａとする。
　そして、視差調整部６２は、時間的に不連続な視差が生じないように信号を補正する処理の対象となるフレームの最大視差の値を調整するための係数である視差係数αを式（１）により求める。
Figure JPOXMLDOC01-appb-M000001
　式（１）のＰｃは処理対象となるフレームの番号とし、Ｄｃはフレーム番号Ｐｃのフレームの視差の最大値とされる。また、式（１）のＦは、１秒間のフレーム数を表す値とされ、上述した例ではＦの値は６０になる。
　視差係数αは、処理対象となるフレーム毎に求められる。すなわち、フレーム番号がＰ－１８０からＰ＋１８０までのそれぞれのフレームについて、個々に視差係数αが算出されていく。
　例えば、フレーム番号Ｐ－１８０のフレームとフレーム番号Ｐ＋１８０のフレームの右目用プレーン、左目用プレーン、視差プレーンがそれぞれ図１０に示されるものであったとする。視差処理部４２は、２つのフレームの視差プレーンの数値のうちの最大の値を視差の最大値として特定する。いまの場合、Ｄａの値が４となり、Ｄｂの値が２となる。
　式（１）に上述のＦ、Ｄａ、Ｄｂの値をそれぞれ代入すると、式（２）が得られる。
Figure JPOXMLDOC01-appb-M000002
　視差調整部６２は、フレーム番号Ｐ－１８０からフレーム番号Ｐ＋１８０のフレームのそれぞれの最大視差を、上述のようにして求めた視差係数αを用いて調整する。例えば、上述の式（２）のＰに、実際にシーンチェンジが発生するフレーム番号を代入し、Ｐｃに処理対象のフレーム番号を代入し、Ｄｃにその視差の最大値を代入して処理対象のフレーム番号毎にαを求める。
　そして、視差調整部６２は、Ｄｃの値にαを乗じることにより、フレーム番号Ｐｃのフレームの最大視差を調整する（補正する）。なお、フレーム番号がＰ－１８０からＰ＋１８０までのフレームがそれぞれ処理対象フレームとされて、個々に算出された視差係数αがそれぞれのフレームの視差の最大値に乗じられていく。
　図１１と図１２を参照してさらに説明する。いま、説明を簡単にするために、フレーム番号０からＰまでの間の最大視差の値が常に２であったものとし、フレーム番号Ｐ＋１から最後のフレームまでの間の最大視差の値が常に４であったものとする。
　図１１は、視差処理部４２による処理が施される前の立体映像信号の視差の最大値の変化を表すグラフである。同図においては、横軸がフレーム番号とされ、縦軸が視差の値とされ、シーンチェンジのフレームは、フレーム番号Ｐのフレームとされている。同図に示されるように、フレーム番号Ｐのフレームと、フレーム番号Ｐ＋１のフレームとの間で、視差の最大値が不連続に変化している。
　図１２は、視差処理部４２による処理が施された後の立体映像信号の視差の最大値の変化を表すグラフである。同図においても、図１１の場合と同様に、横軸がフレーム番号とされ、縦軸が視差の値とされ、シーンチェンジのフレームは、フレーム番号Ｐのフレームとされている。同図のグラフに実線で示された線により、視差処理部４２による処理が施された後の立体映像信号の視差の最大値の変化が表されており、点線で示された線により、視差処理部４２による処理が施される前の立体映像信号の視差の最大値の変化が表されている。
　図１２に示されるように、視差処理部４２による処理が施されたことにより、フレーム番号Ｐ－１８０からＰ＋１８０のフレームのそれぞれの最大視差が調整されている。すなわち、フレーム番号Ｐ－１８０からＰまでのフレームの最大視差は、元の値より大きくなるように調整され、フレーム番号Ｐ＋１からＰ＋１８０までのフレームの最大視差は、元の値より小さくなるように調整されている。そして、フレーム番号Ｐ－１８０のフレームからＰ＋１８０のフレームまで、最大視差が徐々に大きくなるように調整されている。
　すなわち、立体映像の中で時間的に不連続な視差が生じないように信号を補正する処理が施されたのである。
　例えば、処理対象のフレームがちょうどシーンチェンジのフレームであった場合、Ｐｃ＝Ｐとなる。そして、フレーム番号Ｐのフレームの右目用プレーン、左目用プレーン、視差プレーンがそれぞれ図１３に示されるものであったとする。図１３に示されるように、フレーム番号Ｐのフレームの視差の最大値は２である。
　図１３におけるフレーム番号と視差の最大値を式（２）に代入すると、αの値は１.５となる。
　視差調整部６２により、図１３の視差プレーンにおける視差の最大値にαが乗じられる。いまの場合、視差の最大値が、２×１.５＝３となるように調整される。従って、視差処理部４２による処理が施された後のフレーム番号Ｐのフレームの右目用プレーン、左目用プレーン、視差プレーンはそれぞれ図１４に示されるようになる。
　このようにして、視差が調整されて補正された立体映像信号が、ディスプレイ２２に出力される。
　このようにすることで、立体映像の中で時間的に不連続な視差が生じないようにすることができ、ユーザの眼精疲労を軽減することができる。補正された立体映像信号の視差の最大値は、シーンチェンジの発生時刻を中心として徐々に変化するように調整されるので、ユーザに不自然な印象を与えないようにすることができる。
　次に図１５のフローチャートを参照して視差処理部４２による立体映像信号補正処理の例について説明する。
　ステップＳ２１において、シーンチェンジ検出部６１は、立体映像信号取得部４１から供給される立体映像信号に基づいて、シーンチェンジのフレームのフレーム番号を特定する。このとき、シーンチェンジ検出部６１は、例えば、３秒分の立体映像に対応する立体映像信号のフレームを内部のバッファなどに蓄積し、図９を参照して上述したようにシーンチェンジフラグ列を生成する。そして、シーンチェンジフラグ列に基づいてシーンチェンジのフレームのフレーム番号Ｐが特定される。
　ステップＳ２２において、視差調整部６２は、ステップＳ２１の処理でシーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号に基づいて、立体映像信号のフレームを取得する。このとき、フレーム番号がＰ－１８０であるフレームと、フレーム番号がＰ＋１８０であるフレームとが取得される。
　ステップＳ２３において、視差調整部６２は、上述した２つのフレームにおける視差の最大値を特定する。すなわち、各フレームの視差プレーンの数値のうちの最大の値が特定される。
　ステップＳ２４において、視差調整部６２は、視差係数αを式（１）により求める。
　ステップＳ２５において、視差調整部６２は、視差プレーンの最大視差の値を調整する。
　なお、ステップＳ２４とステップＳ２５の処理は、フレーム番号がＰ－１８０からＰ＋１８０までのフレームがそれぞれ処理対象フレームとされて個々に実行される。つまり、式（１）の変数Ｐｃが、例えば、Ｐ－１８０からＰ＋１８０まで順次カウントアップされてステップＳ２４とステップＳ２５の処理が実行されていく。
　ステップＳ２６において、視差調整部６２は、ステップＳ２５の処理を経て視差が調整された、補正後の立体映像信号を出力する。
　このようにして、立体映像信号補正処理が実行される。
　以上においては、立体映像信号のフレームに視差プレーンが含まれていることを前提として説明したが、立体映像信号のフレームに視差プレーンが含まれない場合でも、本発明を適用することが可能である。視差プレーンが含まれない場合、例えば、視差処理部４２において、ブロックマッチング処理などにより、右目用プレーンと左目用プレーンにおけるオブジェクト（物体）の位置のずれを特定し、視差プレーンと同様の情報を得るようにすればよい。
　また、以上においては、立体映像信号のフレームにシーンチェンジ検出フラグが含まれることを前提として説明したが、立体映像信号のフレームにシーンチェンジ検出フラグが含まれない場合でも、本発明を適用することが可能である。シーンチェンジ検出フラグが含まれない場合、例えば、予め立体映像信号から得られる画像データの画素の輝度値のヒストグラムなどに基づいてシーンチェンジを検出し、シーンチェンジ検出フラグと同様の情報を得るようにすればよい。
　さらに、以上においては、シーンチェンジのフレームを基準として、視差の調整が行われる例について説明した。すなわち、式（１）において、フレーム番号Ｐは、シーンチェンジのフレームであるものとして説明した。しかし、例えば、各フレームの視差の最大値の変化に基づいて基準となるフレームが特定されるようにしてもよい。例えば、事前に、視差の最大値の差分絶対値が閾値以上となる番号Ｐのフレームと番号Ｐ＋１のフレームが検出され、その番号Ｐのフレームを基準として、視差の調整が行われるようにしてもよい。
　なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
　図１６において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
　入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
　入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
　上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
　なお、この記録媒体は、図１６に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
　なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１０　立体映像表示システム，　２１　立体映像表示装置，　２２　ディスプレイ，　４１　立体映像信号取得部，　４２　視差処理部，　６１　シーンチェンジ検出部，　６２　視差調整部

Claims (7)

  1. 　単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、
    　前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、
    　前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、
    　前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段と
    　を備える立体映像処理装置。
  2. 　前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる情報であって、画素毎の視差を表す視差プレーンに基づいて特定される
    　請求項１に記載の立体映像処理装置。
  3. 　前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる右目用の画像データと左目用の画像データとの画素の差分を算出することにより特定される
    　請求項１に記載の立体映像処理装置。
  4. 　前記フレーム特定手段は、前記立体映像信号の映像の中でシーンチェンジのフレームを検出することにより、前記視差の最大値の変化が時間的に不連続となるフレームを特定する
    　請求項１に記載の立体映像処理装置。
  5. 　前記フレーム特定手段は、時間的に連続する前後２つのフレームの視差の最大値の差分に基づいて、前記視差の最大値の変化が時間的に不連続となるフレームを特定する
    　請求項１に記載の立体映像処理装置。
  6. 　フレーム特定手段が、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定し、
    　最大視差特定手段が、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定し、
    　視差係数算出手段が、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出し、
    　視差調整手段が、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整するステップ
    　を含む立体映像処理方法。
  7. 　コンピュータを、
    　単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、
    　前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、
    　前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、
    　前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段とを備える立体映像処理装置として機能させる
    　プログラム。
PCT/JP2011/052806 2010-02-24 2011-02-10 立体映像処理装置および方法、並びにプログラム WO2011105220A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
BR112012020774A BR112012020774A2 (pt) 2010-02-24 2011-02-10 aparelho de processamento de vídeo estereoscópico, e, programa.
US13/576,166 US9013561B2 (en) 2010-02-24 2011-02-10 Stereoscopic video processing apparatus, method, and program
EP11747184.7A EP2541949A4 (en) 2010-02-24 2011-02-10 THREE-DIMENSIONAL VIDEO PROCESSING APPARATUS, METHOD THEREFOR, AND PROGRAM
KR20127021421A KR20130040771A (ko) 2010-02-24 2011-02-10 입체 영상 처리 장치 및 방법 및 프로그램
CN2011800101825A CN102804792A (zh) 2010-02-24 2011-02-10 立体视频处理设备、方法和程序
RU2012135485/08A RU2012135485A (ru) 2010-02-24 2011-02-10 Устройство, способ и программа обработки стереоскопического видеоизображения

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010038382A JP2011176541A (ja) 2010-02-24 2010-02-24 立体映像処理装置および方法、並びにプログラム
JP2010-038382 2010-02-24

Publications (1)

Publication Number Publication Date
WO2011105220A1 true WO2011105220A1 (ja) 2011-09-01

Family

ID=44506634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/052806 WO2011105220A1 (ja) 2010-02-24 2011-02-10 立体映像処理装置および方法、並びにプログラム

Country Status (8)

Country Link
US (1) US9013561B2 (ja)
EP (1) EP2541949A4 (ja)
JP (1) JP2011176541A (ja)
KR (1) KR20130040771A (ja)
CN (1) CN102804792A (ja)
BR (1) BR112012020774A2 (ja)
RU (1) RU2012135485A (ja)
WO (1) WO2011105220A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100260A1 (en) * 2011-10-21 2013-04-25 Kabushiki Kaisha Toshiba Video display apparatus, video processing device and video processing method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011172172A (ja) 2010-02-22 2011-09-01 Sony Corp 立体映像処理装置および方法、並びにプログラム
WO2011162209A1 (ja) * 2010-06-25 2011-12-29 富士フイルム株式会社 画像出力装置、方法およびプログラム
WO2012049848A1 (ja) * 2010-10-14 2012-04-19 パナソニック株式会社 ステレオ画像表示装置
JP5323165B2 (ja) * 2011-11-07 2013-10-23 シャープ株式会社 立体画像処理装置および立体画像処理方法
JP5450908B1 (ja) * 2012-03-26 2014-03-26 パナソニック株式会社 立体映像処理装置および立体映像処理方法
US20150077515A1 (en) * 2012-04-17 2015-03-19 Electronics And Telecommunications Research Institute Method and device for compensating for synchronization between left and right image frames in three-dimensional imaging system, and reproduction device and method
JP2014207519A (ja) * 2013-04-11 2014-10-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
CN104253928B (zh) * 2013-06-26 2018-02-13 中山市云创知识产权服务有限公司 基于场景侦测的实时影像记录系统及方法
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN106651833B (zh) * 2016-10-12 2020-07-03 成都西纬科技有限公司 一种确定最大视差的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2001320734A (ja) 2000-05-12 2001-11-16 Sony Corp 立体画像表示装置
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム
WO2010123053A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01194114A (ja) * 1988-01-29 1989-08-04 Hitachi Ltd 磁気記録再生方式
JP4146955B2 (ja) * 1999-02-15 2008-09-10 キヤノン株式会社 画像処理方法及び画像処理装置
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
US8798160B2 (en) * 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video
JP2011172172A (ja) 2010-02-22 2011-09-01 Sony Corp 立体映像処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2001320734A (ja) 2000-05-12 2001-11-16 Sony Corp 立体画像表示装置
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム
WO2010123053A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HARASHIMA ET AL.: "3-D images and Human Science by Hiroshi", 2000, OHMSHA, LTD.
See also references of EP2541949A4
SHINSUKE KISHI ET AL.: "An Ergonomic Evaluation System for Stereoscopic 3-D images", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 60, no. 6, 2006, pages 934 - 942

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100260A1 (en) * 2011-10-21 2013-04-25 Kabushiki Kaisha Toshiba Video display apparatus, video processing device and video processing method

Also Published As

Publication number Publication date
EP2541949A1 (en) 2013-01-02
EP2541949A4 (en) 2014-03-12
US9013561B2 (en) 2015-04-21
BR112012020774A2 (pt) 2016-05-03
US20120293622A1 (en) 2012-11-22
CN102804792A (zh) 2012-11-28
RU2012135485A (ru) 2014-02-27
KR20130040771A (ko) 2013-04-24
JP2011176541A (ja) 2011-09-08

Similar Documents

Publication Publication Date Title
WO2011105220A1 (ja) 立体映像処理装置および方法、並びにプログラム
US9355455B2 (en) Image data processing method and stereoscopic image display using the same
EP3035681B1 (en) Image processing method and apparatus
US8994795B2 (en) Method for adjusting 3D image quality, 3D display apparatus, 3D glasses, and system for providing 3D image
JP5592005B2 (ja) フレームパッキングフォーマットでアクティブスペースの知的な使用を行う方法及び装置
US20100033554A1 (en) Image Processing Apparatus, Image Processing Method, and Program
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US20110193945A1 (en) Image display device, image display viewing system and image display method
CN105894567B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
WO2012020522A1 (ja) 画像表示装置、画像表示方法、および画像補正方法
US9167223B2 (en) Stereoscopic video processing device and method, and program
JP5902217B2 (ja) ２ｄ−３ｄの共存のための偏光させられた３ｄのシステムにおける２ｄの質のエンハンサー
US20130044939A1 (en) Method and system for modifying binocular images
WO2018167549A1 (en) Instantaneous 180° 3d imaging and playback methods
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
US9161018B2 (en) Methods and systems for synthesizing stereoscopic images
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
US20120120191A1 (en) Image processor for use in a frame sequential 3d display system and related 3d display system
Xu et al. Quality of experience for the horizontal pixel parallax adjustment of stereoscopic 3D videos
JP5367031B2 (ja) 情報処理方法、および情報処理装置
JP5629825B2 (ja) ステレオスコピック動画ファイルの構成方法
JP2011077984A (ja) 映像処理装置
WO2012157459A1 (ja) 立体視用画像生成システム
JP5720475B2 (ja) 立体映像制御装置、立体映像制御方法および立体映像制御用プログラム
Bayatpour The Evaluation of Selected Parameters that Affect Motion Artifacts in Stereoscopic Video

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180010182.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11747184

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13576166

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011747184

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127021421

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 7170/DELNP/2012

Country of ref document: IN

Ref document number: 2012135485

Country of ref document: RU

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012020774

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012020774

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120817