WO2010123053A1 - 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム - Google Patents

画像情報処理装置、撮像装置、画像情報処理方法およびプログラム Download PDF

Info

Publication number
WO2010123053A1
WO2010123053A1 PCT/JP2010/057124 JP2010057124W WO2010123053A1 WO 2010123053 A1 WO2010123053 A1 WO 2010123053A1 JP 2010057124 W JP2010057124 W JP 2010057124W WO 2010123053 A1 WO2010123053 A1 WO 2010123053A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth value
scene
unit
switching
image
Prior art date
Application number
PCT/JP2010/057124
Other languages
English (en)
French (fr)
Inventor
田所　英司
岡田　俊二
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BRPI1003633A priority Critical patent/BRPI1003633A2/pt
Priority to US12/997,968 priority patent/US8698877B2/en
Priority to CN2010800018185A priority patent/CN102067616A/zh
Priority to EP10767110.9A priority patent/EP2293584A4/en
Publication of WO2010123053A1 publication Critical patent/WO2010123053A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image information processing apparatus, and more particularly to an image information processing apparatus and an imaging apparatus that handle image information including a depth value for stereoscopic display, a processing method therefor, and a program that causes a computer to execute the method.
  • a display device for displaying content a display device capable of displaying not only planar (two-dimensional) content but also stereoscopic (three-dimensional) content has been proposed.
  • Such a display device uses the disparity generated between both eyes, so there is a contradiction between the convergence angle and focal length of both eyes or when the value of the disparity is not appropriate. There is a risk of discomfort to the viewer.
  • a display device that calculates the biological influence level of stereoscopic content and controls the display state of stereoscopic content to be displayed according to the tolerance level of the viewer (see, for example, Patent Document 1). ).
  • content depth map information is stored in the content meta information, and if the maximum depth is large, the depth map value is changed to be smaller than the standard value and displayed.
  • the influence on the viewer is suppressed by adjusting the depth amount.
  • the display is changed based on the general relationship (so-called 3D sickness risk) between the tolerance level of the viewer and the stereoscopic content, and the temporal transition of the content is not considered.
  • the stereoscopic content generally includes scene switching, and the depth value may change abruptly during the switching, which may cause discomfort to the viewer. This is a problem not only in switching between stereoscopic images in stereoscopic content, but also in switching between stereoscopic images and planar images. Further, when displaying a still image slide show, there is a problem similar to that of a moving image.
  • the present invention has been made in view of such a situation, and an object of the present invention is to smoothly transition the depth value when switching the scene of stereoscopic content.
  • the present invention has been made in order to solve the above-described problems.
  • the first aspect of the present invention includes a scene switching detection unit that detects scene switching in content, and a change in depth value for stereoscopic display.
  • the depth value correction unit is configured to change the depth value so that a change in the depth value corresponding to any region in the content changes at a predetermined display speed before and after the scene switching. May be corrected. This brings about the effect that the depth value corresponding to any region in the content is smoothly transitioned before and after the scene switching.
  • the depth value correction unit may correct the depth value of the entire image to the telephoto side before and after the scene switching. This brings about the effect of shifting the depth value of the entire image to the telephoto side before and after the scene switching.
  • the depth value correction unit corrects the depth value so that a transition is made from a depth value before the scene switching to a depth value after the scene switching at a predetermined display speed. May be. This brings about the effect of smoothly transitioning from the depth value before the scene switching to the depth value after the scene switching.
  • the depth value correction unit may be any of a predetermined section before the scene switching, a predetermined section after the scene switching, or a predetermined section straddling before and after the scene switching.
  • the depth value may be transitioned at.
  • the scene switching detection unit may detect switching between a stereoscopic image and a planar image as the switching of the scene. This brings about the effect of making a smooth transition before and after switching between the stereoscopic image and the planar image.
  • the scene change detection unit may detect a change between a moving image and a still image as the change of the scene. This brings about the effect of smoothly transitioning before and after switching between moving images and still images.
  • a fixed depth value setting unit that sets a fixed value as a fixed depth value for a depth value for stereoscopically displaying image data constituting content, and any one of the above image data
  • a reference depth value specifying unit that specifies a depth value corresponding to the region as a reference depth value, and the reference depth value is the fixed depth value for the depth value corresponding to each region of the image data.
  • An image information processing apparatus including a depth value correction unit that performs correction according to a ratio, an image information processing method, and a program thereof. This brings about the effect
  • the third aspect of the present invention provides a captured image supply unit that captures an image and supplies a captured image and a depth value for stereoscopic display, and a scene switching detection unit that detects scene switching in the captured image. And a depth value correction unit that corrects the depth value so that the change of the depth value changes at a predetermined display speed before and after the scene switching. This brings about the effect that the depth value for stereoscopic display is smoothly transitioned before and after the scene switching.
  • the present invention it is possible to achieve an excellent effect that the depth value can be smoothly changed in switching of the scene of the stereoscopic content.
  • FIG. 1 is a diagram illustrating an overall configuration example of an imaging apparatus 300 according to an embodiment of the present invention.
  • the imaging apparatus 300 includes a lens unit 310, motors 315 and 316 that operate the lens unit 310, and a motor driver 319.
  • the imaging apparatus 300 includes an imaging element 321, an analog processing unit 322, an A / D converter 323, a digital processing unit 324, a timing generator 325 that generates these timings, and a camera control unit 329. Is provided.
  • the imaging apparatus 300 includes a video encoding unit 331, a depth information setting unit 332, a file generation unit 333, a file decoding unit 334, a video decoding unit 335, and a depth information output unit 336.
  • the imaging apparatus 300 includes a memory 337, a memory controller 338, and a system control unit 339. A signal line from the operation receiving unit 390 is connected to the system control unit 339.
  • the imaging apparatus 300 includes an error correction unit 341, a data modulation / demodulation unit 342, a magnetic field modulation driver 343, a magnetic field head 344, a servo circuit 345, a motor 346, an optical pickup 347, a drive control unit 349, And a display unit 350.
  • an optical disc 370 is mounted on the imaging apparatus 300 as a recording medium for recording video.
  • the lens unit 310 receives light from the subject and includes a zoom lens 311 and a focus lens 312.
  • Motors 315 and 316 are connected to the zoom lens 311 and the focus lens 312, respectively, and the zoom lens 311 and the focus lens 312 can be moved by driving the motors 315 and 316.
  • a motor driver 319 is connected to the motors 315 and 316, and the motors 315 and 316 are controlled by the motor driver 319.
  • the image sensor 321 is an element that converts the light received by the lens unit 310 into static electricity and stores the static electricity.
  • a CCD or a CMOS sensor is used.
  • the analog processing unit 322 removes noise in the analog signal from the image sensor 321 by correlated double sampling (CDS), and corrects the high and low parts of the analog signal by automatic gain control (AGC).
  • the A / D converter 323 converts the analog signal from the analog processing unit 322 into a digital signal.
  • the digital processing unit 324 performs processing such as white balance and gamma conversion.
  • the output signal from the digital processing unit 324 becomes the video signal input of the video encoding unit 331.
  • Information detected by the digital processing unit 324 is transmitted to the camera control unit 329.
  • the camera control unit 329 controls the motor driver 319 and the timing generator 325 based on the information detected by the digital processing unit 324.
  • the timing generator 325 generates timing signals for the image sensor 321, the analog processing unit 322, the A / D converter 323, and the digital processing unit 324.
  • the lens part 310, the image pick-up element 321, etc. which were demonstrated so far are examples of the captured image supply part as described in a claim.
  • the video encoding unit 331 encodes the video signal.
  • the depth information setting unit 332 sets depth information corresponding to the video signal.
  • the file generation unit 333 generates a video file (multiplexed data) by multiplexing the encoded video signal and depth information.
  • the file decoding unit 334 decodes the video file and outputs a video signal and depth information.
  • the video decoding unit 335 decodes the video signal and outputs it to the display unit 350.
  • the depth information output unit 336 decodes the depth information and outputs it to the display unit 350.
  • the memory 337 is a memory that holds video files and the like.
  • the memory controller 338 writes the video file (multiplexed data) supplied from the file generation unit 333 and the error correction unit 341 to the memory 337 and reads the multiplexed data from the memory 337 to read the error correction unit 341 and the file decoding unit. 334.
  • the system control unit 339 controls the operation of the memory controller 338 and the operations of the file generation unit 333 and the file decryption unit 334 as described above. Further, the system control unit 339 connects to the drive control unit 349 and requests the operation of the disk drive. In addition, the system control unit 339 can be connected to the camera control unit 329 to obtain, for example, whether or not the autofocus is in focus and the focal length as the autofocus and zoom states.
  • an operation accepting unit 390 is connected to the system control unit 339 so that an operation input from the user can be grasped.
  • the operation reception unit 390 for example, a zoom-related button and a recording-related button are provided.
  • the system control unit 339 is connected to the camera control unit 329 and performs control such as zooming according to an operation input from the user.
  • the error correction unit 341 adds a code for interleaving and error correction to the multiplexed data from the memory controller 338 and supplies the data to the data modulation / demodulation unit 342.
  • the error correction unit 341 performs de-interleaving and error correction processing on the demodulated signal from the data modulation / demodulation unit 342 and supplies multiplexed data to the memory controller 338.
  • the data modulation / demodulation unit 342 outputs a signal for driving the optical pickup 347 at the same time as outputting to the magnetic field modulation driver 343 after performing predetermined modulation for recording on the optical disc 370.
  • the data modulation / demodulation unit 342 performs predetermined demodulation processing on the signal from the optical pickup 347 and outputs the signal to the error correction unit 341 as a demodulated signal.
  • the magnetic field modulation driver 343 applies a magnetic field to the optical disk 370 by driving the magnetic field head 344 according to the input signal at the time of recording.
  • the optical pickup 347 records a signal on the optical disc 370 by irradiating the optical disc 370 with a recording laser beam during recording. Further, the optical pickup 347 irradiates the optical disc 370 with a reproduction laser beam during reproduction, photoelectrically converts the beam amount reflected from the optical disc 370 into an electric signal, and obtains a reproduction signal.
  • the drive control unit 349 issues a request to the servo circuit 345 to control the entire disk drive.
  • the servo circuit 345 controls the movement of the optical pickup 347 in the radial direction of the disk, the tracking servo, and the focus servo, and also controls the spindle servo of the motor 346. Thereby, the optical disk 370 records or reproduces the video file (multiplexed data).
  • a magneto-optical disk that performs magnetic field modulation is assumed, but the basic configuration is the same even in the case of a phase change disk.
  • a magnetic disk such as a hard disk or a semiconductor disk such as an SSD (Solid State Drive) may be used.
  • the display unit 350 displays a stereoscopic image using parallax generated between both eyes based on the video signal from the video decoding unit 335 and the depth information from the depth information output unit 336.
  • the display unit 350 is realized by, for example, a micropole display.
  • a display unit that performs stereoscopic display based on a video signal and depth information is assumed, but the present invention is not limited to this.
  • it since it is possible to convert depth information into an offset value of left and right parallax, it can also be applied to a display unit of a left and right parallax method (side-by-side method).
  • FIG. 2 is a diagram showing a configuration example of the content recording unit 200 in the embodiment of the present invention.
  • This content recording unit 200 is a recording unit of the video file described above.
  • the content recording unit 200 includes video data # 1 to N (210-1 to 210-N) (hereinafter also simply referred to as “video data 210”) and depth maps # 1 to N (220-1 to 220-N). (Hereinafter, also simply referred to as “depth map 220”).
  • the video data 210 and the depth map 220 are associated with each other in units of GOP (Group Of Pictures), for example. That is, the depth map 220-1 corresponds to the video data 210-1 that records the first GOP, and the depth map 220-2 corresponds to the video data 210-2 that records the second GOP.
  • GOP is a frame group of moving images in the MPEG (Moving Pictures Experts Group) standard. In many cases, one GOP includes 15 frames. Assuming a frame rate of 29.97 frames / second, 1 GOP corresponds to about 0.5 seconds.
  • FIG. 3 is a diagram showing an example of the depth map 220 in the embodiment of the present invention.
  • the depth map 220 holds a depth value corresponding to each pixel of the frame image. That is, the depth map 220 holds a depth value for each pixel on the two-dimensional XY plane.
  • the depth value has a value in the range of “0” to “255” with an 8-bit width, for example, and has a larger value as it is closer to the viewer.
  • the depth value corresponding to the person region existing in front is “255”
  • the depth value corresponding to the background region is “0”.
  • the depth map 220 is also generally referred to as a depth map or a depth map.
  • FIG. 4 is a diagram showing an example of the relationship between the depth value and the distance in the embodiment of the present invention.
  • the depth value indicates “255”, and if the distance exceeds 5.0 [m] The depth value indicates “0”.
  • the distance is larger than 0.5 [m] and equal to or smaller than 5.0 [m], it has a value in the range of “0” to “255” as shown in FIG.
  • the depth value is set to have a linear relationship with the logarithmic value of the distance. This takes into account the human sense that nearer than far away can be perceived more precisely.
  • the aperture is opened at the wide end, the lens depth of field is controlled to be the shallowest, and the lens focus is set to infinity (over 5.0 [m]).
  • the image area to be focused on in the screen area is grasped, and the depth value “0” is assigned to the area as the background area.
  • the lens focal point is set to a short distance (0.5 [m]) while the lens is open at the wide end and the lens depth of field is controlled to be the shallowest.
  • the in-screen area to be focused is grasped, and the depth value “255” is assigned with the area as the closest distance point.
  • the lens focus is gradually changed from a short distance (0.5 [m]) to infinity (over 5.0 [m]) while keeping the lens depth of field at the shallowest position with the aperture wide open at the wide end.
  • the distance is measured by controlling the lens position.
  • the in-screen area to be focused is sequentially stored. In this way, the correspondence shown in FIG. 4A is assigned.
  • the depth value may be generated in real time at the time of imaging, or may be generated afterwards from camera information.
  • the camera information is obtained from the inside of the digital camera as information such as setting conditions at the time of shooting. For example, information such as F value, exposure time, exposure correction value, AGC gain value, presence / absence of flash, lens focal length, white balance, subject distance, camera shake correction, face meta information, digital zoom magnification, effect shooting, vendor name, etc. .
  • this camera information can be recorded as a stream file in a modified digital video pack (MDP: Modified Digital Video Pack).
  • MDP Modified Digital Video Pack
  • FIG. 5 is a diagram showing the relationship between the video data 210 and the depth map 220 in the embodiment of the present invention.
  • FIG. 5A shows an example of the video data 210. In this example, a person is shown in the vicinity of the imaging apparatus, and a background is shown behind the person.
  • FIG. 5 shows an example of the depth map 220 corresponding to the video data 210 of (a) of FIG.
  • the depth value 221 of the person area indicates “B4” in hexadecimal, that is, “180” in decimal. This means that a person is located at a distance of 1.0 [m] from the imaging device.
  • the depth value 222 of the background area indicates “0”. This means that the background is located at infinity (over 5.0 [m]) from the imaging device.
  • Each depth value included in the depth map 220 corresponds to each pixel of the video data 210.
  • FIG. 6 is a diagram showing a first mode of depth value correction according to the embodiment of the present invention.
  • the depth value of the region in the frame changes abruptly when chapters are switched.
  • the depth value 711 of the specific area at the end portion of chapter #i is changed to the depth value 714 at the start portion of chapter # (i + 1).
  • the specific area in this case is assumed to be a partial area in a frame corresponding to a person or the like, but may be the entire frame.
  • the entire depth value is once corrected to zero (infinity) as shown in FIG. 6B when chapters are switched.
  • the rapid change of the depth value at the time of chapter switching can be suppressed.
  • the correction itself for setting the depth value to zero is abruptly performed, a new sense of incongruity may occur due to the correction. Therefore, when correcting the depth value, it is desirable to change the depth value at a predetermined display speed over a period of 0.5 seconds or more, for example.
  • the transition is sequentially performed at a predetermined display speed so that the depth value 722 of the terminal frame becomes zero from the original depth value 721 at the terminal portion of chapter #i.
  • the depth value 723 of the start frame of chapter # (i + 1) is set to zero, and the transition is made sequentially to the original depth value 724 at the start portion.
  • FIG. 7 is a diagram showing an entire chapter of the first mode of depth value correction according to the embodiment of the present invention.
  • chapter #j consisting of k frames is assumed.
  • the depth value is corrected in the start n frame and the end n frame.
  • Depth value increases sequentially from zero in n frame at the beginning of chapter #j.
  • the depth value increases from zero by (1 / n) and converges to a value that is not corrected in the (n + 1) th frame. That is, when the depth value of the (n + 1) th frame is A, the depth value of the i-th frame (i is an integer in the range of 1 to n) is A ⁇ ((i ⁇ 1) / n).
  • the depth value decreases gradually toward zero.
  • the depth value decreases by (1 / n) and converges to zero at the kth frame. That is, if the depth value of the (k ⁇ n) th frame is B, the depth value of the i-th frame (i is an integer in the range of (k ⁇ (n ⁇ 1)) to k) is B ⁇ ((k -I) / n).
  • FIG. 8 is a diagram illustrating a first functional configuration example of the depth value correction mechanism according to the embodiment of the present invention.
  • This depth value correction mechanism smoothly changes the depth value to zero (telephoto side) before and after the scene switching.
  • the imaging apparatus 300 may set the depth map 220 after correcting the depth value at the time of imaging by the depth information setting unit 332, and outputs the depth value of the uncorrected depth map 220 as the depth information. It may be corrected by the unit 336 and output to the display unit 350. Therefore, in the imaging apparatus 300, a depth value correction mechanism can be provided in the depth information setting unit 332 or the depth information output unit 336. Further, this depth value correction mechanism can be realized not only in the imaging apparatus but also in an image information processing apparatus that handles video files.
  • the depth value correction mechanism includes a content supply unit 110, a content read management unit 120, a transition frame number setting unit 130, a content prefetch management unit 140, and a depth value correction unit 150.
  • the content supply unit 110 supplies captured content.
  • content is supplied by the imaging element 321 to the camera control unit 329 or the like.
  • content is supplied by a reading unit (not shown) from a storage unit that stores the content.
  • the content read management unit 120 performs management for reading the content supplied from the content supply unit 110 frame by frame.
  • the content read management unit 120 includes a current frame number holding unit 121 and a current frame depth value holding unit 122.
  • the current frame number holding unit 121 holds the frame number of the current frame read from the content supply unit 110.
  • the current frame depth value holding unit 122 holds the depth value corresponding to the current frame read from the content supply unit 110.
  • the transition frame number setting unit 130 sets in advance the number of frames to be corrected before and after scene switching.
  • n frames are set as the number of transition frames before and after scene switching.
  • the content prefetch management unit 140 performs management for prefetching (future) frames ahead of the current frame in the content prior to reading by the content read management unit 120.
  • the content prefetch management unit 140 includes a scene switching detection unit 141 and a final frame number generation unit 142.
  • the scene switching detection unit 141 detects a scene switching position from the prefetched content. As scene switching, for example, chapter switching is assumed.
  • the final frame number generation unit 142 generates the final frame number of the current scene based on the scene switching position detected by the scene switching detection unit 141. In the example of FIG. 7, the kth frame is the final frame.
  • the depth value correction unit 150 corrects the depth value held in the current frame depth value holding unit 122.
  • the depth value is corrected as follows.
  • Depth value after correction Depth value before correction x m / n
  • n is the number of transition frames held in the transition frame number setting unit 130
  • m is set as follows depending on whether it is the start part or the end part of scene switching.
  • the current frame number is supplied from the current frame number holding unit 121 and the final frame number is supplied from the final frame number generating unit 142.
  • FIG. 9 is a diagram showing a flow of processing according to the first mode of depth value correction in the embodiment of the present invention.
  • an example of detecting chapter switching will be described as an example of scene switching.
  • the content read management unit 120 updates the current frame (step S911). That is, the current frame number held in the current frame number holding unit 121 is updated, and the depth value held in the current frame depth value holding unit 122 is updated.
  • step S913 If the current frame is the start n frame of the chapter (step S913), “current frame number-1” is set to the variable m (step S914). On the other hand, if the current frame is the last n frames of the chapter (step S916), “last frame number ⁇ current frame number” is set in the variable m (step S917).
  • the depth value correction unit 150 corrects the depth value held in the current frame depth value holding unit 122 by “m / n” times ( Step S918).
  • a stereoscopic image is displayed on the display unit 350 based on the video data and depth value of the current frame (step S919). If the current frame is the start n frame or the end n frame of the chapter, the depth value corrected as described above is used, and the uncorrected depth value is used for the other frames. Although the operation has been described here assuming the imaging apparatus 300 having the display unit 350, the depth value may be corrected and stored on the assumption that the image is displayed later.
  • the depth value can be smoothly transitioned to zero (telephoto side) before and after the scene switching, and a sense of incongruity due to a sudden change in the depth value can be obtained. Can be resolved.
  • FIG. 10 is a diagram showing a second mode of depth value correction according to the embodiment of the present invention.
  • the depth value is once shifted to zero.
  • the depth value is directly shifted at a predetermined display speed before and after scene switching.
  • FIG. 10 is an example in which the depth value is changed only at the end portion of the chapter. That is, in this example, the depth value 731 (a) is changed to the depth value 732 at the end portion of the chapter, and a constant value is maintained from the depth value 733 (c) to the depth value 734 at the start portion of the chapter. .
  • (B) in FIG. 10 is an example in which the depth value is changed only at the start of the chapter. That is, in this example, a constant value (a) is maintained from the depth value 741 to the depth value 742 at the end portion of the chapter, and the depth value 743 is changed to the depth value 744 (c) at the start portion of the chapter. .
  • (C) of FIG. 10 is an example in which the depth value is shifted in both the start part and the end part of the chapter. That is, in this example, the depth value 751 (a) is changed to the depth value 752 in the end portion of the chapter, and the depth value 753 (b) is changed to the depth value 754 in the chapter start portion.
  • the depth value when the depth value is directly changed, it may be changed in any section before and after the chapter switching.
  • FIG. 11 is a diagram illustrating a second functional configuration example of the depth value correction mechanism according to the embodiment of the present invention. This depth value correction mechanism smoothly changes the depth value when the depth value changes rapidly.
  • This depth value correction mechanism smoothly changes the depth value when the depth value changes rapidly.
  • the second functional configuration of the depth value correction mechanism includes a content supply unit 110, a content read management unit 120, a transition frame number setting unit 130, a content prefetch management unit 140, and a depth value correction unit 150. Is the same as the first functional configuration described with reference to FIG.
  • the second functional configuration of the depth value correction mechanism includes a start depth value holding unit 160 in addition to the first functional configuration.
  • the content prefetch management unit 140 further includes a target depth value generation unit 143.
  • the start depth value holding unit 160 holds the depth value of the start frame when the depth value is changed.
  • the depth value 731 of chapter #i is the depth value of the start frame.
  • the depth value 743 of chapter # (i + 1) is the depth value of the start frame.
  • the depth value 751 of chapter #i and the depth value 753 of chapter # (i + 1) are the depth values of the start frame.
  • the start frame is determined based on the scene switching position detected by the scene switching detection unit 141 and the number of transition frames set by the transition frame number setting unit 130.
  • the target depth value generation unit 143 generates a target depth value when correcting the depth value.
  • the depth value 732 of chapter #i is the target depth value.
  • the depth value 744 of chapter # (i + 1) is the target depth value.
  • the depth value 752 of chapter #i and the depth value 754 of chapter # (i + 1) are the target depth values.
  • the frame corresponding to the target depth value is determined based on the scene switching position detected by the scene switching detection unit 141 and the number of transition frames set by the transition frame number setting unit 130. Note that the depth value 744 in the example of FIG. 10B and the depth value 754 in the example of FIG. 10C can be considered to be substantially the same as the depth value of the current frame. It is possible to substitute by value. Further, the target depth value can be arbitrarily determined. For example, the target depth value may be set according to the dynamic range of the next entire chapter.
  • the depth value correction unit 150 corrects the depth value as follows.
  • the depth value is corrected by the following equation 1 for the end n frame of the chapter.
  • Depth value after correction target depth value + (target depth value-depth value before correction) x m / n (Equation 1)
  • m last frame number ⁇ current frame number.
  • Corrected depth value start depth value + (depth value before correction ⁇ start depth value) ⁇ m / n (Formula 2)
  • m current frame number-1 It is.
  • the depth value is corrected by the above-described equation 2 for the start n frame of the chapter. Further, the depth value is corrected by the above-described equation 1 for the end n frames of the chapter.
  • FIG. 12 is a diagram showing a flow of the first processing according to the second mode of depth value correction in the embodiment of the present invention. This first process shows an example in which a transition is performed in a chapter before switching as shown in FIG.
  • the content read management unit 120 updates the current frame (step S921). That is, the current frame number held in the current frame number holding unit 121 is updated, and the depth value held in the current frame depth value holding unit 122 is updated. Further, the target depth value generation unit 143 generates and sets a target depth value at the time of transition (step S922).
  • the target depth value in this case is the depth value 732 in FIG.
  • step S926 If the current frame is the last n frames of the chapter (step S926), “last frame number ⁇ current frame number” is set in the variable m (step S927). Then, the depth value held in the current frame depth value holding unit 122 is corrected by the depth value correction unit 150 according to the above-described equation 1 (step S928).
  • a stereoscopic image is displayed on the display unit 350 based on the video data and depth value of the current frame (step S929). If the current frame is the last n frames of the chapter, the depth value corrected as described above is used, and an uncorrected depth value is used for the other frames. Although the operation has been described here assuming the imaging apparatus 300 having the display unit 350, the depth value may be corrected and stored on the assumption that the image is displayed later.
  • FIG. 13 is a diagram showing a flow of second processing according to the second mode of depth value correction in the embodiment of the present invention. This second process shows an example in which a transition is performed in the chapter after switching as shown in FIG.
  • the content read management unit 120 updates the current frame (step S931). That is, the current frame number held in the current frame number holding unit 121 is updated, and the depth value held in the current frame depth value holding unit 122 is updated.
  • step S933 If the current frame is the start n frame of the chapter (step S933), “current frame number-1” is set to the variable m (step S934). Then, the depth value held in the current frame depth value holding unit 122 is corrected by the depth value correction unit 150 according to the above-described equation 2 (step S935).
  • a stereoscopic image is displayed on the display unit 350 based on the video data and depth value of the current frame (step S939). If the current frame is the start n frame of the chapter, the depth value corrected as described above is used, and the uncorrected depth value is used for the other frames. Although the operation has been described here assuming the imaging apparatus 300 having the display unit 350, the depth value may be corrected and stored on the assumption that the image is displayed later.
  • FIG. 14 is a diagram showing a third process flow according to the second aspect of depth value correction in the embodiment of the present invention. This third process shows an example in which a transition is made across chapters before and after switching as shown in FIG. 10 (c).
  • the content read management unit 120 updates the current frame (step S941). That is, the current frame number held in the current frame number holding unit 121 is updated, and the depth value held in the current frame depth value holding unit 122 is updated. Further, the target depth value generation unit 143 generates and sets a target depth value at the time of transition (step S942).
  • the target depth value in this case is the depth value 752 in (c) of FIG.
  • step S943 If the current frame is the start n frame of the chapter (step S943), “current frame number-1” is set to the variable m (step S944). Then, the depth value held in the current frame depth value holding unit 122 is corrected by the depth value correction unit 150 according to the above-described Expression 2 (step S945).
  • step S946 if the current frame is the last n frames of the chapter (step S946), “last frame number ⁇ current frame number” is set in the variable m (step S947). Then, the depth value held in the current frame depth value holding unit 122 is corrected by the depth value correction unit 150 according to the above-described equation 1 (step S948).
  • a stereoscopic image is displayed on the display unit 350 based on the video data and depth value of the current frame (step S949). If the current frame is the start n frame or the end n frame of the chapter, the depth value corrected as described above is used, and the uncorrected depth value is used for the other frames. Although the operation has been described here assuming the imaging apparatus 300 having the display unit 350, the depth value may be corrected and stored on the assumption that the image is displayed later.
  • the depth value can be smoothly transitioned before and after the scene switching, and the uncomfortable feeling due to a sudden change in the depth value can be eliminated.
  • FIG. 15 is a diagram illustrating the relationship between still image data and moving image data according to the third embodiment of the present invention.
  • still image data is stereoscopically displayed in a slide show format.
  • moving image data is generated by distributing still image data by n frames. That is, each frame of moving image data is arranged in such a manner that n frames of still image data A are arranged, n frames of still image data B are arranged, and n frames of still image data C are arranged.
  • the still image data includes image data and a depth value, and corresponds to stereoscopic display.
  • FIG. 16 is a diagram showing a third mode of depth value correction according to the embodiment of the present invention.
  • the depth value 811 (d) of the specific area at the end portion of the still image A changes to the depth value 812 (e) at the start portion of the still image B.
  • the specific area in this case is assumed to be a partial area in a frame corresponding to a person or the like, but may be the entire frame.
  • correction is performed so that the depth value of a specific area of a still image becomes a constant value (K) as shown in FIG. Thereby, the rapid change of the depth value at the time of chapter switching can be suppressed.
  • FIG. 17 is a diagram illustrating a third functional configuration example of the depth value correction mechanism according to the embodiment of the present invention.
  • This depth value correction mechanism maintains the depth value of a specific area at a constant value in moving image data including still image data in a slide show format.
  • an example of detecting chapter switching will be described as an example of scene switching.
  • the third functional configuration of this depth value correction mechanism is the same as the first functional configuration described with reference to FIG. 8 in that the content supply unit 110, the content read management unit 120, and the depth value correction unit 150 are provided. is there.
  • the third functional configuration of the depth value correction mechanism is further provided with a fixed depth value setting unit 170 in which the transition frame number setting unit 130 and the content prefetch management unit 140 are removed from the first functional configuration.
  • the content read management unit 120 further includes a reference depth value specifying unit 123.
  • the reference depth value specifying unit 123 specifies a reference depth value (reference depth value) for the still image supplied from the content supply unit 110.
  • reference depth value it is conceivable to extract some feature amount in the still image and specify the reference depth value based on the feature amount. For example, it is conceivable to extract a face from a still image, select a priority face to which attention is most important, and specify a depth value of the priority face as a reference depth value. As the priority face, the face closest to the center or the largest face can be selected. For example, the depth value located at the shortest distance may be specified.
  • the fixed depth value setting unit 170 sets a fixed value to be fixed as the depth value of a specific area of the still image.
  • the constant value set in the fixed depth value setting unit 170 is referred to as a fixed depth value.
  • the constant value K is set as the fixed depth value.
  • the depth value correction unit 150 corrects the depth value held in the current frame depth value holding unit 122 as follows.
  • Depth value after correction Depth value before correction x K / y
  • K is a fixed depth value set in the fixed depth value setting unit 170
  • y is a reference depth value specified by the reference depth value specifying unit 123.
  • FIG. 18 is a diagram showing a flow of processing according to the third aspect of depth value correction in the embodiment of the present invention.
  • an example of detecting chapter switching will be described as an example of scene switching.
  • the content read management unit 120 updates the current frame (step S951). That is, the depth value held in the current frame depth value holding unit 122 is updated. Further, the reference depth value specifying unit 123 specifies the depth value from the still image of the current frame (step S952).
  • the reference depth value specifying unit 123 specifies the depth value from the still image of the current frame (step S952).
  • the depth value held in the current frame depth value holding unit 122 is corrected by “K / y” times by the depth value correction unit 150 (step S958).
  • K is a fixed depth value set in the fixed depth value setting unit 170
  • y is a reference depth value specified by the reference depth value specifying unit 123.
  • a stereoscopic image is displayed on the display unit 350 based on the video data and depth value of the current frame (step S959).
  • the depth value may be corrected and stored on the assumption that the image is displayed later.
  • the depth value of a specific area can be maintained at a constant value in moving image data including still image data in a slide show format. Discomfort due to sudden changes can be resolved.
  • FIG. 19 is a diagram showing a modification of the third mode of depth value correction according to the embodiment of the present invention.
  • the depth value is maintained at a constant value.
  • it is assumed that the depth value is changed before and after the scene switching as in the second aspect.
  • (A) in FIG. 19 is an example in which the depth value is changed only at the end portion of the still image. That is, in this example, the transition from the depth value 831 to the depth value 832 is performed at the end portion of the still image A, and a constant value is maintained from the depth value 833 to the depth value 834 at the start portion of the still image B.
  • (B) of FIG. 19 is an example in which the depth value is changed only at the start portion of the still image. That is, in this example, a constant value is maintained from the depth value 841 to the depth value 842 in the end portion of the still image A, and the depth value 843 is changed to the depth value 844 in the start portion of the still image B.
  • (C) of FIG. 19 is an example in which the depth value is shifted in both the start portion and the end portion of the still image. That is, in this example, the depth value 851 is changed to the depth value 852 at the end portion of the still image A, and the depth value 853 is changed to the depth value 854 at the start portion of the still image B.
  • the depth value when the depth value is changed, it may be changed in any section before and after switching of the still image.
  • the functional configuration described with reference to FIG. 11 and the processing described with reference to FIGS. 12 to 14 can be used. That is, in the slide show format moving image data, although each frame is composed of still image data, it is not different from general moving image data as a whole. Therefore, the above-described second embodiment of the present invention can be used. Similarly, by using the second embodiment of the present invention, the entire depth value may be temporarily corrected to zero (infinity) when switching still images.
  • the description has been given focusing on the scene switching of the stereoscopic image, but it goes without saying that the switching from the stereoscopic image to the planar image or the switching from the planar image to the stereoscopic image can be similarly applied. Absent. Needless to say, the present invention can be similarly applied to switching between still images and moving images in moving image data in which slide show format moving image data based on still images and normal moving image data are mixed.
  • the depth value can be smoothly changed in the switching of the scene of the stereoscopic content.
  • the embodiment of the present invention is an example for embodying the present invention, and has a corresponding relationship with the invention specifying items in the claims as described above.
  • the present invention is not limited to the embodiments, and various modifications can be made without departing from the scope of the present invention.
  • the processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute the series of procedures or a recording medium storing the program May be taken as
  • a program for causing a computer to execute the series of procedures or a recording medium storing the program May be taken as
  • CD Compact Disc
  • MD Mini Disc
  • DVD Digital Versatile Disk
  • memory card Blu-ray Disc (registered trademark) ) Etc.
  • FIG. 2 the video depth map value corresponding to each MPEG compression GOP recorded as a video / audio stream has been described.
  • DESCRIPTION OF SYMBOLS 110 Content supply part 120 Content read management part 121 Current frame number holding part 122 Current frame depth value holding part 123 Reference depth value specific part 130 Transition frame number setting part 140 Content prefetch management part 141 Scene switching detection part 142 Final frame number generation part 143 Target depth value generation unit 150
  • Start depth value holding unit 170 Fixed depth value setting unit 200
  • Video data 220 Depth map 300 Imaging device 310 Lens unit 311 Zoom lens 312 Focus lens 315, 316, 346 Motor 319 Motor driver 321 Image sensor 322 Analog processing unit 323 A / D converter 324 Digital processing unit 325 Timing generator 329 Camera control unit 331 Video encoding unit 33 2 Depth Information Setting Unit 333 File Generation Unit 334 File Decoding Unit 335 Video Decoding Unit 336 Depth Information Output Unit 337 Memory 338 Memory Controller 339 System Control Unit 341 Error Correction Unit 342 Data Modulation / Demodulation Unit 343 Magnetic Field Modulation Driver 344 Magnetic Field Head 345 Servo Circuit 347

Abstract

　本発明は、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができる画像情報処理装置、撮像装置、画像情報処理方法およびプログラムに関する。 チャプタ＃ｉの終端部分の奥行値７１１とチャプタ＃(ｉ+１)の開始部分の奥行値７１４との間で急激な変化がある場合には、チャプタ＃ｉとチャプタ＃(ｉ+１)の切替えの際に全体の奥行値を一旦ゼロ(無限遠)に補正する。その際、例えば０.５秒以上の期間をかけて奥行値を遷移させる。チャプタ＃ｉの終端部分における元々の奥行値７２１から終端フレームの奥行値７２２がゼロになるように順次遷移させる。同様に、チャプタ＃(ｉ+１)の開始フレームの奥行値７２３をゼロとして、開始部分における元々の奥行値７２４まで順次遷移させる。

Description

画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
　本発明は、画像情報処理装置に関し、特に立体視表示のための奥行値を含む画像情報を取り扱う画像情報処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　近年、コンテンツを表示するための表示装置として、平面視（２次元）コンテンツの表示のみならず、立体視（３次元）コンテンツを表示可能な表示装置が提案されている。このような表示装置では、両眼間に生じる視差（disparity）を利用しているため、両眼の輻輳角と焦点距離に矛盾が生じている場合や、視差の値が適切でない場合などには視聴者に違和感を与えるおそれがある。
　そこで、立体視コンテンツの生体影響度を算出し、視聴者の耐性レベルに応じて、表示対象となる立体視コンテンツの表示状態を制御する表示装置が提案されている（例えば、特許文献１参照。）。この従来技術では、コンテンツメタ情報にコンテンツのデプスマップの情報を格納し、その最大奥行き量が大きければ、デプスマップの値を標準値よりも小さくなるように変更して表示している。
特開２００４－２４６７２５号公報（図１）
　上述の従来技術では、奥行き量を調整することにより、視聴者に与える影響を抑制している。しかしながら、この従来技術では、視聴者の耐性レベルと立体視コンテンツとの一般的な関係（いわゆる３Ｄ酔いの危険度）から表示を変更しており、コンテンツの時間的遷移については考慮されていない。
　立体視コンテンツには、一般にシーンの切替えが含まれており、その切替えの際に奥行値が急激に変化して視聴者に不快感を与えるおそれがある。これは、立体視コンテンツにおいて立体映像間の切替えだけでなく、立体映像と平面映像との切替えにおいても同様に問題となる。また、静止画のスライドショーを表示する場合においても、動画と同様の問題がある。
　本発明はこのような状況に鑑みてなされたものであり、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることを目的とする。
　本発明は、上記課題を解決するためになされたものであり、その第１の側面は、コンテンツにおけるシーンの切替えを検出するシーン切替検出部と、立体視表示のための奥行値の変化が上記シーンの切替えの前後において所定の表示速度により遷移するように上記奥行値を補正する奥行値補正部とを具備する画像情報処理装置、その画像情報処理方法およびプログラムである。これにより、立体視表示のための奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
　また、この第１の側面において、上記奥行値補正部は、上記コンテンツにおける何れかの領域に対応する奥行値の変化が上記シーンの切替の前後において所定の表示速度により遷移するように上記奥行値を補正してもよい。これにより、コンテンツにおける何れかの領域に対応する奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
　また、この第１の側面において、上記奥行値補正部は、上記シーンの切替えの前後において画像全体の奥行値を望遠側に補正してもよい。これにより、シーンの切替えの前後において画像全体の奥行値を望遠側に遷移させるという作用をもたらす。
　また、この第１の側面において、上記奥行値補正部は、上記シーンの切替えの前の奥行値から上記シーンの切替の後の奥行値に所定の表示速度により遷移するように上記奥行値を補正してもよい。これにより、シーンの切替えの前の奥行値から上記シーンの切替の後の奥行値に滑らかに遷移させるという作用をもたらす。
　また、この第１の側面において、上記奥行値補正部は、上記シーンの切替前の所定の区間、上記シーンの切替後の所定の区間または上記シーンの切替えの前後に跨った所定の区間の何れかにおいて奥行値を遷移させてもよい。
　また、この第１の側面において、上記シーン切替検出部は、上記シーンの切替えとして立体視画像と平面視画像の切替えを検出してもよい。これにより、立体視画像と平面視画像の切替えの前後において滑らかに遷移させるという作用をもたらす。
　また、この第１の側面において、上記シーン切替検出部は、上記シーンの切替えとして動画と静止画の切替えを検出してもよい。これにより、動画と静止画の切替えの前後において滑らかに遷移させるという作用をもたらす。
　また、本発明の第２の側面は、コンテンツを構成する画像データを立体視表示するための奥行値について一定の値を固定奥行値として設定する固定奥行値設定部と、上記画像データの何れかの領域を選択して当該領域に対応する奥行値を基準奥行値として特定する基準奥行値特定部と、上記画像データの各領域に対応する奥行値について上記基準奥行値が上記固定奥行値となる比率によって補正を行う奥行値補正部とを具備する画像情報処理装置、その画像情報処理方法およびプログラムである。これにより、特定の領域の奥行値を一定値に維持させるという作用をもたらす。
　また、本発明の第３の側面は、画像を撮像して撮像画像および立体視表示のための奥行値を供給する撮像画像供給部と、上記撮像画像におけるシーンの切替えを検出するシーン切替検出部と、上記奥行値の変化が上記シーンの切替えの前後において所定の表示速度により遷移するように上記奥行値を補正する奥行値補正部とを具備する撮像装置、その撮像処理方法およびプログラムである。これにより、立体視表示のための奥行値をシーンの切替えの前後において滑らかに遷移させるという作用をもたらす。
　本発明によれば、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができるという優れた効果を奏し得る。
本発明の実施の形態における撮像装置３００の全体構成例を示す図である。 本発明の実施の形態におけるコンテンツ記録ユニット２００の構成例を示す図である。 本発明の実施の形態における奥行マップ２２０の例を示す図である。 本発明の実施の形態における奥行値と距離との関係例を示す図である。 本発明の実施の形態における映像データ２１０と奥行マップ２２０との関係を示す図である。 本発明の実施の形態による奥行値の補正の第１の態様を示す図である。 本発明の実施の形態による奥行値の補正の第１の態様のチャプタ全体を示す図である。 本発明の実施の形態における奥行値補正機構の第１の機能構成例を示す図である。 本発明の実施の形態における奥行値補正の第１の態様による処理の流れを示す図である。 本発明の実施の形態による奥行値の補正の第２の態様を示す図である。 本発明の実施の形態における奥行値補正機構の第２の機能構成例を示す図である。 本発明の実施の形態における奥行値補正の第２の態様による第１の処理の流れを示す図である。 本発明の実施の形態における奥行値補正の第２の態様による第２の処理の流れを示す図である。 本発明の実施の形態における奥行値補正の第２の態様による第３の処理の流れを示す図である。 本発明の第３の実施の形態における静止画データと動画データの関係を示す図である。 本発明の実施の形態による奥行値の補正の第３の態様を示す図である。 本発明の実施の形態における奥行値補正機構の第３の機能構成例を示す図である。 本発明の実施の形態における奥行値補正の第３の態様による処理の流れを示す図である。 本発明の実施の形態による奥行値の補正の第３の態様の変形例を示す図である。
　以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。
説明は以下の順序により行う。
　１．第１の実施の形態（シーン切替の際に奥行値を望遠側にする例）
　２．第２の実施の形態（シーン切替の際に主画像領域の奥行値を遷移させる例）
　３．第３の実施の形態（スライドショーの静止画切替の際に奥行値を補正する例）
　４．変形例
　＜１．第１の実施の形態＞
　［撮像装置３００の全体構成例］
　図１は、本発明の実施の形態における撮像装置３００の全体構成例を示す図である。この撮像装置３００は、レンズ部３１０と、このレンズ部３１０を操作するモーター３１５および３１６と、モータードライバ３１９とを備える。また、この撮像装置３００は、撮像素子３２１と、アナログ処理部３２２と、Ａ／Ｄ変換器３２３と、デジタル処理部３２４と、これらのタイミングを生成するタイミング生成器３２５と、カメラ制御部３２９とを備える。また、この撮像装置３００は、映像符号化部３３１と、奥行情報設定部３３２と、ファイル生成部３３３と、ファイル復号部３３４と、映像復号部３３５と、奥行情報出力部３３６とを備える。また、この撮像装置３００は、メモリ３３７と、そのメモリコントローラ３３８と、システム制御部３３９とを備えている。このシステム制御部３３９には、操作受付部３９０からの信号線が接続されている。さらに、撮像装置３００は、エラー訂正部３４１と、データ変復調部３４２と、磁界変調ドライバ３４３と、磁界ヘッド３４４と、サーボ回路３４５と、モーター３４６と、光ピックアップ３４７と、ドライブ制御部３４９と、表示部３５０とを備えている。また、この撮像装置３００には、映像を記録する記録媒体として、例えば光ディスク３７０が装着される。
　レンズ部３１０は、被写体からの光を受光するものであり、ズームレンズ３１１およびフォーカスレンズ３１２を含む。ズームレンズ３１１およびフォーカスレンズ３１２にはそれぞれモーター３１５および３１６が接続されており、これらモーター３１５および３１６の駆動によってズームレンズ３１１およびフォーカスレンズ３１２が移動できるようになっている。また、モーター３１５および３１６にはモータードライバ３１９が接続されており、このモータードライバ３１９によってモーター３１５および３１６が制御される。
　撮像素子３２１は、レンズ部３１０によって受光された光を静電気に変換して蓄える素子であり、例えば、ＣＣＤやＣＭＯＳセンサー等が利用される。アナログ処理部３２２は、撮像素子３２１からのアナログ信号におけるノイズを相関二重サンプリング（ＣＤＳ）により取り除き、自動利得制御（ＡＧＣ）によりアナログ信号の高低部分を補正する。Ａ／Ｄ変換器３２３は、アナログ処理部３２２からのアナログ信号をデジタル信号に変換する。デジタル処理部３２４は、ホワイトバランスやガンマ変換等の処理を行う。
　デジタル処理部３２４からの出力信号は映像符号化部３３１の映像信号入力となる。また、このデジタル処理部３２４で検出された情報はカメラ制御部３２９に伝えられる。カメラ制御部３２９は、デジタル処理部３２４で検出された情報に基づいて、モータードライバ３１９およびタイミング生成器３２５に対する制御を行う。タイミング生成器３２５は、撮像素子３２１、アナログ処理部３２２、Ａ／Ｄ変換器３２３およびデジタル処理部３２４に対するタイミング信号を生成する。なお、ここまでに説明したレンズ部３１０、撮像素子３２１などは、特許請求の範囲に記載の撮像画像供給部の一例である。
　映像符号化部３３１は、映像信号の符号化を行う。奥行情報設定部３３２は、映像信号に対応する奥行情報を設定する。ファイル生成部３３３は、符号化された映像信号および奥行情報を多重化して映像ファイル（多重化データ）を生成する。ファイル復号部３３４は、映像ファイルを復号して映像信号および奥行情報を出力する。映像復号部３３５は、映像信号を復号して表示部３５０に出力する。奥行情報出力部３３６は、奥行情報を復号して表示部３５０に出力する。
　メモリ３３７は、映像ファイル等を保持するメモリである。メモリコントローラ３３８は、ファイル生成部３３３やエラー訂正部３４１から供給された映像ファイル（多重化データ）をメモリ３３７に書き込み、また、メモリ３３７から多重化データを読み出してエラー訂正部３４１やファイル復号部３３４に供給する。
　システム制御部３３９は、上述のようなメモリコントローラ３３８の動作やファイル生成部３３３およびファイル復号部３３４の動作を制御する。また、システム制御部３３９は、ドライブ制御部３４９と接続してディスクドライブの動作を要求する。また、システム制御部３３９は、カメラ制御部３２９と接続して、オートフォーカスおよびズームの状態として、オートフォーカスがピントを合わせている動作途中か否かや、焦点距離などを得ることができる。
　さらに、システム制御部３３９には操作受付部３９０が接続されており、ユーザからの操作入力を把握することができる。この操作受付部３９０としては、例えば、ズーム関係のボタンや記録関係のボタンが設けられる。システム制御部３３９は、カメラ制御部３２９と接続しており、ユーザからの操作入力に応じてズーム等の制御が行われる。
　エラー訂正部３４１は、メモリコントローラ３３８からの多重化データにインターリーブおよびエラー訂正のための符号を付加してデータ変復調部３４２に供給する。また、エラー訂正部３４１は、データ変復調部３４２からの復調信号に対してデ・インターリーブおよびエラー訂正処理を行って多重化データをメモリコントローラ３３８に供給する。
　データ変復調部３４２は、光ディスク３７０に記録するための所定の変調を施した後、磁界変調ドライバ３４３に出力すると同時に、光ピックアップ３４７を駆動するための信号を出力する。また、データ変復調部３４２は、光ピックアップ３４７からの信号に所定の復調処理を施して、エラー訂正部３４１に復調信号として出力する。
　磁界変調ドライバ３４３は、記録時には入力された信号に応じて磁界ヘッド３４４を駆動して光ディスク３７０に磁界を印加する。光ピックアップ３４７は、記録時には記録用のレーザービームを光ディスク３７０に照射して、光ディスク３７０に信号を記録する。また、光ピックアップ３４７は、再生時には再生用のレーザービームを光ディスク３７０に照射して、光ディスク３７０から反射されたビーム量から電気信号に光電変換して、再生信号を取得する。これらの動作は、システム制御部３３９からの要求に応じて、ドライブ制御部３４９が、サーボ回路３４５に要求を出してディスクドライブ全体の制御を行う。サーボ回路３４５は、光ピックアップ３４７のディスク径方向の移動のサーボ、トラッキングサーボ、フォーカスサーボを制御し、また、モーター３４６のスピンドルサーボを制御する。これにより、光ディスク３７０は、映像ファイル（多重化データ）の記録または再生を行う。
　なお、上述の構成例では、磁界変調を行う光磁気ディスクを想定しているが、相変化ディスクの場合でも基本的な構成は同様である。また、光ディスク３７０に代えて、ハードディスクなどの磁気ディスクや、ＳＳＤ（Solid State Drive）などの半導体ディスクを利用してもよい。
　表示部３５０は、映像復号部３３５からの映像信号および奥行情報出力部３３６からの奥行情報に基づき、両眼間に生じる視差を利用して立体視画像を表示するものである。この表示部３５０が立体視表示を行う際の方式には特に限定されないが、この表示部３５０は例えばマイクロポール方式のディスプレイにより実現される。また、ここでは、映像信号と奥行情報に基づいて立体視表示を行う表示部を想定したが、これに限定されるものではない。一般に、奥行情報から左右視差のオフセット値に変換することは可能であるため、左右視差方式（サイドバイサイド方式）の表示部にも適用可能である。
　［コンテンツ記録ユニット２００の構成例］
　図２は、本発明の実施の形態におけるコンテンツ記録ユニット２００の構成例を示す図である。このコンテンツ記録ユニット２００は、上述の映像ファイルの記録単位である。コンテンツ記録ユニット２００は、映像データ＃１乃至Ｎ（２１０－１乃至２１０－Ｎ）（以下、単に「映像データ２１０」とも称する。）および奥行マップ＃１乃至Ｎ（２２０－１乃至２２０－Ｎ）（以下、単に「奥行マップ２２０」とも称する。）を保持する。
　映像データ２１０および奥行マップ２２０は、例えばＧＯＰ（Group Of Pictures）を単位として、それぞれ対応付けられる。すなわち、第１番目のＧＯＰを記録する映像データ２１０－１には奥行マップ２２０－１が対応し、第２番目のＧＯＰを記録する映像データ２１０－２には奥行マップ２２０－２が対応する。ＧＯＰはＭＰＥＧ（Moving Pictures Experts Group）規格における動画のフレーム群である。多くの場合、１ＧＯＰには１５フレームが含まれる。フレームレートとして２９．９７フレーム／秒を想定すると、１ＧＯＰは約０．５秒に相当する。
　図３は、本発明の実施の形態における奥行マップ２２０の例を示す図である。奥行マップ２２０は、フレーム画像の各画素に対応して奥行値を保持するものである。すなわち、奥行マップ２２０は、２次元のＸＹ平面上の各画素のそれぞれについて奥行値を保持する。奥行値は、例えば８ビット幅により「０」から「２５５」の範囲の値を有し、視聴者から見て近距離に存在するほど大きな値を有するものとする。この図の例では、手前に存在する人物領域に対応する奥行値は「２５５」を示し、背景領域に対応する奥行値は「０」を示している。なお、奥行マップ２２０は、一般に、デプスマップ（depth map）または深度マップとも呼称される。
　図４は、本発明の実施の形態における奥行値と距離との関係例を示す図である。図４の(a)から分かるように、レンズから被写体までの距離が０．５［ｍ］以下であれば奥行値は「２５５」を示し、距離が５．０［ｍ］を超える場合には奥行値は「０」を示す。距離が０．５［ｍ］より大きく、５．０［ｍ］以下である場合には、図４の(a)のように「０」から「２５５」の範囲の値を有する。
　また、図４の(b)から分かるように、奥行値は距離の対数値と線形関係にあるように設定している。これは、遠くよりも近くの方がより精細に知覚可能であるという人間の感覚を考慮したものである。
　撮像装置３００において奥行値を設定する場合、まずワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御し、レンズ焦点を無限遠（５．０［ｍ］超え）に設定する。これにより、画面内領域の合焦する映像領域を把握し、その領域を背景領域として奥行値「０」を割り当てる。次に、ワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御したまま、レンズ焦点を近距離（０．５［ｍ］）に設定する。これにより、画面内領域の合焦する映像領域を把握し、その領域を最近距離点として奥行値「２５５」を割り当てる。そして、ワイド端で絞り開放の状態にしてレンズ被写界深度を最も浅く制御したまま、レンズ焦点を近距離（０．５［ｍ］）から無限遠（５．０［ｍ］超え）まで順次変化させて、レンズ位置制御により距離測定を行う。これに同期して順次画面内領域の合焦する映像領域を記憶していく。このようにして、図４の(a)の対応関係が割り当てられる。
　このような初期設定がされた後は、被写体の輪郭認識や動きベクトル検出解析に基づいて、各画素に対応する奥行値を生成することが可能となる。奥行値は、撮像の際にリアルタイムに生成されてもよく、また、カメラ情報から事後的に生成されてもよい。カメラ情報は、撮影時の設定条件などの情報としてデジタルカメラ内部から得られるものである。例えば、Ｆ値、露出時間、露光補正値、ＡＧＣゲイン値、フラッシュの有無、レンズ焦点距離、ホワイトバランス、被写体距離、手ぶれ補正、顔メタ情報、デジタルズーム倍率、エフェクト撮影、ベンダー名などの情報を含む。このカメラ情報は、例えばＡＶＣＨＤ規格であれば、モディファイドデジタルビデオパック（ＭＤＰ：Modified Digital Video Pack）にストリームファイルとして記録することが可能である。顔メタ情報によって顔の存在する座標が分かる場合、その座標位置における距離としてカメラ情報の被写体距離を利用することができる。得られた距離は、図４の(a)の対応表から奥行値に変換することができる。
　図５は、本発明の実施の形態における映像データ２１０と奥行マップ２２０との関係を示す図である。図５の(a)は映像データ２１０の一例を示している。この例では、撮像装置の近傍に人物が映っており、その背後に背景が映っている。
　図５の(b)は図５の(a)の映像データ２１０に対応する奥行マップ２２０の一例を示している。人物の領域の奥行値２２１は、十六進数で「Ｂ４」、すなわち十進数で「１８０」を示している。これは、撮像装置から１．０［ｍ］の距離に人物が位置していることを意味する。背景領域の奥行値２２２は、「０」を示している。これは、撮像装置から無限遠（５．０［ｍ］超え）に背景が位置していることを意味する。奥行マップ２２０に含まれる各奥行値は、映像データ２１０の各画素に対応している。
　［奥行値の補正の第１の態様］
　図６は、本発明の実施の形態による奥行値の補正の第１の態様を示す図である。図６の(a)のように、チャプタの切替えの際に、フレーム内の領域の奥行値が急激に変化する場合を想定する。ここでは、チャプタ＃ｉの終端部分における特定の領域の奥行値７１１が、チャプタ＃（ｉ＋１）の開始部分において奥行値７１４に変化している。この場合、特定の領域の奥行値が急激に変化するため、視聴者に違和感を与えるおそれがある。なお、この場合の特定の領域は、人物などに該当するフレーム内の一部の領域が想定されるが、フレーム全体であってもよい。
　本発明の実施の形態では、奥行値の補正の第１の態様として、図６の(b)のようにチャプタの切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正する。これにより、チャプタの切替えの際における奥行値の急激な変化を抑制することができる。ただし、奥行値をゼロにする補正自体を急激に行うと、補正による新たな違和感を生じてしまうおそれがある。そこで、奥行値を補正する際には、例えば０．５秒以上の期間をかけて所定の表示速度により奥行値を遷移させることが望ましい。図６の(b)の例では、チャプタ＃ｉの終端部分における元々の奥行値７２１から終端フレームの奥行値７２２がゼロになるように、所定の表示速度により順次遷移させている。同様に、チャプタ＃（ｉ＋１）の開始フレームの奥行値７２３をゼロとして、開始部分における元々の奥行値７２４まで順次遷移させている。
　図７は、本発明の実施の形態による奥行値の補正の第１の態様のチャプタ全体を示す図である。ここでは、ｋフレームからなるチャプタ＃ｊを想定している。このチャプタ＃ｊでは、開始部分のｎフレームと終端部分のｎフレームにおいてそれぞれ奥行値が補正されている。
　チャプタ＃ｊの開始部分のｎフレームでは奥行値がゼロから順次増加している。この例では、奥行値がゼロから（１／ｎ）ずつ増加し、第（ｎ＋１）フレーム目において補正が施されない値に収束するものとしている。すなわち、第（ｎ＋１）フレーム目の奥行値をＡとすると、第ｉフレーム目（ｉは１からｎの範囲の整数）の奥行値はＡ×（（ｉ－１）／ｎ）となる。
　また、チャプタ＃ｊの終端部分のｎフレームでは奥行値がゼロに向かって順次減少している。この例では、奥行値が（１／ｎ）ずつ減少し、第ｋフレーム目においてゼロに収束するものとしている。すなわち、第（ｋ－ｎ）フレーム目の奥行値をＢとすると、第ｉフレーム目（ｉは（ｋ－（ｎ－１））からｋの範囲の整数）の奥行値はＢ×（（ｋ－ｉ）／ｎ）となる。
　［奥行値の補正の第１の態様の機能構成］
　図８は、本発明の実施の形態における奥行値補正機構の第１の機能構成例を示す図である。この奥行値補正機構は、シーンの切替えの前後において奥行値をゼロ（望遠側）に滑らかに遷移させるものである。撮像装置３００においては、撮像された際の奥行値を奥行情報設定部３３２により補正した上で奥行マップ２２０を設定してもよく、また、補正されていない奥行マップ２２０の奥行値を奥行情報出力部３３６により補正して表示部３５０に出力してもよい。したがって、撮像装置３００においては、奥行情報設定部３３２または奥行情報出力部３３６に、奥行値補正機構を設けることができる。また、この奥行値補正機構は、撮像装置のみならず、映像ファイルを扱う画像情報処理装置においても実現することができる。
　この奥行値補正機構は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、遷移フレーム数設定部１３０と、コンテンツ先読み管理部１４０と、奥行値補正部１５０とを備えている。
　コンテンツ供給部１１０は、撮像されたコンテンツを供給するものである。撮像装置３００においては撮像素子３２１乃至カメラ制御部３２９などによってコンテンツが供給される。画像情報処理装置の場合には、コンテンツを記憶する記憶部からの（図示しない）読出し部によってコンテンツが供給される。
　コンテンツ読出し管理部１２０は、コンテンツ供給部１１０から供給されるコンテンツを１フレームずつ読み出していく管理を行うものである。このコンテンツ読出し管理部１２０は、現フレーム番号保持部１２１と、現フレーム奥行値保持部１２２とを備える。現フレーム番号保持部１２１は、コンテンツ供給部１１０から読み出された現在のフレームのフレーム番号を保持するものである。現フレーム奥行値保持部１２２は、コンテンツ供給部１１０から読み出された現在のフレームに対応する奥行値を保持するものである。
　遷移フレーム数設定部１３０は、シーンの切替えの前後において補正対象となるフレームの数を予め設定するものである。図７の例では、シーンの切替えの前後において、それぞれｎフレームずつが遷移フレーム数として設定される。
　コンテンツ先読み管理部１４０は、コンテンツ読出し管理部１２０による読出しに先立って、コンテンツにおける現在のフレームよりも先の（未来の）フレームを先読みする管理を行うものである。このコンテンツ先読み管理部１４０は、シーン切替検出部１４１と、最終フレーム番号生成部１４２とを備える。シーン切替検出部１４１は、先読みされたコンテンツの中からシーン切替の位置を検出するものである。シーン切替としては、例えばチャプタの切替が想定される。最終フレーム番号生成部１４２は、シーン切替検出部１４１によって検出されたシーン切替位置に基づいて、現在のシーンの最終フレーム番号を生成するものである。図７の例では、第ｋフレーム目が最終フレームとなる。
　奥行値補正部１５０は、現フレーム奥行値保持部１２２に保持される奥行値を補正するものである。図７の例では、奥行値は次式のように補正される。
　　補正後奥行値＝補正前奥行値×ｍ／ｎ
ただし、ｎは遷移フレーム数設定部１３０に保持された遷移フレーム数であり、ｍはシーン切替の開始部分または終端部分の何れであるかに応じて以下のように設定される。
　　シーン開始ｎフレームの場合；　ｍ＝現フレーム番号－１
　　シーン終端ｎフレームの場合；　ｍ＝最終フレーム番号－現フレーム番号
なお、現フレーム番号は現フレーム番号保持部１２１から供給され、最終フレーム番号は最終フレーム番号生成部１４２から供給される。
　［奥行値の補正の第１の態様の動作例］
　図９は、本発明の実施の形態における奥行値補正の第１の態様による処理の流れを示す図である。ここでは、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
　まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９１１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。
　現フレームがチャプタの開始ｎフレームであれば（ステップＳ９１３）、変数ｍに「現フレーム番号－１」が設定される（ステップＳ９１４）。一方、現フレームがチャプタの終端ｎフレームであれば（ステップＳ９１６）、変数ｍには「最終フレーム番号－現フレーム番号」が設定される（ステップＳ９１７）。
　そして、現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が「ｍ／ｎ」倍に補正される（ステップＳ９１８）。
　その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９１９）。現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
　このように、本発明の実施の形態の第１の態様によれば、シーン切替の前後において奥行値をゼロ（望遠側）に滑らかに遷移させることができ、奥行値の急激な変化による違和感を解消することができる。
　＜２．第２の実施の形態＞
　［奥行値の補正の第２の態様］
　図１０は、本発明の実施の形態による奥行値の補正の第２の態様を示す図である。上述の第１の態様では奥行値を一旦ゼロに遷移させていたが、この第２の態様ではシーン切替の前後において奥行値を所定の表示速度により直接遷移させることを想定する。
　図１０の(a)は、チャプタの終端部分においてのみ奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７３１（ａ）から奥行値７３２に遷移させ、チャプタの開始部分においては奥行値７３３（ｃ）から奥行値７３４まで一定の値を維持させている。
　図１０の(b)は、チャプタの開始部分においてのみ奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７４１から奥行値７４２までは一定の値（ａ）を維持し、チャプタの開始部分において奥行値７４３から奥行値７４４（ｃ）に遷移させている。
　図１０の(c)は、チャプタの開始部分および終端部分の両者において奥行値を遷移させる例である。すなわち、この例では、チャプタの終端部分において奥行値７５１（ａ）から奥行値７５２に遷移させ、チャプタの開始部分においても奥行値７５３（ｂ）から奥行値７５４に遷移させている。
　このように、奥行値を直接遷移させる場合には、チャプタの切替前後の何れの区間において遷移させてもよい。
　［奥行値の補正の第２の態様の機能構成］
　図１１は、本発明の実施の形態における奥行値補正機構の第２の機能構成例を示す図である。この奥行値補正機構は、奥行値が急激に変化している場合にその変化を滑らかに遷移させるものである。以下では、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
　この奥行値補正機構の第２の機能構成は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、遷移フレーム数設定部１３０と、コンテンツ先読み管理部１４０と、奥行値補正部１５０とを備える点は、図８により説明した第１の機能構成と同様である。この奥行値補正機構の第２の機能構成は、第１の機能構成に加えて開始奥行値保持部１６０を備える。また、コンテンツ先読み管理部１４０においてさらに目標奥行値生成部１４３を備える。
　開始奥行値保持部１６０は、奥行値を遷移させる際の開始フレームの奥行値を保持するものである。図１０の(a)の例では、チャプタ＃ｉの奥行値７３１が開始フレームの奥行値となる。図１０の(b)の例ではチャプタ＃（ｉ＋１）の奥行値７４３が開始フレームの奥行値となる。また、図１０の(c)の例では、チャプタ＃ｉの奥行値７５１およびチャプタ＃（ｉ＋１）の奥行値７５３が開始フレームの奥行値となる。開始フレームは、シーン切替検出部１４１によって検出されたシーン切替位置および遷移フレーム数設定部１３０によって設定された遷移フレーム数に基づいて定められる。
　目標奥行値生成部１４３は、奥行値を補正する際の目標奥行値を生成するものである。図１０の(a)の例では、チャプタ＃ｉの奥行値７３２が目標奥行値となる。図１０の(b)の例では、チャプタ＃（ｉ＋１）の奥行値７４４が目標奥行値となる。また、図１０の(c)の例では、チャプタ＃ｉの奥行値７５２およびチャプタ＃（ｉ＋１）の奥行値７５４が目標奥行値となる。目標奥行値に該当するフレームは、シーン切替検出部１４１によって検出されたシーン切替位置および遷移フレーム数設定部１３０によって設定された遷移フレーム数に基づいて定められる。なお、図１０の(b)の例における奥行値７４４および図１０の(c)の例における奥行値７５４は、現フレームの奥行値とほぼ同等であると考えることができるため、現フレームの奥行値により代用することが可能である。また、目標奥行値は任意に定めることが可能である。例えば、次のチャプタ全体のダイナミックレンジに応じて目標奥行値を設定してもよい。
　この奥行値補正機構の第２の機能構成において、奥行値補正部１５０は以下のように奥行値を補正する。図１０の(a)のように切替前のチャプタにおいて遷移を行う場合には、チャプタの終了ｎフレームについて次式１により奥行値を補正する。
　　補正後奥行値＝目標奥行値＋（目標奥行値－補正前奥行値）×ｍ／ｎ　（式１）
ただし、
　　ｍ＝最終フレーム番号－現フレーム番号
である。
　図１０の(b)のように切替後のチャプタにおいて遷移を行う場合には、チャプタの開始ｎフレームについて次式２により奥行値を補正する。
　　補正後奥行値＝開始奥行値＋（補正前奥行値－開始奥行値）×ｍ／ｎ　（式２）
ただし、
　　ｍ＝現フレーム番号－１
である。
　図１０の(c)のように切替の前後のチャプタに亘って遷移を行う場合には、チャプタの開始ｎフレームについて上述の式２により奥行値を補正する。また、チャプタの終了ｎフレームについて上述の式１により奥行値を補正する。
　［奥行値の補正の第２の態様の動作例］
　図１２は、本発明の実施の形態における奥行値補正の第２の態様による第１の処理の流れを示す図である。この第１の処理は、図１０の(a)のように切替前のチャプタにおいて遷移を行う場合の例を示している。
　まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９２１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、目標奥行値生成部１４３において、遷移の際の目標奥行値が生成され、設定される（ステップＳ９２２）。この場合の目標奥行値は、図１０の(a)における奥行値７３２である。
　現フレームがチャプタの終端ｎフレームであれば（ステップＳ９２６）、変数ｍには「最終フレーム番号－現フレーム番号」が設定される（ステップＳ９２７）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式１により補正される（ステップＳ９２８）。
　その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９２９）。現フレームがチャプタの終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
　図１３は、本発明の実施の形態における奥行値補正の第２の態様による第２の処理の流れを示す図である。この第２の処理は、図１０の(b)のように切替後のチャプタにおいて遷移を行う場合の例を示している。
　まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９３１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。
　現フレームがチャプタの開始ｎフレームであれば（ステップＳ９３３）、変数ｍに「現フレーム番号－１」が設定される（ステップＳ９３４）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式２により補正される（ステップＳ９３５）。
　その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９３９）。現フレームがチャプタの開始ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
　図１４は、本発明の実施の形態における奥行値補正の第２の態様による第３の処理の流れを示す図である。この第３の処理は、図１０の(c)のように切替前後のチャプタに亘って遷移を行う場合の例を示している。
　まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９４１）。すなわち、現フレーム番号保持部１２１に保持される現フレーム番号が更新されるとともに、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、目標奥行値生成部１４３において、遷移の際の目標奥行値が生成され、設定される（ステップＳ９４２）。この場合の目標奥行値は、図１０の(c)における奥行値７５２である。奥行値７５２は、例えばチャプタ＃ｉの終端部分の奥行値とチャプタ＃（ｉ＋１）の開始部分の奥行値の平均値（ｂ）を用いることができる。
　現フレームがチャプタの開始ｎフレームであれば（ステップＳ９４３）、変数ｍに「現フレーム番号－１」が設定される（ステップＳ９４４）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式２により補正される（ステップＳ９４５）。
　一方、現フレームがチャプタの終端ｎフレームであれば（ステップＳ９４６）、変数ｍには「最終フレーム番号－現フレーム番号」が設定される（ステップＳ９４７）。そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が上述の式１により補正される（ステップＳ９４８）。
　その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９４９）。現フレームがチャプタの開始ｎフレームまたは終端ｎフレームであれば上述のように補正された奥行値が用いられ、それ以外のフレームについては補正されない奥行値が用いられる。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
　このように、本発明の実施の形態の第２の態様によれば、シーン切替の前後において奥行値を滑らかに遷移させることができ、奥行値の急激な変化による違和感を解消することができる。
　＜３．第３の実施の形態＞
　［静止画データと動画データの関係］
　図１５は、本発明の第３の実施の形態における静止画データと動画データの関係を示す図である。この第３の実施の形態では、静止画データをスライドショー形式により立体視表示することを想定している。ここでは、静止画データの各々をｎフレームずつ分配することにより、動画データを生成している。すなわち、静止画データＡをｎフレーム配置し、その後、静止画データＢをｎフレーム配置し、さらに静止画データＣをｎフレーム配置する、という要領で動画データの各フレームが配置される。静止画データは、図３により説明したフレーム画像と同様に、画像データと奥行値とを有しており、立体視表示に対応している。
　このような静止画データに基づく動画データにおいても、一般の動画の場合と同様に奥行値が急激に変化することによる違和感を伴うおそれがある。特に、スライドショー形式の場合、静止画データの切替の際に奥行値が急激に変化する可能性が高い。
　［奥行値の補正の第３の態様］
　図１６は、本発明の実施の形態による奥行値の補正の第３の態様を示す図である。図１６の(a)のように、静止画の切替えの際に、静止画内の領域の奥行値が急激に変化する場合を想定する。ここでは、静止画Ａの終端部分における特定の領域の奥行値８１１（ｄ）が、静止画Ｂの開始部分において奥行値８１２（ｅ）に変化している。この場合、特定の領域の奥行値が急激に変化するため、視聴者に違和感を与えるおそれがある。なお、この場合の特定の領域は、人物などに該当するフレーム内の一部の領域が想定されるが、フレーム全体であってもよい。
　本発明の実施の形態では、奥行値の補正の第３の態様として、図１６の(b)のように静止画の特定の領域の奥行値が一定値（Ｋ）になるように補正する。これにより、チャプタの切替えの際における奥行値の急激な変化を抑制することができる。
　［奥行値の補正の第３の態様の機能構成］
　図１７は、本発明の実施の形態における奥行値補正機構の第３の機能構成例を示す図である。この奥行値補正機構は、スライドショー形式の静止画データを含む動画データにおいて、特定の領域の奥行値を一定値に維持させるものである。以下では、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
　この奥行値補正機構の第３の機能構成は、コンテンツ供給部１１０と、コンテンツ読出し管理部１２０と、奥行値補正部１５０とを備える点は、図８により説明した第１の機能構成と同様である。この奥行値補正機構の第３の機能構成は、第１の機能構成において遷移フレーム数設定部１３０およびコンテンツ先読み管理部１４０を取り除き、固定奥行値設定部１７０をさらに備える。また、コンテンツ読出し管理部１２０において、基準奥行値特定部１２３をさらに備える。
　基準奥行値特定部１２３は、コンテンツ供給部１１０から供給された静止画について、基準となる奥行値（基準奥行値）を特定するものである。この基準奥行値を特定するためには、静止画における何らかの特徴量を抽出して、その特徴量に基づいて基準奥行値を特定することが考えられる。例えば、静止画において顔を抽出して、その中から最も注目すべき優先顔を選択し、その優先顔の奥行値を基準奥行値として特定することが考えられる。優先顔としては、最も中央に近い顔や、最も大きい顔を選択することができる。また、例えば、最も近距離に位置する奥行値を特定するようにしてもよい。
　固定奥行値設定部１７０は、静止画の特定の領域の奥行値として固定させようとする一定値を設定するものである。この固定奥行値設定部１７０に設定された一定値を固定奥行値と称する。図１６の(b)の例の場合、一定値Ｋが固定奥行値として設定されることになる。
　これにより、奥行値補正部１５０は、現フレーム奥行値保持部１２２に保持される奥行値を次式のように補正する。
　　補正後奥行値＝補正前奥行値×Ｋ／ｙ
ただし、Ｋは固定奥行値設定部１７０に設定された固定奥行値であり、ｙは基準奥行値特定部１２３により特定された基準奥行値である。
　［奥行値の補正の第３の態様の動作例］
　図１８は、本発明の実施の形態における奥行値補正の第３の態様による処理の流れを示す図である。ここでは、シーン切替の一例として、チャプタの切替えを検出する例について説明する。
　まず、コンテンツ読出し管理部１２０において、現フレームの更新が行われる（ステップＳ９５１）。すなわち、現フレーム奥行値保持部１２２に保持される奥行値が更新される。また、基準奥行値特定部１２３において、現フレームの静止画から奥行値が特定される（ステップＳ９５２）。ここでは、一例として、優先顔を検出し、その優先顔の基準奥行値ｙを特定することを想定する。
　そして、奥行値補正部１５０によって、現フレーム奥行値保持部１２２に保持される奥行値が「Ｋ／ｙ」倍に補正される（ステップＳ９５８）。ここで、Ｋは固定奥行値設定部１７０に設定された固定奥行値であり、ｙは基準奥行値特定部１２３により特定された基準奥行値である。
　その後、現フレームの映像データおよび奥行値に基づいて表示部３５０に立体視画像が表示される（ステップＳ９５９）。なお、ここでは表示部３５０を有する撮像装置３００を想定して動作を説明したが、後に表示することを前提として奥行値を補正して記憶しておくようにしても構わない。
　このように、本発明の実施の形態の第３の態様によれば、スライドショー形式の静止画データを含む動画データにおいて、特定の領域の奥行値を一定値に維持させることができ、奥行値の急激な変化による違和感を解消することができる。
　＜４．変形例＞
　［スライドショーの変形例］
　図１９は、本発明の実施の形態による奥行値の補正の第３の態様の変形例を示す図である。上述の第３の態様では奥行値を一定値に維持させていたが、この変形例では第２の態様と同様に、シーン切替の前後において奥行値を遷移させることを想定する。
　図１９の(a)は、静止画の終端部分においてのみ奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８３１から奥行値８３２に遷移させ、静止画Ｂの開始部分においては奥行値８３３から奥行値８３４まで一定の値を維持させている。
　図１９の(b)は、静止画の開始部分においてのみ奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８４１から奥行値８４２までは一定の値を維持し、静止画Ｂの開始部分において奥行値８４３から奥行値８４４に遷移させている。
　図１９の(c)は、静止画の開始部分および終端部分の両者において奥行値を遷移させる例である。すなわち、この例では、静止画Ａの終端部分において奥行値８５１から奥行値８５２に遷移させ、静止画Ｂの開始部分においても奥行値８５３から奥行値８５４に遷移させている。
　このように、奥行値を遷移させる場合には、静止画の切替前後の何れの区間において遷移させてもよい。
　このような奥行値の遷移を実現するためには、図１１により説明した機能構成および図１２乃至１４により説明した処理を利用することができる。すなわち、スライドショー形式の動画データは、各フレームは静止画データから構成されているものの、全体として見れば一般の動画データと違いはない。したがって、上述の本発明の第２の実施の形態を利用することができる。同様に、本発明の第２の実施の形態を利用して、静止画の切替えの際に全体の奥行値を一旦ゼロ（無限遠）に補正するようにしてもよい。
　また、ここでは、立体視画像のシーン切替に着目して説明したが、立体視画像から平面視画像への切替えもしくは平面視画像から立体視画像への切替えについても同様に適用できることはいうまでもない。また、静止画に基づくスライドショー形式の動画データと通常の動画データとを混在させた動画データにおいて、静止画と動画を切り替える場合についても同様に適用できることはいうまでもない。
　このように、本発明の実施の形態によれば、立体視コンテンツのシーンの切替えにおいて奥行値を滑らかに遷移させることができる。
　なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
　また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、光ディスク、ハードディスク、半導体ディスクのほかに、例えば、ＣＤ（Compact Disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。また、図２において、映像音声ストリームとして記録されるＭＰＥＧ圧縮のＧＯＰにそれぞれ対応する映像奥行きマップ値について説明した。これは、例えば光ディスクのプログラムストリーム、Ｂｌｕ－Ｒａｙ規格やＡＶＣＨＤ規格で用いられるＴＳストリーム、ＭＰＥＧ２ストリーム、Ｈ．２６４／ＡＶＣストリーム、ＭＰ４ストリーム等それぞれの映像音声圧縮ストリームとその将来の拡張規格において用いることができる。
　１１０　コンテンツ供給部
　１２０　コンテンツ読出し管理部
　１２１　現フレーム番号保持部
　１２２　現フレーム奥行値保持部
　１２３　基準奥行値特定部
　１３０　遷移フレーム数設定部
　１４０　コンテンツ先読み管理部
　１４１　シーン切替検出部
　１４２　最終フレーム番号生成部
　１４３　目標奥行値生成部
　１５０　奥行値補正部
　１６０　開始奥行値保持部
　１７０　固定奥行値設定部
　２００　コンテンツ記録ユニット
　２１０　映像データ
　２２０　奥行マップ
　３００　撮像装置
　３１０　レンズ部
　３１１　ズームレンズ
　３１２　フォーカスレンズ
　３１５、３１６、３４６　モーター
　３１９　モータードライバ
　３２１　撮像素子
　３２２　アナログ処理部
　３２３　Ａ／Ｄ変換器
　３２４　デジタル処理部
　３２５　タイミング生成器
　３２９　カメラ制御部
　３３１　映像符号化部
　３３２　奥行情報設定部
　３３３　ファイル生成部
　３３４　ファイル復号部
　３３５　映像復号部
　３３６　奥行情報出力部
　３３７　メモリ
　３３８　メモリコントローラ
　３３９　システム制御部
　３４１　エラー訂正部
　３４２　データ変復調部
　３４３　磁界変調ドライバ
　３４４　磁界ヘッド
　３４５　サーボ回路
　３４７　光ピックアップ
　３４９　ドライブ制御部
　３５０　表示部
　３７０　光ディスク
　３９０　操作受付部

Claims (13)

  1. 　コンテンツにおけるシーンの切替えを検出するシーン切替検出部と、
    　立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正部と
    を具備する画像情報処理装置。
  2. 　前記奥行値補正部は、前記コンテンツにおける何れかの領域に対応する奥行値の変化が前記シーンの切替の前後において所定の表示速度により遷移するように前記奥行値を補正する請求項１記載の画像情報処理装置。
  3. 　前記奥行値補正部は、前記シーンの切替えの前後において画像全体の奥行値を望遠側に補正する請求項１記載の画像情報処理装置。
  4. 　前記奥行値補正部は、前記シーンの切替えの前の奥行値から前記シーンの切替の後の奥行値に所定の表示速度により遷移するように前記奥行値を補正する請求項１記載の画像情報処理装置。
  5. 　前記奥行値補正部は、前記シーンの切替前の所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
  6. 　前記奥行値補正部は、前記シーンの切替後の所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
  7. 　前記奥行値補正部は、前記シーンの切替えの前後に跨った所定の区間において奥行値を遷移させるよう補正する請求項１記載の画像情報処理装置。
  8. 　前記シーン切替検出部は、前記シーンの切替えとして立体視画像と平面視画像の切替えを検出する請求項１記載の画像情報処理装置。
  9. 　前記シーン切替検出部は、前記シーンの切替えとして動画と静止画の切替えを検出する請求項１記載の画像情報処理装置。
  10. 　コンテンツを構成する画像データを立体視表示するための奥行値について一定の値を固定奥行値として設定する固定奥行値設定部と、
    　前記画像データの何れかの領域を選択して当該領域に対応する奥行値を基準奥行値として特定する基準奥行値特定部と、
    　前記画像データの各領域に対応する奥行値について前記基準奥行値が前記固定奥行値となる比率によって補正を行う奥行値補正部と
    を具備する画像情報処理装置。
  11. 　画像を撮像して撮像画像および立体視表示のための奥行値を供給する撮像画像供給部と、
    　前記撮像画像におけるシーンの切替えを検出するシーン切替検出部と、
    　前記奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正部と
    を具備する撮像装置。
  12. 　コンテンツにおけるシーンの切替えを検出するシーン切替検出手順と、
    　立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正手順と
    を具備する画像情報処理方法。
  13. 　コンテンツにおけるシーンの切替えを検出するシーン切替検出手順と、
    　立体視表示のための奥行値の変化が前記シーンの切替えの前後において所定の表示速度により遷移するように前記奥行値を補正する奥行値補正手順と
    をコンピュータに実行させるプログラム。
PCT/JP2010/057124 2009-04-24 2010-04-22 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム WO2010123053A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
BRPI1003633A BRPI1003633A2 (pt) 2009-04-24 2010-04-22 aparelho e método de processamento de informação de imagem, aparelho de captura de imagem, e, programa
US12/997,968 US8698877B2 (en) 2009-04-24 2010-04-22 Image information processing apparatus, image capture apparatus, image information processing method, and program
CN2010800018185A CN102067616A (zh) 2009-04-24 2010-04-22 图像信息处理设备、图像捕获设备、图像信息处理方法及程序
EP10767110.9A EP2293584A4 (en) 2009-04-24 2010-04-22 IMAGE INFORMATION PROCESSING DEVICE, IMAGE CAPTURE DEVICE, IMAGE INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-105755 2009-04-24
JP2009105755A JP5434231B2 (ja) 2009-04-24 2009-04-24 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2010123053A1 true WO2010123053A1 (ja) 2010-10-28

Family

ID=43011169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057124 WO2010123053A1 (ja) 2009-04-24 2010-04-22 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム

Country Status (9)

Country Link
US (1) US8698877B2 (ja)
EP (1) EP2293584A4 (ja)
JP (1) JP5434231B2 (ja)
KR (1) KR20120034255A (ja)
CN (1) CN102067616A (ja)
BR (1) BRPI1003633A2 (ja)
RU (1) RU2010151791A (ja)
TW (1) TWI416937B (ja)
WO (1) WO2010123053A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011062110A1 (ja) * 2009-11-20 2011-05-26 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
WO2011105220A1 (ja) * 2010-02-24 2011-09-01 ソニー株式会社 立体映像処理装置および方法、並びにプログラム
US20130100260A1 (en) * 2011-10-21 2013-04-25 Kabushiki Kaisha Toshiba Video display apparatus, video processing device and video processing method
US20140104382A1 (en) * 2011-06-06 2014-04-17 Fujifilm Corporation Image processing apparatus, multi-lens image capture apparatus, image processing method and program

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5562122B2 (ja) * 2010-05-31 2014-07-30 キヤノン株式会社 画像処理装置及びその制御方法
JP2012053606A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2012134655A (ja) * 2010-12-20 2012-07-12 Toshiba Corp 画像処理装置、画像処理方法および画像表示装置
WO2012098803A1 (ja) * 2011-01-17 2012-07-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012169730A (ja) * 2011-02-10 2012-09-06 Nec Personal Computers Ltd 画像処理方法及び画像処理装置
CN103621076B (zh) 2011-03-24 2015-04-01 富士胶片株式会社 立体图像处理设备和立体图像处理方法
WO2012132304A1 (ja) * 2011-03-30 2012-10-04 富士フイルム株式会社 立体画像表示制御装置及び立体画像表示制御方法
EP2724542B1 (en) * 2011-06-22 2018-10-24 Koninklijke Philips N.V. Method and apparatus for generating a signal for a display
US8879826B2 (en) * 2011-07-05 2014-11-04 Texas Instruments Incorporated Method, system and computer program product for switching between 2D and 3D coding of a video sequence of images
JP2013026943A (ja) * 2011-07-25 2013-02-04 Sharp Corp 立体画像処理装置および立体画像処理方法
JP5577305B2 (ja) * 2011-08-05 2014-08-20 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
KR101872864B1 (ko) * 2011-12-19 2018-06-29 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
JP5720561B2 (ja) * 2011-12-26 2015-05-20 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP5899910B2 (ja) * 2011-12-26 2016-04-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP6215228B2 (ja) * 2012-01-04 2017-10-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ画像シーケンスの処理
US9769488B2 (en) * 2012-02-02 2017-09-19 Sun Patent Trust Methods and apparatuses for 3D media data generation, encoding, decoding and display using disparity information
WO2013145567A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 立体映像処理装置および立体映像処理方法
JP5807182B2 (ja) * 2012-07-11 2015-11-10 パナソニックＩｐマネジメント株式会社 ３次元映像表示装置および３次元映像表示方法
KR101470693B1 (ko) * 2012-07-31 2014-12-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
WO2014204364A1 (en) * 2013-06-19 2014-12-24 Telefonaktiebolaget L M Ericsson (Publ) 3d video switching with gradual depth transition
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
CN108335292B (zh) * 2015-08-13 2021-07-30 海信集团有限公司 一种场景切换中插入图片的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH10188034A (ja) * 1996-12-28 1998-07-21 Olympus Optical Co Ltd 立体画像生成装置および距離演算装置
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2004246725A (ja) 2003-02-14 2004-09-02 Sharp Corp 表示装置、表示制御方法、表示制御プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4354751A (en) * 1980-03-18 1982-10-19 Minolta Camera Kabushiki Kaisha Exposure system for a camera
JP2602236B2 (ja) * 1987-07-21 1997-04-23 日本放送協会 立体テレビジョン信号の処理装置
US5323204A (en) * 1992-11-03 1994-06-21 Eastman Kodak Company Automatic optimization of photographic exposure parameters for non-standard display sizes and/or different focal length photographing modes through determination and utilization of extra system speed
DE69417824T4 (de) * 1993-08-26 2000-06-29 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
JP2001204964A (ja) * 2000-01-28 2001-07-31 Square Co Ltd 球技用ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体および球技用ゲームの画像表示処理方法およびビデオゲーム装置
US7254265B2 (en) * 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
JP3645800B2 (ja) * 2000-08-17 2005-05-11 ペンタックス株式会社 測距装置
WO2002052565A1 (en) * 2000-12-22 2002-07-04 Muvee Technologies Pte Ltd System and method for media production
JP2005109568A (ja) * 2003-09-26 2005-04-21 Sanyo Electric Co Ltd 映像表示装置及びプログラム
JP2005341004A (ja) * 2004-05-25 2005-12-08 Sony Corp コンテンツ再生装置，コンテンツ再生方法，コンテンツ再生システムおよびそのコンピュータプログラム
WO2007072270A1 (en) * 2005-12-19 2007-06-28 Koninklijke Philips Electronics N.V. 3d image display method and apparatus
JP5011842B2 (ja) * 2006-06-22 2012-08-29 株式会社ニコン 画像再生装置
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8208009B2 (en) * 2008-02-05 2012-06-26 Disney Enterprises, Inc. Stereoscopic image generation using retinal rivalry in scene transitions
US8073243B2 (en) * 2008-05-30 2011-12-06 General Instrument Corporation Replacing image information in a captured image
EP2353298B1 (en) * 2008-11-07 2019-04-03 Telecom Italia S.p.A. Method and system for producing multi-view 3d visual contents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH10188034A (ja) * 1996-12-28 1998-07-21 Olympus Optical Co Ltd 立体画像生成装置および距離演算装置
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2004246725A (ja) 2003-02-14 2004-09-02 Sharp Corp 表示装置、表示制御方法、表示制御プログラム及びこれを記録したコンピュータ読み取り可能な記録媒体
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2293584A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011062110A1 (ja) * 2009-11-20 2011-05-26 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
US9438895B2 (en) 2009-11-20 2016-09-06 Sony Corporation Receiving apparatus, transmitting apparatus, communication system, control method of the receiving apparatus and program
WO2011105220A1 (ja) * 2010-02-24 2011-09-01 ソニー株式会社 立体映像処理装置および方法、並びにプログラム
JP2011176541A (ja) * 2010-02-24 2011-09-08 Sony Corp 立体映像処理装置および方法、並びにプログラム
US9013561B2 (en) 2010-02-24 2015-04-21 Sony Corporation Stereoscopic video processing apparatus, method, and program
US20140104382A1 (en) * 2011-06-06 2014-04-17 Fujifilm Corporation Image processing apparatus, multi-lens image capture apparatus, image processing method and program
US20130100260A1 (en) * 2011-10-21 2013-04-25 Kabushiki Kaisha Toshiba Video display apparatus, video processing device and video processing method

Also Published As

Publication number Publication date
US8698877B2 (en) 2014-04-15
CN102067616A (zh) 2011-05-18
TW201043003A (en) 2010-12-01
JP5434231B2 (ja) 2014-03-05
JP2010258723A (ja) 2010-11-11
US20110261160A1 (en) 2011-10-27
EP2293584A1 (en) 2011-03-09
KR20120034255A (ko) 2012-04-10
BRPI1003633A2 (pt) 2016-02-23
EP2293584A4 (en) 2016-11-09
RU2010151791A (ru) 2012-06-27
TWI416937B (zh) 2013-11-21

Similar Documents

Publication Publication Date Title
JP5434231B2 (ja) 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP5369952B2 (ja) 情報処理装置および情報処理方法
JP5293463B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9502072B2 (en) Imaging apparatus that generates motion image data having a first frame rate for a slow speed stretch and motion image data having a second frame rate for a normal speed stretch
WO2009142915A1 (en) Systems and methods for concurrently playing multiple images from a storage medium
JP2009156888A (ja) 音声補正装置及びそれを備えた撮像装置並びに音声補正方法
JP2007328755A (ja) 画像処理装置、画像処理方法およびプログラム
JP5610933B2 (ja) 再生装置及びその制御方法
JP5299529B2 (ja) 撮像装置
KR102172114B1 (ko) 결합하는 동영상의 동영상 선별 장치, 동영상 선별 방법 및 기억 매체
JP2009065587A (ja) 音声記録装置及び音声再生装置
US20130177287A1 (en) Reproduction apparatus, image capturing apparatus, and program
JP6031670B2 (ja) 撮像装置
JP5604916B2 (ja) 画像処理装置及びプログラム
KR101491475B1 (ko) 영상 편집방법 및 이를 이용하여 영상을 편집하는 영상 기기
US20150139627A1 (en) Motion picture playback apparatus and method for playing back motion picture
JP4998439B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2008021110A (ja) 画像処理装置、画像処理手順およびプログラム
JP2010021708A (ja) 画像処理装置および撮像装置
JP5585693B2 (ja) 画像再生装置
JP2011139300A (ja) 画像処理装置及びプログラム
JP2005303943A (ja) 映像記録装置
KR20090087793A (ko) 데이터 기록 방법 및 장치, 데이터 재생 방법 및 장치,기록 매체
JP2011029719A5 (ja)
JP2015029211A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080001818.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12997968

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10767110

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20107028357

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010151791

Country of ref document: RU

Ref document number: 8232/CHENP/2010

Country of ref document: IN

Ref document number: 2010767110

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI1003633

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20101216