WO2013094332A1 - 画像出力装置、方法およびプログラムならびにその記録媒体 - Google Patents

画像出力装置、方法およびプログラムならびにその記録媒体 Download PDF

Info

Publication number
WO2013094332A1
WO2013094332A1 PCT/JP2012/079069 JP2012079069W WO2013094332A1 WO 2013094332 A1 WO2013094332 A1 WO 2013094332A1 JP 2012079069 W JP2012079069 W JP 2012079069W WO 2013094332 A1 WO2013094332 A1 WO 2013094332A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
output
representative
frame
stereoscopic image
Prior art date
Application number
PCT/JP2012/079069
Other languages
English (en)
French (fr)
Inventor
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013550181A priority Critical patent/JP5580486B2/ja
Priority to CN201280062870.0A priority patent/CN104041026B/zh
Publication of WO2013094332A1 publication Critical patent/WO2013094332A1/ja
Priority to US14/306,484 priority patent/US9124866B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to image output, and in particular, to binocular parallax adjustment of each stereoscopic image frame of a stereoscopic video.
  • the stereoscopic image processing apparatus of Patent Document 1 When the displayed subject reaches the limit parallax, the stereoscopic image processing apparatus of Patent Document 1 generates a parallax image so as to realize the appropriate parallax in the subsequent stereoscopic display according to the acquired appropriate parallax information.
  • the parallax control is realized by optimally setting camera parameters retroactively to the three-dimensional data.
  • an observation viewpoint sensor that detects an observation viewpoint of an observer who is facing is provided on a display that displays a three-dimensional image seen through a viewpoint coordinate system, and is detected by the observation viewpoint sensor.
  • the computer moves the viewpoint coordinate system of the displayed image according to the observed viewpoint, so that the perspective viewpoint of the three-dimensional image displayed on the display moves following the observer's observation viewpoint, and the perspective viewpoint is always observed. Display the image according to the viewpoint.
  • the three-dimensional image display device disclosed in Patent Literature 3 separately projects a viewpoint detection device that detects the viewpoint position of an observer, a video generation device that generates two videos with parallax for the left and right eyes, and two videos. And a video projection device that projects the two displayed videos separately to the left and right eyes of the observer, the video generation device is based on the output signal of the viewpoint detection device, A video reflecting the change in the observation direction of the observation target is generated in response to the movement of the observer's viewpoint.
  • the video generation device reflects a change in the observation direction of the observation target corresponding to the movement of the observer's viewpoint based on the output signal of the viewpoint detection device, and has a fictitious parallax with respect to the left and right eyes of the observer Generate an image of the object.
  • a liquid crystal shutter is provided in front of the display, and a display unit in which a lenticular lens is disposed in front of the liquid crystal shutter and a control unit to which an observer's viewpoint position is input, Display the parallax images corresponding to the right and left eyes on the display in a time-sharing manner, and change the width and position of the liquid crystal shutter translucent state according to the viewer's viewpoint position while synchronizing with the parallax image. The image is observed with a corresponding eye through a lenticular lens.
  • JP 2004-221699 A Japanese Patent Laid-Open No. 6-028452 Japanese Patent Laid-Open No. 9-238369 JP-A-8-327948
  • parallax If stereoscopic video using parallax is not displayed with an appropriate amount of parallax, viewers may be fatigued.
  • the appropriate amount of parallax varies depending on the size of the display to be displayed, the viewer's stereoscopic fusion limit, etc., and it is necessary to adjust the parallax accordingly.
  • Patent Document 1 since the depth Fxy that satisfies the appropriate parallax is calculated and rounded off, the parallax is the same between frames, and there is no change in stereoscopic effect due to frame transition, or conversely, a large parallax between frames. There is a risk that viewers will be exhausted by too much change. For example, when the transition of the parallax at the time of shooting such as the part (a) in FIG. 14 is adjusted to the display parallax as in the part (b) in FIG. In some cases, the viewer may get tired due to loss of the image, or conversely, a large variation in parallax occurs between adjacent frames.
  • the object of the present invention is to reflect the transition of the representative parallax of the stereoscopic video in the parallax adjustment according to the output condition of the stereoscopic video.
  • the present invention provides a representative parallax acquisition unit that acquires a representative parallax for each of a plurality of stereoscopic image frames constituting a stereoscopic video, and an output condition for the stereoscopic video based on the representative parallax for each of the stereoscopic image frames acquired by the representative parallax acquisition unit.
  • the output parallax determination unit that determines the output parallax for each stereoscopic image frame in accordance with the output, and the output parallax for each stereoscopic image frame is adjusted based on the planned output parallax for each stereoscopic image frame determined by the planned output parallax determination unit
  • An output parallax adjustment unit, and an output unit that sequentially outputs a stereoscopic image frame in which the output parallax adjustment unit has adjusted the output parallax, and the scheduled output parallax determination unit is a reference frame sequentially determined from among the stereoscopic image frames
  • the planned output parallax of the reference frame is determined based on the representative parallax of the target frame, and based on the representative parallax of the target frame that is a stereoscopic image frame immediately after the reference frame.
  • the output parallax adjustment unit adjusts the difference between the output parallax of the reference frame and the output parallax of the target frame based on the difference between the representative parallax of the reference frame and the representative parallax of the target frame.
  • the representative parallax for each stereoscopic image frame includes a statistical calculation value calculated based on the parallax satisfying a predetermined condition among the parallaxes of the stereoscopic image frame, and the statistical parallax calculated based on the parallax satisfying the predetermined condition.
  • the arithmetic operation value provides an image output device that excludes the average parallax within a predetermined region of the stereoscopic image frame.
  • the statistical calculation value includes at least one of a maximum value, a minimum value, a mode value, and a median value of the parallax of the stereoscopic image frame.
  • the representative parallax for each stereoscopic image frame is the maximum value, the minimum value, the mode value, or the center value of the parallax of the subject existing on the far-field side, which is the direction farther from the imaging device than the cross point among the parallaxes of the stereoscopic image frame. It includes at least one of the maximum value, the minimum value, the mode value, or the median value of the parallax of the subject existing on the near view side that is closer to the imaging device than the value and the cross point.
  • the parallax that satisfies the predetermined condition includes the parallax of the gaze position with respect to the stereoscopic image frame.
  • the gaze position includes a gaze point of the viewer of the stereoscopic image frame, a gaze point of the photographer of the stereoscopic image frame, or a gaze point arbitrarily designated in the stereoscopic image frame.
  • the disparity satisfying the predetermined condition is a distant view that is a direction away from the imaging device from the cross point among the disparity of the face region, the disparity of the focus evaluation value calculation region, the disparity of the image center region, and the disparity of the stereoscopic image frame
  • the parallax of the subject existing on the near view side which is closer to the imaging device than the cross point, among the parallax of the subject existing on the side or the parallax of the stereoscopic image frame.
  • the image output apparatus includes an output allowable parallax width acquisition unit that acquires an upper limit and a lower limit that define an output parallax width that is an allowable output parallax width as an output condition of a stereoscopic video.
  • the parallax width defined by the maximum and minimum values of the representative parallax of each stereoscopic image frame acquired by the representative parallax acquisition unit is equal to the output allowable parallax width acquired by the output allowable parallax width acquisition unit.
  • a parallax width adjustment unit that adjusts the parallax width to the output allowable parallax width is provided.
  • the parallax width adjustment unit may output the maximum value of the representative parallax when the maximum value of the representative parallax acquired by the representative parallax acquisition unit exceeds the upper limit of the output allowable parallax width acquired by the output allowable parallax width acquisition unit.
  • the representative parallax of each stereoscopic image frame is adjusted to be less than the upper limit of the parallax width.
  • the parallax width adjustment unit when the minimum parallax value acquired by the representative parallax acquisition unit is less than the lower limit of the output allowable parallax width acquired by the output allowable parallax width acquisition unit, The representative parallax of each stereoscopic image frame is adjusted to exceed the lower limit of.
  • the reference frame and the target frame are determined from the same scene.
  • the image output apparatus includes a table acquisition unit that acquires a table that defines a stepwise output scheduled parallax corresponding to a representative parallax of an arbitrary value, and the output scheduled parallax determination unit acquires the representative parallax acquisition unit In accordance with the representative parallax for each stereoscopic image frame and the table acquired by the table acquisition unit, the stepwise output scheduled parallax for each stereoscopic image frame is determined.
  • the output parallax adjustment unit compares the difference between the representative parallax of the reference frame and the representative parallax of the target frame with a predetermined first threshold value, and determines the scheduled output parallax when the difference exceeds the predetermined first threshold value.
  • the output parallax of the target frame is adjusted toward the planned output parallax that is one step larger than the planned output parallax of the reference frame determined by the unit.
  • the output parallax adjustment unit compares the difference with a predetermined second threshold, and adjusts the output parallax of the target frame toward the output parallax of the reference frame when the difference is lower than the predetermined second threshold.
  • the output parallax adjustment unit adjusts the output parallax of the target frame toward the output scheduled parallax of the target frame when the difference does not exceed the predetermined first threshold and does not fall below the predetermined second threshold.
  • the predetermined first threshold and the predetermined second threshold are equal.
  • the present invention provides an image output apparatus including a representative parallax acquisition unit, an output-scheduled parallax determination unit, an output parallax adjustment unit, and an output unit, wherein the representative parallax acquisition unit includes a plurality of stereoscopic images constituting a stereoscopic video.
  • the step of obtaining the representative parallax for each frame, and the output-scheduled parallax determining unit output for each stereoscopic image frame according to the output condition of the stereoscopic video based on the representative parallax for each stereoscopic image frame acquired by the representative parallax acquiring unit A step of determining a scheduled parallax, a step of an output parallax adjusting unit adjusting an output parallax for each stereoscopic image frame based on the planned scheduled parallax for each stereoscopic image frame determined by the planned output parallax determining unit;
  • a step in which the output parallax adjustment unit sequentially outputs a stereoscopic image frame in which the output parallax is adjusted, and a planned output parallax determination unit is based on Determining the planned output parallax of the reference frame based on the representative parallax of the frame and determining the planned output parallax of the target frame based on the representative parallax of the
  • the representative parallax includes a statistical calculation value calculated based on the parallax satisfying a predetermined condition among the parallaxes of the stereoscopic image frame, and the statistical calculation value calculated based on the parallax satisfying the predetermined condition
  • the present invention also includes an image output program for causing the image output apparatus to execute the image output method and a computer-readable non-transitory recording medium (non-transitory computer-readable medium) on which the program is recorded.
  • the difference in output parallax between the stereoscopic image frames is adjusted according to the difference in representative parallax between the stereoscopic image frames, that is, the transition of the representative parallax.
  • the output parallax of each stereoscopic image frame is adjusted to an appropriate output parallax while maintaining a state close to the transition of the representative parallax at the time of shooting. Can do.
  • FIG. 1 Front perspective view of digital camera Rear perspective view of digital camera
  • Digital camera block diagram Schematic diagram of the parallax limit in the spreading direction
  • Flow chart of parallax adjustment processing The figure which shows an example of a 3D animation parallax-output plan parallax conversion table Flow chart of parallax width adjustment processing Schematic diagram of parallax width adjustment Schematic diagram of parallax shift in negative direction Schematic diagram of parallax shift after parallax width adjustment Schematic diagram of parallax shift in the positive direction
  • Block diagram of display and playback device The figure which shows an example of the output parallax reflecting the transition of the parallax at the time of imaging
  • photography The figure which shows an example of the conventional parallax adjustment
  • FIG. 1 is a front perspective view showing an external configuration of a digital camera 10 according to an embodiment of the present invention.
  • FIG. 2 is a rear perspective view showing an external configuration of an example of the digital camera.
  • the digital camera 10 includes a plurality of imaging means (two are illustrated in FIG. 1), and can photograph the same subject from a plurality of viewpoints (two left and right viewpoints in FIG. 1).
  • a case where two imaging means are provided will be described as an example.
  • the present invention is not limited to this, and the same applies even when three or more imaging means are provided. It is applicable to.
  • the camera body 112 of the digital camera 10 of this example is formed in a rectangular box shape, and a pair of photographing optical systems 11R and 11L and a strobe 116 are provided on the front surface thereof as shown in FIG. Yes.
  • a release button 14 On the top surface of the camera body 112, a release button 14, a power / mode switch 120, a mode dial 122, and the like are provided.
  • a monitor 13 composed of a liquid crystal display (LCD), a zoom button 126, a cross button 128, a MENU / OK button 130, a DISP button 132, a BACK A button 134 and the like are provided.
  • the monitor 13 may be built in the digital camera 10 or may be replaced with an external device (for example, a display of a portable electronic device such as a TV, a head mounted display, or a mobile phone).
  • the pair of left and right photographing optical systems 11R and 11L are configured to include retractable zoom lenses (18R and 18L in FIG. 3), respectively, and are fed out from the camera body 112 when the power of the digital camera 10 is turned on.
  • the zoom mechanism and the retracting mechanism in the photographing optical system are known techniques, a specific description thereof is omitted here.
  • the monitor 13 is a display device such as a color liquid crystal panel in which a so-called lenticular lens having a semi-cylindrical lens group is arranged on the front surface.
  • the monitor 13 is used as an image display unit for displaying captured images, and is used as a GUI during various settings. Further, at the time of shooting, an image captured by the image sensor is displayed through and used as an electronic viewfinder.
  • the stereoscopic image display method of the monitor 13 is not limited to the parallax barrier method. For example, a stereoscopic image display method using glasses such as an anaglyph method, a polarizing filter method, and a liquid crystal shutter method may be used.
  • the release button 14 is composed of a two-stroke switch composed of so-called “half press” and “full press”.
  • a shooting preparation process that is, AE (Automatic Exposure), AF (Auto Focus) and AWB (Automatic White Balance) processing are performed, and when fully pressed, image shooting / recording processing is performed.
  • stereoscopic video shooting when stereoscopic video shooting is performed (for example, when the stereoscopic video shooting mode is selected by the mode dial 122 or the menu), when the release button 14 is fully pressed, shooting of the stereoscopic video is started, and when the release button 14 is fully pressed again, shooting is ended.
  • a release button dedicated to still image shooting and a release button dedicated to stereoscopic video shooting may be provided.
  • the power / mode switch 120 functions as a power switch of the digital camera 10 and also functions as a switching unit that switches between the playback mode and the shooting mode of the digital camera 10.
  • the mode dial 122 is used for setting the shooting mode.
  • the digital camera 10 is set to a 2D still image shooting mode for shooting a 2D still image by setting the mode dial 122 to “2D still image position”, and set to “3D still image position”.
  • the 3D still image shooting mode for shooting a 3D still image is set.
  • the 3D moving image shooting mode for shooting a 3D moving image is set by setting the “3D moving image position”.
  • the zoom button 126 is used for zoom operation of the photographing optical systems 11R and 11L, and includes a zoom tele button for instructing zooming to the telephoto side and a zoom wide button for instructing zooming to the wide angle side.
  • the cross button 128 is provided so that it can be pressed in four directions, up, down, left, and right, and a function corresponding to the setting state of the camera is assigned to the pressing operation in each direction.
  • the MENU / OK button 130 is used to call a menu screen (MENU function), and to confirm selection contents, execute a process, etc. (OK function).
  • the DISP button 132 is used to input an instruction to switch the display contents of the monitor 13 and the BACK button 134 is used to input an instruction to cancel the input operation.
  • FIG. 3 is a block diagram showing the main part of the digital camera 10.
  • the digital camera 10 includes a right viewpoint imaging unit having a right viewpoint imaging optical system 11R and an imaging element 29R, and a left viewpoint imaging unit having a left viewpoint imaging optical system and an imaging element 29L.
  • the two photographing optical systems 11 include a zoom lens 18 (18R, 18L), a focus lens 19 (19R, 19L), and a diaphragm 20 (20R, 20L), respectively.
  • the zoom lens 18, the focus lens 19, and the aperture 20 are respectively controlled by a zoom lens control unit 22 (22R, 22L), a focus lens control unit 23 (23R, 23L), and an aperture control unit 24 (24R, 24L).
  • Each of the control units 22, 23, and 24 is composed of a stepping motor, and is controlled by a drive pulse given from a motor driver (not shown) connected to the CPU 26.
  • CCD image sensors (hereinafter simply referred to as “CCD”) 29 (29R, 29L) are disposed behind the two photographing optical systems 11 (11R, 11L), respectively.
  • a MOS type image sensor may be used instead of the CCD 29, a MOS type image sensor may be used.
  • the CCD 29 has a photoelectric conversion surface on which a plurality of photoelectric conversion elements are arranged. Subject light is incident on the photoelectric conversion surface via the photographing optical system 11 so that a subject image is formed.
  • the A timing generator: TG31 (31R, 31L) controlled by the CPU 26 is connected to the CCD 29, and the shutter speed of the electronic shutter (the charge accumulation time of each photoelectric conversion element) is determined by a timing signal (clock pulse) input from the TG31. Is determined).
  • the imaging signal output from the CCD 29 is input to the analog signal processing circuit 33 (33R, 33L).
  • the analog signal processing circuit 33 includes a correlated double sampling circuit (CDS), an amplifier (AMP), and the like.
  • the CDS generates R, G, and B image data corresponding to the accumulated charge time of each pixel from the imaging signal.
  • the AMP amplifies the generated image data.
  • the AMP functions as a sensitivity adjustment means for adjusting the sensitivity of the CCD 29.
  • the ISO sensitivity of the CCD 29 is determined by the gain of the AMP.
  • the A / D converter 36 (36R, 36L) converts the amplified image data from analog to digital.
  • the digital image data output from the A / D converter 36 (36R, 36L) is supplied to the right viewpoint image data by the SDRAM 39, which is a working memory, via the image input controller 38 (38R, 38L). Temporarily stored as image data of the left viewpoint.
  • the digital signal processing unit 41 reads out image data from the SDRAM 39, performs various image processing such as gradation conversion, white balance correction, ⁇ correction processing, YC conversion processing, and stores the image data in the SDRAM 39 again.
  • Image data that has been subjected to image processing by the digital signal processing unit 41 is acquired as a through image in the VRAM 65, converted into an analog signal for video output by the display control unit 42, and displayed on the monitor 13.
  • the image processed image data obtained by fully pressing the release button 14 is compressed in a predetermined compression format (for example, JPEG format) by the compression / decompression processing unit 43 and then passed through the media control unit 15. Thus, it is recorded on the memory card 16 as a recording image.
  • a predetermined compression format for example, JPEG format
  • the operation unit 25 is for performing various operations of the digital camera 10, and includes various buttons and switches 120 to 134 shown in FIGS.
  • the CPU 26 is provided to control the digital camera 10 in an integrated manner.
  • the CPU 26 uses a battery 70 based on various control programs and setting information stored in a computer-readable non-temporary recording medium such as the flash ROM 60 or the ROM 61, input signals from the attitude detection sensor 73 and the operation unit 25, and the like. Control each unit such as the power supply control unit 71 and the clock unit 72.
  • the digital camera 10 also includes an AE / AWB control unit 47 that performs AE (Auto-Exposure) / AWB (Auto-White-Balance) control, and a plurality of stereoscopic image frames (hereinafter also simply referred to as “frames”).
  • a parallax detection unit 49 for detecting the representative parallax is provided.
  • the digital camera 10 also includes a flash control unit 23 that controls the light emission timing and the light emission amount of the flash 5.
  • the AE / AWB control unit 47 analyzes the image (captured image) obtained by the CCD 29 when the release button 14 is half-pressed, and based on the luminance information of the subject, the aperture value of the aperture 20 and the CCD 29 The shutter speed of the electronic shutter is calculated. Based on these calculation results, the AE / AWB control unit 47 controls the aperture value via the aperture control unit 24 and the shutter speed via the TG 31.
  • the apertures of both the imaging optical systems 11R and 11L calculateate the value and shutter speed.
  • the aperture value and the shutter speed of each of the imaging optical systems 11R and 11L may be calculated.
  • the AF control unit 45 performs AF search control for calculating the contrast value by moving the focus lenses 19R and 19L along the optical axis direction when the release button 14 is half-pressed, and a focusing lens based on the contrast value. Focus control for moving the focus lenses 19R and 19L to the position is performed.
  • the “contrast value” is calculated based on an image signal in a predetermined focus evaluation value calculation area of the captured image obtained by the CCDs 29R and 29L.
  • the “focus lens position” is the position of the focus lenses 19R and 19L at which the focus lenses 19R and 19L are focused on at least the main subject.
  • a captured image (right viewpoint image or The contrast value is calculated in (left viewpoint image).
  • the focus lens positions of the focus lenses 19R and 19L of the two photographing optical systems 11R and 11L are determined, respectively, and the motor drivers 27R and 27L are respectively driven so that the focus lenses 19R and 19L are respectively set.
  • An AF search may be performed in both the photographing optical systems 11R and 11L, and the respective focusing lens positions may be determined.
  • the posture detection sensor 73 detects the direction and angle in which the photographing optical systems 11R and 11L are rotated with respect to a predetermined posture.
  • the camera shake control unit 62 drives a correction lens (not shown) provided in the photographing optical systems 11R and 11L by a motor, thereby correcting a shift of the optical axis detected by the posture detection sensor 73 and preventing camera shake.
  • the CPU 26 controls the face recognition unit 64 to perform face recognition from left and right image data corresponding to the subject images of the photographing optical systems 11R and 11L.
  • the face recognition unit 64 starts face recognition under the control of the CPU 26 and performs face recognition from the left and right image data.
  • the face recognition unit 64 stores face area information including position information of face areas recognized from the left and right image data in the SDRAM 39.
  • the face recognition unit 64 can recognize a face area from an image stored in the SDRAM 39 by a known method such as template matching.
  • the face area of the subject includes a face area of a person or animal in the captured image.
  • the face correspondence determination unit 66 determines the correspondence between the face area recognized from the right image data and the face area recognized from the left image data. That is, the face correspondence determination unit 66 specifies a set of face areas in which the position information of the face areas recognized from the left and right image data are closest to each other. Then, the face correspondence determination unit 66 matches the image information of the face areas constituting the set, and when the accuracy of the identity between the two exceeds a predetermined threshold, the face areas constituting the set are associated with each other. It is determined that
  • the parallax detection unit 49 calculates a representative parallax between predetermined areas of the left and right image data.
  • the predetermined area may include a partial area or an entire area of the image.
  • the predetermined area includes a face area detected by known face detection, a face area that matches an arbitrarily registered face area of a specific person, a gaze point of an observer or a photographer of the monitor 13, an operation unit 25, and the like. 3, a gazing point or subject area of a stereoscopic video within the display surface of the monitor 13 that is arbitrarily designated from the user interface, an area near the gazing point, or the like.
  • the observer's gaze point can be detected by well-known gaze point detection in Patent Documents 2 to 4 and the like. If there are a plurality of observers on the monitor 13, a known gazing point detection can be applied to an observer who satisfies a specific condition, such as an observer closest to the monitor 13, and the gazing point can be detected.
  • the gazing point of the photographer may be all or part of the subject area designated at the time of photographing or at other timing.
  • the point-of-gaze detection may be performed by the digital camera 10 or may be performed by other devices such as an external display device such as a television or a head mounted display.
  • the representative parallax is calculated as follows. First, the parallax detection unit 49 calculates a position difference (corresponding point distance) between specific points (corresponding points) corresponding to the face regions constituting the set. And the parallax detection part 49 calculates the average value of the parallax of the point contained in the face area
  • the main face area is a face area closest to the center of the screen, a face area closest to the focus evaluation value calculation area, a face area having the largest size, or the like.
  • the parallax detection unit 49 creates a parallax histogram from the parallax of each corresponding point in a predetermined area (for example, a partial area such as a face area or the entire area) of the left and right image data.
  • a predetermined area for example, a partial area such as a face area or the entire area
  • the class is arbitrary.
  • the class value of the class having the highest frequency, that is, the mode value may be used as the representative parallax in the predetermined area.
  • the parallax detection unit 49 selects the maximum or minimum value of parallax from the parallax of each corresponding point in the predetermined area of the left and right image data, and uses the maximum or minimum value of the parallax as the representative parallax in the predetermined area. Good. If the predetermined area is a single point such as a gazing point, the representative parallax is the maximum value and the minimum value of the parallax of the gazing point.
  • the parallax detection unit 49 may use the median parallax of each corresponding point in the predetermined area of the left and right image data as the representative parallax in the predetermined area.
  • the parallax detection unit 49 may use the average parallax value of each corresponding point in the predetermined area of the left and right image data as the representative parallax in the predetermined area.
  • the representative parallax can be calculated by various statistical calculations. Note that those that do not satisfy a predetermined condition may be excluded from the sample values of parallax used for calculating the representative parallax. For example, the parallax of the corresponding point in an area where the sharpness (spatial frequency) of the image is lower than a predetermined reference value (so-called out-of-focus area) or the parallax exceeding a predetermined limit value is used for calculating the representative parallax.
  • the representative parallax may be calculated from the parallax of the corresponding points in the region that satisfies the predetermined condition by excluding the sample value of the parallax to be used.
  • This condition may be determined based on photographing conditions such as the zoom magnification of the photographing optical systems 11R and 11L. This is because the parallax of the same corresponding point is enlarged or reduced according to the enlargement or reduction of the zoom magnification. Note that there may be no predetermined condition for exclusion (unconditional).
  • the parallax detection unit 49 may detect a subject located on the back side (distant view side) that is a direction away from the digital camera 10 from the cross point of the left and right image data or on the near side (near view side) that is a direction approaching the digital camera 10.
  • the representative parallax may be calculated from the parallax using the statistical calculation described above.
  • the cross point is a convergence point where the optical axis of the photographing optical system 11R and the optical axis of the photographing optical system 11L intersect on the photographing symmetry plane.
  • the representative parallax may be calculated with a statistical calculation formula unified for different frames or across different scenes, or a plurality of types of representative parallax are calculated from the same frame with a plurality of statistical calculation formulas. Also good.
  • a plurality of types of representative parallax are obtained from one frame, for example, the maximum parallax value of any one frame F is the first representative parallax, and the minimum parallax value of the frame F is the second representative parallax. May be.
  • the representative parallax of each frame constituting the distant scene X is calculated from the parallax of the corresponding point of the subject located on the back side (distant view side) with respect to the cross point, using the above statistical calculation
  • the representative parallax of each frame constituting the foreground scene Y may be calculated from the parallax of the corresponding point of the subject located on the near side (near side) with respect to the cross point by using the above statistical calculation.
  • the maximum parallax value of the corresponding point on the far side from the cross point is obtained as the first representative parallax
  • the maximum parallax value of the corresponding point on the near side from the cross point is obtained as the second representative parallax.
  • the maximum parallax of the corresponding point on the far side from the cross point is the first representative parallax
  • the maximum parallax of the corresponding point on the near side from the cross point is the second representative parallax
  • the corresponding point on the far side from the cross point It is also possible to obtain the minimum parallax value as the third representative parallax and the minimum parallax value of the corresponding point closer to the foreground than the cross point as the fourth representative parallax.
  • the maximum value of all parallaxes in any frame included in the same scene can be obtained as the first representative parallax, and the minimum value of all parallaxes can be obtained as the second representative parallax.
  • only one type of representative parallax may be obtained by one statistical calculation, or a plurality of types may be obtained by a plurality of different statistical operations.
  • the parallax detection unit 49 calculates an average value of parallax between corresponding points in a predetermined area that is in a correspondence relationship between the left and right images, for example, the image center area or the focus evaluation value calculation area, The representative parallax.
  • the positional information of the predetermined area having the correspondence and the representative parallax thereof are stored in the SDRAM 39 in association with the left and right image data.
  • the positional information and the representative parallax of the face area having a correspondence relationship are stored as supplementary information (header, tag, meta information, etc.) of the image data.
  • tag information such as Exif
  • the position information of the face area and the representative parallax are combined and recorded in the incidental information of the recording image.
  • the display allowable parallax width acquisition unit 204 acquires the display allowable minimum parallax Dmin and the display allowable maximum parallax Dmax and inputs them to the parallax width adjustment unit 202.
  • the mode of acquisition is arbitrary, and may be input from the operation unit 25, may be input from the ROM 61, auxiliary information of stereoscopic video data, or may be input from the monitor 13 as control information.
  • the display allowable maximum parallax Dmax defines the limit of the parallax in the spreading direction (the direction in which the stereoscopic image on the monitor 13 is retracted). As illustrated in part (a) of FIG. 4, since the human eye does not open outward, the left and right images having parallax exceeding the interpupillary distance are not fused, and the viewer cannot recognize as one image. Causes eye strain. Considering a child viewer, the interpupillary distance is about 5 cm, and the number of pixels of the monitor 13 corresponding to this distance is the display allowable maximum parallax Dmax.
  • the monitor 13 is a 16: 9-inch high-definition television and the resolution is 1920 ⁇ 1080
  • the display allowable minimum parallax Dmin for each size of the monitor 13 is as shown in FIG. If the size of the monitor 13 is small like a built-in screen of a digital camera or a mobile phone, the parallax in the spreading direction is unlikely to be a problem. However, in the case of the monitor 13 having a large display surface size such as a television, Parallax becomes a problem.
  • the display allowable minimum parallax Dmin defines the limit of excessive parallax (the direction in which the stereoscopic image on the monitor 13 pops out). Unlike the display allowable maximum parallax Dmax, the display allowable minimum parallax Dmin cannot be uniquely determined from the interpupillary distance. For example, output conditions for determining the display allowable minimum parallax Dmin include (1) the size of the monitor 13, (2) the resolution of the monitor 13, (3) viewing distance (distance from the viewer to the monitor 13), (4 ) There are three-dimensional fusion limits of individual viewers.
  • the threshold setting unit 205 may input the information (1) to (4) from the outside based on the user operation, the setting information of the monitor 13, or the like. For example, the user can input the resolution, viewing distance, and stereoscopic fusion limit of the monitor 13 he / she is viewing via the operation unit 25. However, when there is no particular input from (2) to (4) from the outside, the threshold value setting unit 205 reads the standard example from the ROM 61 or the like and inputs it to the parallax width adjustment unit 202.
  • the parallax width adjustment unit 202 performs adjustment so that the width of the representative parallax of the left and right image data falls within the display allowable parallax width including the range from the display allowable minimum parallax Dmin to the display allowable maximum parallax Dmax.
  • the threshold value setting unit 205 sets the shift allowable threshold value ⁇ and the shift prohibition threshold value ⁇ in the parallax adjustment unit 63.
  • the mode of setting is arbitrary, and there are one based on user operation, one based on information recorded in the ROM 61, and the like.
  • the parallax adjustment unit 63 adjusts the value of the representative parallax of the left and right image data according to a shift allowable threshold ⁇ , a shift prohibition threshold ⁇ , a stereoscopic moving image parallax-output parallax conversion table described later, and the like.
  • FIG. 5 shows a flowchart of parallax adjustment processing. This process is controlled by the CPU 26. A program for causing the CPU 26 to execute this processing is recorded on a computer-readable recording medium such as the ROM 61. This process is executed after the position information of the area and the representative parallax are stored in the incidental information of the image data.
  • the parallax width adjusting unit 202 performs a parallax width adjusting process described later.
  • the parallax width adjustment processing adjustment of the parallax width of the representative parallax and shift of the representative parallax are performed as necessary.
  • the parallax adjustment unit 63 secures the representative parallax for each stereoscopic image frame after the parallax width adjustment processing in the SDRAM 39.
  • the parallax adjustment unit 63 determines a reference frame that is a stereoscopic image frame serving as a reference for parallax adjustment.
  • the reference frame is determined according to the temporal acquisition order of the stereoscopic image. For example, the parallax adjustment unit 63 determines the n-th stereoscopic image frame in the acquisition order as the reference frame when executing the n-th loop of S2 to S12. The parallax adjustment unit 63 ensures the reference parallax, which is the representative parallax corresponding to the reference frame, in the SDRAM 39.
  • the parallax adjustment unit 63 determines a target frame that is a stereoscopic image frame that is a target of parallax adjustment. For example, when executing the n-th loop from S2 to S12, the parallax adjustment unit 63 determines the n + 1-th stereoscopic image frame as the target frame. The parallax adjustment unit 63 ensures the representative parallax corresponding to the target frame in the SDRAM 39.
  • the parallax adjustment unit 63 determines whether or not
  • ⁇ If yes, go to S5, if no, go to S6.
  • the parallax adjustment unit 63 determines whether or not
  • > ⁇ . If yes, go to S10, if no, go to S8. ⁇ is input from the threshold setting unit 205 as a shift prohibition threshold. For example, ⁇ 0.25. When it is determined No, it means that the variation in the representative parallax between the stereoscopic image frames is minute. In this case, the process proceeds to S8, and a process for shifting the target frame to the same output parallax as the reference frame is performed.
  • the parallax adjustment unit 63 reads the stereoscopic video parallax-output scheduled parallax conversion table stored in the ROM 61 or the like into the SDRAM 39.
  • FIG. 6 shows an example of a stereoscopic video parallax-scheduled output parallax conversion table.
  • This table defines integer output scheduled parallaxes corresponding to arbitrary-value representative parallaxes of each stereoscopic image frame. For example, according to this table, M to M + t representative parallaxes correspond to N scheduled output parallaxes, and M to M + 2t representative parallaxes correspond to N + 1 scheduled output parallaxes. Since the minimum display unit of the image is one pixel, an integer indicating the expected output parallax in pixel units is an integer.
  • the parallax adjustment unit 63 specifies the scheduled output parallax corresponding to the representative parallax of the reference frame in accordance with the stereoscopic video parallax-scheduled output parallax conversion table stored in the ROM 61 or the like, and the specified scheduled output parallax is scheduled to be output from the reference frame. Decide on parallax. Similarly, the parallax adjustment unit 63 identifies the scheduled output parallax corresponding to the representative parallax of the target frame according to the stereoscopic video parallax-scheduled output parallax conversion table, and determines the identified planned output parallax as the planned output parallax of the target frame. To do.
  • the parallax adjustment unit 63 compares the planned output parallax of the reference frame and the planned output parallax of the target frame, and determines whether or not they are the same. If Yes, the process proceeds to S7. If No, the process proceeds to S10.
  • the parallax adjustment unit 63 determines the output parallax of the target frame as the planned output parallax of the reference frame + 1, and shifts the representative parallax of the target frame to the output parallax (the planned output parallax of the reference frame + 1). do. In other words, even if the expected output parallax of the reference frame and the target frame is the same, if the variation of the representative parallax between the reference frame and the target frame is large, the output parallax of both is separated and the transition of the original representative parallax is reflected in the output parallax . Thereafter, the process proceeds to S11.
  • S8 makes the same determination as S6. If Yes, the process proceeds to S10, and if No, the process proceeds to S9.
  • the parallax adjustment unit 63 determines the output parallax of the target frame as the scheduled output parallax of the reference frame, and performs parallax adjustment to shift the representative parallax of the target frame to this output parallax (the planned output parallax of the reference frame). . That is, even if the planned output parallax between the reference frame and the target frame is different, if the variation in the representative parallax between the reference frame and the target frame is small, the output parallax of the target frame is made the same as the planned output parallax of the reference frame, The transition of the representative parallax is reflected on the output parallax. Thereafter, the process proceeds to S11.
  • the parallax adjusting unit 63 determines the output parallax of the target frame as the planned output parallax of the target frame, and adjusts the parallax of the target frame to this output parallax (scheduled output parallax of the target frame).
  • the magnitude of the original representative parallax change between the reference frame and the target frame is directly reflected in the magnitude of the output parallax fluctuation.
  • S2 to S10 are executed for all stereoscopic image frames constituting the stereoscopic video, and it is determined whether or not parallax adjustment of all stereoscopic image frames has been executed. If Yes, the process proceeds to S13. If No, the process proceeds to S12.
  • the parallax adjustment unit 63 determines the reference frame as the (n + 1) th stereoscopic image frame.
  • the display control unit 42 reproduces a stereoscopic moving image by sequentially displaying each stereoscopic image frame on the monitor 13 with the adjusted output parallax.
  • the parallax adjustment unit 63 performs parallax adjustment for shifting the output parallax of the first reference frame to the planned output parallax of the reference frame. This is because the second and subsequent reference frames are subjected to parallax adjustment as target frames, but the first reference frame does not have this parallax adjustment.
  • FIG. 7 shows a flowchart of the parallax width adjustment process.
  • the parallax width adjustment unit 202 determines the representative parallax for each stereoscopic image frame from the left and right image data of each stereoscopic image frame of the stereoscopic video stored in the SDRAM 39 or the memory card 16 and the accompanying information of the stereoscopic video. Attempt to read.
  • the display allowable parallax width acquisition unit 204 acquires the display allowable parallax width in the SDRAM 39.
  • the display allowable parallax width is a range from the display allowable minimum parallax Dmin to the display allowable maximum parallax Dmax.
  • the acquisition source of the display allowable parallax width includes the operation unit 25, the built-in ROM 61, the external monitor 13, an electronic device, and the like.
  • the parallax width adjustment unit 202 adjusts the representative parallax of each stereoscopic image frame so that the stereoscopic video parallax width falls within the display allowable parallax width. For example, when the stereoscopic video parallax width exceeds the display allowable parallax width as shown in FIG. 8A, the stereoscopic video parallax width falls within the display allowable parallax width as shown in FIG. 8B.
  • the representative parallax of each stereoscopic image frame is reduced at a uniform reduction rate (XY) / X.
  • the parallax width adjustment unit 202 determines whether or not the representative parallax maximum value pmax> the display allowable maximum parallax Dmax. If Yes, the process proceeds to S107, and if No, the process proceeds to S106.
  • the parallax width adjusting unit 202 determines whether or not the representative parallax minimum value pmin ⁇ display allowable minimum parallax Dmin. If Yes, the process proceeds to S107, and if No, the process proceeds to S2 of the parallax adjustment process.
  • the parallax width adjustment unit 202 shifts the representative parallax of each stereoscopic image frame so that the stereoscopic video parallax width falls within the display allowable parallax width.
  • Patterns from S103 to S107 are (1) Yes in S103 and Yes in S105, (2) No in S103 and Yes in S105, (3) Yes in S103 and No in S105 and Yes in S106, (4) In S103 There are four patterns, No, S105, No, and S106, Yes.
  • FIG. 9 shows pattern (1), that is, a shift in the negative direction when there is no parallax width adjustment.
  • the representative parallax of each stereoscopic image frame is shifted in the negative direction by a uniform width W1, and adjustment is performed so that the representative parallax of all the stereoscopic image frames falls within the display allowable parallax width.
  • W1 pmin ⁇ Dmin.
  • FIG. 10 shows a shift in the negative direction when there is no pattern (2), that is, no parallax width adjustment.
  • FIG. 11 shows the shift in the positive direction when there is no pattern (3), that is, no parallax width adjustment.
  • the representative parallax of each stereoscopic image frame is uniformly set as in (b) part of FIG. 11. Shift in the positive direction by width W3.
  • W2 Dmin ⁇ pmin.
  • the representative parallax minimum value pmin after the parallax width adjustment is less than the display allowable minimum parallax Dmin
  • the representative parallax of each stereoscopic image frame is also positive in the same direction by a uniform width. Shift to.
  • the above parallax adjustment process is repeated until a scene change is detected.
  • the reference frame and the target frame are reset, and S1 is newly started from there.
  • the determinations of S4, 5, 6, and 8 are performed between the reference frame and the target frame across different scenes, and inappropriate parallax adjustment can be prevented.
  • Detection of a scene change is performed by a known method. A scene change occurs due to a change in a focused subject or panning.
  • the parallax adjustment unit 63 detects a scene change between the stereoscopic image frames a and b. If the stereoscopic image frame a immediately before the scene change is set as the last target frame, the parallax adjustment unit 63 determines No in S11 and proceeds to S12. However, in S12, the parallax adjustment unit 63 does not determine the stereoscopic image frame a immediately before the scene change as the reference frame, but determines the stereoscopic image frame b immediately after the scene change as the reference frame.
  • the parallax adjustment unit 63 sets the target frame as a stereoscopic image frame c after the stereoscopic image frame b. Similarly, the parallax adjustment unit 63 repeats the loop of S2 to S12 from the stereoscopic image frame immediately after the previous scene change to the stereoscopic image frame immediately before the next scene change.
  • the blocks necessary for executing this processing may be provided in an electronic device other than the digital camera.
  • the image output apparatus can also execute this process.
  • the stereoscopic video input by the image input unit 201 is not limited to that directly output from the imaging means.
  • the media control unit 15 may read data from a medium such as the memory card 16 or may be received via a network.
  • the destination from which the image output unit 206 outputs the parallax-adjusted image is not limited to the display control unit 42 and the monitor 13, and the image may not be displayed immediately after parallax adjustment.
  • the media control unit 15 may record the adjusted representative parallax for each stereoscopic image frame, that is, output parallax, as stereoscopic moving image data in association with each stereoscopic image frame on a medium such as the memory card 16.
  • the stereoscopic video data may be transmitted via a network.
  • the mode setting and timing of whether or not to operate the parallax adjustment process are arbitrary.
  • the parallax adjustment processing is not performed at the start of the shooting mode, but the parallax adjustment processing is started when the release button 14 is fully pressed.
  • the parallax adjustment processing is started when the stereoscopic video data of the memory card 16 is displayed on an external monitor 13 such as a television.
  • the representative parallax of each stereoscopic image frame is adjusted to an appropriate output parallax while maintaining a state close to the parallax transition at the time of shooting (see the part (a) in FIG. 13) (( b) see part). Therefore, the transition of the representative parallax of the stereoscopic video can be reproduced close to the captured state.
  • parallax adjustment processing and parallax width adjustment processing can be executed for each of different types of representative parallax.
  • the result of parallax adjustment and the result of parallax width adjustment do not match for different types of representative parallax.
  • an appropriate result for the observer is selected and executed, or parallax adjustment is performed.
  • the parallax width adjustment may be canceled.
  • the maximum disparity on the far side from the cross point is the first representative disparity
  • the maximum disparity on the foreground from the cross point is the second representative disparity. It is assumed that the parallax width adjustment process is performed and the parallax width adjustment process is performed on the second representative parallax.
  • the process proceeds to S106. . By doing so, it is possible to achieve both the adjustment of the parallax on the far side and the adjustment of the parallax on the near side.
  • parallax detection unit 63: parallax adjustment unit
  • 202 parallax width adjustment unit
  • 204 display allowable parallax width acquisition unit
  • 205 threshold setting unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

　視差調整部６３は、｜基準フレームの代表視差－対象フレームの代表視差｜＜αであるか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ６に進む。αはシフト許容閾値として閾値設定部２０５から入力される。例えばα＝０．７５である。Ｎｏと判断された場合、フレーム間の視差の変動はある程度大きいことを意味する。この場合、Ｓ６に進み、対象フレームを基準フレームと異なる表示視差にシフトするための処理が行われる。

Description

画像出力装置、方法およびプログラムならびにその記録媒体
　本発明は、画像出力に関し、特に、立体動画の各立体画像フレームの両眼視差の調整に関する。
　特許文献１の立体画像処理装置は、表示された被写体が限界視差に達すると、取得された適正視差情報に従い、以降の立体表示において当該適正視差を実現するよう視差画像を生成する。視差の制御は、三次元データに遡ってカメラパラメータを最適設定することで実現する。ここで、立体画像処理装置の二次元画像生成部は、適正視差を満たすデプスＦｘｙを計算する。デプスの範囲をＫ１～Ｋ２とし、各画素のデプス値をＧｘｙとすると、Ｆｘｙ＝Ｊ１＋（Ｇｘｙ－Ｋ１）×（Ｊ２－Ｊ１）／（Ｋ２－Ｋ１）である。Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施す。
　特許文献２の３次元画像処理装置では、視点座標系をもって透視された３次元画像を表示するディスプレイに、対面する観察者の観察視点を検出する観察視点センサを設け、この観察視点センサにより検出された観察視点に合わせてコンピュータが表示画像の視点座標系を移動することにより、ディスプレイに表示される３次元画像の透視視点を、観察者の観察視点に追従させて移動し、透視視点を常に観察視点に一致させて画像表示する。
　特許文献３の３次元像表示装置は、観察者の視点位置を検出する視点検知装置と、左右の目に対する視差をもった２つの映像を生成する映像生成装置と、２つの映像を別々に投影するために表示する映像表示装置と、表示された２つの映像を観察者の左右の目に別々に投影する映像投影装置とを備え、映像生成装置は、視点検知装置の出力信号にもとづいて、観察者の視点の移動に対応して観察対象の観察方向の変化を反映した映像を生成する。また、映像生成装置は、視点検知装置の出力信号にもとづいて観察者の視点の移動に対応した観察対象の観察方向の変化を反映し、且つ観察者の左右の目に対する視差をもった架空の物体の映像を生成する。
　特許文献４の立体画像表示方法では、ディスプレイの前方に液晶シャッターを設け、該液晶シャッターの前方にレンチキュラーレンズを配置した表示部と観察者の視点位置が入力される制御部を備えた構成で、ディスプレイに右目・左目に対応した視差画像を時分割で表示すると共に、視差画像に同期しながら観察者の視点位置に応じて液晶シャッターの透光状態にする部分の幅と位置を変化させ、視差画像をレンチキュラーレンズを介し対応する目で観察させる。
特開2004-221699号公報 特開平6-028452号公報 特開平9-238369号公報 特開平8-327948号公報
　視差を用いた立体動画は、適切な視差量で表示しないと、視聴者の疲労を誘発するおそれがある。適切な視差量は表示するディスプレイのサイズや視聴者の立体融合限界などによって変わるため、それに合わせた視差調整を行う必要がある。
　特許文献１では、適正視差を満たすデプスＦｘｙを計算して四捨五入するため、フレーム間で視差が同じになり、フレーム遷移に伴う立体感の変化が感じられなかったり、逆にフレーム間で大きな視差の変化がつきすぎて視聴者に疲労を与えるおそれがある。例えば、図１４の（ａ）部分のような撮影時の視差の遷移を、図１４の（ｂ）部分のような表示視差に調整した場合、隣接するフレーム間で視差が同じになって立体感がなくなったり、逆に隣接するフレーム間で大きな視差の変動が生じて視聴者が疲れる場合がある。
　本発明は、立体動画の出力条件に応じた視差調整に、立体動画の代表視差の遷移を反映させることを目的とする。
　本発明は、立体動画を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、代表視差取得部の取得した立体画像フレームごとの代表視差に基づいて、立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定する出力予定視差決定部と、出力予定視差決定部の決定した立体画像フレームごとの出力予定視差に基づいて、立体画像フレームごとの出力視差を調整する出力視差調整部と、出力視差調整部が出力視差を調整した立体画像フレームを順次出力する出力部と、を備え、出力予定視差決定部は、立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて基準フレームの出力予定視差を決定し、かつ基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて対象フレームの出力予定視差を決定し、出力視差調整部は、基準フレームの代表視差と対象フレームの代表視差との差に基づいて基準フレームの出力視差と対象フレームの出力視差との差を調整し、立体画像フレームごとの代表視差は、立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含み、所定の条件を満たす視差に基づいて算出された統計的演算値は、立体画像フレームの所定の領域内の平均視差を除く画像出力装置を提供する。
　好ましくは、統計的演算値は、立体画像フレームの視差の最大値、最小値、最頻値および中央値のうち少なくとも１つを含む。
　好ましくは、立体画像フレームごとの代表視差は、立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差の最大値、最小値、最頻値もしくは中央値およびクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差の最大値、最小値、最頻値もしくは中央値のうち少なくとも１つを含む。
　好ましくは、所定の条件を満たす視差は、立体画像フレームに対する注視位置の視差を含む。
　好ましくは、注視位置は、立体画像フレームの視聴者の注視点、立体画像フレームの撮影者の注視点または立体画像フレーム内で任意に指定された注視点を含む。
　好ましくは、所定の条件を満たす視差は、顔領域の視差、合焦評価値算出領域の視差、画像中央領域の視差、立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差、または立体画像フレームの視差のうちクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差を含む。
　好ましくは、画像出力装置は、立体動画の出力条件として、許容される出力視差の幅である出力視差幅を規定する上限および下限を取得する出力許容視差幅取得部を備える。
　好ましくは、画像出力装置は、代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、出力許容視差幅取得部の取得した出力許容視差幅に不適合な場合、視差幅を出力許容視差幅に調整する視差幅調整部を備える。
　好ましくは、視差幅調整部は、代表視差取得部の取得した代表視差の最大値が、出力許容視差幅取得部の取得した出力許容視差幅の上限を上回る場合、代表視差の最大値が出力許容視差幅の上限を下回るよう各立体画像フレームの代表視差を調整する。
　好ましくは、視差幅調整部は、代表視差取得部の取得した視差の最小値が、出力許容視差幅取得部の取得した出力許容視差幅の下限を下回る場合、視差の最小値が出力許容視差幅の下限を上回るよう各立体画像フレームの代表視差を調整する。
　好ましくは、基準フレームと対象フレームは同一のシーンの中から決定される。
　好ましくは、画像出力装置は、任意の値の代表視差に対応する段階的な出力予定視差を規定するテーブルを取得するテーブル取得部を備え、出力予定視差決定部は、代表視差取得部の取得した立体画像フレームごとの代表視差とテーブル取得部の取得したテーブルに従い、立体画像フレームごとの段階的な出力予定視差を決定する。
　好ましくは、出力視差調整部は、基準フレームの代表視差と対象フレームの代表視差との差を所定の第１の閾値と比較し、差が所定の第１の閾値を超える場合、出力予定視差決定部の決定した基準フレームの出力予定視差よりも１段階大きい出力予定視差に向けて対象フレームの出力視差を調整する。
　好ましくは、出力視差調整部は、差を所定の第２の閾値と比較し、差が所定の第２の閾値を下回る場合、基準フレームの出力予定視差に向けて対象フレームの出力視差を調整する。
　好ましくは、出力視差調整部は、差が所定の第１の閾値を超えずかつ所定の第２の閾値を下回らない場合、対象フレームの出力予定視差に向けて対象フレームの出力視差を調整する。
　好ましくは、所定の第１の閾値と所定の第２の閾値は等しい。
　本発明は、代表視差取得部と、出力予定視差決定部と、出力視差調整部と、出力部と、を備えた画像出力装置において、代表視差取得部が、立体動画を構成する複数の立体画像フレームごとの代表視差を取得するステップと、出力予定視差決定部が、代表視差取得部の取得した立体画像フレームごとの代表視差に基づいて、立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定するステップと、出力視差調整部が、出力予定視差決定部の決定した立体画像フレームごとの出力予定視差に基づいて、立体画像フレームごとの出力視差を調整するステップと、出力部が、出力視差調整部が出力視差を調整した立体画像フレームを順次出力するステップと、出力予定視差決定部が、立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて基準フレームの出力予定視差を決定し、かつ基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて対象フレームの出力予定視差を決定するステップと、出力視差調整部が、基準フレームの代表視差と対象フレームの代表視差との差に基づいて基準フレームの出力視差と対象フレームの出力視差との差を調整するステップと、を実行し、立体画像フレームごとの代表視差は、立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含み、所定の条件を満たす視差に基づいて算出された統計的演算値は、立体画像フレームの所定の領域内の平均視差を除く画像出力方法を提供する。
　本発明は、この画像出力方法を画像出力装置に実行させるための画像出力プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体（non-transitory computer-readable medium）も含む。
　本発明によると、各立体画像フレーム間の出力視差の差が、立体画像フレーム間の代表視差の差異すなわち代表視差の推移に応じて調整される。各立体画像フレームの出力視差が、撮影時の代表視差の推移に近い状態を保ったまま適切な出力視差に調整されるので、立体動画の代表視差の推移を撮影した状態に近づけて出力することができる。
デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラのブロック図 開散方向の視差の限界の模式図 視差調整処理のフローチャート 立体動画視差－出力予定視差変換表の一例を示す図 視差幅調整処理のフローチャート 視差幅調整の模式図 負の方向への視差シフトの模式図 視差幅調整後の視差シフトの模式図 正の方向への視差シフトの模式図 表示再生装置のブロック図 撮影時の視差の推移を反映した出力視差の一例を示す図 従来の視差調整の一例を示す図
　図１は、本発明の一実施形態であるデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、そのデジタルカメラの一例の外観構成を示す背面斜視図である。
　デジタルカメラ１０は、複数の撮像手段（図１では二つを例示）を備えており、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。なお、本例では、説明の便宜のため二つの撮像手段を備えた場合を例に説明するが、本発明はこれに限定されず、三つ以上の撮像手段を備えた場合であっても同様に適用可能である。
　本例のデジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ）などで構成されたモニタ１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。モニタ１３はデジタルカメラ１０に内蔵されていてもよいし、外部機器(例えば、ＴＶ、ヘッドマウントディスプレイ、携帯電話などの可搬性の電子機器のディスプレイ)に置換されてもよい。
　左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（図３の１８Ｒ、１８Ｌ）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１１２から繰り出される。なお、撮影光学系におけるズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な説明を省略する。
　モニタ１３は、半円筒状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。なお、モニタ１３の立体画像の表示方式は、パララックスバリア方式に限られない。例えば、アナグリフ方式、偏光フィルタ方式、液晶シャッタ方式など、めがねを利用した立体画像の表示方式でもよい。
　レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２またはメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、立体動画撮影時（例えば、モードダイヤル１２２またはメニューにより立体動画撮影モード選択時）、このレリーズボタン１４を全押しすると、立体動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、立体動画の撮影を行い、全押しを解除すると、撮影を終了するようにもできる。なお、静止画撮影専用のレリーズボタンおよび立体動画撮影専用のレリーズボタンを設けてもよい。
　電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。
　ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、モニタ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。
　図３は、デジタルカメラ１０の要部を示すブロック図である。
　デジタルカメラ１０は、右視点用の撮影光学系１１Ｒおよび撮像素子２９Ｒを有する右視点用の撮像手段と、左視点用の撮影光学系および撮像素子２９Ｌを有する左視点用の撮像手段を備える。
　２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれ、ズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）、および、絞り２０（２０Ｒ、２０Ｌ）を有する。これらのズームレンズ１８、フォーカスレンズ１９、および、絞り２０は、それぞれ、ズームレンズ制御部２２（２２Ｒ、２２Ｌ）、フォーカスレンズ制御部２３（２３Ｒ、２３Ｌ）、絞り制御部２４（２４Ｒ、２４Ｌ）により駆動される。各制御部２２、２３、２４は、ステッピングモータからなり、ＣＰＵ２６に接続された不図示のモータドライバから与えられる駆動パルスにより制御される。
　２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤイメージセンサ（以下単に「ＣＣＤ」という）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代りに、ＭＯＳ型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有し、この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、ＣＰＵ２６によって制御されるタイミングジェネレータ：ＴＧ３１（３１Ｒ、３１Ｌ）が接続され、このＴＧ３１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。
　ＣＣＤ２９から出力された撮像信号は、アナログ信号処理回路３３（３３Ｒ、３３Ｌ）に入力される。アナログ信号処理回路３３は、相関二重サンプリング回路（ＣＤＳ）、増幅器（ＡＭＰ）などを有する。ＣＤＳは、撮像信号から各画素の蓄積電荷時間に対応したＲ、Ｇ、Ｂの画像データを生成する。ＡＭＰは、生成された画像データを増幅する。
　ＡＭＰは、ＣＣＤ２９の感度を調節する感度調節手段として機能する。ＣＣＤ２９のＩＳＯ感度は、ＡＭＰのゲインによって決定される。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）は、増幅された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）から出力されたデジタルの画像データは、画像入力コントローラ３８（３８Ｒ、３８Ｌ）を介して、作業用のメモリであるＳＤＲＡＭ３９によりそれぞれ右の視点の画像データ、左の視点の画像データとして一時的に記憶される。
　デジタル信号処理部４１は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記憶させる。デジタル信号処理部４１による画像処理済みの画像データは、ＶＲＡＭ６５にスルー画として取得されたのち、表示制御部４２で映像出力用のアナログ信号に変換され、モニタ１３に表示される。また、レリーズボタン１４の全押しに伴って取得された画像処理済みの画像データは、圧縮伸張処理部４３で所定の圧縮形式（例えばＪＰＥＧ形式）で圧縮された後、メディア制御部１５を経由して、記録用画像としてメモリカード１６に記録される。
　操作部２５は、デジタルカメラ１０の各種操作を行うためのものであり、図１および図２に示した各種のボタン・スイッチ１２０～１３４から構成されている。
　ＣＰＵ２６は、デジタルカメラ１０を統括的に制御するために設けられている。ＣＰＵ２６は、フラッシュＲＯＭ６０やＲＯＭ６１などのコンピュータ読み取り可能な非一時的記録媒体に記憶された各種制御用のプログラムや設定情報、姿勢検出センサ７３や操作部２５からの入力信号などに基づいて、バッテリー７０、電源制御部７１、時計部７２など各部を制御する。
　また、デジタルカメラ１０には、ＡＥ(Auto Exposure)／ＡＷＢ(Auto White Balance)制御を行うＡＥ／ＡＷＢ制御部４７、複数の立体画像フレーム（以下、単に「フレーム」と呼ぶこともある）の各々の代表視差の検出を行う視差検出部４９が設けられている。また、デジタルカメラ１０は、フラッシュ５の発光タイミングや発光量を制御するフラッシュ制御部２３を備える。
　ＡＥ／ＡＷＢ制御部４７は、レリーズボタン１４が半押しされたときに、ＣＣＤ２９により得られた画像（撮像画像）を解析して、被写体の輝度情報等に基づき、絞り２０の絞り値およびＣＣＤ２９の電子シャッタのシャッタ速度を算出する。そして、これらの算出結果に基づきＡＥ／ＡＷＢ制御部４７は、絞り制御部２４を介して絞り値を制御し、ＴＧ３１を介してシャッタ速度を制御する。
　例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのうち一方の撮影光学系のＣＣＤ２９Ｒまたは２９Ｌにより得られた撮像画像（右視点画像または左視点画像）に基づいて、両方の撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出する。両方の撮影光学系１１Ｒおよび１１Ｌにより得られた撮像画像（右視点画像および左視点画像）に基づいて、それぞれの撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出してもよい。
　ＡＦ制御部４５は、レリーズボタン１４が半押しされたときに、フォーカスレンズ１９Ｒ、１９Ｌを光軸方向に沿って移動させてコントラスト値を算出するＡＦサーチ制御、および、コントラスト値に基づく合焦レンズ位置にフォーカスレンズ１９Ｒ、１９Ｌを移動させる合焦制御を行う。ここで、「コントラスト値」は、ＣＣＤ２９Ｒ、２９Ｌにより得られた撮像画像の所定の合焦評価値算出領域内の画像信号に基づいて算出される。「合焦レンズ位置」は、フォーカスレンズ１９Ｒ、１９Ｌが少なくとも主要被写体に合焦するフォーカスレンズ１９Ｒ、１９Ｌの位置である。
　例えば、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、モータドライバ２７Ｒまたは２７Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、ふたつの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、モータドライバ２７Ｒおよび２７Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。
　姿勢検出センサ７３は、撮影光学系１１Ｒ、１１Ｌが予め決められた姿勢に対して回転された方向および角度を検出する。
　手ブレ制御部６２は、撮影光学系１１Ｒ、１１Ｌに設けられた図示しない補正レンズをモータによって駆動することで、姿勢検出センサ７３の検出した光軸のずれを補正して手ブレを防止する。
　ＣＰＵ２６は、撮影光学系１１Ｒ、１１Ｌの被写体像に対応する左右の画像データから顔認識を行うよう顔認識部６４を制御する。顔認識部６４は、ＣＰＵ２６の制御に応じて顔認識を開始し、左右の画像データからそれぞれ顔認識を行う。顔認識部６４は、顔認識の結果、左右の画像データからそれぞれから認識された顔領域の位置情報を含む顔領域情報をＳＤＲＡＭ３９に記憶する。顔認識部６４は、テンプレートマッチングなど公知の方法により、ＳＤＲＡＭ３９に記憶された画像から顔領域を認識することができる。なお被写体の顔領域とは、撮像画像中の人物や動物の顔領域が挙げられる。
　顔対応判定部６６は、右の画像データから認識された顔領域と左の画像データから認識された顔領域の対応関係を判定する。すなわち、顔対応判定部６６は、左右の画像データからそれぞれから認識された顔領域の位置情報同士が最も近接する顔領域の組を特定する。そして、顔対応判定部６６は、当該組を構成する顔領域同士の画像情報をマッチングし、両者の同一性の確度が所定の閾値を超えた場合、当該組を構成する顔領域同士は対応関係にあると判定する。
　視差検出部４９は、左右画像データの所定の領域間の代表視差を算出する。所定領域は、画像の一部領域または全体領域を含みうる。また、所定領域は、公知の顔検出により検出された顔領域、任意に登録された特定の人物の顔領域にマッチする顔領域、モニタ１３の観察者や撮影者の注視点、操作部２５などのユーザインターフェースから任意に指定されたモニタ１３の表示面内での立体動画の注視点や被写体領域、あるいは注視点の近傍領域などを含みうる。モニタ１３の観察者が単数であれば、特許文献２～４などの公知の注視点検出により、その観察者の注視点が検出されうる。モニタ１３の観察者が複数であれば、モニタ１３に最も近い観察者などのように、特定の条件を満たす観察者について、公知の注視点検出を適用し、その注視点が検出されうる。撮影者の注視点は、撮影時やそれ以外のタイミングで指定された被写体領域の全部または一部としてもよい。注視点検出は、デジタルカメラ１０で行われてもよいし、その他の機器、例えばテレビやヘッドマウントディスプレイなどの外部の表示機器で行われてもよい。
　例えば、代表視差の算出は、次のようにする。まず、視差検出部４９は、組を構成する顔領域間で対応する特定の点（対応点）間の位置の差（対応点間距離）を算出する。そして、視差検出部４９は、当該組の顔領域に含まれる点の視差の平均値を算出し、これを当該組の代表視差とする。視差検出部４９は、対応関係にあると判定された顔領域が複数存在する場合、それらの顔領域のうち、主要な顔領域についてのみ代表視差の算出を行い、この主要な顔領域の代表視差をＳＤＲＡＭ３９に記憶する。主要な顔領域とは、画面中央に最も近い顔領域、合焦評価値算出領域に最も近い顔領域、サイズの最も大きい顔領域などである。
　あるいは、視差検出部４９は、左右画像データの所定領域（例えば顔領域などの一部領域か、全体領域）の各対応点の視差から視差のヒストグラムを作成する。階級は任意である。そして、度数が最大の階級の階級値すなわち最頻値を、その所定領域における代表視差としてもよい。
　あるいは、視差検出部４９は、左右画像データの所定領域の各対応点の視差から、視差の最大値または最小値を選択し、この視差の最大値または最小値をその所定領域における代表視差としてもよい。なお、所定領域が注視点のような一点であれば、代表視差は、その注視点の視差の最大値かつ最小値である。
　あるいは、視差検出部４９は、左右画像データの所定領域の各対応点の視差の中央値を、その所定領域における代表視差としてもよい。
　あるいは、視差検出部４９は、左右画像データの所定領域の各対応点の視差の平均値を、その所定領域における代表視差としてもよい。
　上記に限らず、代表視差は、各種の統計的演算にて算出されることができる。なお、代表視差の算出に用いる視差のサンプル値から、所定の条件を満たさないものを除外してもよい。例えば、画像の鮮鋭度（空間周波数）が所定の基準値よりも低い領域（いわゆるピンボケの領域）の対応点の視差や、所定の限界値を超過している視差などは、代表視差の算出に用いる視差のサンプル値から除外し、所定の条件を満たす領域の対応点の視差から代表視差を算出してもよい。この条件は、撮影光学系１１Ｒ、１１Ｌのズーム倍率などの撮影条件に基づいて決定されてもよい。これは、ズーム倍率の拡大または縮小に応じて、同じ対応点の視差が拡大したり縮小したりするからである。なお、除外の所定の条件がない（無条件）としてもよい。
　あるいは、視差検出部４９は、左右画像データのクロスポイントよりもデジタルカメラ１０から遠ざかる方向である奥側（遠景側）またはデジタルカメラ１０に近づく方向である手前側（近景側）に位置する被写体の視差から、上記の統計的演算を用いて、代表視差を算出してもよい。ここで、クロスポイントとは、撮影光学系１１Ｒの光軸と、撮影光学系１１Ｌの光軸とを撮影対称面上で交差させた収束点である。
　さらに、代表視差は、異なるフレームごとあるいは異なるシーンに渡って統一された統計的演算式で算出されてもよいし、複数の統計的演算式にて同じフレームから複数種類の代表視差が算出されてもよい。
　例えば、任意の１つのフレームＦの視差の最大値を第１の代表視差、そのフレームＦの視差の最小値を第２の代表視差とするなど、１つのフレームから複数の種類の代表視差を求めてもよい。
　あるいは、遠景のシーンＸを構成する各フレームの代表視差はクロスポイントよりも奥側（遠景側）に位置する被写体の対応点の視差から、上記の統計的演算を用いて代表視差を算出し、近景のシーンＹを構成する各フレームの代表視差はクロスポイントよりも手前側（近景側）に位置する被写体の対応点の視差から、上記の統計的演算を用いて代表視差を算出してもよい。例えば、任意の１つのフレームにおいて、クロスポイントより遠景側の対応点の視差の最大値を第１の代表視差、クロスポイントより近景側の対応点の視差の最大値を第２の代表視差として求めることができる。
　あるいは、クロスポイントより遠景側の対応点の視差の最大値を第１の代表視差、クロスポイントより近景側の対応点の視差の最大値を第２の代表視差、クロスポイントより遠景側の対応点の視差の最小値を第３の代表視差、クロスポイントより近景側の対応点の視差の最小値を第４の代表視差として求めることもできる。
　あるいは、同一のシーンに含まれる任意のフレームにおける全ての視差の最大値を第１の代表視差、全ての視差の最小値を第２の代表視差として求めることができる。
　つまり、代表視差は１つの統計的演算により単一の種類だけ求められてもよいし、複数の異なる統計的演算により複数種類求められてもよい。
　あるいは、視差検出部４９は、左右の画像で対応関係にある所定の領域、例えば、画像中央領域や合焦評価値算出領域内の対応点間の視差の平均値を算出し、これを当該組の代表視差とする。
　対応関係にある所定の領域の位置情報とその代表視差は、左右の画像データと対応づけられてＳＤＲＡＭ３９に記憶される。例えば、対応関係にある顔領域の位置情報とその代表視差は、画像データの付帯情報（ヘッダ、タグ、メタ情報など）として記憶される。画像データがメモリカード１６に記録用画像として圧縮記録される際は、例えば、Ｅｘｉｆなどのタグ情報として、この顔領域の位置情報と代表視差が合わせて記録用画像の付帯情報に記録される。
　表示許容視差幅取得部２０４は、表示許容最小視差Ｄｍｉｎおよび表示許容最大視差Ｄｍａｘを取得し、視差幅調整部２０２に入力する。取得の態様は任意であり、操作部２５から入力されてもよいし、ＲＯＭ６１や立体動画データの付帯情報などから入力してもよいし、モニタ１３から制御情報として入力されてもよい。
　表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４の（ａ）部分に例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最小視差Ｄｍｉｎは、図４の（ｂ）部分のようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。
　表示許容最小視差Ｄｍｉｎは、過大視差（モニタ１３上の立体画像が飛び出す方向）の限界を規定する。表示許容最小視差Ｄｍｉｎは表示許容最大視差Ｄｍａｘと異なり瞳孔間距離から一意に決定することができない。例えば、表示許容最小視差Ｄｍｉｎを決定する出力条件としては、（１）モニタ１３のサイズ、（２）モニタ１３の解像度、（３）観視距離（視聴者からモニタ１３までの距離）、（４）視聴者個人の立体融合限界がある。
　標準的な例として、（２）ハイビジョンテレビのモニタ１３の解像度は１９２０×１０８０、（３）観視距離はモニタ１３の画面高さの３倍である。これらを前提とすると、（４）一般的な立体融合限界は５７ピクセル（視差角１度程度）である。閾値設定部２０５は、（１）～（４）の情報をユーザ操作やモニタ１３の設定情報などに基づいて外部から入力してもよい。例えば、ユーザは操作部２５を介して、自分の観ているモニタ１３の解像度、観視距離、立体融合限界を入力できる。ただし、（２）～（４）について特に外部から入力がない場合、閾値設定部２０５は、上記標準的な例をＲＯＭ６１などから読み出して視差幅調整部２０２に入力する。
　視差幅調整部２０２は、左右の画像データの代表視差の幅を、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲からなる表示許容視差幅に収まる調整を行う。
　閾値設定部２０５は、シフト許容閾値αおよびシフト禁止閾値βを視差調整部６３に設定する。設定の態様は任意であり、ユーザ操作に基づくもの、ＲＯＭ６１の記録情報に基づくものなどがある。視差調整部６３は、シフト許容閾値α、シフト禁止閾値β、後述の立体動画視差－出力視差変換表などに従って、左右の画像データの代表視差の値を調整する。
　図５は視差調整処理のフローチャートを示す。この処理はＣＰＵ２６によって制御される。この処理をＣＰＵ２６に実行させるプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記録媒体に記録されている。この処理は、画像データの付帯情報に上記の領域の位置情報と代表視差が記憶された後に実行される。
　Ｓ１では、視差幅調整部２０２は、後述する視差幅調整処理を行う。視差幅調整処理では、必要に応じて、代表視差の視差幅の調整と代表視差のシフトが行われる。
　Ｓ２では、視差調整部６３は、視差幅調整処理後の各立体画像フレームごとの代表視差をＳＤＲＡＭ３９に確保する。
　そして、視差調整部６３は、視差調整の基準となる立体画像フレームである基準フレームを決定する。基準フレームは、立体画像の時間的な取得順序に従って決定される。例えば、視差調整部６３は、Ｓ２～Ｓ１２のｎ回目のループの実行に際して、取得順序がｎ番目の立体画像フレームを基準フレームと決定する。視差調整部６３は、基準フレームに対応する代表視差である基準視差をＳＤＲＡＭ３９に確保する。
　Ｓ３では、視差調整部６３は、視差調整の対象となる立体画像フレームである対象フレームを決定する。例えば、視差調整部６３は、Ｓ２～Ｓ１２のｎ回目のループの実行に際して、取得順序がｎ＋１番目の立体画像フレームを対象フレームと決定する。視差調整部６３は、対象フレームに対応する代表視差をＳＤＲＡＭ３９に確保する。
　Ｓ４では、視差調整部６３は、｜基準フレームの代表視差－対象フレームの代表視差｜＜αであるか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ６に進む。αはシフト許容閾値として閾値設定部２０５から入力される。例えばα＝０．７５である。Ｎｏと判断された場合、立体画像フレーム間の代表視差の変動はある程度大きいことを意味する。この場合、Ｓ６に進み、対象フレームを基準フレームと異なる出力視差にシフトするための処理が行われる。
　Ｓ５では、視差調整部６３は、｜基準フレームの代表視差－対象フレームの代表視差｜＞βであるか否かを判断する。Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ８に進む。βはシフト禁止閾値として閾値設定部２０５から入力される。例えばβ＝０．２５である。Ｎｏと判断された場合、立体画像フレーム間の代表視差の変動が微小であることを意味する。この場合、Ｓ８に進み、対象フレームを基準フレームと同一の出力視差にシフトするための処理が行われる。
　Ｓ６では、視差調整部６３は、ＲＯＭ６１などに記憶されている立体動画視差－出力予定視差変換表をＳＤＲＡＭ３９に読み出す。図６は立体動画視差－出力予定視差変換表の一例を示す。この表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力予定視差を規定する。例えば、この表によると、Ｍ～Ｍ＋ｔの代表視差はＮの出力予定視差，Ｍ～Ｍ＋２ｔの代表視差はＮ＋１の出力予定視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力予定視差を示すと整数となる。
　視差調整部６３は、ＲＯＭ６１などに記憶された立体動画視差－出力予定視差変換表に従って、基準フレームの代表視差に対応する出力予定視差を特定し、特定された出力予定視差を基準フレームの出力予定視差に決定する。同様に、視差調整部６３は、立体動画視差－出力予定視差変換表に従って、対象フレームの代表視差に対応する出力予定視差を特定し、特定された出力予定視差を対象フレームの出力予定視差に決定する。
　視差調整部６３は、基準フレームの出力予定視差と対象フレームの出力予定視差とを比較し、両者が同一であるか否かを判断する。Ｙｅｓの場合はＳ７、Ｎｏの場合はＳ１０に進む。
　Ｓ７では、視差調整部６３は、対象フレームの出力視差を、基準フレームの出力予定視差＋１と決定し、対象フレームの代表視差をこの出力視差（基準フレームの出力予定視差＋１）にシフトする視差調整をする。すなわち、基準フレームと対象フレームの出力予定視差が同じでも、基準フレーム・対象フレーム間の代表視差の変動が大きい場合は、両者の出力視差を離し、元の代表視差の推移を出力視差に反映させる。この後処理はＳ１１に進む。
　Ｓ８はＳ６と同様の判断を行い、Ｙｅｓの場合はＳ１０、Ｎｏの場合はＳ９に進む。
　Ｓ９では、視差調整部６３は、対象フレームの出力視差を、基準フレームの出力予定視差と決定し、対象フレームの代表視差をこの出力視差（基準フレームの出力予定視差）にシフトする視差調整をする。すなわち、基準フレームと対象フレームの出力予定視差が異なっていても、基準フレーム・対象フレーム間の代表視差の変動が小さい場合は、対象フレームの出力視差を基準フレームの出力予定視差と同じにし、元の代表視差の推移を出力視差に反映させる。この後処理はＳ１１に進む。
　Ｓ１０では、視差調整部６３は、対象フレームの出力視差を、対象フレームの出力予定視差と決定し、対象フレームの視差をこの出力視差（対象フレームの出力予定視差）に調整する。Ｓ４からＳ１０に至るまでのパターンは、（ａ）Ｓ４でＹｅｓかつＳ５でＹｅｓ、（ｂ）Ｓ４でＹｅｓかつＳ５でＮｏかつＳ８でＹｅｓ、（ｃ）Ｓ４でＮｏかつＳ６でＮｏの３つが存在する。（ｂ）または（ｃ）の場合は、基準フレーム・対象フレーム間の元の代表視差の変動の大小がそのまま出力視差の変動の大小に反映される。（ａ）は、元の代表視差の変動が大きくもなく小さくもないような中間的な変動に対応する対象フレームの出力視差の調整を、出力予定視差に委ねる方法である。なお、α＝βの場合、（ａ）のパターンは論理的に生じなくなり、本処理はより簡略になる。例えば、α＝β＝０．５とすることが考えられる。
　Ｓ１１では、Ｓ２～Ｓ１０が、立体動画を構成する全立体画像フレームについて実行され、全立体画像フレームの視差調整が実行されたか否かを判断する。Ｙｅｓの場合はＳ１３に進み、Ｎｏの場合はＳ１２に進む。
　Ｓ１２では、視差調整部６３は、基準フレームをｎ＋１番目の立体画像フレームに決定する。
　Ｓ１３では、表示制御部４２は、調整された出力視差で各立体画像フレームを順次モニタ１３に表示することで立体動画を再生する。なお、視差調整部６３は、Ｓ７、Ｓ９またはＳ１０において、最初の基準フレームの出力視差を基準フレームの出力予定視差にシフトする視差調整をする。２番目以降の基準フレームは対象フレームとして視差調整されるが、最初の基準フレームはこの視差調整がないからである。
　図７は視差幅調整処理のフローチャートを示す。
　Ｓ１０１では、視差幅調整部２０２は、ＳＤＲＡＭ３９またはメモリカード１６に記憶された立体動画の各立体画像フレームの左右の画像データと、当該立体動画の付帯情報から、各立体画像フレームごとの代表視差の読み出しを試みる。
　Ｓ１０２では、表示許容視差幅取得部２０４は、表示許容視差幅をＳＤＲＡＭ３９に取得する。表示許容視差幅は、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲をいう。表示許容視差幅の取得元は、操作部２５、内蔵のＲＯＭ６１、外部のモニタ１３や電子機器などを含む。
　Ｓ１０３では、視差幅調整部２０２は、各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘと代表視差の最小値ｐｍｉｎを特定し、立体動画視差幅＝ｐｍａｘ－ｐｍｉｎを計算する。そして、視差幅調整部２０２は、立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ１０５に進み、Ｎｏの場合はＳ１０４に進む。
　Ｓ１０４では、視差幅調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差を調整する。例えば図８の（ａ）部分のように、立体動画視差幅が表示許容視差幅を超える場合、図８の（ｂ）部分のように、立体動画視差幅が表示許容視差幅の範囲に収まるよう、各立体画像フレームの代表視差を一律な縮減率（Ｘ－Ｙ）／Ｘで縮減する。
　Ｓ１０５では、視差幅調整部２０２は、代表視差の最大値ｐｍａｘ＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合はＳ１０６に進む。
　Ｓ１０６では、視差幅調整部２０２は、代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合は視差調整処理のＳ２に進む。
　Ｓ１０６では、視差幅調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差をシフトする。
　Ｓ１０３からＳ１０７に至るパターンは、（１）Ｓ１０３でＹｅｓかつＳ１０５でＹｅｓ、（２）Ｓ１０３でＮｏかつＳ１０５でＹｅｓ、（３）Ｓ１０３でＹｅｓかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、（４）Ｓ１０３でＮｏかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、の４パターンがある。
　図９はパターン（１）すなわち視差幅調整のない場合の負の方向へのシフトを示す。
　例えば図９の（ａ）部分のように、代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超えるが、立体動画視差幅は表示許容視差幅未満の場合、図９の（ｂ）部分のように、各立体画像フレームの代表視差を一律な幅Ｗ１だけ負の方向にシフトし、全ての立体画像フレームの代表視差を表示許容視差幅の範囲に収める調整を行う。ここでＷ１＝ｐｍｉｎ－Ｄｍｉｎである。
　図１０はパターン（２）すなわち視差幅調整のない場合の負の方向へのシフトを示す。
　図１０の（ａ）部分ないし前述の図８の（ｂ）部分に示すように、視差幅調整後の代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超える場合も、図１０の（ｂ）部分のように、各立体画像フレームの代表視差を一律な幅Ｗ２だけ負の方向にシフトする。ここでＷ２＝ｐｍｉｎ－Ｄｍｉｎである。
　図１１はパターン（３）すなわち視差幅調整のない場合の正の方向へのシフトを示す。
　あるいは、図１１の（ａ）部分のように、代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎを下回る場合、図１１の（ｂ）部分のように、各立体画像フレームの代表視差を一律な幅Ｗ３だけ正の方向にシフトする。ここでＷ２＝Ｄｍｉｎ－ｐｍｉｎである。
　パターン（４）の図示は省略するが、視差幅調整後の代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎを下回る場合も、同様に各立体画像フレームの代表視差を一律な幅だけ正の方向にシフトする。
　なお、上記の視差調整処理はシーンの変化が検出されるまで繰り返されるものとし、シーンの変化が検出されると、基準フレームおよび対象フレームをリセットし、そこから新たにＳ１を開始する。こうすれば、異なるシーンにまたがった基準フレームと対象フレームとの間でＳ４，５，６，８の判断が行われ、不適切な視差調整を防げる。シーンの変化の検出は公知の方法で行われる。シーンの変化は、合焦被写体の変化やパンニングなどで生じる。
　例えば、視差調整部６３は、異なる立体画像フレームａ・ｂ間での代表視差が閾値以上である場合、その立体画像フレームａ・ｂの間でシーン変化を検出する。視差調整部６３は、シーン変化直前の立体画像フレームａが最後の対象フレームに設定された場合は、Ｓ１１でＮｏと判定しＳ１２に進む。ただし、Ｓ１２において、視差調整部６３は、シーン変化直前の立体画像フレームａを基準フレームと決定せず、シーン変化直後の立体画像フレームｂを基準フレームと決定する。また視差調整部６３は、対象フレームは立体画像フレームｂより後の立体画像フレームｃとする。以下同様、視差調整部６３は、前のシーン変化の直後の立体画像フレームから次のシーン変化の直前の立体画像フレームまでＳ２～Ｓ１２のループを繰り返す。
　また、この処理を実行するのに必要なブロックは、デジタルカメラ以外の電子機器に備えられていてもよい。例えば、図１２に示すような、ＣＰＵ２６、ＶＲＡＭ６５、ＳＤＲＡＭ３９、フラッシュＲＯＭ６０、ＲＯＭ６１、圧縮伸張処理部４３、メディア制御部１５、視差検出部４９、視差調整部６３、画像入力部２０１（例えば画像入力コントローラ３８、メディア制御部１５など）、表示許容視差幅取得部２０４、閾値設定部２０５、画像出力部２０６（例えばモニタ１３、メディア制御部１５など）などの平面または立体画像を表示するブロックを備えた画像出力装置がこの処理を実行することもできる。
　画像入力部２０１の入力する立体動画は、撮像手段から直接出力されたものに限られない。例えば、メディア制御部１５がメモリカード１６などのメディアから読み出したものや、ネットワーク経由で受信したものでもよい。
　画像出力部２０６が視差調整の完了した画像を出力する先は、表示制御部４２およびモニタ１３に限られず、画像は視差調整後に即時に表示されなくてもよい。例えば、メディア制御部１５は、各立体画像フレームごとの調整後の代表視差すなわち出力視差を各立体画像フレームと対応づけた立体動画データとしてメモリカード１６などのメディアに記録してもよい。あるいは、当該立体動画データをネットワーク経由で送信してもよい。
　また、視差調整処理を動作させるか否かのモード設定やタイミングも任意である。例えば、撮影モードの開始時は視差調整処理を行わないが、レリーズボタン１４が全押しされたときから視差調整処理を開始する。あるいは、メモリカード１６の立体動画データをテレビなどの外部のモニタ１３に表示する際に、視差調整処理を開始する。
　以上の処理により、各立体画像フレームの代表視差が、撮影時の視差の推移（図１３の（ａ）部分参照）に近い状態を保ったまま適切な出力視差に調整される（図１３の（ｂ）部分参照）。よって、立体動画の代表視差の推移を撮影した状態に近づけて再生することができる。
　なお、上記の視差調整処理および視差幅調整処理は、異なる種類の代表視差の各々について実行されることができる。この場合、異なる種類の代表視差について、視差調整の結果および視差幅調整の結果が整合しないことが考えられるが、その際には、観察者にとって適切な結果を選択して実行したり、視差調整および視差幅調整をキャンセルしてもよい。
　例えば、任意の１つのフレームにおいて、クロスポイントより遠景側の視差の最大値を第１の代表視差、クロスポイントより近景側の視差の最大値を第２の代表視差とし、第１の代表視差について視差幅調整処理が行われ、かつ第２の代表視差について視差幅調整処理が行われるとする。
　この場合、ズーム倍率が１倍を超える値に設定されたとして、第２の代表視差について、Ｓ１０３でＹＥＳとなっても、第１の代表視差についてＳ１０３でＹＥＳとなれば、Ｓ１０４に進むようにするとよい。
　あるいは、第２の代表視差について、Ｓ１０５でＮＯかつＳ１０６でＮＯとなっても、第１の代表視差についてＳ１０５でＹＥＳとなるか、Ｓ１０６でＹＥＳとなった場合は、Ｓ１０６に進むようにするとよい。こうすれば、遠景側の視差の調整、近景側の視差の調整を両立させることができる。
　４９：視差検出部、６３：視差調整部、２０２：視差幅調整部、２０４：表示許容視差幅取得部、２０５：閾値設定部

Claims (19)

  1. 　立体動画を構成する複数の立体画像フレームごとの代表視差を取得する代表視差取得部と、
    　前記代表視差取得部の取得した立体画像フレームごとの代表視差に基づいて、前記立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定する出力予定視差決定部と、
    　前記出力予定視差決定部の決定した立体画像フレームごとの出力予定視差に基づいて、前記立体画像フレームごとの出力視差を調整する出力視差調整部と、
    　前記出力視差調整部が出力視差を調整した立体画像フレームを順次出力する出力部と、
    　を備え、
    　前記出力予定視差決定部は、前記立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて前記基準フレームの出力予定視差を決定し、かつ前記基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて前記対象フレームの出力予定視差を決定し、
    　前記出力視差調整部は、前記基準フレームの代表視差と前記対象フレームの代表視差との差に基づいて前記基準フレームの出力視差と前記対象フレームの出力視差との差を調整し、
    　前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含み、
    　前記所定の条件を満たす視差に基づいて算出された統計的演算値は、前記立体画像フレームの所定の領域内の平均視差を除く画像出力装置。
  2. 　前記統計的演算値は、前記立体画像フレームの視差の最大値、最小値、最頻値および中央値のうち少なくとも１つを含む請求項１に記載の画像出力装置。
  3. 　前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差の最大値、最小値、最頻値もしくは中央値およびクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差の最大値、最小値、最頻値もしくは中央値のうち少なくとも１つを含む請求項２に記載の画像出力装置。
  4. 　前記所定の条件を満たす視差は、前記立体画像フレームに対する注視位置の視差を含む請求項１または２に記載の画像出力装置。
  5. 　前記注視位置は、前記立体画像フレームの視聴者の注視点、前記立体画像フレームの撮影者の注視点または前記立体画像フレーム内で任意に指定された注視点を含む請求項４に記載の画像出力装置。
  6. 　前記所定の条件を満たす視差は、顔領域の視差、合焦評価値算出領域の視差、画像中央領域の視差、前記立体画像フレームの視差のうちクロスポイントよりも撮像装置から遠ざかる方向である遠景側に存在する被写体の視差、または前記立体画像フレームの視差のうちクロスポイントよりも撮像装置に近づく方向である近景側に存在する被写体の視差を含む請求項１または２に記載の画像出力装置。
  7. 　前記立体動画の出力条件として、許容される出力視差の幅である出力視差幅を規定する上限および下限を取得する出力許容視差幅取得部を備える請求項１～６のいずれかに記載の画像出力装置。
  8. 　前記代表視差取得部の取得した各立体画像フレームの代表視差の最大値および最小値で規定される視差幅が、前記出力許容視差幅取得部の取得した出力許容視差幅に不適合な場合、前記視差幅を前記出力許容視差幅に調整する視差幅調整部を備える請求項７に記載の画像出力装置。
  9. 　前記視差幅調整部は、前記代表視差取得部の取得した代表視差の最大値が、前記出力許容視差幅取得部の取得した出力許容視差幅の上限を上回る場合、前記代表視差の最大値が前記出力許容視差幅の上限を下回るよう各立体画像フレームの代表視差を調整する請求項８に記載の画像出力装置。
  10. 　前記視差幅調整部は、前記代表視差取得部の取得した視差の最小値が、前記出力許容視差幅取得部の取得した出力許容視差幅の下限を下回る場合、前記視差の最小値が前記出力許容視差幅の下限を上回るよう各立体画像フレームの代表視差を調整する請求項８または９に記載の画像出力装置。
  11. 　前記基準フレームと前記対象フレームは同一のシーンの中から決定される請求項１～１０のいずれかに記載の画像出力装置。
  12. 　任意の値の代表視差に対応する段階的な出力予定視差を規定するテーブルを取得するテーブル取得部を備え、
    　前記出力予定視差決定部は、前記代表視差取得部の取得した立体画像フレームごとの代表視差と前記テーブル取得部の取得したテーブルに従い、前記立体画像フレームごとの段階的な出力予定視差を決定する請求項１～１１のいずれかに記載の画像出力装置。
  13. 　前記出力視差調整部は、前記基準フレームの代表視差と前記対象フレームの代表視差との差を所定の第１の閾値と比較し、前記差が前記所定の第１の閾値を超える場合、前記出力予定視差決定部の決定した基準フレームの出力予定視差よりも１段階大きい出力予定視差に向けて前記対象フレームの出力視差を調整する請求項１２に記載の画像出力装置。
  14. 　前記出力視差調整部は、前記差を所定の第２の閾値と比較し、前記差が前記所定の第２の閾値を下回る場合、前記基準フレームの出力予定視差に向けて前記対象フレームの出力視差を調整する請求項１３に記載の画像出力装置。
  15. 　前記出力視差調整部は、前記差が前記所定の第１の閾値を超えずかつ前記所定の第２の閾値を下回らない場合、前記対象フレームの出力予定視差に向けて前記対象フレームの出力視差を調整する請求項１４に記載の画像出力装置。
  16. 　前記所定の第１の閾値と前記所定の第２の閾値は等しい請求項１５に記載の画像出力装置。
  17. 　代表視差取得部と、出力予定視差決定部と、出力視差調整部と、出力部と、を備えた画像出力装置において、
    　前記代表視差取得部が、立体動画を構成する複数の立体画像フレームごとの代表視差を取得するステップと、
    　前記出力予定視差決定部が、前記代表視差取得部の取得した立体画像フレームごとの代表視差に基づいて、前記立体動画の出力条件に応じた立体画像フレームごとの出力予定視差を決定するステップと、
    　前記出力視差調整部が、前記出力予定視差決定部の決定した立体画像フレームごとの出力予定視差に基づいて、前記立体画像フレームごとの出力視差を調整するステップと、
    　前記出力部が、前記出力視差調整部が出力視差を調整した立体画像フレームを順次出力するステップと、
    　前記出力予定視差決定部が、前記立体画像フレームの中から順次決定された基準フレームの代表視差に基づいて前記基準フレームの出力予定視差を決定し、かつ前記基準フレームの直後の立体画像フレームである対象フレームの代表視差に基づいて前記対象フレームの出力予定視差を決定するステップと、
    　前記出力視差調整部が、前記基準フレームの代表視差と前記対象フレームの代表視差との差に基づいて前記基準フレームの出力視差と前記対象フレームの出力視差との差を調整するステップと、
    　を実行し、
    　前記立体画像フレームごとの代表視差は、前記立体画像フレームの視差のうち所定の条件を満たす視差に基づいて算出された統計的演算値を含み、
    　前記所定の条件を満たす視差に基づいて算出された統計的演算値は、前記立体画像フレームの所定の領域内の平均視差を除く画像出力方法。
  18. 　請求項１７に記載の画像出力方法を前記画像出力装置に実行させるための画像出力プログラム。
  19. 　請求項１８に記載の画像出力プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
PCT/JP2012/079069 2011-12-19 2012-11-09 画像出力装置、方法およびプログラムならびにその記録媒体 WO2013094332A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013550181A JP5580486B2 (ja) 2011-12-19 2012-11-09 画像出力装置、方法およびプログラム
CN201280062870.0A CN104041026B (zh) 2011-12-19 2012-11-09 图像输出装置、方法以及程序及其记录介质
US14/306,484 US9124866B2 (en) 2011-12-19 2014-06-17 Image output device, method, and recording medium therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011277353 2011-12-19
JP2011-277353 2011-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/306,484 Continuation US9124866B2 (en) 2011-12-19 2014-06-17 Image output device, method, and recording medium therefor

Publications (1)

Publication Number Publication Date
WO2013094332A1 true WO2013094332A1 (ja) 2013-06-27

Family

ID=48668231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/079069 WO2013094332A1 (ja) 2011-12-19 2012-11-09 画像出力装置、方法およびプログラムならびにその記録媒体

Country Status (4)

Country Link
US (1) US9124866B2 (ja)
JP (1) JP5580486B2 (ja)
CN (1) CN104041026B (ja)
WO (1) WO2013094332A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6091318B2 (ja) * 2013-04-26 2017-03-08 キヤノン株式会社 測距装置およびその制御方法
JP6837031B2 (ja) * 2018-05-22 2021-03-03 Eizo株式会社 立体画像表示装置、立体画像表示方法及びプログラム
JP7409370B2 (ja) * 2019-03-27 2024-01-09 ソニーグループ株式会社 映像処理装置および映像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2011109408A (ja) * 2009-11-17 2011-06-02 Funai Electric Co Ltd 三次元信号生成装置
WO2011121818A1 (ja) * 2010-03-30 2011-10-06 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
JP2011223482A (ja) * 2010-04-14 2011-11-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628452A (ja) 1991-08-07 1994-02-04 Nec Home Electron Ltd ３次元画像処理装置
JPH08327948A (ja) 1995-05-31 1996-12-13 Canon Inc 立体画像表示方法及び立体画像表示装置
JPH09238369A (ja) 1996-02-29 1997-09-09 Mitsubishi Electric Corp ３次元像表示装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2004221699A (ja) 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP5425554B2 (ja) * 2009-07-27 2014-02-26 富士フイルム株式会社 立体撮像装置及び立体撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2011109408A (ja) * 2009-11-17 2011-06-02 Funai Electric Co Ltd 三次元信号生成装置
WO2011121818A1 (ja) * 2010-03-30 2011-10-06 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
JP2011223482A (ja) * 2010-04-14 2011-11-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
CN104041026A (zh) 2014-09-10
JPWO2013094332A1 (ja) 2015-04-27
CN104041026B (zh) 2016-06-08
US20140293006A1 (en) 2014-10-02
JP5580486B2 (ja) 2014-08-27
US9124866B2 (en) 2015-09-01

Similar Documents

Publication Publication Date Title
US9560341B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
US8736671B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
US9077976B2 (en) Single-eye stereoscopic image capturing device
US20120154547A1 (en) Imaging device, control method thereof, and program
JP5449550B2 (ja) 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体
WO2012023330A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
JP5336662B2 (ja) 画像処理装置、方法およびプログラム
US9310672B2 (en) Stereoscopic image capturing device and method of controlling thereof
WO2012105121A1 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
JP5466773B2 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP5571257B2 (ja) 画像処理装置、方法およびプログラム
JPWO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP2012044319A (ja) 画像処理装置、画像処理方法及び立体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12859454

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013550181

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12859454

Country of ref document: EP

Kind code of ref document: A1