WO2012023330A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2012023330A1
WO2012023330A1 PCT/JP2011/062895 JP2011062895W WO2012023330A1 WO 2012023330 A1 WO2012023330 A1 WO 2012023330A1 JP 2011062895 W JP2011062895 W JP 2011062895W WO 2012023330 A1 WO2012023330 A1 WO 2012023330A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
stereoscopic
image processing
stereoscopic image
Prior art date
Application number
PCT/JP2011/062895
Other languages
English (en)
French (fr)
Inventor
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN2011800399497A priority Critical patent/CN103098478A/zh
Priority to JP2012529511A priority patent/JPWO2012023330A1/ja
Publication of WO2012023330A1 publication Critical patent/WO2012023330A1/ja
Priority to US13/767,500 priority patent/US20130162764A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Definitions

  • the present invention relates to image processing, and more particularly, to complementary processing of an image after adjusting binocular parallax of each stereoscopic image frame of a stereoscopic moving image.
  • the image end adjusting unit duplicates the pixel row at the image end and horizontally Compensate for the number of pixels.
  • the parallax control unit when the displayed object reaches the limit parallax, the parallax control unit generates a parallax image so as to realize the appropriate parallax in the subsequent stereoscopic display.
  • the parallax control is realized by optimally setting camera parameters retroactively to the three-dimensional data.
  • stereoscopic video using parallax is not displayed with an appropriate amount of parallax, viewers may be fatigued. Since the appropriate amount of parallax varies depending on the size of the display to be displayed, the viewer's stereoscopic fusion limit, and the like, it is necessary to adjust the parallax according to each stereoscopic image frame constituting the stereoscopic moving image.
  • FIG. 16A to 16D are diagrams schematically illustrating the relationship between the left and right images after parallax adjustment and a missing portion (portions not shown in the left and right images).
  • FIG. 16A to FIG. 16D show stereoscopic image frames F (1) to F (4) that are continuous in time series.
  • the left and right images L (i) and R (i) are shown as being shifted in the vertical direction for ease of understanding, but in reality, they are shifted only in the left and right parallax directions. Yes. As shown in FIGS.
  • the viewer of the three-dimensional moving image may feel uncomfortable and induce eye fatigue.
  • Patent Document 1 describes only processing of still images individually. In the method described in Patent Document 1, there is a possibility that the position of the missing portion at the edge of the image varies for each stereoscopic image frame. Further, it is only possible to duplicate the pixel row at the end of the image, which may give the viewer a sense of incongruity.
  • the present invention prevents the position of the missing image edge from changing for each stereoscopic image frame by adjusting the parallax of each stereoscopic image frame of the stereoscopic video.
  • One aspect of the present invention is a parallax acquisition unit that receives input of a plurality of stereoscopic image frames constituting a stereoscopic moving image and acquires a horizontal parallax between left and right viewpoint images constituting each stereoscopic image frame; and the stereoscopic moving image
  • a parallax adjustment unit that adjusts the parallax in the horizontal direction of each of the stereoscopic image frames in accordance with the output conditions, and image information of left and right viewpoint images corresponding to each stereoscopic image frame in which the parallax is adjusted by the parallax adjustment unit is predetermined.
  • a reference boundary setting unit for setting the left and right reference boundaries, and the output plane in each stereoscopic image frame than the left and right reference boundaries set by the reference boundary setting unit.
  • image information of adjacent areas that are partial areas in the left and right viewpoint images respectively adjacent to the left and right complement target areas is the left and right complement target areas.
  • the reference boundary setting unit preferably sets the left and right reference boundaries based on the central boundary of the left and right non-output areas where the horizontal width of the output surface is minimized.
  • the reference boundary setting unit preferably sets the left and right reference boundaries based on the central boundary of the left and right non-output areas corresponding to a stereoscopic image frame in which the amount of horizontal parallax adjustment by the parallax adjustment unit is zero. .
  • the image processing unit deletes the image information of the left and right viewpoint images located outside the output surface from the left and right reference boundaries.
  • the image processing unit performs a first complement process that complements the image information by duplicating the image information of the adjacent area in the complement target area.
  • the image processing unit performs a second complement process that complements the image information by applying the color information of the adjacent area to the complement target area.
  • the image processing unit preferably complements the image information by extending the color of the adjacent region to the complement target region according to the density gradient information of the color of the adjacent region.
  • the image processing unit preferably complements the image information by extending a straight line included in the image information of the left and right adjacent regions to the left and right complement target regions.
  • the image processing unit may complement the image information by applying the color information for each partial region separated by a straight line in the left and right adjacent regions to each partial region separated by a straight line extended to the left and right complement target regions. preferable.
  • the image processing unit determines whether or not the image information of the adjacent region satisfies a predetermined criterion, and performs either the first complementing process or the second complementing process based on the determination result. .
  • the image processing unit When the frequency of the high-frequency component in the adjacent region exceeds a predetermined threshold, the image processing unit performs the first complement processing, and when the frequency of the high-frequency component in the adjacent region does not exceed the predetermined threshold, It is preferable to perform a complementing process.
  • the image processing unit preferably complements the image information by applying the color information of the left and right adjacent regions to the left and right complement target regions when the number of pixels of the left and right complement target regions is below a predetermined threshold.
  • the reference boundary setting unit determines the center of the left and right non-output areas where the horizontal width of the output surface is minimum when the parallax width defined by the maximum and minimum parallax values of each stereoscopic image frame exceeds a predetermined threshold. It is preferable to set the left and right reference boundaries based on the side boundaries.
  • the reference boundary setting unit supports stereoscopic image frames in which the parallax adjustment amount by the parallax adjustment unit is 0 when the parallax width defined by the maximum and minimum parallax values of each stereoscopic image frame does not exceed a predetermined threshold It is preferable to set the left and right reference boundaries based on the center side boundaries of the left and right non-output areas.
  • the image processing unit smoothes image information in the vicinity of the left and right reference boundaries.
  • the image processing apparatus receives an input of a plurality of stereoscopic image frames constituting a stereoscopic moving image, and acquires a horizontal parallax between left and right viewpoint images constituting each stereoscopic image frame; Adjusting the horizontal parallax of each of the stereoscopic image frames according to the output condition of the stereoscopic video, and the image information of the left and right viewpoint images corresponding to each of the stereoscopic image frames with the adjusted parallax Based on the horizontal widths of the left and right non-output areas satisfying a predetermined criterion among the left and right non-output areas that are respectively non-existent areas at the left and right ends, the left and right common to each of the stereoscopic image frames A step of setting a reference boundary, and a non-output region located on the center side of the output surface with respect to the set left and right reference boundaries in each stereoscopic image frame By applying image information of adjacent areas, which are partial areas in the left and right viewpoint images respectively adjacent
  • the image processing apparatus receives an input of a plurality of stereoscopic image frames constituting a stereoscopic moving image, and acquires a horizontal parallax between left and right viewpoint images constituting each stereoscopic image frame; Adjusting the horizontal parallax of each of the stereoscopic image frames according to the output condition of the stereoscopic video, and the image information of the left and right viewpoint images corresponding to each of the stereoscopic image frames with the adjusted parallax Based on the horizontal width of the left and right non-output areas corresponding to the three-dimensional image frame satisfying a predetermined criterion among the left and right non-output areas that are respectively non-existent areas at the left and right end portions,
  • the step of setting the left and right reference boundaries common to each, and in each stereoscopic image frame, each of the output planes is more than the set left and right reference boundaries.
  • image information of adjacent regions that are partial regions in the left and right viewpoint images respectively adjacent to the left and right complementing target regions is the left and right complementing target regions.
  • One embodiment of the present invention is a computer-readable recording medium, and when a command stored in the recording medium is read and executed by the processor, the processor includes a plurality of stereoscopic image frames that form a stereoscopic moving image. And acquiring horizontal parallax between the left and right viewpoint images constituting each stereoscopic image frame, and adjusting each horizontal parallax of the stereoscopic image frame in accordance with the output condition of the stereoscopic video And left and right non-output areas, which are areas in which the image information of the left and right viewpoint images corresponding to each stereoscopic image frame in which the parallax is adjusted are respectively absent at the left and right end portions of a predetermined output surface, A left common to each of the stereoscopic image frames based on the horizontal width of the left and right non-output areas corresponding to the stereoscopic image frame satisfying the criterion
  • the image information of the left and right complement target areas is complemented by applying the image information of the adjacent areas that are partial areas in the left and right viewpoint images adjacent to the respective complement target areas to the left and right complement target areas, respectively.
  • a recording medium that executes a step and a step of outputting each stereoscopic image frame in which the image information is complemented to the left and right complementing target areas according to the adjusted parallax.
  • the image information of the adjacent region is applied to the complement target region that is the non-existing region of the image information inside the reference boundary set in each stereoscopic image frame, so that each stereoscopic image frame
  • the non-existing area of the image information is complemented up to a common reference boundary.
  • the position and size of the non-existing area of the image information of each stereoscopic image frame are unified, and the user can visually view the stereoscopic video without a sense of incongruity.
  • the complementation of the region to be complemented is performed by applying the image information of the adjacent region, there is little difference in the image information near the reference boundary, and the user feels uncomfortable.
  • FIG. 1 Front perspective view of digital camera Rear perspective view of digital camera Digital camera block diagram
  • Digital camera block diagram (continued) Schematic diagram of the parallax limit in the spreading direction
  • Schematic diagram of parallax width adjustment Schematic diagram of parallax width adjustment Schematic diagram of parallax shift in negative direction
  • FIG. 1 is a front perspective view showing an external configuration of a digital camera 10 according to an embodiment of the present invention.
  • FIG. 2 is a rear perspective view showing an external configuration of an example of the digital camera.
  • the digital camera 10 includes a plurality of imaging units (two are illustrated in FIG. 1), and the same subject can be photographed from a plurality of viewpoints (two left and right viewpoints are illustrated in FIG. 1).
  • a case where two imaging units are provided will be described as an example.
  • the present invention is not limited to this, and the same applies even when three or more imaging units are provided. It is applicable to.
  • the camera body 112 of the digital camera 10 of this example is formed in a rectangular box shape. As shown in FIG. 1, a pair of photographing optical systems 11 ⁇ / b> R and 11 ⁇ / b> L and a strobe 116 are provided on the front surface of the camera body 112. On the top surface of the camera body 112, a release button 14, a power / mode switch 120, a mode dial 122, and the like are provided. On the back of the camera body 112, as shown in FIG.
  • a monitor 13 composed of a liquid crystal display device (LCD: Liquid Crystal Display), a zoom button 126, a cross button 128, a MENU / OK button 130, a DISP A button 132, a BACK button 134, and the like are provided.
  • the monitor 13 may be built in the digital camera 10 or an external device.
  • the pair of left and right photographing optical systems 11R and 11L are configured to include retractable zoom lenses (18R and 18L in FIG. 3), respectively, and are fed out from the camera body 112 when the power of the digital camera 10 is turned on.
  • the zoom mechanism and the retracting mechanism in the photographing optical system are known techniques, a specific description thereof is omitted here.
  • the monitor 13 is a display device such as a color liquid crystal panel in which a so-called lenticular lens having a semi-cylindrical lens group is arranged on the front surface.
  • the monitor 13 is used as an image display unit for displaying a captured image, and is used as a GUI (Graphical User Interface) at various settings. Further, at the time of shooting, an image captured by the image sensor is displayed through and used as an electronic viewfinder.
  • the stereoscopic image display method of the monitor 13 is not limited to the parallax barrier method. For example, a stereoscopic image display method using glasses such as an anaglyph method, a polarizing filter method, and a liquid crystal shutter method may be used.
  • the release button 14 is constituted by a two-stroke switch composed of so-called “half press” and “full press”.
  • a shooting preparation process that is, AE (Automatic Exposure), AF (Auto Focus: automatic focus adjustment) and AWB (Automatic White Balance: automatic white balance) are performed, and when fully pressed, an image is captured and recorded.
  • stereoscopic video shooting when stereoscopic video shooting is performed (for example, when the stereoscopic video shooting mode is selected by the mode dial 122 or the menu), when the release button 14 is fully pressed, shooting of the stereoscopic video is started, and when the release button 14 is fully pressed again, shooting is ended.
  • a release button dedicated to still image shooting and a release button dedicated to stereoscopic video shooting may be provided.
  • the power / mode switch 120 functions as a power switch of the digital camera 10 and also functions as an operation member for switching between the playback mode and the shooting mode of the digital camera 10.
  • the mode dial 122 is used for setting the shooting mode.
  • the digital camera 10 is set to a 2D still image shooting mode for shooting a 2D still image by setting the mode dial 122 to “2D still image position”, and set to “3D still image position”.
  • the 3D still image shooting mode for shooting a 3D still image is set.
  • the 3D moving image shooting mode for shooting a 3D moving image is set by setting the “3D moving image position”.
  • the zoom button 126 is used for zoom operation of the photographing optical systems 11R and 11L, and includes a zoom tele button for instructing zooming to the telephoto side and a zoom wide button for instructing zooming to the wide angle side.
  • the cross button 128 is provided so that it can be pressed in four directions, up, down, left, and right, and a function corresponding to the setting state of the camera is assigned to the pressing operation in each direction.
  • the MENU / OK button 130 is used to call a menu screen (MENU function), and to confirm selection contents, execute a process, etc. (OK function).
  • the DISP button 132 is used to input an instruction to switch the display contents of the monitor 13 and the BACK button 134 is used to input an instruction to cancel the input operation.
  • 3A and 3B are block diagrams showing the main part of the digital camera 10.
  • the digital camera 10 includes a right viewpoint imaging unit having a right viewpoint imaging optical system 11R and an imaging element 29R, and a left viewpoint imaging unit having a left viewpoint imaging optical system and an imaging element 29L.
  • the two photographing optical systems 11 have a zoom lens 18 (18R, 18L), a focus lens 19 (19R, 19L), and a diaphragm 20 (20R, 20L), respectively.
  • the zoom lens 18, the focus lens 19 and the diaphragm 20 are driven by a zoom lens control unit 22 (22R, 22L), a focus lens control unit 23 (23R, 23L) and a diaphragm control unit 24 (24R, 24L), respectively.
  • Each of the control units 22, 23, and 24 includes a stepping motor, and is controlled by a drive pulse given from a motor driver (not shown) connected to a CPU (Central Processing Unit) 26.
  • a motor driver not shown
  • CPU Central Processing Unit
  • a CCD (Charge Coupled Device) image sensor (hereinafter simply referred to as “CCD”) 29 (29R, 29L) is disposed behind the two photographing optical systems 11 (11R, 11L).
  • a MOS (metal-oxide semiconductor) type image sensor may be used instead of the CCD 29.
  • the CCD 29 has a photoelectric conversion surface on which a plurality of photoelectric conversion elements are arranged. Subject light is incident on the photoelectric conversion surface via the photographing optical system 11 to form a subject image.
  • a timing generator: TG31 (31R, 31L) controlled by the CPU 26 is connected to the CCD 29.
  • the shutter speed of the electronic shutter (which is the charge accumulation time of each photoelectric conversion element) is determined by the timing signal (clock pulse) input from the TG 31.
  • the imaging signal output from the CCD 29 is input to the analog signal processing circuit 33 (33R, 33L).
  • the analog signal processing circuit 33 includes a correlated double sampling circuit (CDS), an amplifier (AMP), and the like.
  • the CDS generates R, G, and B image data corresponding to the accumulated charge time of each pixel from the imaging signal.
  • the AMP amplifies the generated image data.
  • the AMP functions as a sensitivity adjustment unit that adjusts the sensitivity of the CCD 29.
  • the ISO (International Organization for Standardization) sensitivity of the CCD 29 is determined by the gain of the AMP.
  • the A / D converter 36 (36R, 36L) converts the amplified image data from analog to digital.
  • the digital image data output from the A / D converter 36 (36R, 36L) is received by an SDRAM (Synchronous Dynamic Random Access Memory) 39, which is a working memory, via an image input controller 38 (38R, 38L). These are temporarily stored as right viewpoint image data and left viewpoint image data, respectively.
  • the digital signal processing unit 41 reads out image data from the SDRAM 39, performs various image processing such as gradation conversion, white balance correction, ⁇ correction processing, YC conversion processing, and stores the image data in the SDRAM 39 again.
  • Image data that has been subjected to image processing by the digital signal processing unit 41 is acquired as a through image in a VRAM (Video Random Access Memory) 65, converted into an analog signal for video output by the display control unit 42, and displayed on the monitor 13. Is done.
  • the image processed image data obtained by fully pressing the release button 14 is compressed by a compression / decompression processing unit 43 in a predetermined compression format (for example, JPEG (Joint Photographic Experts Group) format).
  • the image is recorded on the memory card 16 as a recording image via the media control unit 15.
  • the operation unit 25 is for performing various operations of the digital camera 10, and includes various buttons and switches 120 to 134 shown in FIGS.
  • the CPU 26 is provided to control the digital camera 10 in an integrated manner. Based on various control programs and setting information stored in a flash ROM (read-only memory) 60 and ROM 61, input signals from the attitude detection sensor 73 and the operation unit 25, the CPU 26, a power control unit 71 and the clock unit 72 are controlled.
  • a flash ROM read-only memory
  • the digital camera 10 also includes an AE / AWB control unit 47 that performs AE (Auto Exposure) / AWB (Auto White Balance) control, and a parallax detection unit 49 that detects representative parallax of each of a plurality of stereoscopic image frames. It has been.
  • the digital camera 10 also includes a flash control unit 28 that controls the light emission timing and the light emission amount of the flash 5.
  • the AE / AWB control unit 47 analyzes the image (captured image) obtained by the CCD 29 when the release button 14 is half-pressed, and based on the luminance information of the subject, the aperture value of the aperture 20 and the CCD 29 The shutter speed of the electronic shutter is calculated. Based on these calculation results, the AE / AWB control unit 47 controls the aperture value via the aperture control unit 24 and the shutter speed via the TG 31.
  • the apertures of both the imaging optical systems 11R and 11L calculateate the value and shutter speed.
  • the aperture value and the shutter speed of each of the imaging optical systems 11R and 11L may be calculated.
  • the AF control unit 45 performs AF search control for calculating the contrast value by moving the focus lenses 19R and 19L along the optical axis direction when the release button 14 is half-pressed, and a focusing lens based on the contrast value. Focus control for moving the focus lenses 19R and 19L to the position is performed.
  • the “contrast value” is calculated based on an image signal in a predetermined focus evaluation value calculation area of the captured image obtained by the CCDs 29R and 29L.
  • the “focus lens position” is the position of the focus lenses 19R and 19L at which the focus lenses 19R and 19L are focused on at least the main subject.
  • a captured image (right viewpoint image or The contrast value is calculated in (left viewpoint image).
  • the focus lens positions of the focus lenses 19R and 19L of the two photographing optical systems 11R and 11L are determined, respectively, the motor drivers 27R and 27L are driven, and the focus lenses 19R and 19L are respectively set.
  • An AF search may be performed in both the photographing optical systems 11R and 11L, and the respective focusing lens positions may be determined.
  • the posture detection sensor 73 detects the direction and angle in which the photographing optical systems 11R and 11L are rotated with respect to a predetermined posture.
  • the camera shake control unit 62 drives a correction lens (not shown) provided in the photographing optical systems 11R and 11L by a motor, thereby correcting a shift of the optical axis detected by the posture detection sensor 73 and preventing camera shake.
  • the CPU 26 controls the face recognition unit 64 to perform face recognition from left and right image data corresponding to the subject images of the photographing optical systems 11R and 11L.
  • the face recognition unit 64 starts face recognition under the control of the CPU 26 and performs face recognition from the left and right image data.
  • the face recognition unit 64 stores face area information including position information of face areas recognized from the left and right image data in the SDRAM 39.
  • the face recognition unit 64 can recognize a face area from an image stored in the SDRAM 39 by a known method such as template matching.
  • the face area of the subject includes a face area of a person or animal in the captured image.
  • the face correspondence determination unit 66 determines the correspondence between the face area recognized from the right image data and the face area recognized from the left image data. That is, the face correspondence determination unit 66 specifies a set of face areas in which the position information of the face areas recognized from the left and right image data are closest to each other. Then, the face correspondence determination unit 66 matches the image information of the face areas constituting the set, and when the accuracy of the identity between the two exceeds a predetermined threshold, the face areas constituting the set are associated with each other. It is determined that
  • the parallax detection unit 49 calculates a representative parallax between predetermined areas of the left and right image data.
  • the representative parallax is calculated as follows. First, the parallax detection unit 49 calculates a position difference (corresponding point distance) between specific points (corresponding points) corresponding to the face regions constituting the set. And the parallax detection part 49 calculates the average value of the parallax of the point contained in the face area
  • the main face area is a face area closest to the center of the screen, a face area closest to the focus evaluation value calculation area, a face area having the largest size, or the like.
  • the parallax detection unit 49 calculates an average value of parallax between corresponding points in a predetermined area that is in a correspondence relationship between the left and right images, for example, the image center area or the focus evaluation value calculation area, The representative parallax.
  • the positional information of the predetermined area having the correspondence and the representative parallax thereof are stored in the SDRAM 39 in association with the left and right image data.
  • the positional information and the representative parallax of the face area having a correspondence relationship are stored as supplementary information (header, tag, meta information, etc.) of the image data.
  • tag information such as Exif (Exchangeable image file format)
  • the position information of the face area and the representative parallax are added to the recording image. Recorded in information.
  • the display allowable parallax width acquisition unit 204 acquires the display allowable minimum parallax Dmin and the display allowable maximum parallax Dmax and inputs them to the parallax adjustment unit 202.
  • the mode of acquisition is arbitrary, and may be input from the operation unit 25, may be input from the ROM 61, auxiliary information of stereoscopic video data, or may be input from the monitor 13 as control information.
  • the display allowable maximum parallax Dmax defines the limit of the parallax in the spreading direction (the direction in which the stereoscopic image on the monitor 13 is retracted). As illustrated in FIG. 4A, since the human eye does not open outward, the left and right images having parallax exceeding the interpupillary distance are not fused, and the viewer cannot recognize as one image, causing eye strain. . Considering a child viewer, the interpupillary distance is about 5 cm, and the number of pixels of the monitor 13 corresponding to this distance is the display allowable maximum parallax Dmax.
  • the display allowable minimum parallax Dmin for each size of the monitor 13 is as shown in FIG. 4B. If the size of the monitor 13 is small like a built-in screen of a digital camera or a mobile phone, the parallax in the spreading direction is unlikely to be a problem. However, in the case of the monitor 13 having a large display surface size such as a television, Parallax becomes a problem.
  • the display allowable minimum parallax Dmin defines the limit of excessive parallax (the direction in which the stereoscopic image on the monitor 13 pops out). Unlike the display allowable maximum parallax Dmax, the display allowable minimum parallax Dmin cannot be uniquely determined from the interpupillary distance. For example, output conditions for determining the display allowable minimum parallax Dmin include (1) the size of the monitor 13, (2) the resolution of the monitor 13, (3) viewing distance (distance from the viewer to the monitor 13), (4 ) There are three-dimensional fusion limits of individual viewers.
  • (2) the resolution of the monitor 13 of the high-definition television is 1920 ⁇ 1080
  • (3) the viewing distance is three times the screen height of the monitor 13.
  • (4) the general stereo fusion limit is 57 pixels (parallax angle of about 1 degree).
  • the information (1) to (4) may be input from the outside based on user operation, setting information of the monitor 13, and the like.
  • the user can input the resolution, viewing distance, and stereoscopic fusion limit of the monitor 13 he / she is viewing via the operation unit 25.
  • the above standard example is read from the ROM 61 or the like and input to the parallax adjustment unit 202.
  • the parallax adjustment unit 202 performs parallax adjustment that fits the maximum and minimum values of the representative parallax of the left and right image data within the display allowable parallax width that is in the range from the display allowable minimum parallax Dmin to the display allowable maximum parallax Dmax.
  • This parallax adjustment includes shifting each representative parallax in a positive (upper) or negative (lower) direction by a uniform shift amount and / or reducing each representative parallax by a uniform reduction rate.
  • FIG. 5 shows a flowchart of parallax adjustment processing.
  • a program for causing each block of the digital camera 10 to execute this processing is stored in a computer-readable storage medium such as the ROM 61.
  • the parallax adjustment unit 202 reads the representative parallax for each stereoscopic image frame from the left and right image data of each stereoscopic image frame of the stereoscopic video stored in the SDRAM 39 or the memory card 16 and the accompanying information of the stereoscopic video. Try.
  • the display allowable parallax width acquisition unit 204 acquires the display allowable parallax width in the SDRAM 39.
  • the display allowable parallax width is a range from the display allowable minimum parallax Dmin to the display allowable maximum parallax Dmax.
  • the acquisition source of the display allowable parallax width includes the operation unit 25, the built-in ROM 61, the external monitor 13, an electronic device, and the like.
  • the parallax adjustment unit 202 adjusts the representative parallax of each stereoscopic image frame so that the stereoscopic moving image parallax width falls within the display allowable parallax width.
  • the parallax adjustment unit 202 determines whether or not the representative parallax maximum value pmax> the display allowable maximum parallax Dmax. If Yes, the process proceeds to S107, and if No, the process proceeds to S106.
  • the parallax adjustment unit 202 determines whether or not the representative parallax minimum value pmin ⁇ display allowable minimum parallax Dmin. If Yes, the process proceeds to S107, and if No, the process proceeds to S108.
  • the parallax adjustment unit 202 shifts the representative parallax of each stereoscopic image frame so that the stereoscopic moving image parallax width falls within the display allowable parallax width.
  • the parallax adjustment unit 202 reads the representative parallax-output parallax conversion table stored in the ROM 61 or the like into the SDRAM 39.
  • the parallax adjustment unit 202 determines an output parallax corresponding to the representative parallax of each stereoscopic image frame according to the representative parallax-output parallax conversion table stored in the ROM 61 or the like.
  • FIG. 6 shows an example of a representative parallax-output parallax conversion table.
  • the table shown in FIG. 6 defines an integer output parallax corresponding to a representative parallax of an arbitrary value of each stereoscopic image frame.
  • the representative parallax of M to M + t corresponds to N output parallax
  • the representative parallax of M to M + 2t corresponds to N + 1 output parallax. Note that since the minimum display unit of an image is one pixel, the output parallax is expressed as an integer when expressed in pixel units.
  • FIG. 7A and 7B show an example of parallax width adjustment.
  • the representative parallax of each stereoscopic image frame is uniformly set so that the stereoscopic video parallax width falls within the display allowable parallax width range as shown in FIG. 7B.
  • Patterns from S103 to S107 are (1) Yes in S103 and Yes in S105, (2) No in S103 and Yes in S105, (3) Yes in S103 and No in S105 and Yes in S106, (4) In S103 There are four patterns, No, S105, No, and S106, Yes.
  • FIG. 8A and FIG. 8B show a shift in the negative direction when there is no pattern (1), that is, no parallax width adjustment.
  • the representative parallax is shifted in the negative direction by a uniform width W1, and adjustment is performed so that the representative parallax of all stereoscopic image frames falls within the display allowable parallax width.
  • W1 pmin ⁇ Dmin.
  • FIG. 9A and FIG. 9B show a shift in the negative direction when there is a pattern (2), that is, parallax width adjustment.
  • FIG. 10A and FIG. 10B show the shift in the positive direction when there is no pattern (3), that is, no parallax width adjustment.
  • the representative parallax minimum value pmin after the parallax width adjustment is less than the display allowable minimum parallax Dmin
  • the representative parallax of each stereoscopic image frame is also positive in the same direction by a uniform width. Shift to.
  • FIG. 11 shows a flowchart of image edge adjustment processing. This process is executed after the above-described parallax adjustment process is completed.
  • a program for causing each block of the digital camera 10 to execute this processing is stored in a computer-readable storage medium such as the ROM 61.
  • the image processing unit 209 has the minimum horizontal width from the right non-display area corresponding to each stereoscopic image frame generated in the display surface of the monitor 13 as a result of the parallax adjustment processing for each stereoscopic image frame. Specify the right minimum non-display area. In addition, the image processing unit 209 generates the left having the minimum horizontal width from the left non-display area corresponding to each stereoscopic image frame generated in the display surface of the monitor 13 as a result of the parallax adjustment processing for each stereoscopic image frame. Specify the minimum non-display area.
  • the non-display area is an area where there is no image information of the left and right viewpoint images in the display surface of the monitor 13.
  • the right non-display area is a non-display area positioned on the right side of the left viewpoint image in the display surface
  • the left non-display area is a non-display position positioned on the left side of the right viewpoint image in the display surface. It is an area.
  • the left non-display area / right non-display area corresponding to the stereoscopic image frames F1 to F4 are BR1 (L) / BR1 (R) to BR4 (L) / BR4 (R).
  • the horizontal width of the non-display area BR1 (L) / BR1 (R) corresponding to the stereoscopic image frame F1 that is, the display surface of the monitor 13
  • the horizontal length of is minimal. Therefore, the image processing unit 209 identifies BR1 (L) as the left minimum non-display area and BR1 (R) as the right minimum non-display area.
  • the image processing unit 209 converts the right end line LN (L) of the left minimum non-display area and the left end line LN (R) of the right minimum non-display area into the left reference line and the right reference that are common to the respective stereoscopic image frames. Set to line.
  • the image processing unit 209 specifies a left complement target region that is a partial region from the center of the display surface to the left reference line LN (L) among the non-display regions on the left side of the screen for each stereoscopic image frame.
  • the image processing unit 209 identifies a right complement target region that is a partial region from the center of the display surface to the right reference line LN (R) in the non-display region on the right side of the screen for each stereoscopic image frame.
  • FIG. 12 illustrates the left complement target areas EL1 (L) to EL4 (L) and the right complement target areas EL1 (R) to EL4 (R) corresponding to the frames F1 to F4.
  • the image processing unit 209 acquires the number of pixels in the left complement target area and the number of pixels in the right complement target area corresponding to the current stereoscopic image frame.
  • the image processing unit 209 determines whether or not both the number of pixels in the left complement target area and the number of pixels in the right complement target area of the current stereoscopic image frame exceed a predetermined threshold. If yes, go to S203, if no, go to S206. At the start of this process, the current stereoscopic image frame is the first stereoscopic image frame of the stereoscopic moving image, and the current stereoscopic image frame is switched each time S208 is repeated.
  • the image processing unit 209 determines each frequency from the left complement reference region, which is the region corresponding to the number of pixels of the left complement target region, among the left end regions of the left and right viewpoint pixels corresponding to the current stereoscopic image frame. A histogram indicating the intensity of the component is calculated.
  • the image processing unit 209 outputs the high and low frequency components from the right complement reference region, which is a region corresponding to the number of pixels of the right complement target region, in the right end portion of each left and right viewpoint pixel corresponding to the current stereoscopic image frame. A histogram indicating the intensity is calculated.
  • FIG. 12 illustrates the left complementary reference regions D1 (L) to D4 (L) and the right complementary reference regions D1 (R) to D4 (R) corresponding to the frames F1 to F4.
  • the image processing unit 209 determines whether or not the frequency of the high frequency component in the left complementary reference region corresponding to the current stereoscopic image frame exceeds a predetermined threshold value. If yes, go to S205, if no, go to S206.
  • the image processing unit 209 determines whether or not the frequency of the high frequency component in the right complement reference region corresponding to the current stereoscopic image frame exceeds a predetermined threshold value. If yes, go to S205, if no, go to S206.
  • the image processing unit 209 determines that the frequency of the high frequency component of the left complementary reference region corresponding to the current stereoscopic image frame exceeds a predetermined threshold, the image information of the left complementary reference region is stored in the left complementary reference region. By duplicating in the complement target area, the image information of the left complement target area is complemented.
  • the image processing unit 209 determines that the frequency of the high frequency component of the right complement reference region corresponding to the current stereoscopic image frame exceeds a predetermined threshold, the image processing unit 209 uses the right complement of the image information of the right complement reference region. By duplicating in the target area, the image information of the right complement target area is complemented.
  • This step is a process for making the complementation of image information inconspicuous by duplicating the characteristic pattern existing in the left and right complementary reference areas as they are in the left and right complementary target areas.
  • the image processing unit 209 determines that the frequency of the high frequency component of the left complementary reference region corresponding to the current stereoscopic image frame does not exceed a predetermined threshold, the image processing unit 209 calculates the density gradient from the image information of the left complementary reference region. Get information and color information.
  • the image processing unit 209 complements the image information of the left complement target area by extending the color information from the left complement reference area to the left complement target area according to the density gradient information.
  • the image processing unit 209 determines density gradient information and color from the image information of the right complement reference region. Get information.
  • the image processing unit 209 complements the image information of the right complement target area by extending the color information from the right complement reference area to the right complement target area according to the density gradient information.
  • This step is a process for making the complementation of image information inconspicuous by extending the gradation existing in the left and right complementation reference areas as they are to the complementation target area.
  • the density gradient information is a function that determines the density of each color according to the position of the pixel.
  • the image processing unit 209 sets a stereoscopic image frame one frame after the current current stereoscopic image frame as a new current stereoscopic image frame.
  • the current stereoscopic image frame is sequentially selected one by one from among all stereoscopic image frames after parallax adjustment.
  • the current stereoscopic image frames corresponding to the first to fourth loops of S201 to S207 are the stereoscopic image frames F1 to F4 shown in FIG. 12, respectively.
  • the display control unit 42 reproduces the stereoscopic video by sequentially displaying the stereoscopic image frames supplemented with the image information on the monitor 13 according to the output parallax determined in S108.
  • the image information is complemented to the positions of the reference lines LN (L) and LN (R).
  • the stereoscopic image frames all have a common size, and the size of the non-display area of the image does not change for each stereoscopic image frame, so that it is easy to view a stereoscopic video.
  • the complementation of the image information to the complement target area is performed by either extending the gradation or copying the image information. If the number of pixels in the complement target area is smaller than the threshold value or if there are few high frequency components characteristic in the complement reference area, the image information is complemented by extending the gradation. If the number of pixels in the complementary region is larger than the threshold and there are many high-frequency components characteristic of the complementary reference region, the image information is complemented with a copy of the complementary reference region. Thereby, it can prevent that a complementation object area
  • the image processing unit 209 detects a straight line from the left and right complementary reference regions of the current stereoscopic image frame.
  • Straight line detection can be performed by a known technique.
  • the left and right complementary reference regions are subjected to differential processing to extract edge components in the image and extract them.
  • Hough transform is performed on the point sequence of the edge component, a histogram is created according to the function value of the Hough transform, the peak point of the frequency of the histogram is detected, and the detected peak point in the complementary reference area is supported
  • the straight line component and its color are extracted.
  • the image processing unit 209 selects the detected linear components that reach the reference lines LN (L) and LN (R), and determines the selected linear components as the extension target straight line.
  • the image processing unit 209 obtains color information for each segmented region separated by a pair of extension target straight lines from the complementary reference region. Next, the image processing unit 209 extends the pair of extension target straight lines to the complement target area. When extending the target straight line, the color is kept the same. The image processing unit 209 replicates the color information in an extended segment area that is separated by the extended pair of extension target straight lines.
  • the image processing unit 209 may acquire density gradient information for each divided area, and may add gradation to each corresponding extended divided area according to the density gradient information.
  • FIG. 13 shows an example of the extension of the color for each straight line and its divided areas. In this way, by extending the line and color of the edge of the image to the area where the image is not displayed, it is possible to prevent the entire atmosphere of the stereoscopic video from being lost.
  • the reference lines LN (L) and LN (R) are set in accordance with the non-display area of the stereoscopic image frame having the largest parallax adjustment amount.
  • the reference lines LN (L) and The non-display area was complemented with LN (R) as the limit of the screen edge.
  • the image processing unit 209 sets the reference lines LN (L) and LN (R) according to the non-display area of the stereoscopic image frame having the smallest parallax adjustment amount, and in each stereoscopic image frame, the reference line LN ( The non-display area may be complemented with L) and LN (R) as limits.
  • the image processing unit 209 converts LN (L) corresponding to the right end line of the left non-display area of the stereoscopic image frame F3 and LN (R) corresponding to the left end line of the right non-display area to the stereoscopic image frame F1.
  • LN (L) corresponding to the right end line of the left non-display area of the stereoscopic image frame F3
  • LN (R) corresponding to the left end line of the right non-display area
  • the image processing unit 209 complements the non-display area existing inside the screen from LN (L) and LN (R) for each of the stereoscopic image frames F1 to F4. For example, in the stereoscopic image frame F1, since the inner region R1in exists on the screen inner side than LN (L) and LN (R), R1in is complemented.
  • the complementing method is the same as in the first embodiment.
  • the image processing unit 209 deletes the left and right viewpoint image partial regions existing outside the screen from LN (L) and LN (R) for each of the stereoscopic image frames F1 to F4. For example, in the stereoscopic image frame F1, since the outer region R1out is present on the screen outer side than LN (L) and LN (R), R1out is deleted and set as a non-display region.
  • outer regions R2out and R4out and the inner regions R2in and R4in respectively corresponding to the frames F2 and F4 are also deleted or complemented. It should be noted that image information is not complemented or deleted for F3 where the parallax adjustment amount is 0.
  • the image processing unit 209 may switch the complementary processing of the first embodiment or the third embodiment according to the moving image parallax width.
  • the image processing unit 209 performs the complementing process of the first embodiment. Since the complementary processing of the first embodiment does not delete the image, it is suitable for displaying the image while keeping the original state as much as possible. On the other hand, when the parallax for each stereoscopic image frame fluctuates greatly, if the supplement process of the third embodiment is executed, the amount of image information to be deleted increases, so the complement process of the first embodiment is preferable.
  • the image processing unit 209 performs the complementing process of the third embodiment.
  • the parallax for each stereoscopic image frame does not vary greatly, if the complementing process of the third embodiment is performed, the complementing target area also becomes small, the quality of the stereoscopic video can be kept high, and the processing amount is also small.
  • a stereoscopic image frame with a parallax adjustment amount of 0 is used as a reference for setting LN (L) and LN (R), the aspect ratio of each stereoscopic image frame after processing can be kept original.
  • the area to be complemented is not a gazing point, so it is considered that the impression of the entire stereoscopic video will not change significantly due to complementation.
  • the stereoscopic video input by the image input unit 201 is not limited to that directly output from the imaging means.
  • the media control unit 15 may read data from a medium such as the memory card 16 or may be received via a network.
  • the destination to which the image output unit 206 outputs the image for which the parallax adjustment has been completed is not limited to the display control unit 42 and the monitor 13, and the image may not be displayed immediately after the parallax adjustment.
  • the media control unit 15 may record the adjusted representative parallax for each stereoscopic image frame, that is, output parallax, as stereoscopic moving image data in association with each stereoscopic image frame on a medium such as the memory card 16.
  • the stereoscopic video data may be transmitted via a network.
  • each stereoscopic image frame can be a printed material such as a lenticular print.
  • the mode setting and timing of whether or not to operate the parallax adjustment process are arbitrary.
  • the parallax adjustment processing is not performed at the start of the shooting mode, but the parallax adjustment processing is started when the release button 14 is fully pressed.
  • the parallax adjustment processing is started when the stereoscopic video data of the memory card 16 is displayed on an external monitor 13 such as a television.
  • the image processing apparatus and the image processing method according to each of the above embodiments are programs applicable to an image processing apparatus or an image processing apparatus having a stereoscopic moving image display function, and can be read by a computer for performing the above processing. It is also possible to provide a simple program or a recording medium in which the program is stored.
  • parallax detection unit 202: parallax adjustment unit
  • 204 display allowable parallax width acquisition unit
  • 209 image processing unit

Abstract

　本発明の一態様は、画像処理装置が、立体動画の出力条件に従って前記立体動画の複数の立体画像フレームの各々の水平方向の視差を調整するステップと、視差調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部の左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用して、前記左右の補完対象領域の画像情報を補完するステップと、前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行する画像処理方法を提供する。

Description

画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
　本発明は、画像処理に関し、特に、立体動画の各立体画像フレームの両眼視差の調整後の画像の補完処理に関する。
　特許文献１によると、視差画像のシフトによる視差調整の結果、左眼画像と右眼画像の端にそれぞれ欠落部分が生じた場合、画像端調整部は、画像端の画素列を複製して水平画素数を補償する。
　また、表示されたオブジェクトが限界視差にくれば、視差制御部が以降の立体表示において当該適正視差を実現するよう視差画像を生成する。視差の制御は、三次元データに遡ってカメラパラメータを最適設定することで実現する。二次元画像生成部は、適正視差を満たすデプスＦｘｙを計算する。デプスの範囲をＫ１～Ｋ２とし、各画素のデプス値をＧｘｙとすると、Ｆｘｙ＝Ｊ１＋（Ｇｘｙ－Ｋ１）×（Ｊ２－Ｊ１）／（Ｋ２－Ｋ１）である。Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施す。
特開２００４－２２１６７０号公報
　視差を用いた立体動画は、適切な視差量で表示しないと、視聴者の疲労を誘発するおそれがある。適切な視差量は表示するディスプレイのサイズや視聴者の立体融合限界などによって変わるため、立体動画を構成する立体画像フレームごとに、それに合わせた視差調整を行う必要がある。
　立体画像フレームごとに個別に視差調整を行うと、立体画像フレームごとに左右の画像の視差方向のシフト量が異なる場合がある。図１６Ａから図１６Ｄは、視差調整後の左右画像と欠落部分（左右画像に写っていない部分）の関係を模式的に示す図である。図１６Ａから図１６Ｄは、それぞれ時系列的に連続する立体画像フレームＦ（１）からＦ（４）を示している。図１６Ａから図１６Ｄでは、実線の無地の矩形部分が左眼画像Ｌ（ｉ）（ｉ＝１～４）、破線の無地の矩形部分が右眼画像Ｒ（ｉ）（ｉ＝１～４）を表しており、左眼画像Ｌ（ｉ）および右眼画像Ｒ（ｉ）の左右の斜線部がそれぞれ欠落部分ＭＬ（ｉ）（ｉ＝１～４）およびＭＲ（ｉ）（ｉ＝１～４）を示している。なお、図１６Ａから図１６Ｄでは、理解の容易のため、左右画像Ｌ（ｉ）およびＲ（ｉ）は上下方向にずらして示されているが、実際には、左右の視差方向にのみずれている。図１６Ａから図１６Ｄに示すように、各フレームＦ（ｉ）の左眼画像Ｌ（ｉ）と右眼画像Ｒ（ｉ）（ｉ＝１～４）の端の欠落部分ＭＬ（ｉ）およびＭＲ（ｉ）が、立体画像フレームごとに異なっており、左右画像Ｌ（ｉ）およびＲ（ｉ）の視野（撮影される範囲）が異なっている。このため、立体動画の視聴者に違和感を与え、眼の疲労を誘発するおそれがある。このため、立体画像フレームにかかわらず、左右画像Ｌ（ｉ）およびＲ（ｉ）の視野（欠落部分の映像の範囲）を一致させた方が好ましい。
　特許文献１では、静止画像について、個別に処理することのみが記載されている。特許文献１に記載の方法では、各立体画像フレームごとに画像端の欠落部分の位置が変動するおそれがある。また、画像端の画素列を複製するだけであり、観察者に違和感を与えることが考えられる。
　本発明は、立体動画の各立体画像フレームの視差調整によって、各立体画像フレームごとに画像端の欠落の位置が変動するのを防止する。
　本発明の一態様は、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得する視差取得部と、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整する視差調整部と、前記視差調整部によって視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定する基準境界設定部と、各立体画像フレームにおいて、前記基準境界設定部の設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完する画像処理部と、前記画像処理部が前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記視差調整部が調整した視差に従って出力する出力部とを備える画像処理装置を提供する。
　基準境界設定部は、出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。
　基準境界設定部は、視差調整部による水平方向の視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。
　画像処理部は、左右の基準境界よりも出力面の外側に位置する左右の視点画像の画像情報を削除することが好ましい。
　画像処理部は、隣接領域の画像情報を補完対象領域に複製することにより画像情報を補完する第１の補完処理を実施することが好ましい。
　画像処理部は、隣接領域の色情報を補完対象領域に適用することにより画像情報を補完する第２の補完処理を実施することが好ましい。
　画像処理部は、隣接領域の色の濃度勾配情報に従って隣接領域の色を補完対象領域に延長することにより画像情報を補完することが好ましい。
　画像処理部は、左右の隣接領域の画像情報に含まれる直線を左右の補完対象領域に延長することにより画像情報を補完することが好ましい。
　画像処理部は、左右の隣接領域の直線で区切られる部分領域ごとの色情報を、左右の補完対象領域に延長された直線で区切られる部分領域ごとに適用することにより画像情報を補完することが好ましい。
　画像処理部は、隣接領域の画像情報が所定の基準を満たすか否かを判定し、判定結果に基づいて、第１の補完処理または第２の補完処理のいずれか一方を実施することが好ましい。
　画像処理部は、隣接領域の高周波数成分の頻度が所定の閾値を上回る場合、第１の補完処理を実施し、隣接領域の高周波数成分の頻度が所定の閾値を上回らない場合、第２の補完処理を実施することが好ましい。
　画像処理部は、左右の補完対象領域の画素数が所定の閾値を下回る場合、左右の隣接領域の色情報を左右の補完対象領域に適用することにより画像情報を補完することが好ましい。
　基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超える場合、出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。
　基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超えない場合、視差調整部による視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、左右の基準境界を設定することが好ましい。
　画像処理部は、左右の基準境界の近傍の画像情報を平滑化することが好ましい。
　本発明の一態様は、画像処理装置が、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行する画像処理方法を提供する。
　本発明の一態様は、画像処理装置が、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行するための画像処理プログラムを提供する。
　本発明の一態様は、コンピュータ読取可能な記録媒体であって、該記録媒体に格納された指令がプロセッサによって読み取られ実行された場合に、該プロセッサが、立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップとを実行する記録媒体を提供する。
　この発明によると、各立体画像フレームに設定された基準境界の内側にある画像情報の非存在領域である補完対象領域に対し、隣接領域の画像情報が適用されることで、各立体画像フレームの画像情報の非存在領域が共通の基準境界まで補完される。このため、各立体画像フレームの画像情報の非存在領域の位置およびサイズが統一され、ユーザは違和感なく立体動画を視覚できる。また、補完対象領域の補完は隣接領域の画像情報を適用することで行われるため、基準境界付近での画像情報の差異が少なく、ユーザに与える違和感が小さい。
デジタルカメラの正面斜視図 デジタルカメラの背面斜視図 デジタルカメラのブロック図 デジタルカメラのブロック図（つづき） 開散方向の視差の限界の模式図 モニタのサイズと表示許容最小視差の関係を示す図 視差調整処理のフローチャート 立体動画の代表視差－出力視差変換表の一例を示す図 視差幅調整の模式図 視差幅調整の模式図 負の方向への視差シフトの模式図 負の方向への視差シフトの模式図 視差幅調整後の視差シフトの模式図 視差幅調整後の視差シフトの模式図 正の方向への視差シフトの模式図 正の方向への視差シフトの模式図 画像端調整処理のフローチャート 各立体画像フレームに対応する非表示領域、補完対象領域の一例を示す図 直線とその区分領域ごとの色の延長の一例を示す図 視差調整量＝０の立体画像フレームに基づいて設定された基準線の一例を示す図 画像処理装置のブロック図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図 視差調整の結果生じた、立体画像フレームごとに異なる左右の画像の欠落部分の一例を示す図
　図１は、本発明の一実施形態であるデジタルカメラ１０の外観構成を示す正面斜視図である。図２は、そのデジタルカメラの一例の外観構成を示す背面斜視図である。
　デジタルカメラ１０は、複数の撮像部（図１では２つを例示）を備えており、同一被写体を複数視点（図１では左右２つの視点を例示）から撮影可能となっている。なお、本例では、説明の便宜のため２つの撮像部を備えた場合を例に説明するが、本発明はこれに限定されず、３つ以上の撮像部を備えた場合であっても同様に適用可能である。
　本例のデジタルカメラ１０のカメラボディ１１２は、矩形の箱状に形成されている。カメラボディ１１２の正面には、図１に示すように、一対の撮影光学系１１Ｒ、１１Ｌと、ストロボ１１６が設けられている。また、カメラボディ１１２の上面には、レリーズボタン１４、電源／モードスイッチ１２０、モードダイヤル１２２等が設けられている。また、カメラボディ１１２の背面には、図２に示すように、液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などで構成されたモニタ１３、ズームボタン１２６、十字ボタン１２８、ＭＥＮＵ／ＯＫボタン１３０、ＤＩＳＰボタン１３２、ＢＡＣＫボタン１３４等が設けられている。モニタ１３はデジタルカメラ１０に内蔵されていてもよいし外部機器でもよい。
　左右一対の撮影光学系１１Ｒ、１１Ｌは、それぞれ沈胴式のズームレンズ（図３の１８Ｒ、１８Ｌ）を含んで構成されており、デジタルカメラ１０の電源をＯＮすると、カメラボディ１１２から繰り出される。なお、撮影光学系におけるズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な説明を省略する。
　モニタ１３は、半円筒状のレンズ群を有したいわゆるレンチキュラレンズが前面に配置されたカラー液晶パネル等の表示装置である。このモニタ１３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）として利用される。また、撮影時には、撮像素子で捉えた画像がスルー表示され、電子ファインダとして利用される。なお、モニタ１３の立体画像の表示方式は、パララックスバリア方式に限られない。例えば、アナグリフ方式、偏光フィルタ方式、液晶シャッタ方式など、めがねを利用した立体画像の表示方式でもよい。
　レリーズボタン１４は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル１２２またはメニューによる静止画撮影モード選択時）、このレリーズボタン１４を半押しすると撮影準備処理、すなわち、ＡＥ（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ：自動露出）、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ：自動焦点合わせ）、ＡＷＢ（Ａｕｔｏｍａｔｉｃ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、立体動画撮影時（例えば、モードダイヤル１２２またはメニューにより立体動画撮影モード選択時）、このレリーズボタン１４を全押しすると、立体動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１４を全押ししている間、立体動画の撮影を行い、全押しを解除すると、撮影を終了するようにもできる。なお、静止画撮影専用のレリーズボタンおよび立体動画撮影専用のレリーズボタンを設けてもよい。
　電源／モードスイッチ１２０（電源スイッチ及びモードスイッチ）は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替えるための操作部材として機能する。モードダイヤル１２２は、撮影モードの設定に用いられる。デジタルカメラ１０は、このモードダイヤル１２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。
　ズームボタン１２６は、撮影光学系１１Ｒ、１１Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。十字ボタン１２８は、上下左右４方向に押圧操作可能に設けられており、各方向の押圧操作に対して、カメラの設定状態に応じた機能が割り当てられる。ＭＥＮＵ／ＯＫボタン１３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられる。ＤＩＳＰボタン１３２は、モニタ１３の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン１３４は入力操作のキャンセル等の指示の入力に用いられる。
　図３Ａおよび図３Ｂは、デジタルカメラ１０の要部を示すブロック図である。
　デジタルカメラ１０は、右視点用の撮影光学系１１Ｒおよび撮像素子２９Ｒを有する右視点用の撮像部と、左視点用の撮影光学系および撮像素子２９Ｌを有する左視点用の撮像部を備える。
　２つの撮影光学系１１（１１Ｒ、１１Ｌ）は、それぞれズームレンズ１８（１８Ｒ、１８Ｌ）、フォーカスレンズ１９（１９Ｒ、１９Ｌ）および絞り２０（２０Ｒ、２０Ｌ）を有する。これらのズームレンズ１８、フォーカスレンズ１９および絞り２０は、それぞれズームレンズ制御部２２（２２Ｒ、２２Ｌ）、フォーカスレンズ制御部２３（２３Ｒ、２３Ｌ）および絞り制御部２４（２４Ｒ、２４Ｌ）により駆動される。各制御部２２、２３、２４は、ステッピングモータからなり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２６に接続された不図示のモータドライバから与えられる駆動パルスにより制御される。
　２つの撮影光学系１１（１１Ｒ、１１Ｌ）の背後には、それぞれ、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ（以下単に「ＣＣＤ」という）２９（２９Ｒ、２９Ｌ）が配置されている。なお、ＣＣＤ２９の代りに、ＭＯＳ（ｍｅｔａｌ－ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサを用いるようにしてもよい。ＣＣＤ２９は、周知のように、複数の光電変換素子が並べられた光電変換面を有している。この光電変換面に撮影光学系１１を介して被写体光が入射することにより、被写体像が結像される。ＣＣＤ２９には、ＣＰＵ２６によって制御されるタイミングジェネレータ：ＴＧ３１（３１Ｒ、３１Ｌ）が接続される。このＴＧ３１から入力されるタイミング信号（クロックパルス）により、電子シャッタのシャッタ速度（各光電変換素子の電荷蓄積時間である）が決定される。
　ＣＣＤ２９から出力された撮像信号は、アナログ信号処理回路３３（３３Ｒ、３３Ｌ）に入力される。アナログ信号処理回路３３は、相関２重サンプリング回路（ＣＤＳ）、増幅器（ＡＭＰ）などを有する。ＣＤＳは、撮像信号から各画素の蓄積電荷時間に対応したＲ、Ｇ、Ｂの画像データを生成する。ＡＭＰは、生成された画像データを増幅する。
　ＡＭＰは、ＣＣＤ２９の感度を調節する感度調節部として機能する。ＣＣＤ２９のＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度は、ＡＭＰのゲインによって決定される。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）は、増幅された画像データをアナログからデジタルに変換する。Ａ／Ｄ変換器３６（３６Ｒ、３６Ｌ）から出力されたデジタルの画像データは、画像入力コントローラ３８（３８Ｒ、３８Ｌ）を介して、作業用のメモリであるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ　Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３９によりそれぞれ右の視点の画像データ、左の視点の画像データとして一時的に記憶される。
　デジタル信号処理部４１は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記憶させる。デジタル信号処理部４１による画像処理済みの画像データは、ＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６５にスルー画として取得されたのち、表示制御部４２で映像出力用のアナログ信号に変換され、モニタ１３に表示される。また、レリーズボタン１４の全押しに伴って取得された画像処理済みの画像データは、圧縮伸張処理部４３で所定の圧縮形式（例えば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式）で圧縮された後、メディア制御部１５を経由して、記録用画像としてメモリカード１６に記録される。
　操作部２５は、デジタルカメラ１０の各種操作を行うためのものであり、図１および図２に示した各種のボタン・スイッチ１２０～１３４を含んでいる。
　ＣＰＵ２６は、デジタルカメラ１０を統括的に制御するために設けられている。ＣＰＵ２６は、フラッシュＲＯＭ（ｒｅａｄ－ｏｎｌｙ　ｍｅｍｏｒｙ）６０やＲＯＭ６１に記憶された各種制御用のプログラムや設定情報、姿勢検出センサ７３や操作部２５からの入力信号などに基づいて、バッテリー７０、電源制御部７１、時計部７２など各部を制御する。
　また、デジタルカメラ１０には、ＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）／ＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）制御を行うＡＥ／ＡＷＢ制御部４７、複数の立体画像フレームの各々の代表視差の検出を行う視差検出部４９が設けられている。また、デジタルカメラ１０は、フラッシュ５の発光タイミングや発光量を制御するフラッシュ制御部２８を備える。
　ＡＥ／ＡＷＢ制御部４７は、レリーズボタン１４が半押しされたときに、ＣＣＤ２９により得られた画像（撮像画像）を解析して、被写体の輝度情報等に基づき、絞り２０の絞り値およびＣＣＤ２９の電子シャッタのシャッタ速度を算出する。そして、これらの算出結果に基づき、ＡＥ／ＡＷＢ制御部４７は、絞り制御部２４を介して絞り値を制御し、ＴＧ３１を介してシャッタ速度を制御する。
　例えば、２つの撮影光学系１１Ｒ、１１Ｌのうち一方の撮影光学系のＣＣＤ２９Ｒまたは２９Ｌにより得られた撮像画像（右視点画像または左視点画像）に基づいて、両方の撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出する。両方の撮影光学系１１Ｒおよび１１Ｌにより得られた撮像画像（右視点画像および左視点画像）に基づいて、それぞれの撮影光学系１１Ｒ、１１Ｌの絞り値およびシャッタ速度を算出してもよい。
　ＡＦ制御部４５は、レリーズボタン１４が半押しされたときに、フォーカスレンズ１９Ｒ、１９Ｌを光軸方向に沿って移動させてコントラスト値を算出するＡＦサーチ制御、および、コントラスト値に基づく合焦レンズ位置にフォーカスレンズ１９Ｒ、１９Ｌを移動させる合焦制御を行う。ここで、「コントラスト値」は、ＣＣＤ２９Ｒ、２９Ｌにより得られた撮像画像の所定の合焦評価値算出領域内の画像信号に基づいて算出される。「合焦レンズ位置」は、フォーカスレンズ１９Ｒ、１９Ｌが少なくとも主要被写体に合焦するフォーカスレンズ１９Ｒ、１９Ｌの位置である。
　例えば、２つの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌのうち少なくとも一方を、モータドライバ２７Ｒまたは２７Ｌの駆動により移動させながら、一方の撮影光学系１１Ｒまたは１１Ｌの撮像画像（右視点画像または左視点画像）にて、コントラスト値を算出する。そのコントラスト値に基づき、２つの撮影光学系１１Ｒ、１１Ｌのフォーカスレンズ１９Ｒ、１９Ｌの合焦レンズ位置をそれぞれ決定し、モータドライバ２７Ｒおよび２７Ｌをそれぞれ駆動して、各フォーカスレンズ１９Ｒ、１９Ｌをそれぞれの合焦レンズ位置に移動させる。両方の撮影光学系１１Ｒ、１１ＬにてそれぞれＡＦサーチを行って、それぞれの合焦レンズ位置を決定してもよい。
　姿勢検出センサ７３は、撮影光学系１１Ｒ、１１Ｌが予め決められた姿勢に対して回転された方向および角度を検出する。
　手ブレ制御部６２は、撮影光学系１１Ｒ、１１Ｌに設けられた図示しない補正レンズをモータによって駆動することで、姿勢検出センサ７３の検出した光軸のずれを補正して手ブレを防止する。
　ＣＰＵ２６は、撮影光学系１１Ｒ、１１Ｌの被写体像に対応する左右の画像データから顔認識を行うよう顔認識部６４を制御する。顔認識部６４は、ＣＰＵ２６の制御に応じて顔認識を開始し、左右の画像データからそれぞれ顔認識を行う。顔認識部６４は、顔認識の結果、左右の画像データからそれぞれから認識された顔領域の位置情報を含む顔領域情報をＳＤＲＡＭ３９に記憶する。顔認識部６４は、テンプレートマッチングなど公知の方法により、ＳＤＲＡＭ３９に記憶された画像から顔領域を認識することができる。なお被写体の顔領域とは、撮像画像中の人物や動物の顔領域が挙げられる。
　顔対応判定部６６は、右の画像データから認識された顔領域と左の画像データから認識された顔領域の対応関係を判定する。すなわち、顔対応判定部６６は、左右の画像データからそれぞれから認識された顔領域の位置情報同士が最も近接する顔領域の組を特定する。そして、顔対応判定部６６は、当該組を構成する顔領域同士の画像情報をマッチングし、両者の同一性の確度が所定の閾値を超えた場合、当該組を構成する顔領域同士は対応関係にあると判定する。
　視差検出部４９は、左右画像データの所定の領域間の代表視差を算出する。
　例えば、代表視差の算出は、次のようにする。まず、視差検出部４９は、組を構成する顔領域間で対応する特定の点（対応点）間の位置の差（対応点間距離）を算出する。そして、視差検出部４９は、当該組の顔領域に含まれる点の視差の平均値を算出し、これを当該組の代表視差とする。視差検出部４９は、対応関係にあると判定された顔領域が複数存在する場合、それらの顔領域のうち、主要な顔領域についてのみ代表視差の算出を行い、この主要な顔領域の代表視差をＳＤＲＡＭ３９に記憶する。主要な顔領域とは、画面中央に最も近い顔領域、合焦評価値算出領域に最も近い顔領域、サイズの最も大きい顔領域などである。
　あるいは、視差検出部４９は、左右の画像で対応関係にある所定の領域、例えば、画像中央領域や合焦評価値算出領域内の対応点間の視差の平均値を算出し、これを当該組の代表視差とする。
　対応関係にある所定の領域の位置情報とその代表視差は、左右の画像データと対応づけられてＳＤＲＡＭ３９に記憶される。例えば、対応関係にある顔領域の位置情報とその代表視差は、画像データの付帯情報（ヘッダ、タグ、メタ情報など）として記憶される。画像データがメモリカード１６に記録用画像として圧縮記録される際は、例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）などのタグ情報として、この顔領域の位置情報と代表視差が合わせて記録用画像の付帯情報に記録される。
　表示許容視差幅取得部２０４は、表示許容最小視差Ｄｍｉｎおよび表示許容最大視差Ｄｍａｘを取得し、視差調整部２０２に入力する。取得の態様は任意であり、操作部２５から入力されてもよいし、ＲＯＭ６１や立体動画データの付帯情報などから入力してもよいし、モニタ１３から制御情報として入力されてもよい。
　表示許容最大視差Ｄｍａｘは、開散方向の視差（モニタ１３上の立体画像が引っ込む方向）の限界を規定する。図４Ａに例示するように、人の目は外側には開かないので、瞳孔間距離を超える視差を有する左右像は融合せず、視聴者が１つの像として認識できないので、眼精疲労を引き起こす。子供の視聴者を考慮すると、瞳孔間距離は、約５ｃｍであるので、この距離に相当するモニタ１３のピクセル数が表示許容最大視差Ｄｍａｘとなる。例えば、モニタ１３が１６：９インチサイズのハイビジョンテレビであり、解像度が１９２０×１０８０とすると、モニタ１３のサイズごとの表示許容最小視差Ｄｍｉｎは、図４Ｂのようになる。デジタルカメラや携帯電話の内蔵画面のようにモニタ１３のサイズが小さければ、開散方向の視差は問題となりにくいが、テレビのように表示面のサイズが大きいモニタ１３の場合は、開散方向の視差が問題になる。
　表示許容最小視差Ｄｍｉｎは、過大視差（モニタ１３上の立体画像が飛び出す方向）の限界を規定する。表示許容最小視差Ｄｍｉｎは表示許容最大視差Ｄｍａｘと異なり瞳孔間距離から一意に決定することができない。例えば、表示許容最小視差Ｄｍｉｎを決定する出力条件としては、（１）モニタ１３のサイズ、（２）モニタ１３の解像度、（３）観視距離（視聴者からモニタ１３までの距離）、（４）視聴者個人の立体融合限界がある。
　標準的な例として、（２）ハイビジョンテレビのモニタ１３の解像度は１９２０×１０８０、（３）観視距離はモニタ１３の画面高さの３倍である。これらを前提とすると、（４）一般的な立体融合限界は５７ピクセル（視差角１度程度）である。（１）～（４）の情報はユーザ操作やモニタ１３の設定情報などに基づいて外部から入力されてもよい。例えば、ユーザは操作部２５を介して、自分の観ているモニタ１３の解像度、観視距離、立体融合限界を入力できる。ただし、（２）～（４）について特に外部から入力がない場合、上記標準的な例をＲＯＭ６１などから読み出して視差調整部２０２に入力する。
　視差調整部２０２は、左右の画像データの代表視差の最大値および最小値を、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲からなる表示許容視差幅に収める視差調整を行う。この視差調整は、各代表視差を一律なシフト量で正（上）または負（下）の方向にシフトすることおよび／または各代表視差を一律な縮減率で縮減することを含む。
　図５は、視差調整処理のフローチャートを示す。この処理をデジタルカメラ１０の各ブロックに実行させるためのプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記憶媒体に記憶されている。
　Ｓ１０１では、視差調整部２０２は、ＳＤＲＡＭ３９またはメモリカード１６に記憶された立体動画の各立体画像フレームの左右の画像データと、当該立体動画の付帯情報から、各立体画像フレームごとの代表視差の読み出しを試みる。
　Ｓ１０２では、表示許容視差幅取得部２０４は、表示許容視差幅をＳＤＲＡＭ３９に取得する。表示許容視差幅は、表示許容最小視差Ｄｍｉｎから表示許容最大視差Ｄｍａｘまでの範囲をいう。表示許容視差幅の取得元は、操作部２５、内蔵のＲＯＭ６１、外部のモニタ１３や電子機器などを含む。
　Ｓ１０３では、視差調整部２０２は、各立体画像フレームの代表視差から、代表視差の最大値ｐｍａｘと代表視差の最小値ｐｍｉｎを特定し、立体動画視差幅＝ｐｍａｘ－ｐｍｉｎを計算する。そして、視差調整部２０２は、立体動画視差幅＜表示許容視差幅であるか否かを判断する。Ｙｅｓの場合はＳ１０５に進み、Ｎｏの場合はＳ１０４に進む。
　Ｓ１０４では、視差調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差を調整する。
　Ｓ１０５では、視差調整部２０２は、代表視差の最大値ｐｍａｘ＞表示許容最大視差Ｄｍａｘであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合はＳ１０６に進む。
　Ｓ１０６では、視差調整部２０２は、代表視差の最小値ｐｍｉｎ＜表示許容最小視差Ｄｍｉｎであるか否かを判断する。Ｙｅｓの場合はＳ１０７に進み、Ｎｏの場合はＳ１０８に進む。
　Ｓ１０７では、視差調整部２０２は、立体動画視差幅が表示許容視差幅に収まるよう各立体画像フレームの代表視差をシフトする。
　Ｓ１０８では、視差調整部２０２は、ＲＯＭ６１などに記憶されている代表視差－出力視差変換表をＳＤＲＡＭ３９に読み出す。視差調整部２０２は、ＲＯＭ６１などに記憶された代表視差－出力視差変換表に従って、各立体画像フレームの代表視差に対応する出力視差を決定する。
　図６は、代表視差－出力視差変換表の一例を示す。図６に示す表は、各立体画像フレームの任意の値の代表視差に対応する整数の出力視差を規定する。例えば、この表によると、Ｍ～Ｍ＋ｔの代表視差はＮの出力視差，Ｍ～Ｍ＋２ｔの代表視差はＮ＋１の出力視差に対応する。なお、画像の最小表示単位は１画素であるため、画素単位で出力視差を示すと整数となる。
　図７Ａから図１０Ｂは、本処理による視差調整の様子を模式的に示す。
　図７Ａおよび図７Ｂは視差幅調整の一例を示す。図７Ａのように、立体動画視差幅が表示許容視差幅を超える場合、図７Ｂのように、立体動画視差幅が表示許容視差幅の範囲に収まるよう、各立体画像フレームの代表視差を一律な縮減率（Ｘ－Ｙ）／Ｘで縮減する。
　Ｓ１０３からＳ１０７に至るパターンは、（１）Ｓ１０３でＹｅｓかつＳ１０５でＹｅｓ、（２）Ｓ１０３でＮｏかつＳ１０５でＹｅｓ、（３）Ｓ１０３でＹｅｓかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、（４）Ｓ１０３でＮｏかつＳ１０５でＮｏかつＳ１０６でＹｅｓ、の４パターンがある。
　図８Ａおよび図８Ｂは、パターン（１）すなわち視差幅調整のない場合の負の方向へのシフトを示す。
　例えば、図８Ａに示すように、代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超えるが、立体動画視差幅は表示許容視差幅未満の場合、図８Ｂに示すように、各立体画像フレームの代表視差を一律な幅Ｗ１だけ負の方向にシフトし、全ての立体画像フレームの代表視差を表示許容視差幅の範囲に収める調整を行う。ここで、Ｗ１＝ｐｍｉｎ－Ｄｍｉｎである。
　図９Ａおよび図９Ｂは、パターン（２）すなわち視差幅調整のある場合の負の方向へのシフトを示す。
　図９Ａに示すように、視差幅調整後の代表視差の最大値ｐｍａｘが表示許容最大視差Ｄｍａｘを超える場合も、図９Ｂに示すように、各立体画像フレームの代表視差を一律な幅Ｗ２だけ負の方向にシフトする。ここで、Ｗ２＝ｐｍｉｎ－Ｄｍｉｎである。
　図１０Ａおよび図１０Ｂは、パターン（３）すなわち視差幅調整のない場合の正の方向へのシフトを示す。
　あるいは、図１０Ａに示すように、代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎを下回る場合、図１０Ｂに示すように、各立体画像フレームの代表視差を一律な幅Ｗ３だけ正の方向にシフトする。ここで、Ｗ２＝Ｄｍｉｎ－ｐｍｉｎである。
　パターン（４）の図示は省略するが、視差幅調整後の代表視差の最小値ｐｍｉｎが表示許容最小視差Ｄｍｉｎを下回る場合も、同様に各立体画像フレームの代表視差を一律な幅だけ正の方向にシフトする。
　図１１は、画像端調整処理のフローチャートを示す。この処理は、上記の視差調整処理の完了後に実行される。この処理をデジタルカメラ１０の各ブロックに実行させるためのプログラムはＲＯＭ６１などのコンピュータ読み取り可能な記憶媒体に記憶されている。
　Ｓ２０１では、画像処理部２０９は、各立体画像フレームに対する視差調整処理の結果、モニタ１３の表示面内に生じた、各立体画像フレームに対応する右非表示領域の中から、最小の横幅を有する右最小非表示領域を特定する。また、画像処理部２０９は、各立体画像フレームに対する視差調整処理の結果、モニタ１３の表示面内に生じた、各立体画像フレームに対応する左非表示領域の中から、最小の横幅を有する左最小非表示領域を特定する。
　ここで、非表示領域とは、モニタ１３の表示面内において、左右の視点画像の画像情報が存在しない領域である。また、右非表示領域とは、表示面内の左視点画像よりも右側に位置する非表示領域であり、左非表示領域とは、表示面内の右視点画像よりも左側に位置する非表示領域である。
　例えば、図１２のような、立体画像フレームＦ１～Ｆ４に対応する左非表示領域／右非表示領域は、ＢＲ１（Ｌ）／ＢＲ１（Ｒ）～ＢＲ４（Ｌ）／ＢＲ４（Ｒ）である。ＢＲ１（Ｌ）／ＢＲ１（Ｒ）～ＢＲ４（Ｌ）／ＢＲ４（Ｒ）の中では、立体画像フレームＦ１に対応する非表示領域ＢＲ１（Ｌ）／ＢＲ１（Ｒ）の横幅すなわちモニタ１３の表示面の水平方向の長さが最小である。よって、画像処理部２０９は、左最小非表示領域としてＢＲ１（Ｌ）を特定し、右最小非表示領域としてＢＲ１（Ｒ）を特定する。
　次に、画像処理部２０９は、左最小非表示領域の右端線ＬＮ（Ｌ）と右最小非表示領域の左端線ＬＮ（Ｒ）を、それぞれ各立体画像フレームに共通の左基準線および右基準線に設定する。
　次に、画像処理部２０９は、立体画像フレームごとに、画面左側の非表示領域のうち左基準線ＬＮ（Ｌ）よりも表示面中央よりの部分領域である左補完対象領域を特定する。また画像処理部２０９は、立体画像フレームごとに、画面右側の非表示領域のうち右基準線ＬＮ（Ｒ）よりも表示面中央よりの部分領域である右補完対象領域を特定する。
　図１２は、各フレームＦ１～Ｆ４に対応する左補完対象領域ＥＬ１（Ｌ）～ＥＬ４（Ｌ）と右補完対象領域ＥＬ１（Ｒ）～ＥＬ４（Ｒ）を例示している。
　そして、画像処理部２０９は、カレント立体画像フレームに対応する左補完対象領域の画素数と右補完対象領域の画素数を取得する。
　Ｓ２０２では、画像処理部２０９は、カレント立体画像フレームの左補完対象領域の画素数と右補完対象領域の画素数が、ともに所定の閾値を超えているか否かを判断する。Ｙｅｓの場合はＳ２０３、Ｎｏの場合はＳ２０６に進む。なお、本処理の開始時、カレント立体画像フレームは、立体動画の最初の立体画像フレームであり、以後Ｓ２０８が繰り返されるごとにカレント立体画像フレームが切り替わる。
　Ｓ２０３では、画像処理部２０９は、カレント立体画像フレームに対応する左右各視点画素の左端部の領域のうち、左補完対象領域の画素数に相当する領域である左補完基準領域から、高低各周波数成分の強度を示すヒストグラムを算出する。
　また画像処理部２０９は、カレント立体画像フレームに対応する左右各視点画素の右端部の領域のうち、右補完対象領域の画素数に相当する領域である右補完基準領域から、高低各周波数成分の強度を示すヒストグラムを算出する。
　図１２は、各フレームＦ１～Ｆ４に対応する左補完基準領域Ｄ１（Ｌ）～Ｄ４（Ｌ）と右補完基準領域Ｄ１（Ｒ）～Ｄ４（Ｒ）を例示している。
　Ｓ２０４では、画像処理部２０９は、カレント立体画像フレームに対応する左補完基準領域の高周波数成分の頻度が所定の閾値を上回っているか否かを判断する。Ｙｅｓの場合はＳ２０５、Ｎｏの場合はＳ２０６に進む。
　また、画像処理部２０９は、カレント立体画像フレームに対応する右補完基準領域の高周波数成分の頻度が所定の閾値を上回っているか否かを判断する。Ｙｅｓの場合はＳ２０５、Ｎｏの場合はＳ２０６に進む。
　Ｓ２０５では、画像処理部２０９は、カレント立体画像フレームに対応する左補完基準領域の高周波数成分の頻度が所定の閾値を上回っていると判断した場合、当該左補完基準領域の画像情報を当該左補完対象領域に複製することで、当該左補完対象領域の画像情報を補完する。
　あるいは、画像処理部２０９は、カレント立体画像フレームに対応する右補完基準領域の高周波数成分の頻度が所定の閾値を上回っていると判断した場合、当該右補完基準領域の画像情報を当該右補完対象領域に複製することで、当該右補完対象領域の画像情報を補完する。
　本ステップは、左右の補完基準領域に存在する特徴的な模様を左右の補完対象領域にそのまま複製することで、画像情報の補完を目立たなくするための処理である。
　Ｓ２０６では、画像処理部２０９は、カレント立体画像フレームに対応する左補完基準領域の高周波数成分の頻度が所定の閾値を上回っていないと判断した場合、当該左補完基準領域の画像情報から濃度勾配情報と色情報を取得する。画像処理部２０９は、その濃度勾配情報に従って、当該色情報を左補完基準領域から左補完対象領域まで延長することで、当該左補完対象領域の画像情報を補完する。
　画像処理部２０９は、カレント立体画像フレームに対応する右補完基準領域の高周波数成分の頻度が所定の閾値を上回っていないと判断した場合、当該右補完基準領域の画像情報から濃度勾配情報と色情報を取得する。画像処理部２０９は、その濃度勾配情報に従って、当該色情報を右補完基準領域から右補完対象領域まで延長することで、当該右補完対象領域の画像情報を補完する。
　本ステップは、左右の補完基準領域に存在するグラデーションをそのまま補完対象領域に延長することで、画像情報の補完を目立たなくするための処理である。なお、典型的には、濃度勾配情報は画素の位置に応じた各色の濃度を決める関数である。
　Ｓ２０８では、画像処理部２０９は、新たなカレント立体画像フレームとして、現在のカレント立体画像フレームよりも１フレーム分後の立体画像フレームを設定する。カレント立体画像フレームは、視差調整後の全立体画像フレームの中から１つずつ順次選択される。例えば、Ｓ２０１～Ｓ２０７の第１～４回目のループに対応するカレント立体画像フレームは、それぞれ図１２に示した立体画像フレームＦ１～Ｆ４となる。
　Ｓ２０９では、表示制御部４２は、Ｓ１０８で決定された出力視差に従い、画像情報の補完された各立体画像フレームを順次モニタ１３に表示することで立体動画を再生する。
　なお、Ｓ２０５またはＳ２０６のいずれで補完を実行する場合も、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）の近傍の画像情報に対して平滑化処理を行い、元々の視点画像と補完された画像の間の境界部分にぼかしを与えることが好ましい。
　以上の処理により、視差調整の結果、各立体画像フレームの外側に生じた非表示領域では、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）の位置まで統一して画像情報が補完される。この結果、立体画像フレームは全て共通したサイズとなり、立体画像フレームごとに画像の非表示領域のサイズが変動することがなくなるので、立体動画が観やすくなる。
　さらに、補完対象領域への画像情報の補完は、グラデーションの延長か、画像情報のコピーのいずれかで行われる。補完対象領域の画素数が閾値より小さいか、補完基準領域に特徴的な高周波成分が少なければ、グラデーションの延長で画像情報が補完される。また補完領域の画素数が閾値より大きく、かつ補完基準領域に特徴的な高周波成分が多ければ、補完基準領域のコピーで画像情報が補完される。これにより、補完対象領域が不自然に目立つのを防げる。
　＜第２実施形態＞
　第１実施形態のＳ２０６において、補完基準領域の中に、補完対象領域に向けて延びる線分がある場合は、これを検出し、線分で区切られた領域ごとに色情報の延長を行う。これにより、補完対象領域と補完基準領域の統一感が増し、補完対象領域が不自然に目立つのをさらに効果的に防げる。
　具体的には、画像処理部２０９は、カレント立体画像フレームの左右の補完基準領域から、直線を検出する。直線検出は公知の技術で行うことができる。例えば、特許公開２００８－４２８００号公報・特開平６－３１４３３９号公報に記載された方法のように、左右の補完基準領域に対して微分処理を施して画像中のエッジ成分を抽出し、抽出されたエッジ成分の点列に対してハフ変換を施し、ハフ変換の関数値に従うヒストグラムを作成し、そのヒストグラムの頻度のピーク点を検出して、補完基準領域中からその検出されたピーク点に対応する直線成分とその色を抽出する。
　画像処理部２０９は、検出された直線成分のうち、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）に達するものを選別し、選別した直線成分を延長対象直線と判定する。
　画像処理部２０９は、補完基準領域の中から、一対の延長対象直線で区切られた区分領域ごとに、色情報を取得する。次に、画像処理部２０９は、当該一対の延長対象直線を補完対象領域に延長する。延長対象直線の延長の際、色は同じものに保たれる。画像処理部２０９は、当該色情報を、当該延長後の一対の延長対象直線で区切られた延長区分領域に複製する。
　さらに、画像処理部２０９は、区分領域ごとに、濃度勾配情報を取得し、この濃度勾配情報に従って対応する延長区分領域ごとにグラデーションを付してもよい。
　図１３は、直線とその区分領域ごとの色の延長の一例を示す。このように、画像の表示されない領域に、画像の端の線と色を延長することで、立体動画の全体の雰囲気をくずすことが防がれる。
　＜第３実施形態＞
　第１実施形態では、最も視差調整量の大きい立体画像フレームの非表示領域に合わせて基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を設定し、各立体画像フレームにおいて、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を画面端の限界として非表示領域を補完していた。
　その代わり、画像処理部２０９は、最も視差調整量の小さい立体画像フレームの非表示領域に合わせて基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を設定し、各立体画像フレームにおいて、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）を限度として非表示領域を補完してもよい。
　例えば、図１４では、立体画像フレームＦ１～Ｆ４のうち、Ｆ３の視差調整量＝０が最も小さい。そこで、画像処理部２０９は、立体画像フレームＦ３の左非表示領域の右端線に相当するＬＮ（Ｌ）と、右非表示領域の左端線に相当するＬＮ（Ｒ）を、それぞれ立体画像フレームＦ１～Ｆ４に共通の左右の基準線に設定する。
　画像処理部２０９は、立体画像フレームＦ１～Ｆ４の各々について、ＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面内側に存在する非表示領域を補完する。例えば、立体画像フレームＦ１では、内側領域Ｒ１ｉｎがＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面内側に存在するため、Ｒ１ｉｎを補完する。補完の方法は第１実施形態と同様である。
　さらに、基準線ＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面外側に存在する左右の視点画像の画像情報は削除されることが好ましい。画像処理部２０９は、立体画像フレームＦ１～Ｆ４の各々について、ＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面外側に存在する左右の視点画像の部分領域を削除する。例えば、立体画像フレームＦ１では、外側領域Ｒ１ｏｕｔがＬＮ（Ｌ）およびＬＮ（Ｒ）よりも画面外側に存在するため、Ｒ１ｏｕｔを削除し、非表示領域とする。
　同様に、各フレームＦ２、Ｆ４にそれぞれ対応する外側領域Ｒ２ｏｕｔ、Ｒ４ｏｕｔならびに内側領域Ｒ２ｉｎ、Ｒ４ｉｎもそれぞれ削除または補完される。なお視差調整量が０のＦ３には画像情報の補完も削除もされない。
　さらに、画像処理部２０９は、動画視差幅に応じて、第１実施形態または第３実施形態の補完処理を切り替えてもよい。
　例えば、画像処理部２０９は、ある立体動画の動画視差幅が、所定の閾値を超える場合、第１実施形態の補完処理を実行する。第１実施形態の補完処理は画像の削除がないため、画像のオリジナルの状態をなるべく保ったまま表示するのに適している。逆に、立体画像フレームごとの視差が大きく変動する場合に、第３実施形態の補完処理を実行すると、画像情報の削除量が増えてしまうため、第１実施形態の補完処理が好ましい。
　一方、画像処理部２０９は、ある立体動画の動画視差幅が、所定の閾値を超えない場合、第３実施形態の補完処理を実行する。立体画像フレームごとの視差が大きく変動しない場合、第３実施形態の補完処理を行えば、補完対象領域も小さくなり、立体動画の品質を高く保てるし、処理量も少ない。さらに、視差調整量が０の立体画像フレームをＬＮ（Ｌ）およびＬＮ（Ｒ）の設定基準とすれば、処理後の各立体画像フレームのアスペクト比をオリジナルのままに保つことができる。
　いずれの方法で補完するにせよ、補完対象領域は注視点ではないので、補完によって立体動画全体の印象が大きく変わることはないと考えられる。
　なお、上記の処理を実行するのに必要なブロックは、デジタルカメラ以外の電子機器に備えられていてもよい。例えば、図１５に示すような、ＣＰＵ２６、ＶＲＡＭ６５、ＳＤＲＡＭ３９、フラッシュＲＯＭ６０、ＲＯＭ６１、圧縮伸張処理部４３、メディア制御部１５、視差検出部４９、視差調整部２０２、画像入力部２０１（例えば、画像入力コントローラ３８、メディア制御部１５など）、表示許容視差幅取得部２０４、画像出力部２０８（例えば、モニタ１３、メディア制御部１５など）、画像処理部２０９を備えた画像処理装置がこの処理を実行することもできる。
　画像入力部２０１の入力する立体動画は、撮像手段から直接出力されたものに限られない。例えば、メディア制御部１５がメモリカード１６などのメディアから読み出したものや、ネットワーク経由で受信したものでもよい。
　画像出力部２０６が視差調整の完了した画像を出力する先は、表示制御部４２およびモニタ１３に限られず、画像は視差調整後に即時に表示されなくてもよい。例えば、メディア制御部１５は、各立体画像フレームごとの調整後の代表視差すなわち出力視差を各立体画像フレームと対応づけた立体動画データとしてメモリカード１６などのメディアに記録してもよい。あるいは、当該立体動画データをネットワーク経由で送信してもよい。あるいはそれぞれの立体画像フレームをレンチキュラプリントのような印刷物とすることもできる。
　また、視差調整処理を動作させるか否かのモード設定やタイミングも任意である。例えば、撮影モードの開始時は視差調整処理を行わないが、レリーズボタン１４が全押しされたときから視差調整処理を開始する。あるいは、メモリカード１６の立体動画データをテレビなどの外部のモニタ１３に表示する際に、視差調整処理を開始する。
　上記の各実施形態に係る画像処理装置および画像処理方法は、立体動画の表示機能を有する画像処理装置または画像処理装置に適用可能なプログラムであって、上記の処理を行わせるためのコンピュータ読取可能なプログラムや、該プログラムが格納される記録媒体としても提供することが可能である。
　４９：視差検出部、２０２：視差調整部、２０４：表示許容視差幅取得部、２０９：画像処理部

Claims (18)

  1. 　立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得する視差取得部と、
    　前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整する視差調整部と、
    　前記視差調整部によって視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定する基準境界設定部と、
    　各立体画像フレームにおいて、前記基準境界設定部の設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完する画像処理部と、
    　前記画像処理部が前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記視差調整部が調整した視差に従って出力する出力部と、
    　を備える画像処理装置。
  2. 　前記基準境界設定部は、前記出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項１に記載の画像処理装置。
  3. 　前記基準境界設定部は、前記視差調整部による前記水平方向の視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項１に記載の画像処理装置。
  4. 　前記画像処理部は、前記左右の基準境界よりも前記出力面の外側に位置する左右の視点画像の画像情報を削除する請求項３に記載の画像処理装置。
  5. 　前記画像処理部は、前記隣接領域の画像情報を前記補完対象領域に複製することにより画像情報を補完する第１の補完処理を実施する請求項１から４のいずれかに記載の画像処理装置。
  6. 　前記画像処理部は、前記隣接領域の色情報を前記補完対象領域に適用することにより画像情報を補完する第２の補完処理を実施する請求項５に記載の画像処理装置。
  7. 　前記画像処理部は、前記隣接領域の色の濃度勾配情報に従って前記隣接領域の色を前記補完対象領域に延長することにより画像情報を補完する請求項６に記載の画像処理装置。
  8. 　前記画像処理部は、前記左右の隣接領域の画像情報に含まれる直線を前記左右の補完対象領域に延長することにより画像情報を補完する請求項７に記載の画像処理装置。
  9. 　前記画像処理部は、前記左右の隣接領域の直線で区切られる部分領域ごとの色情報を、前記左右の補完対象領域に延長された直線で区切られる部分領域ごとに適用することにより画像情報を補完する請求項８に記載の画像処理装置。
  10. 　前記画像処理部は、前記隣接領域の画像情報が所定の基準を満たすか否かを判定し、前記判定結果に基づいて、前記第１の補完処理または前記第２の補完処理のいずれか一方を実施する請求項６から９のいずれかに記載の画像処理装置。
  11. 　前記画像処理部は、前記隣接領域の高周波数成分の頻度が所定の閾値を上回る場合、前記第１の補完処理を実施し、前記隣接領域の高周波数成分の頻度が前記所定の閾値を上回らない場合、前記第２の補完処理を実施する請求項１０に記載の画像処理装置。
  12. 　前記画像処理部は、前記左右の補完対象領域の画素数が所定の閾値を下回る場合、前記左右の隣接領域の色情報を前記左右の補完対象領域に適用することにより画像情報を補完する請求項６から１１のいずれかに記載の画像処理装置。
  13. 　前記基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超える場合、前記出力面の水平方向の幅が最小となる左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項２に記載の画像処理装置。
  14. 　前記基準境界設定部は、各立体画像フレームの視差の最大値および最小値で規定される視差幅が所定の閾値を超えない場合、前記視差調整部による視差の調整量が０となる立体画像フレームに対応する左右の非出力領域の中央側境界に基づいて、前記左右の基準境界を設定する請求項４に記載の画像処理装置。
  15. 　前記画像処理部は、前記左右の基準境界の近傍の画像情報を平滑化する請求項１から１４のいずれかに記載の画像処理装置。
  16. 　画像処理装置が、
    　立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、
    　前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、
    　前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、
    　各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、
    　前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップと、
    　を実行する画像処理方法。
  17. 　画像処理装置が、
    　立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、
    　前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、
    　前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、
    　各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、
    　前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップと、
    　を実行するための画像処理プログラム。
  18. 　コンピュータ読取可能な記録媒体であって、該記録媒体に格納された指令がプロセッサによって読み取られ実行された場合に、該プロセッサが
    　立体動画を構成する複数の立体画像フレームの入力を受け付け、各立体画像フレームを構成する左右の視点画像間の水平方向の視差を取得するステップと、
    　前記立体動画の出力条件に従って前記立体画像フレームの各々の水平方向の視差を調整するステップと、
    　前記視差が調整された各立体画像フレームに対応する左右の視点画像の画像情報が所定の出力面の左右端部においてそれぞれ不存在となる領域である左右の非出力領域のうち、所定の基準を満たす立体画像フレームに対応する左右の非出力領域の水平方向の幅に基づいて、前記立体画像フレームの各々に共通する左右の基準境界を設定するステップと、
    　各立体画像フレームにおいて、前記設定した左右の基準境界よりもそれぞれ前記出力面の中央側に位置する非出力領域である左右の補完対象領域に対して、前記左右の補完対象領域とそれぞれ隣接する左右の視点画像内の部分領域である隣接領域の画像情報を前記左右の補完対象領域のそれぞれに適用することにより、前記左右の補完対象領域の画像情報を補完するステップと、
    　前記左右の補完対象領域に前記画像情報を補完した各立体画像フレームを、前記調整した視差に従って出力するステップと、
    　を実行する、記録媒体。
PCT/JP2011/062895 2010-08-16 2011-06-06 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 WO2012023330A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2011800399497A CN103098478A (zh) 2010-08-16 2011-06-06 图像处理设备、图像处理方法、图像处理程序、以及记录介质
JP2012529511A JPWO2012023330A1 (ja) 2010-08-16 2011-06-06 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US13/767,500 US20130162764A1 (en) 2010-08-16 2013-02-14 Image processing apparatus, image processing method, and non-transitory computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010181815 2010-08-16
JP2010-181815 2010-08-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/767,500 Continuation US20130162764A1 (en) 2010-08-16 2013-02-14 Image processing apparatus, image processing method, and non-transitory computer-readable medium

Publications (1)

Publication Number Publication Date
WO2012023330A1 true WO2012023330A1 (ja) 2012-02-23

Family

ID=45604993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/062895 WO2012023330A1 (ja) 2010-08-16 2011-06-06 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US20130162764A1 (ja)
JP (1) JPWO2012023330A1 (ja)
CN (1) CN103098478A (ja)
WO (1) WO2012023330A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888752A (zh) * 2013-11-27 2014-06-25 友达光电股份有限公司 二维影像至三维影像的影像转换方法及影像转换装置
CN104604222A (zh) * 2012-09-06 2015-05-06 意大利希思卫电子发展股份公司 用于产生、传送和接收立体图像的方法及有关设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574311B (zh) 2015-01-06 2017-08-11 华为技术有限公司 图像处理方法和装置
CN107993233B (zh) * 2016-10-26 2022-02-22 中国科学院深圳先进技术研究院 一种坑区域的定位方法及装置
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
JP7022544B2 (ja) * 2017-09-13 2022-02-18 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
EP3732656A4 (en) * 2017-12-29 2021-09-01 PlusAI Corp MULTIPLE STEREO BASED DEPTH ESTIMATION PROCESS AND SYSTEM AND COLLISION WARNING / AVOIDANCE USING IT
JP2020027957A (ja) * 2018-08-09 2020-02-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
DE102019120998A1 (de) * 2019-08-02 2021-02-04 Psholix Ag Verfahren und Vorrichtung für eine adaptive Disparitätskontrolle
CN115134574B (zh) * 2022-06-24 2023-08-01 咪咕视讯科技有限公司 动态元数据生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221775A (ja) * 1997-02-07 1998-08-21 Canon Inc 立体視撮像表示プログラムを記録した媒体及び複眼画像入出力装置
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2004343290A (ja) * 2003-05-14 2004-12-02 Sharp Corp 立体画像表示装置
JP2010103866A (ja) * 2008-10-27 2010-05-06 Fujifilm Corp ３次元表示装置および方法並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1889171A4 (en) * 2005-04-07 2012-11-28 Visionsense Ltd METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US7679641B2 (en) * 2006-04-07 2010-03-16 Real D Vertical surround parallax correction
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8456518B2 (en) * 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110249889A1 (en) * 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221775A (ja) * 1997-02-07 1998-08-21 Canon Inc 立体視撮像表示プログラムを記録した媒体及び複眼画像入出力装置
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2004343290A (ja) * 2003-05-14 2004-12-02 Sharp Corp 立体画像表示装置
JP2010103866A (ja) * 2008-10-27 2010-05-06 Fujifilm Corp ３次元表示装置および方法並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604222A (zh) * 2012-09-06 2015-05-06 意大利希思卫电子发展股份公司 用于产生、传送和接收立体图像的方法及有关设备
CN104604222B (zh) * 2012-09-06 2017-03-29 意大利希思卫电子发展股份公司 用于产生、传送和接收立体图像的方法及有关设备
CN103888752A (zh) * 2013-11-27 2014-06-25 友达光电股份有限公司 二维影像至三维影像的影像转换方法及影像转换装置

Also Published As

Publication number Publication date
CN103098478A (zh) 2013-05-08
US20130162764A1 (en) 2013-06-27
JPWO2012023330A1 (ja) 2013-10-28

Similar Documents

Publication Publication Date Title
WO2012023330A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US9560341B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
US8736671B2 (en) Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device
US8294711B2 (en) Device, method, and program for three-dimensional imaging by reducing or eliminating parallax during a zoom operation
US9256116B2 (en) Stereoscopic imaging device, image reproducing device, and editing software
JP5449550B2 (ja) 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体
JP5336662B2 (ja) 画像処理装置、方法およびプログラム
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
US9310672B2 (en) Stereoscopic image capturing device and method of controlling thereof
JP5486697B2 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
JP5466773B2 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP5571257B2 (ja) 画像処理装置、方法およびプログラム
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP2012015620A (ja) 立体撮像装置
JPWO2012001958A1 (ja) 画像処理装置および方法並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180039949.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11817979

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012529511

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11817979

Country of ref document: EP

Kind code of ref document: A1