WO2013038781A1 - 画像処理装置、画像撮像装置および画像表示装置 - Google Patents

画像処理装置、画像撮像装置および画像表示装置 Download PDF

Info

Publication number
WO2013038781A1
WO2013038781A1 PCT/JP2012/066986 JP2012066986W WO2013038781A1 WO 2013038781 A1 WO2013038781 A1 WO 2013038781A1 JP 2012066986 W JP2012066986 W JP 2012066986W WO 2013038781 A1 WO2013038781 A1 WO 2013038781A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
image processing
information
imaging
Prior art date
Application number
PCT/JP2012/066986
Other languages
English (en)
French (fr)
Inventor
奈保 澁久
徳井　圭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/342,581 priority Critical patent/US20140205185A1/en
Publication of WO2013038781A1 publication Critical patent/WO2013038781A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing device, an image pickup device, and an image display device that generate a stereoscopic image.
  • a compound eye imaging device having a plurality of imaging means is known.
  • the compound-eye imaging apparatus realizes high-functional imaging such as stereoscopic image shooting and panoramic shooting by processing images picked up by a plurality of image pickup means.
  • stereoscopic vision is possible by displaying a left-eye image on the left eye and a right-eye image on the right eye.
  • Such stereoscopic viewing can be performed by performing stereoscopic display using parallax included between a plurality of images obtained by capturing the same subject from different positions.
  • Patent Document 1 can confirm the geometrical spatial distortion, a method for specifically correcting the spatial distortion has not been disclosed. Further, since the space between the background and the subject is increased by correcting the spatial distortion, there is a problem that the thickness of the subject is more emphasized.
  • the present invention has been invented in view of the above-described problems, and is an image processing apparatus that can correct spatial distortion that occurs when a stereoscopic image is captured and displayed and can obtain a high-quality image with a stereoscopic effect.
  • An object of the present invention is to obtain an image pickup device and an image display device.
  • the present invention includes the following technical means.
  • the first technical means of the present invention includes an information acquisition unit that acquires parallax information calculated from a stereoscopic image, imaging condition information when the stereoscopic image is captured, and display condition information of a display unit that displays the stereoscopic image;
  • An image processing unit that converts parallax of the stereoscopic image, wherein the image processing unit acquires the imaging condition information, the display condition information, and the parallax information acquired by the information acquisition unit
  • the parallax is compressed in the direction in which the parallax is compressed or the direction in which the parallax is expanded, and the binocular interval included in the display condition information is larger than the camera interval included in the imaging condition information.
  • the direction in which the parallax is converted is reversed when the interval is small.
  • the image processing unit changes a direction in which the parallax is converted between when the parallax of the output stereoscopic image output from the image processing device is positive and when the parallax is negative. It is characterized by the opposite.
  • the image processing unit has a difference between adjacent parallaxes in the parallax information within a predetermined range, and the adjacent parallax in the converted parallax information.
  • the difference is enlarged, the parallax is interpolated so that the difference from the adjacent parallax becomes small.
  • the image processing unit stores a parallax range of the stereoscopic image after parallax conversion within a predetermined range. It is.
  • the predetermined range is between the parallax calculated based on the imaging condition information, the display condition information, and the parallax information, and the input parallax. It is characterized by doing.
  • the image processing unit performs a parallax conversion with respect to a parallax smaller than a parallax of a main subject specified or detected by a predetermined method. It is characterized by giving.
  • a seventh technical means is the sixth technical means, wherein the parallax output by the parallax conversion is calculated based on the imaging condition information, the display condition information, and the parallax information, and the input parallax. It is characterized by being within the range represented by.
  • the image processing unit causes the parallax image so that the parallax of the main subject specified or detected by a predetermined method approaches zero. It is characterized by converting the parallax.
  • the image processing unit brings a subject at a distance to a convergence point that can be calculated from imaging condition information of the imaging unit closer to parallax 0. .
  • the tenth technical means is an image display device including the image processing apparatus according to any one of the first to ninth technical means.
  • the eleventh technical means is an image pickup apparatus provided with the image processing apparatus of any one of the first to ninth technical means.
  • the present invention it is possible to correct a spatial distortion that occurs at the time of capturing and displaying a stereoscopic image and obtain a high-quality image having a stereoscopic effect.
  • FIG. 5 is a diagram illustrating an imaging distance Lb when the stereoscopic image of FIG. 4 is captured, and a perceived distance Ld when the stereoscopic image is viewed on the stereoscopic image display device.
  • FIG. 1 is a diagram showing a first embodiment of an image display apparatus using an image processing apparatus according to the present invention.
  • the image display device 1 includes a storage unit 10, an information acquisition unit 20, an image processing unit 30, and a display unit 40.
  • the information acquisition unit 20 and the image processing unit 30 correspond to the image processing apparatus of the present invention.
  • the storage unit 10 is configured by a recording medium such as a hard disk device or a memory card that stores a stereoscopic image and imaging condition information when the stereoscopic image is captured.
  • the information acquisition unit 20 acquires a stereoscopic image and imaging condition information accompanying the stereoscopic image from the storage unit 10.
  • the image processing unit 30 performs image processing on the stereoscopic image acquired by the information acquisition unit 20.
  • the display unit 40 acquires a stereoscopic image from the image processing unit 30 and displays it by a stereoscopic image display method described later.
  • the information acquisition unit 20 of this embodiment includes a stereoscopic image acquisition unit 21, a parallax information acquisition unit 22, an imaging condition acquisition unit 23, and a display condition holding unit 24.
  • the stereoscopic image acquisition unit 21 acquires a stereoscopic image from the storage unit 10 and sends the stereoscopic image to the image processing unit 30.
  • the parallax information acquisition unit 22 acquires a stereoscopic image from the storage unit 10, detects parallax for each predetermined unit such as a pixel, and generates parallax information that represents the parallax in units of pixels.
  • the parallax calculation is performed with reference to the left-eye image among the left-eye image and the right-eye image constituting the stereoscopic image. That is, parallax information corresponding to the image for the left eye is calculated.
  • the parallax information acquisition unit 22 sends the calculated parallax information to the image processing unit 30.
  • the imaging condition acquisition unit 23 acquires imaging condition information corresponding to the stereoscopic image from the storage unit 10 and sends the imaging condition information to the image processing unit 30.
  • FIG. 2 is a diagram illustrating imaging condition information when a stereoscopic image is captured.
  • Information representing the imaging conditions is the camera interval dc, the camera focal length df, and the camera pixel pitch Pc.
  • the camera interval dc is a distance between a position p1 at which the first viewpoint image is captured and a position p2 at which the second viewpoint image is captured when the two viewpoint images are captured. When two cameras are used, this is the distance between the cameras.
  • the amount of camera movement is the camera interval dc.
  • the movement amount of the camera may be input from a sensor (not shown) or may be calculated from a natural feature amount in the captured image.
  • the camera focal length df is the distance between the camera image sensor and the lens, and is a fixed value in the case of a single focus lens. In the case of a zoom lens, since the focal length changes depending on the zoom magnification, the focal length df is acquired from a sensor (not shown).
  • the pixel pitch Pc is an index representing the fineness of the light receiving element of the camera, and is the distance between adjacent pixels. The camera pixel pitch can be calculated from the number of pixels and the size of the image sensor, and is a value unique to one image sensor.
  • the display condition holding unit 24 in FIG. 1 sends the held display condition information to the image processing unit 30.
  • This display condition information may be set in advance, set by user input, or detected by a detection device (not shown).
  • the detection by the detection device is preferable because the present invention can be automatically applied to various display devices.
  • FIG. 3 is a diagram showing display conditions when viewing a stereoscopic image.
  • Information representing the display condition is a viewing distance Ls, a binocular interval de, and a display pixel pitch Pd.
  • the viewing distance Ls is the distance between the viewer and the display surface D.
  • a standard distance when viewing the display can be assigned to the viewing distance Ls.
  • the viewing distance Ls may be three times the height of the display size, or a viewer's face using a camera mounted on a display (not shown). And the viewing distance may be set from the size of the viewer's face.
  • the binocular sensation de is a distance between the viewer's left eye e1 and right eye e2.
  • the binocular interval de may be set to 50 mm, which is a distance between the left and right eyes of a general child, or may be set to 65 mm, which is a general distance between both eyes of an adult.
  • the result of recognizing the viewer's eyes using a camera (not shown) mounted on the apparatus and measuring the length of the viewer's left and right eyes may be used.
  • the display pixel pitch Pd is a distance between adjacent pixels on the display.
  • the display pixel pitch Pd can be calculated from the resolution and the display size, and is a value specific to one display. Note that the imaging condition information and the display condition information are expressed in units of length, for example, millimeters.
  • the image processing unit 30 acquires information from the information acquisition unit 20 described above, and performs processing on the stereoscopic image.
  • the image processing unit 30 is characterized by correcting the distortion of the perceived position of the input stereoscopic image based on the imaging condition information and the display condition information.
  • the distortion of the perceived position will be described in detail with reference to FIGS.
  • FIG. 4 is a diagram showing the left-eye image (FIG. 4A) and the parallax information corresponding to the left-eye image among the left-eye image and the right-eye image constituting the stereoscopic image (FIG. 4). (B)).
  • FIG. 5 illustrates an imaging distance Lb when the stereoscopic image of FIG. 4 is captured (FIG. 5A) and a perceptual distance Ld when the stereoscopic image is viewed on the stereoscopic image display device (FIG. 5B).
  • FIG. 5 illustrates an imaging distance Lb when the stereoscopic image of FIG. 4 is captured (FIG. 5A)
  • the imaging distance Lb is the distance of a straight line connecting the subject and the position of the camera
  • the perceived distance Ld is the distance of a straight line connecting the position where the subject is perceived and the position of the viewer.
  • the distance between the subject and the background of the distant subject is compressed due to the distortion of the space that occurs during imaging and display (from the subject distance 501 to 503).
  • the subject in the foreground increases the distance between the subjects (inter-subject distance 500 to 502), resulting in an unnatural stereoscopic image.
  • This compression and enlargement is the opposite of the display surface. Therefore, parallax conversion, that is, perceptual position adjustment is performed such that the imaging distance Lb and the perceived distance Ld have a linear relationship.
  • the subject is perceived with thickness by performing parallax correction in a region where the difference in parallax between the subjects is enlarged.
  • the perceptual distance Ld is calculated using the imaging condition information and the display condition information.
  • the perceived distance Ld is a line connecting the viewer's left eye e1 and a point p4 on the left eye image on the display surface D, and the subject's right eye e2 and the right eye image on the display surface D.
  • This is the point x where the line connecting the points p3 and the position up to the viewer.
  • the length of the line connecting the point p4 on the left eye image and the point p3 on the right eye image is the parallax d
  • FIG. 3 is an example when the parallax is a positive value.
  • a positive value of the parallax d indicates that the point p4 on the left-eye image is located to the right of the point p3 on the right-eye image.
  • the parallax d is a negative value, the perceived distance Ld is longer than the viewing distance Ls as shown in FIG. 6, and a stereoscopic image is perceived behind the display surface D.
  • the parallax is 0, the perceived distance Ld and the viewing distance Ls are equal, and a stereoscopic image is perceived on the display surface D.
  • the perceived distance Ld which is the distance from the viewer's eyes to the stereoscopic image
  • the camera interval dc and the binocular interval de affect the relationship between the imaging distance Lb and the perceived distance Ld.
  • FIG. 7 is a diagram for explaining the relationship between the imaging distance Lb and the perceived distance Ld.
  • the horizontal axis represents the imaging distance Lb
  • the vertical axis represents the perceived distance Ld.
  • the imaging distance Lb and the perceived distance Ld are linear.
  • the imaging distance Lb and the perceived distance Ld are the same for the line 800.
  • the camera interval dc and the binocular interval de are not the same, spatial distortion occurs in the displayed stereoscopic image. For example, when the camera interval dc is wider than the binocular interval de, the miniature garden effect occurs.
  • the miniature garden effect is a phenomenon in which the perceived distance Ld behind the display surface D is enlarged with respect to the imaging distance Lb. At this time, the perceived distance Ld on the near side of the display surface D is compressed. That is, a spatial distortion occurs in which a stereoscopically viewed subject is perceived to be smaller than an actual subject.
  • the perceived distance Ld is increased as the imaging distance Lb increases.
  • the perceived distance is compressed as the imaging distance Lb becomes smaller.
  • the writing effect is a phenomenon in which the perceived distance Ld perceived on the back side from the display surface D is compressed more than the imaging distance Lb.
  • the writing effect is that the perceived distance Ld is compressed with respect to the imaging distance Lb.
  • the perceived distance Ld on the near side of the display surface D is enlarged. That is, a stereoscopically viewed subject is perceived as being less thick than an actual subject, or the background-subject interval is narrowed.
  • the perceived distance Ld is compressed on the back side from the display surface D.
  • the perceived distance is increased as the imaging distance Lb is reduced.
  • the image display device 1 corrects the parallax so that the imaging distance Lb and the perceived distance Ld approach linearity even when the camera interval dc and the binocular interval de are not the same, so that there is no spatial distortion.
  • a stereoscopic image can be displayed.
  • the image processing unit 30 includes a perceptual position adjustment unit 32, a subject structure correction unit 33, and an image generation unit 31.
  • the perceptual position adjustment unit 32 generates a parallax conversion table to be applied to the parallax information, and sends it to the subject structure correction unit 33 together with the parallax information.
  • the configuration of the parallax conversion table is shown in FIG.
  • the parallax conversion table 900 represents the relationship between the input parallax I and the output parallax O, and the imaging distance Lb calculated using the input parallax I and the perceived distance Ld calculated using the output parallax O are the same. It is a feature.
  • the following formula (2) is used to generate the conversion table. Zi represents input parallax, and Zo represents output parallax. Using equation (2), a parallax conversion table storing the input parallax Zi and the corresponding output parallax Zo is created. Using this parallax conversion table, it is possible to generate parallax information in which the relationship between the imaging distance Lb and the perceived distance Ld is linear.
  • FIG. 9 shows the relationship between the input parallax and the output parallax converted by the parallax conversion table.
  • the horizontal axis represents the input parallax
  • the vertical axis represents the output parallax. If the parallax conversion process is not performed, the line is A0.
  • the relationship between the input parallax and the output parallax after being converted by the parallax conversion table is A1, and is non-linearly mapped by the parallax conversion table.
  • the length of two arbitrary points (A, B) of the input parallax is different from the length of the corresponding two points (A ′, B ′) of the output parallax. That is, since the amount of change in parallax is changed according to the imaging distance Lb, the position where the depth is expanded compresses the depth, and the compressed position is expanded, so that the imaging distance Lb and the perceived distance Ld are increased. The relationship is converted to approach linearity.
  • the perceptual position adjustment unit 32 supplies the created parallax conversion table and parallax information to the subject structure correction unit 33.
  • the parallax is expanded and the depth is compressed in an area where the imaging distance Lb is long, that is, the parallax value is small, and the line 801 in FIG. To do.
  • the depth is obtained by compressing the parallax in the region where the imaging distance Lb is long, that is, the parallax value is small. Need to expand.
  • the image processing unit is opposite to the direction in which the parallax is converted, that is, the direction in which the parallax is compressed, or the direction in which the parallax is enlarged, when the parallax of the output stereoscopic image output by the image processing unit is positive or negative.
  • the direction in which the parallax is converted that is, the direction in which the parallax is compressed, or the direction in which the parallax is enlarged, when the parallax of the output stereoscopic image output by the image processing unit is positive or negative.
  • the subject structure correction unit 33 Based on the parallax conversion table and the parallax information supplied from the perceptual position adjustment unit 32, the subject structure correction unit 33 generates parallax information in which the number of parallax gradations near the parallax edge after applying the parallax conversion table is increased. To do. This means that the parallax between the subjects is enlarged by the parallax conversion, and therefore the enlarged parallax is interpolated.
  • FIG. 10 shows an example in which the subject structure correction unit is applied to the parallax information 1000.
  • the difference in adjacent parallax is 1, but in the output parallax 1002 after applying the parallax conversion table, the difference in adjacent parallax is 4, and the parallax between the subjects is enlarged. That is, the distortion peculiar to the three-dimensional space is quadrupled.
  • the subject structure correction unit 33 detects the parallax edge, that is, the parallax change point 1004 on the input parallax, and increases the number of gradations between the parallax change points detected next from the parallax change point. Apply processing.
  • the parallax information 1003 output from the subject structure correcting unit 33 since the parallax information is interpolated, the spatial distortion is corrected.
  • FIG. 11 shows a state of processing by the subject structure correction unit 33.
  • the horizontal axis represents the position of the horizontal axis of the parallax information
  • the vertical axis represents the parallax.
  • the parallax change point 1104 is detected from the parallax information 1100.
  • the parallax change point 1104 is a point in the parallax information 1100 where the parallax of the previous pixel 1103 is changed by a threshold value 1105 or more with respect to the parallax of the target pixel (parallax change point 1104).
  • the pixel 1106 of the parallax conversion post-parallax information 1101 of the target pixel 1104 and the pixel 1107 of the parallax conversion post-parallax information 1101 of the previous pixel 1103 are interpolated by a width of 1108. Interpolation in this example is to interpolate so that the pixel 1107 is incremented by 1 to approach the pixel 1106, or to interpolate so that the pixel 1106 is decremented by 1 and approached to the pixel 1107. Represents.
  • this pixel interpolation method may be linear approximation or curve approximation.
  • the shape of the subject can be estimated by, for example, how the surrounding pixels change in brightness.
  • the parallax other than the parallax change point is converted into parallax in which the imaging distance Lb and the perceived distance Ld correspond linearly by the parallax conversion table.
  • FIG. 13 is a diagram showing the application result of subject structure correction.
  • FIG. 13A shows an input parallax image
  • FIG. 13B shows a parallax image after subject structure correction. Since the number of gradations near the parallax edge is increased in the parallax image after the subject structure correction compared to the input parallax information, the subject is easily perceived as rounded. By performing the above processing, it is possible to interpolate discontinuous portions of parallax that appear between subjects or between the subject and the background, and it is possible to correct distortion specific to a three-dimensional space.
  • the subject structure correction unit 33 supplies the parallax information after the correction to the image generation unit 31.
  • the image generation unit 31 includes the left-eye image and the right-eye image that form the stereoscopic image. Among these, processing is performed on the image for the left eye. Specifically, the pixels of the image for the left eye are moved based on the parallax information supplied from the subject structure correction unit 33. After the pixel is moved, the pixel that does not correspond in the output image is interpolated from the neighboring pixel.
  • the value of the parallax information supplied from the parallax information acquisition unit 22 is changed from the value of the parallax information supplied from the subject structure correction unit 33. Subtract.
  • a stereoscopic image is generated using the converted left-eye image and the input right-eye image. By doing so, it is possible to generate a stereoscopic image in which distortion specific to the stereoscopic effect is corrected.
  • a stereoscopic image including the generated left-eye image and right-eye image is supplied to the display unit 40.
  • the same effect can be obtained even if processing is performed by giving the amount of pixel movement to the parallax conversion table.
  • the image display device corrects the parallax of the stereoscopic image corresponding to the imaging condition information based on the imaging condition information and the display condition information read from the storage unit. Even when the interval dc and the binocular interval de are not the same, a more natural stereoscopic image can be displayed.
  • the image display apparatus can interpolate disparity disparity between subjects, and thus can correct distortion in a three-dimensional space such as a writing effect.
  • the parallax conversion is performed so that the imaging distance Lb and the perceived distance Ld are linear.
  • the main subject is set, and the parallax is set so that the parallax of the main subject is close to zero. Conversion may be performed. This is preferable because the subject selected as the main subject is displayed in the vicinity of the display surface that is easily stereoscopically viewed.
  • the main subject is designated or detected by a predetermined method. For example, the user may designate the main subject using an input device (not shown), or the face of the subject may be recognized by image processing, and the recognized face may be detected as the main subject.
  • the parallax information is generated by the parallax information acquisition unit 22, but may be read from a storage medium.
  • the recording medium needs to record a stereoscopic image, corresponding parallax information, and imaging condition information. By doing so, complicated calculation is not required in the parallax information acquisition unit, so that the processing time is shortened.
  • the stereoscopic image and the imaging condition information are acquired from the storage unit 10, but may be acquired from the imaging unit.
  • the imaging unit is composed of at least two cameras, each for acquiring a left-eye image and a right-eye image, and includes an imaging lens and an imaging element such as a CCD.
  • the imaging control unit controls the focus position, zoom magnification, and shutter driving using the imaging lens. Further, at least two cameras are arranged at a predetermined interval, and the optical axes between the cameras are arranged in parallel. At this time, the imaging condition information also acquires condition information of one of at least two imaging units.
  • a stereoscopic image is output from the image generation unit 31 to the display unit 40, but may be output to a recording apparatus.
  • the recording apparatus records a stereoscopic image composed of a left image and a right image supplied from the image generation unit 31.
  • the display unit 40 of the present embodiment may be a glasses-type stereoscopic display device that a viewer wears glasses to watch, or may be a naked-eye type stereoscopic display device that allows the viewer to stereoscopically view with naked eyes.
  • the stereoscopic image display method for the glasses-type stereoscopic display device uses a time-division method in which the left-eye image and the right-eye image are alternately switched and displayed, or a polarization method in which the polarization directions are superimposed and displayed. It ’s fine.
  • Stereoscopic image display methods for autostereoscopic display devices include a parallax barrier method in which left-eye images and right-eye images are alternately arranged behind a slit-like opening called a parallax barrier, or a kamaboko-shaped lenticular.
  • a lenticular method that spatially separates the image for the left eye and the image for the right eye by arranging a lens may be used.
  • the second embodiment is a form using a perceptual position correction method different from the first embodiment.
  • symbol is attached
  • the second embodiment is implemented by the same configuration as the first embodiment shown in FIG. 1 except that the operation of the perceptual position adjustment unit 32 of the image processing unit 30 is different from that of the first embodiment, and parallax conversion is performed. Processing for keeping the parallax range of the subsequent stereoscopic image within a predetermined range is performed. Specifically, a stereoscopic image that falls within a stereoscopically visible range for the viewer is generated in accordance with a stereoscopic image display device that displays a stereoscopic image.
  • the perceptual position adjustment unit 32 generates a parallax conversion table to be applied to the parallax information, and sends it to the subject structure correction unit 33 together with the parallax information.
  • this parallax conversion table it is possible to provide parallax information in which the relationship between the imaging distance Lb and the perceived distance Ld is linearly close and within the range in which the viewer can stereoscopically view as shown in FIG. .
  • a method for creating a parallax conversion table will be described.
  • the maximum value and the minimum value of the imaging distance Lb can be calculated from the maximum value MAX_DEP and the minimum value MIN_DEP of the parallax information.
  • Calculation of the maximum and minimum values of parallax from the parallax information occupies a region having a certain area in the parallax information, for example, 1% of all pixels, in order to eliminate the influence of noise due to parallax calculation failure It is preferable to use parallax.
  • the maximum value MAX_DIS of the imaging distance Lb is calculated from the equation (3), and the minimum value MIN_DIS is calculated from the equation (4).
  • the maximum value MAX_C and the minimum value MIN_C of the perceptual distance Ld are calculated using the display condition information and the parallax on the display.
  • the minimum value MIN_E and the maximum value MAX_E of the parallax on the display for example, values described in 3DC safety guidelines issued by the 3D consortium may be used, or values input by the user from an input device (not shown) may be used. It may be used.
  • both the maximum value MAX_C and the minimum value MIN_C are expressed in pixels.
  • MAX_C is a positive value and MIN_C is a negative value, the subject has a depth of both protrusion and retraction.
  • the imaged scene is a distant view, as shown in FIG. 15, by setting the maximum value MAX_E of the perceived distance Ld to a value near 0, the imaged subject is perceived by being retracted to the back side.
  • the imaging scene is a macro, by setting the minimum value MIN_E of the perceptual distance Ld to a value near 0 as shown in FIG. 16, the captured subject jumps out and is perceived.
  • Such an imaging scene may be determined by analyzing parallax information or may be read from an input device (not shown). From the parallax minimum value MIN_E and the maximum value MAX_E, the maximum value MAX_C of the perceived distance Ld at the time of display is calculated from the equation (5), and the minimum value MIN_C is calculated from the equation (6).
  • the parallax is converted so that the calculated imaging distance Lb and the perceived distance Ld match.
  • the parallax conversion is expressed by equations (7), (8), and (9). It is represented by
  • a parallax conversion table storing the input parallax Zi and the corresponding output parallax Zo is created.
  • the relationship between the imaging distance Lb and the perceived distance Ld can be made closer to linear, and parallax information within a range that can be viewed stereoscopically by the viewer can be generated.
  • FIG. 17 shows the relationship between the input parallax and the output parallax converted by the parallax conversion table.
  • the compressed depth is increased as the output parallax is a negative value, that is, the parallax perceived in the retracting direction behind the display surface. Further, the depth that has been expanded as the output parallax is a positive value, that is, the parallax perceived in the protruding direction in front of the display surface is compressed.
  • a stereoscopic image that falls within a stereoscopically viewable range for the viewer can be generated in accordance with the image display device that displays a stereoscopic image.
  • FIG. 18 is a view showing an image pickup apparatus according to the third embodiment using the image processing apparatus according to the present invention.
  • configurations the same as the configurations in FIG. 1 are denoted with the same reference numerals. The overlapping description will be omitted as appropriate.
  • 18 differs from the configuration of FIG. 1 in that an imaging unit 50 including a first imaging unit 51 and a second imaging unit 52 is provided instead of the storage unit 10. .
  • an imaging unit 50 including a first imaging unit 51 and a second imaging unit 52 is provided instead of the storage unit 10.
  • a stereoscopic image in which spatial distortion peculiar to a stereoscopic image is corrected can be generated regardless of the stereoscopic image capturing method.
  • the first imaging unit 51 is disposed at a position separated from the second imaging unit 52 by a predetermined interval.
  • the first imaging unit 51 is synchronized with the second imaging unit 52 and performs imaging under the same imaging conditions as the second imaging unit 52 simultaneously with the second imaging unit 52.
  • the first imaging unit 51 supplies the image data obtained as a result to the stereoscopic image acquisition unit 21 as image data for the left eye. Further, the first imaging unit 51 supplies the camera interval dc, the convergence angle ⁇ , the camera pixel pitch Pc, and the camera focal length df to the imaging condition acquisition unit as imaging condition information. As shown in FIG.
  • the convergence angle ⁇ of the first imaging unit and the second imaging unit is an angle formed by the optical axis q1 of the first imaging unit and the optical axis q2 of the second imaging unit.
  • An intersection F1 between the optical axis q1 and the optical axis q2 is a convergence point.
  • the perceptual position adjustment unit 32 creates a parallax conversion table such that the subject on the convergence point is displayed on the display surface as shown in FIG.
  • the convergence point position is calculated from the convergence angle of the imaging unit by the following equation (10).
  • the parallax conversion is performed so that the convergence point F1 is the same as the display surface, that is, the position of the viewing distance Ls. That is, the image processing unit 30 performs processing for bringing the subject at a distance to the convergence point that can be calculated from the imaging condition information of the imaging unit closer to parallax 0. Specifically, the value of MAX_DIS is set to F, and the value of MAX_C is set to the viewing distance Ls.
  • the image generation unit 31 Based on the stereoscopic image supplied from the stereoscopic image acquisition unit 21 and the parallax information supplied from the subject structure correction unit 33, the image generation unit 31 includes the left-eye image and the right-eye image that form the stereoscopic image. Among these, processing is performed on the image for the left eye.
  • the pixel of the image for the left eye is moved based on the parallax information supplied from the subject structure correction unit. After the pixel is moved, a pixel that does not correspond in the output image is complemented from a neighboring pixel.
  • a stereoscopic image is generated using the generated left eye image and the input left eye image. By doing so, it is possible to generate a stereoscopic image in which the subject at the convergence point is displayed on the display surface and the distortion peculiar to the stereoscopic effect is corrected.
  • a stereoscopic image composed of the left-eye image after the parallax conversion processing and the input left-eye image is supplied to the display unit 40.
  • the subject located at the convergence point is determined based on the image capturing condition information and the display condition information. Ls, that is, even when the camera interval dc and the binocular interval de are not the same, the parallax of the stereoscopic image corresponding to the imaging condition is corrected even when the camera interval dc and the binocular interval de are not the same. An image can be displayed.
  • Embodiment 4 The image processing shown in Embodiment 1 can obtain a stereoscopic image by converting the parallax, but when performing the parallax conversion within the range of the maximum parallax and the minimum parallax of the captured stereoscopic image, Depending on the position, the effect may not be sufficiently obtained. Therefore, a stereoscopic effect can be obtained by performing parallax conversion as shown in FIG.
  • a curve 2101 in FIG. 21 represents the relationship between the imaging position of the subject of the photographed image and the position perceived when the subject is stereoscopically viewed. This is a perception curve 2101.
  • a line 2103 in FIG. 21 is a straight line connecting an intersection 2104 between the minimum imaging distance 2106 and the minimum perceived distance 2108 of the photographed image and an intersection 2105 between the maximum imaging distance 2107 and the maximum perceived distance 2109.
  • the parallax conversion method will be described using a perceptual distance and an imaging distance.
  • the perceptual distance and the imaging distance can be calculated from the parallax value, the imaging condition, and the display condition.
  • the spatial distortion is corrected for the entire scene to be photographed.
  • the spatial distortion is corrected so as to fall between the perceptual curve 2101 and the line 2103 in FIG.
  • the width of the parallax value assigned to the subject is reduced by performing correction as 2103 in FIG. That is, the difference between the background having a small parallax value and the foreground having a large parallax value is increased and the stereoscopic effect is improved, but the thickness of the subject may be decreased.
  • the subject thickness is 2203, the subject thickness that can be perceived when the captured image is stereoscopically viewed is 2204, and the subject thickness that can be perceived when the corrected stereoscopic image is stereoscopically viewed is 2205.
  • the subject thickness 2205 that can be perceived when the corrected stereoscopic image is stereoscopically viewed is smaller than the subject thickness 2204 that can be perceived when the captured image is stereoscopically viewed.
  • the line 2102 can be expressed by a straight line, a curved line, or a combination of a straight line and a curved line plotted within the perceptual curve 2101 and the line 2103.
  • it may be represented by two straight lines like a line 2301 in FIG.
  • 21 is an example in which the weights of the perceptual curve 2101 and the line 2103 are set to be equal.
  • This is a case where parallax conversion is performed on a line 2102 at an intermediate point between the position of the subject when the captured image is stereoscopically viewed without performing parallax conversion and the position of the subject when parallax conversion is performed on the line 2103.
  • the subject is perceived. That is, when the weight of the perceptual curve 2101 is set to be large, the parallax near the background is compressed and the foreground parallax is expanded. In other words, it approaches the three-dimensional effect of the original image in which spatial distortion such as the writing effect and the miniature garden effect occurs.
  • the weight of the line 2103 When the weight of the line 2103 is set to be large, the parallax near the background is enlarged and the foreground parallax is compressed. That is, the distortion of the space is corrected and approaches the real space stereoscopic effect. Due to the characteristics calculated by this weighted average, the user can change the stereoscopic effect of the captured three-dimensional image closer to the real space or intentionally distort the space to emphasize the stereoscopic effect of the foreground. it can.
  • a parallax is obtained for a subject existing after the main subject 2402, that is, a subject having a parallax smaller than that of the main subject 2402. It is preferable to perform conversion processing.
  • the parallax value of the main subject can be calculated from a parallax histogram. For example, it is possible to divide the image into a plurality of areas and estimate the parallax value of the subject from the mode value of each area.
  • the parallax value is maintained between the estimated parallax value of the main subject and the maximum parallax of the shooting scene, and the spatial distortion is reduced between the parallax value of the main subject and the minimum parallax of the shooting scene. Correct as follows. At this time, since the estimated parallax value of the subject is the representative parallax value of the subject, it is preferable to process a parallax value smaller than the estimated parallax value as a boundary. That is, the correction of the parallax value is changed with the rear side of the estimated parallax value as a boundary.
  • a parallax conversion method between a subject included between the imaging position 2402 of the main subject and the minimum imaging position 2408 and a subject included between the imaging position 2402 and the maximum imaging position 2407 of the main subject.
  • the parallax conversion is not performed on the subject in front of the main subject, and the parallax conversion is performed on the subject behind so that the relationship between the imaging distance and the reproduction distance is linear.
  • a line 2401 in FIG. 24 is a straight line connecting an intersection 2403 between the main subject position 2402 and the minimum perceived distance 2405 and an intersection 2404 between the maximum imaging distance 2407 and the maximum perceived distance 2406 with respect to the subject behind the main subject. Disparity conversion is performed so that By doing this, it is possible to enhance the stereoscopic effect of the compressed background while maintaining the thickness of the main subject.
  • the parallax conversion characteristic is defined as a weighted average of the perceptual curve 2101 and the line 2401
  • the user adjusts the weighting parameter from the outside, so that the three-dimensional image of the main subject can be obtained. This is preferable because the stereoscopic effect of the subject behind the main subject can be changed without changing the feeling.
  • the perceptual curve 2101 and the line 2401 are weighted. If the weight of the perceptual curve 2101 is set to be large, the parallax near the background is compressed and the foreground parallax behind the main subject is expanded. That is, the distortion of the space such as the splitting effect and the miniature garden effect occurs. If the weight of the line 2401 is set to be large, the parallax near the background is enlarged, and the foreground parallax behind the main subject is compressed. That is, the distortion of the space is corrected and approaches the real space stereoscopic effect.
  • the characteristic calculated by the weighted average allows the user to bring the stereoscopic effect behind the main subject closer to the real space or enhance the stereoscopic effect without losing the stereoscopic effect of the main subject in the captured stereoscopic image. You can intentionally distort or change the space.
  • the above method can be combined with the methods shown in the second and third embodiments.
  • the method of interpolating the enlarged parallax which is the processing in the subject structure correction unit shown in the first embodiment, can also be applied.
  • the embodiment described above is also applied to an integrated circuit / chip set mounted on an image processing apparatus.
  • DESCRIPTION OF SYMBOLS 1 ... Image display apparatus, 2 ... Image imaging device, 10 ... Memory

Abstract

　本発明の画像処理装置によれば、立体画像の撮像及び表示時に発生する空間歪みを補正し、立体感のある高画質な画像を得ることができる画像処理装置、画像撮像装置および画像表示装置を提供する。画像処理装置は、立体画像から算出した視差情報、立体画像を撮像したときの撮像条件情報、および立体画像を表示する表示部の表示条件情報を取得する情報取得部（２０）と、立体画像の視差を変換する画像処理部（３０）とを備える。画像処理部（３０）は、情報取得部（２０）が取得した撮像条件情報、表示条件情報、視差情報に基づいて、立体画像の視差を圧縮する方向、または視差を拡大する方向に変換し、撮像条件情報が有するカメラ間隔より表示条件情報が有する両眼間隔が大きいときと、カメラ間隔より両眼間隔が小さいときとで視差を変換する方向を反対にする。

Description

画像処理装置、画像撮像装置および画像表示装置
　本発明は、立体画像を生成する画像処理装置、画像撮像装置および画像表示装置に関する。
　複数の撮像手段を備えた複眼撮像装置が知られている。複眼撮像装置は、複数の撮像手段において撮像された画像を処理することで、立体画像撮影やパノラマ撮影のような高機能撮像を実現している。立体画像を立体画像表示装置で視聴するときには、左眼には左眼用画像を、右眼には右眼用画像を、それぞれ表示させることで立体視が可能である。このような立体視は、同一の被写体を異なる位置から撮像した複数の画像間に含まれる視差を利用して立体表示することにより行うことができる。
　このような複眼撮像装置において、撮像した２視点画像を立体画像表示装置で視聴すると、実風景と比較して、背景－被写体間の間隔が狭く感じられたり、被写体に厚みがないように知覚されたりすることがある。これは、撮像時及び表示時に生じる立体画像特有の空間の歪みであり、視聴者が立体画像を視聴する際に感じる違和感の原因の一つとなっている。この立体画像特有の歪みを定量化するために、撮像時と表示時のパラメータを用いる方法がある。特許文献１によれば、立体画像を生成するシステムをシンプルに構成できると共に、左右画像を撮像する際に手間をかけることなく、幾何学的な空間歪みによる不自然さを確認することができるとされている。
特開２００５－２６７５６号公報
　しかしながら、特許文献１では幾何学的な空間歪みを確認できるものの、具体的に空間歪みを補正する方法までは開示されていなかった。また、空間歪みを補正することで、背景－被写体間の間隔が拡大するため、被写体の厚みのなさがより強調されるという問題があった。
　本発明は上記の課題を鑑みて発明されたものであり、立体画像の撮像及び表示時に発生する空間歪みを補正することができ、立体感のある高画質な画像を得ることができる画像処理装置、画像撮像装置および画像表示装置を得ることを目的とするものである。
　本発明は上述した課題を解決するために、以下の技術手段を備えている。
　本発明の第１の技術手段は、立体画像から算出した視差情報、前記立体画像を撮像したときの撮像条件情報、および前記立体画像を表示する表示部の表示条件情報を取得する情報取得部と、前記立体画像の視差を変換する画像処理部と、を備える画像処理装置であって、前記画像処理部は、前記情報取得部が取得した前記撮像条件情報、前記表示条件情報、および前記視差情報に基づいて、視差を圧縮する方向、または視差を拡大する方向に変換し、前記撮像条件情報が有するカメラ間隔より前記表示条件情報が有する両眼間隔が大きいときと、前記カメラ間隔より前記両眼間隔が小さいときとで視差を変換する前記方向を反対にすることを特徴としたものである。
　第２の技術手段は、第１の技術手段において、前記画像処理部は、前記画像処理装置が出力する出力立体画像の視差が正のときと負のときとで、前記視差を変換する方向を反対にすることを特徴としたものである。
　第３の技術手段は、第１または第２の技術手段において、前記画像処理部は、前記視差情報の隣接視差の差が所定の範囲内であって、前記変換後の視差情報において前記隣接視差の差が拡大しているとき、前記隣接視差との差が小さくなるように視差を補間することを特徴としたものである。
　第４の技術手段は、第１から第３のいずれか１の技術手段において、前記画像処理部は、視差変換後の前記立体画像の視差範囲を所定の範囲内に収めることを特徴としたものである。
　第５の技術手段は、第４の技術手段において、前記所定の範囲を、前記撮像条件情報、前記表示条件情報、及び前記視差情報とに基づいて算出された視差と、入力視差との間とすることを特徴としたものである。
　第６の技術手段は、第１から第４のいずれか１の技術手段において、前記画像処理部は、所定の方法で指定されもしくは検出された主要被写体の視差よりも小さい視差に対して視差変換を施すことを特徴としたものである。
　第７の技術手段は、第６の技術手段において、前記視差変換により出力される視差は、前記撮像条件情報、前記表示条件情報、及び前記視差情報に基づいて算出された視差と、入力視差とで表される範囲内に収めることを特徴としたものである。
　第８の技術手段は、第１から第４のいずれか１の技術手段において、前記画像処理部は、所定の方法で指定されもしくは検出された主要被写体の視差を０に近づけるように前記視差画像の視差を変換することを特徴としたものである。
　第９の技術手段は、第８の技術手段において、前記画像処理部は、前記撮像部の撮像条件情報から算出できる輻輳点までの距離の被写体を視差０に近づけることを特徴としたものである。
　第１０の技術手段は、第１から第９のいずれか１の技術手段の画像処理装置を備えた画像表示装置である。
　第１１の技術手段は、第１から第９のいずれか１の技術手段の画像処理装置を備えた画像撮像装置である。
　本発明によれば、立体画像の撮像及び表示時に発生する空間歪みを補正し、立体感のある高画質な画像を得ることができる。
本発明による画像処理装置を用いた画像表示装置の第１実施形態を示す図である。 立体画像を撮像したときの撮像条件を説明する図である。 立体画像を視聴するときの表示条件を表す図である。 立体画像を構成する左眼用画像と、その左眼用画像に対応する視差情報を表した図である。 図４の立体画像を撮像したときの撮像距離Ｌｂと、立体画像を立体画像表示装置で視聴したときの知覚距離Ｌｄを表した図である。 立体画像を視聴するときに、知覚距離Ｌｄが視距離Ｌｓよりも長くなり、ディスプレイ面よりも奥側に立体画像が知覚される状態を説明する図である。 撮像距離Ｌｂと知覚距離Ｌｄの関係を説明する図である。 視差変換テーブルを説明する図である。 入力視差と視差変換テーブルにより変換された出力視差との関係を示す図である。 視差情報に被写体構造補正部を適用した例を示す図である。 被写体構造補正処理の様子を説明する図である。 被写体構造補正処理の様子を説明する他の図である。 被写体構造補正処理の画素変換の様子を説明する図である。 知覚位置調整を行ったときの撮像距離Ｌｂと知覚距離Ｌｄの関係を表す図である。 知覚位置調整を行ったときの撮像距離Ｌｂと知覚距離Ｌｄの関係を表す他の図である。 知覚位置調整を行ったときの撮像距離Ｌｂと知覚距離Ｌｄの関係を表す更に他の図である。 入力視差と視差変換テーブルにより変換された出力視差との関係を示す図である。 本発明による画像処理装置を用いた画像撮像装置の実施形態を示す図である。 撮像部の輻輳角を説明する図である。 輻輳点位置の被写体がディスプレイ面に知覚されるときの撮像距離と知覚距離Ｌｄの関係を説明する図である。 本発明による画像処理装置を用いた画像表示装置の第４実施形態を示す図である。 実施形態１から３の視差変換では、主要被写体が前景に存在する場合、十分な立体感が得られないことを説明する図である。 視差変換後の知覚距離が所定の範囲内に収まっていることを表す図である。 主要被写体の位置が特定できている場合の視差変換方法を説明する図である。 主要被写体の位置が特定できている場合に、重みづけのパラメータを調整することで主要被写体より後ろにある被写体の立体感を変化できることを表す図である。
　以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
（実施形態１）
　図１は本発明による画像処理装置を用いた画像表示装置の第１実施形態を示す図である。本実施形態の画像表示装置１は、記憶部１０、情報取得部２０、画像処理部３０および表示部４０より構成される。また、情報取得部２０と画像処理部３０は、本発明の画像処理装置に相当するものである。
　記憶部１０は、立体画像およびその立体画像が撮像されたときの撮像条件情報が保存されたハードディスク装置やメモリーカード等の記録媒体によって構成されている。情報取得部２０は、記憶部１０から立体画像およびその立体画像に付随する撮像条件情報を取得する。
　画像処理部３０は、情報取得部２０が取得した立体画像に対して画像処理を行う。表示部４０は、画像処理部３０からの立体画像を取得し、後述する立体画像表示方式で表示する。
　次に、情報取得部２０と画像処理部３０をより詳細に説明する。
　本実施形態の情報取得部２０は、立体画像取得部２１、視差情報取得部２２、撮像条件取得部２３および表示条件保持部２４によって構成されている。
　立体画像取得部２１は、記憶部１０から立体画像を取得し、その立体画像を画像処理部３０へ送る。視差情報取得部２２は、記憶部１０から立体画像を取得し、画素などの所定の単位ごとの視差を検出し、その視差を画素単位で表す視差情報を生成する。ここでは、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像を基準として視差算出を行う。すなわち、左眼用画像に対応した視差情報を算出するということである。視差情報取得部２２は、算出した視差情報を画像処理部３０へ送る。
　撮像条件取得部２３は、記憶部１０から立体画像に対応する撮像条件情報を取得し、画像処理部３０へ送る。
　図２は、立体画像を撮像したときの撮像条件情報を説明する図である。撮像条件を表す情報は、カメラ間隔ｄｃと、カメラ焦点距離ｄｆと、カメラ画素ピッチＰｃである。カメラ間隔ｄｃとは、２視点の画像を撮像したとき、１視点目の画像を撮像した位置ｐ１と、２視点目の画像を撮像した位置ｐ２との間の距離のことである。２台のカメラを用いた場合は、カメラ間の距離となる。１台のカメラを水平方向にスライドさせて撮像した場合は、カメラの移動量がカメラ間隔ｄｃとなる。このカメラの移動量は図示されないセンサから入力されてもよいし、撮像画像中の自然特徴量から算出してもよい。
　カメラ焦点距離ｄｆとは、カメラの撮像素子とレンズ間の距離のことであり、単焦点レンズの場合は固定値となる。ズームレンズの場合は、ズーム倍率により焦点距離が変わるため、図示しないセンサから焦点距離ｄｆを取得する。画素ピッチＰｃとは、カメラの受光素子の精細さを表す指標で、隣り合う画素間の距離のことである。カメラ画素ピッチは画素数と撮像素子のサイズから計算でき、１つの撮像素子に固有の値である。
　図１の表示条件保持部２４は、保持している表示条件情報を、画像処理部３０へ送る。この表示条件情報は予め設定されていてもよいし、ユーザ入力により設定されたり、図示しない検出装置により検出されたりしてもよい。検出装置により検出すると、様々な表示装置に対して自動で本発明を適用できるようになるため好適である。
　図３は立体画像を視聴するときの表示条件を表す図である。表示条件を表す情報は、視距離Ｌｓと、両眼間隔ｄｅ、ディスプレイ画素ピッチＰｄである。視距離Ｌｓは、視聴者とディスプレイ面Ｄとの距離のことである。視距離Ｌｓにはディスプレイを見るときの標準的な距離を割り当てることができ、例えばディスプレイサイズの高さの３倍にしてもよいし、図示しないディスプレイに搭載されたカメラを用いて視聴者の顔を認識し、視聴者の顔の大きさから、視距離を設定してもよい。
　両眼感覚ｄｅは、視聴者の左眼ｅ１と右眼ｅ２間の距離のことである。両眼間隔ｄｅは、一般的な子供の左眼と右眼間の距離である５０ｍｍに設定してもよいし、一般的な大人の両眼距離である６５ｍｍに設定してもよいし、表示装置に搭載された図示しないカメラを用いて視聴者の眼を認識し、視聴者の左眼と右眼の長さを測定した結果を用いてもよい。
　ディスプレイ画素ピッチＰｄとは、ディスプレイ上の隣り合う画素間の距離のことである。ディスプレイ画素ピッチＰｄは解像度とディスプレイサイズから計算でき、１つのディスプレイに固有の値である。なお、撮像条件情報及び表示条件情報は、長さを表す単位、例えばミリメートルで表されているものとする。
　画像処理部３０は、上述した情報取得部２０から情報を取得し、立体画像に処理を施す。画像処理部３０は、撮像条件情報と表示条件情報に基づいて、入力される立体画像の知覚位置の歪みを補正することを特徴とする。
　ここで知覚位置の歪みについて、図４と５を用いて詳しく説明する。図４は、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像（図４（Ａ））とその左眼用画像に対応する視差情報を表した図（図４（Ｂ））である。次に、図５は図４の立体画像を撮像したときの撮像距離Ｌｂ（図５（Ａ））と、立体画像を立体画像表示装置で視聴したときの知覚距離Ｌｄ（図５（Ｂ））を表した図である。
　図４の立体画像は、視差０の値が無限遠となるように、視差Ｈｃピクセルだけ左眼用画像を左側へ平行移動させる。つまり、視差Ｈｃを有する被写体が視差０、すなわちディスプレイ面に知覚されることとなる。ここで撮像距離Ｌｂとは、被写体とカメラの位置を結ぶ直線の距離のことで、知覚距離Ｌｄとは、被写体が知覚される位置と視聴者の位置を結ぶ直線の距離のことである。
　図５に示すように、撮像した立体画像をそのまま視聴すると、撮像及び表示時に発生する空間の歪みにより遠方の被写体は、被写体－背景間の距離が圧縮され（被写体間距離５０１から５０３へ）、手前にある被写体は被写体間の距離が拡大され（被写体間距離５００から５０２へ）、不自然な立体画像となってしまう。この圧縮と拡大は、ディスプレイ面を境に反対となる。そこで、撮像距離Ｌｂと知覚距離Ｌｄが線形の関係になるような視差変換、すなわち知覚位置調整を行う。さらに、知覚位置調整後、被写体間の視差の差が拡大した領域の視差補正を行うことで、被写体が厚みを持って知覚されるようにする。
　ここで、知覚距離歪みについて詳しく説明を加える。撮像条件情報と表示条件情報を用い、知覚距離Ｌｄを算出する。知覚距離Ｌｄとは、図３に示すように、視聴者の左眼ｅ１とディスプレイ面Ｄにおける左眼画像上の点ｐ４が結ぶ線と、被験者の右眼ｅ２とディスプレイ面Ｄにおける右眼画像上の点ｐ３が結ぶ線とが交わる点ｘと、視聴者までの位置のことである。この左眼画像上の点ｐ４と右眼画像上の点ｐ３を結ぶ線の長さが視差ｄであり、図３は視差が正の値のときの例である。視差ｄが正の値とは、左眼用画像上の点ｐ４が右眼用画像上の点ｐ３よりも右に位置することを表す。視差ｄが負の値のときは、図６に示すように知覚距離Ｌｄが視距離Ｌｓよりも長くなり、ディスプレイ面Ｄよりも奥側に立体画像が知覚される。また、視差０のときは、知覚距離Ｌｄと視距離Ｌｓが等しくなり、ディスプレイ面Ｄ上に立体画像が知覚される。
　以上に記した撮像条件および表示条件を表す情報を用いると、視聴者の眼から立体画像までの距離である知覚距離Ｌｄは以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　従って、カメラ間隔ｄｃと両眼間隔ｄｅが、撮像距離Ｌｂと知覚距離Ｌｄとの関係に影響を及ぼす。
　図７は、撮像距離Ｌｂと知覚距離Ｌｄの関係を説明する図で、横軸は撮像距離Ｌｂを表し、縦軸は知覚距離Ｌｄを表している。
　図７に示すように、撮像条件であるカメラ間隔ｄｃと両眼間隔ｄｅが同一の場合、撮像距離Ｌｂと知覚距離Ｌｄは線形となる。図７では線８００にあたり、撮像距離Ｌｂと知覚距離Ｌｄが同一になっている。しかしながら、カメラ間隔ｄｃと両眼間隔ｄｅが同一ではない場合、表示される立体画像に空間歪みが発生してしまう。例えば、両眼間隔ｄｅよりもカメラ間隔ｄｃが広い場合、箱庭効果が発生する。
　箱庭効果とは、ディスプレイ面Ｄより奥側の知覚距離Ｌｄが、撮像距離Ｌｂに対し、拡大される現象のことである。このとき、ディスプレイ面Ｄより手前側の知覚距離Ｌｄは、圧縮される。つまり、立体視した被写体が、実際の被写体よりも小さく知覚されるという空間の歪みが発生する。図７では線８０１にあたり、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが長い領域では、撮像距離Ｌｂが大きくなるにつれて知覚距離Ｌｄが拡大されている。また、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが短い領域では、撮像距離Ｌｂが小さくなるにつれて知覚距離が圧縮される。
　また、両眼間隔ｄｅよりもカメラ間隔ｄｃが狭い場合、書き割効果と呼ばれる空間の歪みが発生する。書き割り効果とは、ディスプレイ面Ｄより奥側に知覚される知覚距離Ｌｄが、撮像距離Ｌｂよりも、圧縮される現象のことである。書き割り効果とは、撮像距離Ｌｂに対し、知覚距離Ｌｄが圧縮される。このとき、ディスプレイ面Ｄより手前側の知覚距離Ｌｄは、拡大される。つまり、立体視した被写体が、実際の被写体よりも厚みがないように知覚されたり、背景－被写体間の間隔が狭まって知覚されたりする。図７では線８０２にあたり、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが長い領域では、ディスプレイ面Ｄより奥側において、知覚距離Ｌｄが圧縮されている。また、ディスプレイ面Ｄに相当する点ｒより撮像距離Ｌｂが短い領域では、撮像距離Ｌｂが小さくなるにつれて知覚距離が拡大される。
　そこで、画像表示装置１は、カメラ間隔ｄｃと両眼間隔ｄｅが同一ではない場合であっても、撮像距離Ｌｂと知覚距離Ｌｄが線形に近づくように視差を補正することで、空間歪みのない立体画像を表示することができる。
　画像処理部３０は、知覚位置調整部３２、被写体構造補正部３３および画像生成部３１によって構成される。知覚位置調整部３２は、視差情報に適用する視差変換テーブルを生成し、視差情報とともに被写体構造補正部３３に送る。
　視差変換テーブルの構成を図８に示す。この視差変換テーブル９００は、入力視差Ｉと出力視差Ｏの関係を表しており、この入力視差Ｉを用いて算出した撮像距離Ｌｂと、出力視差Ｏを用いて算出した知覚距離Ｌｄが同一になることが特徴である。変換テーブルの生成には以下の式（２）を用いる。
Figure JPOXMLDOC01-appb-M000002
 　Ｚｉは入力視差、Ｚｏは出力視差を表す。式（２）を用いて、入力視差Ｚｉとそれに対応する出力視差Ｚｏを格納した、視差変換テーブルを作成する。この視差変換テーブルを用いると、撮像距離Ｌｂと知覚距離Ｌｄとの関係が線形となる視差情報を生成することができる。
　入力視差と視差変換テーブルにより変換された出力視差との関係を図９に示す。図９は横軸が入力視差、縦軸が出力視差である。視差変換処理を行わなければ、Ａ０の直線となる。視差変換テーブルにより変換された後の入力視差と出力視差の関係はＡ１となり、視差変換テーブルにより非線形にマッピングされている。撮像距離Ｌｂが長い、すなわち視差値が小さいほど圧縮されていた奥行きが拡大されている。また、撮像距離Ｌｂが短い、すなわち視差値が大きいほど拡大されていた奥行きが圧縮されている。
　例えば、入力視差の任意の２点（Ａ，Ｂ）の長さと、それに対応する出力視差の２点（Ａ’，Ｂ’）の長さが異なっている。すなわち、撮像距離Ｌｂに応じて視差の変化量を変えているため、奥行きが拡大されている位置は奥行きを圧縮させ、圧縮されている位置は拡大させることで、撮像距離Ｌｂと知覚距離Ｌｄの関係を線形に近付くように変換させている。知覚位置調整部３２は、作成した視差変換テーブルと視差情報とを被写体構造補正部３３に供給する。
　上記図９の例は、撮像距離Ｌｂが長い、すなわち視差値が小さい領域で視差を拡大して奥行きを圧縮するもので、両眼間隔ｄｅよりもカメラ間隔ｄｃが広い図７の線８０１を補正するものである。これに対して、両眼間隔ｄｅよりもカメラ間隔ｄｃが狭い図７の線８０２を補正する場合、これとは逆に撮像距離Ｌｂが長い、すなわち視差値が小さい領域で視差を圧縮して奥行きを拡大する必要がある。つまり、視差を圧縮する方向、または視差を拡大する方向に変換する際に、撮像条件情報が有するカメラ間隔より表示条件情報が有する両眼間隔が大きいときと、上記のカメラ間隔より両眼間隔が小さいときとで視差を変換する方向を反対にする。これにより、カメラ間隔と両眼間隔との関係に応じて適切な視差の変換を行うことができる。
　また、画像処理部は、画像処理部が出力する出力立体画像の視差が正のときと負のときとで、視差を変換する方向、つまり視差を圧縮する方向、または視差を拡大する方向を反対にする。撮像した立体画像をそのまま視聴する場合、撮像距離Ｌｂに対する知覚距離Ｌｄの圧縮と拡大はディスプレイ面を境に反対となる。ディスプレイ面Ｄよりも手前側に立体画像が知覚されるとき視差は正であり、ディスプレイ面よりも奥側に立体画像が知覚されるときには視差は負である。従って、視差が正のときと負のときとで、視差を変換する方向を反対方向にする。
　被写体構造補正部３３は、知覚位置調整部３２から供給される視差変換テーブルと視差情報とに基づいて、視差変換テーブル適用後の視差エッジ付近の視差の階調数を増加させた視差情報を生成する。これは、視差変換により被写体間の視差が拡大されるため、拡大された視差を補間することを意味する。
　図１０に視差情報１０００に被写体構造補正部を適用した例を示す。入力視差１００１では隣接視差の差が１であるが、視差変換テーブル適用後の出力視差１００２では隣接視差の差が４となり、被写体間の視差が拡大されている。すなわち、立体空間特有の歪みが４倍になっていることを意味する。この歪みを補正するために、被写体構造補正部３３では、入力視差上で視差エッジ、すなわち視差変化点１００４を検出し、その視差変化点から次に検出される視差変化点間において階調数増加処理を施す。被写体構造補正部３３から出力される視差情報１００３は、視差情報が補間されているため、空間の歪みが補正される。
　以下、被写体構造補正部３３の処理内容を詳しく述べる。
　図１１に被写体構造補正部３３の処理の様子を示す。
　図１１は横軸が視差情報の横軸の位置を表し、縦軸が視差を表している。
　まず、視差情報１１００から視差変化点１１０４を検出する。この視差変化点１１０４とは、視差情報１１００において注目画素（視差変化点１１０４）の視差に対して前画素１１０３の視差がしきい値１１０５以上変化している点のことである。この注目画素１１０４の視差変換後視差情報１１０１の画素１１０６と、前画素１１０３の視差変換後視差情報１１０１の画素１１０７間を幅１１０８分だけ補間する。この例での補間とは、画素１１０７に１ずつ値を足していって画素１１０６に近付くように補間すること、もしくは画素１１０６に１ずつ値を引いていって画素１１０７に近付くように補間することを表す。
　また、図１２に示すように非線形に近似してもよい。すなわち、この画素補間方法は、線形近似でも良いし、曲線近似でもよい。特に、近傍の画素を解析し、被写体の凹凸に沿うように補間すると被写体本来の形状により近づくため好適である。被写体の形状は、例えば、周辺画素の明るさの変化の仕方などによって推定することができる。視差変化点以外の視差は、視差変換テーブルにより、撮像距離Ｌｂと知覚距離Ｌｄとが線形に対応する視差に変換する。
　図１３は被写体構造補正適用結果を示す図で、図１３（Ａ）に入力視差画像を示し、図１３（Ｂ）に被写体構造補正後の視差画像を示す。被写体構造補正後の視差画像は、入力視差情報と比較し、視差エッジ付近の階調数が増加しているため、被写体が丸みを帯びて知覚されやすくなる。以上の処理を施すことにより、被写体間や被写体－背景間に現れる視差の不連続部分を補間することができ、立体空間特有の歪みを補正することができる。この被写体構造補正部３３は、補正を行った後の視差情報を画像生成部３１に供給する。
　画像生成部３１は、立体画像取得部２１から供給される立体画像と、被写体構造補正部３３から供給される視差情報とに基づいて、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像に対して処理を施す。具体的には、左眼用画像の画素を、被写体構造補正部３３から供給される視差情報に基づいて移動させる。画素を移動させた後、出力画像中に対応づかなかった画素に対しては、近傍の画素から補間する。
　ここで、左眼用画像と右眼用画像本来の視差を考慮するために、被写体構造補正部３３から供給される視差情報の値から、視差情報取得部２２から供給される視差情報の値を減算しておく。変換後の左眼用画像と、入力された右眼用画像を用いて立体画像を生成する。こうすることで、立体感特有の歪みが補正された立体画像を生成することができる。生成した左眼用画像と右眼用画像とで構成される立体画像を、表示部４０に供給する。ここで、視差変換テーブルに画素の移動量を与えて処理を行うようにしても同様の効果を得ることができる。
　以上のように、本発明に係る画像表示装置は、記憶部から読みだされた撮像条件情報と表示条件情報とに基づいて、その撮像条件情報に対応する立体画像の視差を補正するので、カメラ間隔ｄｃと両眼間隔ｄｅが同一ではない場合であっても、より自然な立体画像を表示することができる。特に、画像表示装置は、被写体間の視差の不連続性を補間することができるので、書き割り効果などの立体化空間の歪みを補正することができる。
　なお、本実施形態では、撮像距離Ｌｂと知覚距離Ｌｄとが線形になるように視差変換を行ったが、主要被写体を設定し、その主要被写体が有する視差が０に近い値になるように視差変換を行ってもよい。これは、主要被写体に選ばれた被写体が、立体視し易いディスプレイ面付近に表示されるため、好適である。主要被写体は、所定の方法で指定されもしくは検出される。例えば、図示されない入力装置によってユーザが主要被写体を指定しても良いし、画像処理により被写体の顔を認識し、その認識された顔を主要被写体として検出してもよい。
　また、本実施形態では、視差情報取得部２２によって視差情報を生成したが、記憶媒体から読みだしてもよい。このとき、記録媒体には、立体画像とそれに対応する視差情報及び撮像条件情報が記録されている必要がある。こうすることにより、視差情報取得部にて複雑な計算が不要となるため、処理時間が短縮される。
　また、本実施形態では、記憶部１０から立体画像と撮像条件情報を取得したが、撮像部から取得してもよい。撮像部は、少なくとも２台のカメラで構成され、それぞれ左眼用画像と右眼用画像を取得するためのものであり、撮像レンズ及びＣＣＤ等の撮像素子を備えている。撮像制御部により、撮像レンズを用いてのフォーカス位置およびズーム倍率、シャッタ等の駆動が制御されている。また、少なくとも２台のカメラは所定の間隔を空けて配置されており、カメラ間の光軸は平行に配置されている。このとき、撮像条件情報も少なくとも２台の撮像部のうちどちらか一方の条件情報を取得する。
　また、本実施形態では、画像生成部３１から表示部４０へ立体画像を出力したが、記録装置に出力してもよい。記録装置は、画像生成部３１から供給された、左画像と右画像から構成される立体画像を記録する。
　また、本実施形態の表示部４０は、視聴者がメガネをかけて視聴するメガネ式立体表示装置であってもよいし、視聴者が裸眼で立体視可能な裸眼式立体表示装置でもよい。メガネ式立体表示装置のときの立体画像表示方式は、左眼用画像と右眼用画像を交互に切り替えて表示させる時分割方式や、偏光方向を異ならせて重ね合わせて表示させる偏光方式を用いれば良い。裸眼立体表示装置のときの立体画像表示方式は、パララックスバリアと呼ばれるスリット状の開口部の裏側に左眼用画像と右眼用画像を交互に配置するパララックスバリア方式や、かまぼこ状のレンチキュラレンズを配置することで左眼用画像と右眼用画像を空間的に分離するレンチキュラ方式を用いればよい。
（実施形態２）
　第２実施形態は、第１実施形態とは異なる知覚位置補正方法を用いた形態である。なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符合を付して、重複する説明を適宜省略する。
　第２の実施形態は、上記図１に示す第１の実施形態と同じ構成によって実施されるが、画像処理部３０の知覚位置調整部３２の動作が第１の実施形態とは異なり、視差変換後の立体画像の視差範囲を所定の範囲内に収める処理を行う。具体的には、立体画像を表示する立体画像表示装置に合わせて、視聴者が立体視可能な範囲に収まった立体画像を生成する。
　知覚位置調整部３２は、視差情報に適用する視差変換テーブルを生成し、視差情報とともに被写体構造補正部３３に送る。この視差変換テーブルを用いることにより、撮像距離Ｌｂと知覚距離Ｌｄとの関係が線形に近付き、かつ、図１４のように視聴者が立体視可能な範囲に収まった視差情報を提供することができる。以下、視差変換テーブルの作成方法を述べる。
　撮像条件情報を用いることで、撮像距離Ｌｂの最大値及び最小値は、視差情報の最大値ＭＡＸ＿ＤＥＰと最小値ＭＩＮ＿ＤＥＰから算出できる。視差情報からの視差の最大値及び最小値の算出は、視差算出失敗による雑音の影響を排除するために、視差情報中の一定の面積を有する領域、例えば全画素の１％の領域、を占める視差とすると好適である。この視差情報の最大値ＭＡＸ＿ＤＥＰと最小値ＭＩＮ＿ＤＥＰから、撮像距離Ｌｂの最大値ＭＡＸ＿ＤＩＳを式（３）から、最小値ＭＩＮ＿ＤＩＳを式（４）から算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　次に、表示条件情報とディスプレイ上の視差を用いて、知覚距離Ｌｄの最大値ＭＡＸ＿Ｃと最小値ＭＩＮ＿Ｃを算出する。ディスプレイ上の視差の最小値ＭＩＮ＿Ｅと最大値ＭＡＸ＿Ｅは、例えば３Ｄコンソーシアムが発行している３ＤＣ安全ガイドライン内に記されている値を用いてもよいし、図示しない入力装置からユーザが入力した値を用いてもよい。このとき、最大値ＭＡＸ＿Ｃ及び最小値ＭＩＮ＿Ｃともに単位はピクセルで表される。ＭＡＸ＿Ｃが正の値、ＭＩＮ＿Ｃが負の値のとき、被写体は飛び出しと引っ込み両方の奥行きを有する。
　また、撮像シーンが遠景の場合、図１５に示すように知覚距離Ｌｄの最大値ＭＡＸ＿Ｅを０付近の値に設定することで、撮像された被写体が奥側に引っ込んで知覚されるようになる。さらに、撮像シーンがマクロの場合、図１６に示すように知覚距離Ｌｄの最小値ＭＩＮ＿Ｅを０付近の値に設定することで、撮像された被写体が手前に飛び出して知覚されるようになる。このような撮像シーンは、視差情報を解析して決定してもよいし、図示しない入力装置から読みだしても良い。
　この視差の最小値ＭＩＮ＿Ｅと最大値ＭＡＸ＿Ｅから、表示時の知覚距離Ｌｄの最大値ＭＡＸ＿Ｃを式（５）から、最小値ＭＩＮ＿Ｃを式（６）から算出する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　算出した撮像距離Ｌｂと知覚距離Ｌｄが一致するように、視差を変換する。入力視差情報の視差をＺｉ、出力視差情報の視差をＺｏとすると、視差変換は式（７）（８）（９）
で表される。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　この視差変換式を用いて、入力視差Ｚｉとそれに対応する出力視差Ｚｏを格納した、視差変換テーブルを作成する。この視差変換を行うことにより、撮像距離Ｌｂと知覚距離Ｌｄとの関係を線形に近づけることができ、かつ、視聴者が立体視可能な範囲に収まった視差情報を生成することができる。入力視差と視差変換テーブルにより変換された出力視差との関係を図１７に示す。
　出力視差が負の値、すなわちディスプレイ面後方の引っ込み方向に知覚される視差ほど圧縮されていた奥行きが拡大されている。また、出力視差が正の値、すなわちディスプレイ面前方の飛び出し方向に知覚される視差ほど拡大されていた奥行きが圧縮されている。入力視差における任意の２点の差Ｂ２と、出力視差における任意の２点の差Ｂ１を比較すると、Ｂ１＜Ｂ２となり、奥行きが圧縮されている。入力視差における任意の２点の差Ｂ３と、出力視差における任意の２点の差Ｂ４とを比較すると、Ｂ４＞Ｂ３となり、奥行きが拡大されている。すなわち、撮像距離Ｌｂに応じて視差の変化量を変えているため、奥行きが拡大されている位置は奥行きを圧縮させ、圧縮されている位置は拡大させることで、撮像距離Ｌｂと知覚距離Ｌｄの関係を線形に近付くように変換させている。
　以上、説明した通り、本実施形態では立体画像を表示する画像表示装置に合わせて、視聴者が立体視可能な範囲に収まった立体画像を生成することができる。
（実施形態３）
　図１８は本発明による画像処理装置を用いた第３実施形態にあたる画像撮像装置を示す図である。図１８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。
重複する説明については適宜省略する。
　図１８の画像撮像装置２の構成は、主に記憶部１０の代わりに第１撮像部５１および第２撮像部５２からなる撮像部５０が設けられている点が、図１の構成とは異なる。図１８の画像撮像装置では、立体画像の撮像方法に関わらず、立体画像特有の空間歪みが補正された立体画像を生成することができる。
　具体的には、第１撮像部５１は第２撮像部５２と所定の間隔だけ離れた位置に配置される。第１撮像部５１は、第２撮像部５２と同期し、第２撮像部５２と同時に、第２撮像部５２と同一の撮像条件で撮像を行う。第１撮像部５１は、その結果得られる画像データを左眼用の画像データとして立体画像取得部２１に供給する。また、第１撮像部５１は、カメラ間隔ｄｃ、輻輳角α、カメラピクセルピッチＰｃ及びカメラ焦点距離ｄｆを撮像条件情報として、撮像条件取得部に供給する。図１９に示すように、第１撮像部と第２撮像部の輻輳角αとは、第１撮像部の光軸ｑ１と第２撮像部の光軸ｑ２とが成す角のことである。光軸ｑ１と光軸ｑ２との交点Ｆ１が輻輳点である。
　知覚位置調整部３２では、図２０に示すように輻輳点上の被写体がディスプレイ面に表示されるような視差変換テーブルを作成する。そのためには、以下の式（１０）で撮像部の輻輳角から輻輳点位置を算出する。
Figure JPOXMLDOC01-appb-M000010
　輻輳点Ｆ１がディスプレイ面、すなわち視距離Ｌｓの位置と同じになるように、視差変換を行う。つまり、画像処理部３０は、撮像部の撮像条件情報をから算出できる輻輳点までの距離の被写体を視差０に近づける処理を行う。具体的には、ＭＡＸ＿ＤＩＳの値をＦに、ＭＡＸ＿Ｃの値を視距離Ｌｓにする。
　画像生成部３１は、立体画像取得部２１から供給される立体画像と、被写体構造補正部３３から供給される視差情報とに基づいて、立体画像を構成する左眼用画像と右眼用画像のうち、左眼用画像に対して処理を施す。
　具体的には、左眼用画像の画素を、被写体構造補正部から供給される視差情報に基づいて移動させる。画素を移動させた後、出力画像中に対応づかなかった画素に対しては、近傍の画素から補完する。生成した左眼用画像と、入力された左眼用画像を用いて立体画像を生成する。こうすることで、輻輳点にある被写体がディスプレイ面に表示され、かつ立体感特有の歪みが補正された立体画像を生成することができる。視差変換処理を施した後の左眼用画像とその入力の左眼用画像とで構成される立体画像を、表示部４０に供給する。
　以上のように、画像撮像装置２は、輻輳角を有する撮像部から読みだされた立体画像であっても、撮像条件情報と表示条件情報とに基づいて、輻輳点に位置する被写体が視距離Ｌｓ、すなわちディスプレイ面に表示することができ、かつ、カメラ間隔ｄｃと両眼間隔ｄｅが同一でない場合であっても、その撮像条件に対応する立体画像の視差を補正するので、より自然な立体画像を表示することができる。
（実施形態４）
　実施形態１で示した画像処理により、視差を変換することで立体感のある画像を得ることができるが、撮影された立体画像の最大視差と最小視差の範囲内で視差変換を行うとき、被写体の位置によっては効果が十分に得られない場合がある。そこで、図２１に示すような視差の変換を行うことで、立体感を得ることができる。
　図２１の曲線２１０１は、撮影した画像の被写体の撮像位置と、その被写体を立体視したときに知覚される位置との関係を表したものである。これを、知覚曲線２１０１とする。また、図２１の線２１０３は、撮影した画像の最小撮像距離２１０６と最小知覚距離２１０８との交点２１０４と、最大撮像距離２１０７と最大知覚距離２１０９との交点２１０５を結んだ直線である。
　本実施形態では、視差変換方法を知覚距離や撮像距離で説明して行く。この知覚距離、撮像距離は、実施例１に詳細に記載した通り、視差値、撮像条件及び表示条件から算出することができる。立体画像に対して、視差変換を施すことによって、撮像距離と知覚距離の関係を変化させることができる。
　実施形態１では撮影されるシーン全体に対して空間の歪みを補正したが、本実施形態では、図２１の知覚曲線２１０１と、線２１０３の間に収まるように、空間の歪みを補正する。例えば、被写体が大きな視差値を有する場合、図２２の２１０３ように補正すると、その被写体に割り当てられる視差値の幅が小さくなる。すなわち、視差値の小さい背景と、視差値の大きい前景との差は大きくなり立体感は向上するが、被写体の厚みが小さくなってしまう場合がある。
　図２２を用いて詳しく説明する。被写体の厚みを２２０３、撮影画像を立体視したときに知覚できる被写体の厚みを２２０４、補正後の立体画像を立体視したときに知覚できる被写体の厚みを２２０５とする。撮影画像を立体視したときに知覚できる被写体の厚み２２０４よりも、補正後の立体画像を立体視したときに知覚できる被写体の厚み２２０５が小さくなっている。撮像距離２２０３内に主要被写体が存在する場合、主要被写体の立体感を十分に得ることができない。そこで、図２１の線２１０２のような補正をすることで被写体の厚みを保持しつつ、被写体と背景の間の歪みを補正することで立体感のある画像を得る。
　線２１０２は、知覚曲線２１０１と線２１０３内にプロットされる、直線、曲線、もしくは直線と曲線の複合で表現できる。例えば、図２３の線２３０１の様に２本の直線で表しても良い。さらに、知覚曲線２１０１と線２１０３との重みづけ平均として視差変換の特性を定義しておくと、ユーザが外部から重みづけのパラメータを調整することで立体感を変化させることができるため好適である。
　図２１の線２１０２は、知覚曲線２１０１と線２１０３の重みが等しくなるように設定した例である。これは、撮影画像に視差変換を施さずに立体視した場合の被写体の位置と、線２１０３で視差変換を施した場合の被写体の位置との中間地点に、線２１０２で視差変換を施した場合の被写体が知覚されるということである。つまり、知覚曲線２１０１の重みが大きくなるように設定した場合、背景付近の視差が圧縮され、前景の視差が拡大される。すなわち、書き割り効果や箱庭効果のような空間の歪みが発生する、元画像の立体感に近付く。
　線２１０３の重みが大きくなるように設定した場合、背景付近の視差が拡大され、前景の視差が圧縮される。すなわち、空間の歪みが補正され、実空間の立体感に近付く。この重みづけ平均により算出された特性により、ユーザは撮影した立体画像の立体感を、実空間に近付かせたり、前景の立体感を強調するためにわざと空間を歪ませたり、と変化させることができる。
　特に、主要被写体の位置が特定できている場合、図２４の線２４０１の様に、主要被写体２４０２より後に存在する被写体、すなわち、主要被写体２４０２が有する視差よりも小さい視差を有する被写体に対し、視差変換処理を施すと好適である。
　主要被写体の視差値は、視差のヒストグラムから算出することができる。例えば、画像を複数領域に分割して、各領域の最頻値から被写体の視差値を推定することができる。推定された主要被写体の視差値と、撮影シーンの最大視差までの間は視差の値を保持するようにし、主要被写体の視差値と、撮影シーンの最小視差までの間は空間の歪みが減少するように補正する。このとき、推定された被写体の視差値は、被写体の代表視差値であるため、推定された視差値よりも小さい視差値を境界として処理すると好適である。すなわち、推定された視差値の後側を境界に、視差値の補正が変化するようにする。
　距離で言い換えると、主要被写体の撮像位置２４０２と、最小撮像位置２４０８との間に含まれる被写体と、主要被写体の撮像位置２４０２と最大撮像位置２４０７との間に含まれる被写体とで、視差変換方法を変更する。図２４では、主要被写体より手前にある被写体には視差変換を施さず、後ろにある被写体には、撮像距離と再現距離の関係が線形になるように視差変換を施している。
　すなわち、図２４の線２４０１は、主要被写体より後にある被写体に対し、主要被写体位置２４０２と最小知覚距離２４０５の交点２４０３と、最大撮像距離２４０７と最大知覚距離２４０６の交点２４０４を結んだ直線のような関係になるように視差変換を施す。こうすることで、主要被写体の厚みを保ったまま、圧縮されている背景の立体感を強調することができる。
　さらに、図２５に示す様に、知覚曲線２１０１と線２４０１との重みづけ平均として視差変換の特性を定義しておくと、ユーザが外部から重みづけのパラメータを調整することで、主要被写体の立体感は変化させずに、主要被写体より後ろにある被写体の立体感を変化させることができるため好適である。
　図２５の線２５０１は、知覚曲線２１０１と線２４０１に重みづけを施した例である。知覚曲線２１０１の重みが大きくなるように設定した場合、背景付近の視差が圧縮され、主要被写体より後ろにある前景の視差が拡大される。すなわち、書き割り効果や箱庭効果のような空間の歪みが発生する。線２４０１の重みが大きくなるように設定した場合、背景付近の視差が拡大され、主要被写体より後ろにある前景の視差が圧縮される。すなわち、空間の歪みが補正され、実空間の立体感に近付く。この重みづけ平均により算出された特性により、ユーザは撮影した立体画像の主要被写体の立体感は損なわずに、主要被写体より後ろにある立体感を実空間に近付かせたり、立体感を強調するためにわざと空間を歪ませたり、と変化させることができる。
　以上の方法は、実施形態２および３に示した方法と組み合わせることも可能である。また、実施形態１に示した、被写体構造補正部での処理である、拡大した視差を補間する方法を適用することもできる。
　以上説明した実施形態は、画像処理装置に搭載される集積回路／チップセットにも適用される。
１…画像表示装置、２…画像撮像装置、１０…記憶部、２０…情報取得部、２１…立体画像取得部、２２…視差情報取得部、２３…撮像条件取得部、２４…表示条件保持部、３０…画像処理部、３１…画像生成部、３２…知覚位置調整部、３３…被写体構造補正部、４０…表示部、５０…撮像部、５１…第１撮像部、５２…第２撮像部、５００…被写体間距離、１００１…入力視差、１００２…出力視差、１００３…視差情報、１００４…視差変化点、１１００…視差情報、１１０１…視差変換後視差情報、１１０３…前画素、１１０４…視差変化点、１１０５…しきい値、１１０６…画素、１１０７…画素、１１０８…幅。

Claims (11)

  1. 　立体画像から算出した視差情報、前記立体画像を撮像したときの撮像条件情報、および前記立体画像を表示する表示部の表示条件情報を取得する情報取得部と、
    　前記立体画像の視差を変換する画像処理部と、を備える画像処理装置であって、
    　前記画像処理部は、前記情報取得部が取得した前記撮像条件情報、前記表示条件情報、および前記視差情報に基づいて、視差を圧縮する方向、または視差を拡大する方向に変換し、前記撮像条件情報が有するカメラ間隔より前記表示条件情報が有する両眼間隔が大きいときと、前記カメラ間隔より前記両眼間隔が小さいときとで視差を変換する前記方向を反対にすることを特徴とする画像処理装置。
  2. 　前記画像処理部は、前記画像処理装置が出力する出力立体画像の視差が正のときと負のときとで、前記視差を変換する方向を反対にすることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記画像処理部は、前記視差情報の隣接視差の差が所定の範囲内であって、前記変換後の視差情報において前記隣接視差の差が拡大しているとき、前記隣接視差との差が小さくなるように視差を補間することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記画像処理部は、視差変換後の前記立体画像の視差範囲を所定の範囲内に収めることを特徴とする請求項１から３のいずれか１に記載の画像処理装置。
  5. 　前記所定の範囲を、前記撮像条件情報、前記表示条件情報、及び前記視差情報に基づいて算出された視差と、入力視差との間とすることを特徴とする請求項４に記載の画像処理装置。
  6. 　前記画像処理部は、所定の方法で指定されもしくは検出された主要被写体の視差よりも小さい視差に対して視差変換を施すことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  7. 　前記視差変換により出力される視差は、前記撮像条件情報、前記表示条件情報、及び前記視差情報に基づいて算出された視差と、入力視差とで表される範囲内に収めることを特徴とする請求項６に記載の画像処理装置。
  8. 　前記画像処理部は、所定の方法で指定されもしくは検出された主要被写体の視差を０に近づけるように前記視差画像の視差を変換することを特徴とする請求項１から４のいずれか１に記載の画像処理装置。
  9. 　前記画像処理部は、前記撮像部の撮像条件情報から算出できる輻輳点までの距離の被写体を視差０に近づけることを特徴とする請求項８に記載の画像処理装置。
  10. 　請求項１から９のいずれか１に記載の画像処理装置を備えた画像表示装置。
  11. 　請求項１から９のいずれか１に記載の画像処理装置を備えた画像撮像装置。
PCT/JP2012/066986 2011-09-13 2012-07-03 画像処理装置、画像撮像装置および画像表示装置 WO2013038781A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/342,581 US20140205185A1 (en) 2011-09-13 2012-07-03 Image processing device, image pickup device, and image display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011199168 2011-09-13
JP2011-199168 2011-09-13
JP2012-038205 2012-02-24
JP2012038205A JP6113411B2 (ja) 2011-09-13 2012-02-24 画像処理装置

Publications (1)

Publication Number Publication Date
WO2013038781A1 true WO2013038781A1 (ja) 2013-03-21

Family

ID=47883025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066986 WO2013038781A1 (ja) 2011-09-13 2012-07-03 画像処理装置、画像撮像装置および画像表示装置

Country Status (3)

Country Link
US (1) US20140205185A1 (ja)
JP (1) JP6113411B2 (ja)
WO (1) WO2013038781A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102458339B1 (ko) 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2017026705A1 (ko) * 2015-08-07 2017-02-16 삼성전자 주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
JP7406166B2 (ja) 2020-05-12 2023-12-27 日本電信電話株式会社 情報処理装置、情報処理方法、およびプログラム
KR20220107831A (ko) * 2021-01-26 2022-08-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0715748A (ja) * 1993-06-24 1995-01-17 Canon Inc 画像記録再生装置
JPH07167633A (ja) * 1993-08-26 1995-07-04 Matsushita Electric Ind Co Ltd 立体画像撮像及び表示装置
JPH08317429A (ja) * 1995-05-23 1996-11-29 Matsushita Electric Ind Co Ltd 立体電子ズーム装置及び立体画質制御装置
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2011160347A (ja) * 2010-02-03 2011-08-18 Sony Corp 記録装置および記録方法、画像処理装置および画像処理方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
JP3938122B2 (ja) * 2002-09-20 2007-06-27 日本電信電話株式会社 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
JP5505881B2 (ja) * 2010-02-02 2014-05-28 学校法人早稲田大学 立体映像制作装置およびプログラム
RU2010123652A (ru) * 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US20120062698A1 (en) * 2010-09-08 2012-03-15 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving data in communication system
KR101752690B1 (ko) * 2010-12-15 2017-07-03 한국전자통신연구원 변이 맵 보정 장치 및 방법
JP5824896B2 (ja) * 2011-06-17 2015-12-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9525858B2 (en) * 2011-07-06 2016-12-20 Telefonaktiebolaget Lm Ericsson (Publ) Depth or disparity map upscaling
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
KR20130073459A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 멀티-뷰 생성 방법 및 장치
KR20130084850A (ko) * 2012-01-18 2013-07-26 삼성전자주식회사 시차 값을 생성하는 영상 처리 방법 및 장치
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0715748A (ja) * 1993-06-24 1995-01-17 Canon Inc 画像記録再生装置
JPH07167633A (ja) * 1993-08-26 1995-07-04 Matsushita Electric Ind Co Ltd 立体画像撮像及び表示装置
JPH08317429A (ja) * 1995-05-23 1996-11-29 Matsushita Electric Ind Co Ltd 立体電子ズーム装置及び立体画質制御装置
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2011160347A (ja) * 2010-02-03 2011-08-18 Sony Corp 記録装置および記録方法、画像処理装置および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP6113411B2 (ja) 2017-04-12
US20140205185A1 (en) 2014-07-24
JP2013078101A (ja) 2013-04-25

Similar Documents

Publication Publication Date Title
JP5414947B2 (ja) ステレオ撮影装置
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US8704881B2 (en) Stereoscopic image display apparatus
EP2391119B1 (en) 3d-image capturing device
JP5320524B1 (ja) ステレオ撮影装置
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
JP5186614B2 (ja) 画像処理装置および画像処理方法
JP5849811B2 (ja) 裸眼立体視用映像データ生成方法
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
EP1704730A1 (en) Method and apparatus for generating a stereoscopic image
JP2014056466A (ja) 画像処理装置及び方法
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011064894A (ja) 立体画像表示装置
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
JP2000209614A (ja) 立体映像システム
KR100971730B1 (ko) 평행축 입체카메라
JP5420076B2 (ja) 再生装置、複眼撮像装置、再生方法及びプログラム
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JPWO2013065543A1 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JP6113411B2 (ja) 画像処理装置
JP2013055565A (ja) 映像信号処理装置および映像信号処理方法
JP5502211B2 (ja) 立体画像処理装置および立体画像処理方法
JPWO2012098607A1 (ja) 立体画像処理装置および立体画像処理方法
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12832506

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14342581

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12832506

Country of ref document: EP

Kind code of ref document: A1