WO2012096054A1 - 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム - Google Patents

視差画像表示装置、視差画像表示方法及び視差画像表示プログラム Download PDF

Info

Publication number
WO2012096054A1
WO2012096054A1 PCT/JP2011/076318 JP2011076318W WO2012096054A1 WO 2012096054 A1 WO2012096054 A1 WO 2012096054A1 JP 2011076318 W JP2011076318 W JP 2011076318W WO 2012096054 A1 WO2012096054 A1 WO 2012096054A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
region
value
resolution
Prior art date
Application number
PCT/JP2011/076318
Other languages
English (en)
French (fr)
Inventor
矢作　宏一
雅子 末廣
敏 中村
三沢　岳志
友和 中村
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2012096054A1 publication Critical patent/WO2012096054A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Definitions

  • the present invention relates to a parallax image display device, a parallax image display method, and a parallax image display program.
  • the present invention particularly provides a parallax image display device, a parallax image display method, and a parallax image display capable of confirming the stereoscopic effect of a generated stereoscopic image on a two-dimensional display monitor before generating the stereoscopic image.
  • the program is referred to a parallax image display device, a parallax image display method, and a parallax image display program.
  • the parallax value is a parallax value of two or more images that are the basis of a stereoscopic image and are captured from two or more different viewpoints.
  • a method of determining the stereoscopic effect of the generated stereoscopic image from the parallax value has been considered.
  • the parallax value indicating the degree of parallax is merely a numerical value, and it is difficult to sensuously grasp the actual stereoscopic effect from the numerical value of the parallax value.
  • a parallax image in which a parallax map in which the parallax value is associated with the pixel position of the first image of two or more images is generated, and the degree of the parallax value on the parallax map is expressed by a luminance difference or a color transition.
  • a technique for confirming the stereoscopic effect of an image for stereoscopic viewing by generating the image is known.
  • the parallax image in which the parallax value is expressed by a luminance difference or the like may not show the characteristics of the original image (left in FIG. 1) at all as shown on the right in FIG.
  • the subject existing in the foreground in the left original image in FIG. 1 has the largest parallax value, and the subject with the largest parallax value is displayed in a dark color close to black. ing.
  • the disparity value is smaller as the subject is farther, and in the right disparity image in FIG. 1, the subject is displayed such that the luminance is higher as the subject has a smaller disparity value.
  • the stereoscopic effect of the stereoscopic image generated from the original image can be roughly grasped from the parallax image.
  • Japanese Unexamined Patent Application Publication No. 2003-047027 discloses a stereoscopic image forming system, a stereoscopic image forming method, a program, and a storage medium.
  • this stereoscopic image forming system based on the created parallax map, a right image and a left image are cut into a plurality of striped image pieces, and so-called lenticular images in which the cut striped image pieces are alternately arranged. Create and check the stereoscopic effect with the created lenticular image.
  • Japanese Unexamined Patent Application Publication No. 2008-103820 discloses a stereoscopic image processing apparatus.
  • the stereoscopic image processing device generates a lenticular image for a moving image using parallax data between the right image and the left image, and confirms the stereoscopic effect with the generated lenticular image.
  • a stereoscopic image processing apparatus disclosed in Japanese Patent Application Laid-Open No. 2008-103820 also uses a dedicated stereoscopic image reproduction apparatus (3D monitor) corresponding to a lenticular image in order to confirm the stereoscopic effect of a moving image converted into a lenticular image. ) To play the moving picture.
  • a dedicated stereoscopic image reproduction apparatus (3D monitor) corresponding to a lenticular image in order to confirm the stereoscopic effect of a moving image converted into a lenticular image.
  • the present invention provides a parallax image display device, a parallax image display method, and a parallax image display program capable of confirming the stereoscopic effect of a stereoscopic image on a 2D monitor in advance before creating the stereoscopic image.
  • 1st aspect of this invention is a parallax image display apparatus of invention, Comprising: The acquisition part which acquires the several image image
  • the parallax value represented by the difference in position for each corresponding area between the first image and the second image different from the first image is made to correspond to the position of the area of the first image
  • a parallax map generating unit that generates a parallax map, a resolution determining unit that determines a resolution of a corresponding region according to a parallax value for each region, and a resolution determining unit that determines the resolution of each region of the first image It includes a parallax image creation unit that creates a parallax resolution image that has been changed to a resolution, and an image synthesis unit that synthesizes the parallax resolution image and the first image.
  • a parallax value indicating a stereoscopic effect of a stereoscopic image generated from a plurality of images taken from two or more viewpoints with different parallax image creation units is represented by a difference in resolution.
  • the image synthesizing unit synthesizes the parallax resolution image and the first image so that the pixels of the first image are mixed into the parallax resolution image by synthesis and the parallax value can be recognized by the resolution. Generate an image that can be grasped.
  • the image generated by the image composition unit does not require a special display device such as a display device having a lenticular lens, but is a bitmap image that can be displayed on a normal 2D monitor. Therefore, according to the first aspect of the present invention, the stereoscopic effect of the stereoscopic image created from the first image and the second image can be displayed on the 2D monitor before the stereoscopic image is created. This can be confirmed in advance.
  • the parallax image display device includes an acquisition unit that acquires a plurality of images taken from two or more different viewpoints, and a first image included in the plurality of images acquired by the acquisition unit. And a second image different from the first image generate a parallax map in which a parallax value represented by a position difference for each corresponding region corresponds to a position of the region of the first image
  • the parallax image display method acquires a plurality of images taken from two or more different viewpoints, and includes a first image and the first image included in the acquired plurality of images. Generates a disparity map in which the disparity values represented by the difference in position for each corresponding region with a different image correspond to the position of the region of the first image, and responds according to the disparity value for each region Determine the resolution of the area to be used.
  • the third aspect of the present invention creates a parallax resolution image in which the resolution of each region of the first image is changed to the determined resolution, and synthesizes the parallax resolution image and the first image. This is a parallax image display method.
  • a fourth aspect of the present invention is a parallax image display program, wherein the computer is included in an acquisition unit that acquires a plurality of images taken from two or more different viewpoints, and the plurality of images acquired by the acquisition unit
  • the parallax value represented by the difference in position for each corresponding area between the first image and the second image different from the first image is made to correspond to the position of the area of the first image
  • a fourth aspect of the present invention provides a parallax image creation unit that creates a parallax resolution image in which the resolution of each region of the first image is changed to the resolution determined by the resolution determination unit, and the parallax resolution image It is a parallax image display program for functioning as an image composition unit that composes the first image.
  • the region includes not only one pixel but also a region in which several pixels are gathered in a square shape, such as 2 ⁇ 2 to 3 ⁇ 3.
  • the stereoscopic effect of the stereoscopic image created from the first image and the second image can be reduced before the stereoscopic image is created. It can be confirmed in advance on a 2D monitor.
  • 1 is a block diagram of a parallax image display device according to a first exemplary embodiment of the present invention. It is a flowchart which shows the process of the parallax image display apparatus which concerns on the 1st exemplary embodiment of this invention. It is a figure which shows an example of two or more images image
  • FIG. 2 is a block diagram of the parallax image display device according to the first exemplary embodiment of the present invention.
  • the parallax image display device 200 includes an image input unit 201 to which two or more images taken from two or more different viewpoints are input, and an input The first image (the left image in the first to seventh exemplary embodiments) and the second image (the first to seventh images) taken from different viewpoints based on the two or more images obtained.
  • the image processing unit 202 creates an image for confirming the stereoscopic effect of the stereoscopic image created from the right image), and the operation unit 203 for operating the parallax image display device 200.
  • a display device 204 that displays a processing result of the image processing unit 202, and a storage unit 205 that stores an input image or the like.
  • the image input unit 201 receives two or more images taken from two or more different viewpoints taken by a camera or the like that takes a stereoscopic image.
  • the image input unit 201 may be directly connected to a camera that captures a stereoscopic image.
  • the image input unit 201 reads an image captured by the camera from an information storage medium (any one of a magnetic disk, an optical disk, a magneto-optical disk, a memory card, an IC card, etc.) that stores the image captured by the camera.
  • An input data reading device may be used.
  • the operation unit 203 is a device for a user or the like to input an instruction to the parallax image device 200, and input devices such as a touch panel, a keyboard, a mouse, and a pen tablet are used.
  • the display device 204 is a device such as an LCD that displays a processing process or a processing result of the image processing unit 202, and is a 2D monitor in the present exemplary embodiment.
  • the storage unit 205 is a storage device such as a RAM (Random Access Memory), a HDD (Hard Disk Drive), or a flash memory.
  • the image processing unit 202 includes a parallax map creation unit 2021, a parallax image creation unit 2022, and an image composition unit 2023.
  • the parallax map creation unit 2021 calculates a parallax represented by a difference in position for each corresponding pixel between a left image included in two or more input images and a right image taken from a different viewpoint from the left image. Then, a parallax map corresponding to the pixel position of the left image is created.
  • the parallax image creation unit 2022 creates a parallax image indicating the magnitude of the parallax value of the created parallax map in luminance.
  • the image combining unit 2023 combines the created parallax image with the left image.
  • the image processing unit 202 may be a computer having a CPU and a memory. In this case, the image processing unit 202 operates according to a program for causing the computer stored in the storage unit 205 to function as an image processing apparatus.
  • the image obtained by combining the parallax image and the left image by the image combining unit 2023 is output to the display device 204 as the processing result of the image processing unit 202.
  • the input image, the parallax map, the parallax image, the image synthesized by the image synthesis unit 2023, and the like are stored in the storage unit 205.
  • FIG. 3 is a flowchart showing processing of the parallax image display device according to the first exemplary embodiment of the present invention.
  • step 301 it is determined in step 301 whether or not two or more images taken from two or more different viewpoints are input to the image input unit.
  • FIG. 4 is an example of two or more images captured from two or more different viewpoints input to the image input unit, and a right image (right in FIG. 2) and a left image captured from the right viewpoint. It is a figure which shows the left image (left of FIG. 2) image
  • a parallax map is created from two or more images photographed from two or more different viewpoints shown in FIG. In the left image and the right image in FIG. 4, it is assumed that the parallax occurs in the horizontal direction (horizontal direction) of the image and no shift occurs in the vertical direction (vertical direction).
  • step 302 the parallax map creation unit 2021 shown in FIG. 2 performs stereo matching on the left image and the right image to generate a parallax map.
  • Stereo matching uses a set of two images taken from different viewpoints, specifies which region of the left image corresponds to which region of the right image, and the three-dimensional position of each region It is a method to guess.
  • corresponding pixels (x2, y2) on the right image corresponding to the pixels (x1, y1) on the left image are extracted.
  • the parallax value stored at the pixel position of the left image with the parallax d as a reference is taken as a parallax map. Note that in this exemplary embodiment, the parallax value is calculated for each pixel of the image. However, for a region in which several pixels are gathered in a square shape, such as 2 ⁇ 2 to 3 ⁇ 3. The parallax value may be calculated, and when the parallax value is calculated for a region where pixels are gathered in this way, it is considered that the processing speed can be improved.
  • This parallax map shows the parallax value for each pixel, but since it is just numerical data, what kind of stereoscopic effect the parallax value can produce in an actual stereoscopic image even when read by a user or the like? I can't recognize that.
  • Step 303 the parallax image creation unit 2022 shown in FIG. 2 converts the parallax value for each pixel of the parallax map into a luminance value so that the user or the like can recognize the stereoscopic effect of the stereoscopic image, A parallax image, which is an image representing the parallax value corresponding to each pixel of the image in luminance, is created.
  • step 304 it is determined whether or not the conversion process from the parallax value to the luminance value has been performed for all the pixels. If all the pixels have been converted, the parallax image file created by the conversion in step 305 is determined. Is stored in the storage unit 205 shown in FIG.
  • FIG. 5 is a diagram showing an example of a parallax image according to the first exemplary embodiment of the present invention.
  • a subject with a large parallax value is represented with low luminance
  • a subject with a small parallax value is represented with high luminance.
  • step 306 the image composition unit 2023 shown in FIG. 2 synthesizes the left image and the parallax image in FIG. 4 for each pixel.
  • the left image and the parallax image are weighted w1: w2, for example, 1: 9, to the RGB values of the respective image pixels, and the two images are combined.
  • step 306 the left image and the parallax image are synthesized by making the weight w2 for the parallax image heavier than the weight w1 for the left image and calculating the weighted average value according to the following equation (1).
  • . a is the pixel value of the left image
  • b is the luminance value of the pixel of the parallax image corresponding to the pixel of the pixel value a.
  • This weighted average value is obtained for all the pixels of the parallax image and the left image.
  • each pixel of the left image has RGB values aR, aG, and aB, respectively. Therefore, a weighted average is given for each of the RGB values of each pixel as in the following equation (2).
  • Ask for. (AR ⁇ w1 + b ⁇ w2) / (w1 + w2) (AG ⁇ w1 + b ⁇ w2) / (w1 + w2) (2) (AB ⁇ w1 + b ⁇ w2) / (w1 + w2)
  • the above-described weighting is performed on the RGB value of each pixel of the left image.
  • several pixels such that the parallax value of the parallax image is 2 ⁇ 2 to 3 ⁇ 3 are used. Are calculated for a region gathered in a square shape, the RGB value of the left image is also weighted for the region corresponding to the region of the parallax image.
  • step 307 it is determined whether or not the synthesis process for all pixels has been completed. If the synthesis process for all pixels has been completed, an image obtained by synthesizing the left image and the parallax image in step 308 is displayed. 2 is displayed on the display device 204 shown in FIG. 2, and the processing of steps 301 to 308 is completed.
  • FIG. 6 shows an example of an image obtained by synthesizing the left image and the parallax image in the first exemplary embodiment of the present invention.
  • the pixels of the left image are mixed by synthesis, and the color difference component of the left image is also displayed lightly.
  • the outline of the subject can be grasped.
  • the image obtained by combining the left image and the parallax image is a bitmap image that can be displayed on a normal 2D monitor, without requiring a special display device such as a display device having a lenticular lens.
  • the user or the like grasps the stereoscopic effect of the finally obtained stereoscopic image by visually recognizing an image obtained by combining the left image and the parallax image displayed on the screen of the 2D monitor.
  • the first exemplary embodiment of the present invention by creating an image obtained by synthesizing the parallax image obtained by converting the parallax value for each pixel of the left image into luminance and the left image, Even in a normal 2D monitor, the stereoscopic effect of the stereoscopic image generated from the captured image can be grasped.
  • the weighting in the synthesis of the left image and the parallax image is changed according to the parallax value in the first modification and the second modification of the first exemplary embodiment described below.
  • the weight w1 of the left image is set to the weight w2 of the parallax image in the pixel related to the subject near the cross point where the optical axes of the left and right lenses of the stereoscopic camera intersect. Heavier than
  • the pixel related to the subject in front of or behind the cross point increases the weight w2 of the parallax image and decreases the weight w1 of the left image as the distance from the cross point increases.
  • the absolute value of the parallax value is the smallest “0” in the pixel of the subject related to the cross point, and the absolute value of the parallax value increases as the distance from the cross point increases in the pixel of the subject far from the cross point.
  • the weight for the value obtained from the RGB value of the pixel included in the region of the left image corresponding to the region of the parallax image is increased.
  • the ratio of the weight w1 of the left image and the weight w2 of the parallax image uses the following formula (3).
  • m is a predetermined coefficient statistically determined through an experiment, and is a positive real number.
  • Left image weight w1: Parallax image weight w2 A ⁇ m
  • the parallax value of the pixel related to the subject existing at the cross point is “0” and the absolute value of the parallax value is the minimum, using the above formula (3), the subject existing at the cross point
  • the weight w1 to the RGB value for the pixel of the left image at “A” is “A”
  • the weight w2 to the luminance value for the pixel of the parallax image at the subject existing at the cross point is “B”.
  • the weight w1 of the left image is relatively set according to Equation (3).
  • the weight w2 of the parallax image becomes relatively heavy.
  • a correspondence table in which disparity values are associated with weights may be prepared in advance, and the weights may be changed according to the disparity values according to the correspondence table (lookup table), regardless of the above equation (3).
  • the weight w1 of the pixel of the left image that is the original image is relatively heavier than the weight w2 of the pixel of the parallax image.
  • the state of the subject near the cross point in the original image can be confirmed.
  • the farther away from the cross point the subject located at the position away from the cross point the higher the pixel weight w2 of the parallax image compared to the left image pixel weight w1, which is the original image, and the left. Since the image and the parallax image are combined, it is easy to grasp the stereoscopic effect of the stereoscopic image generated from the captured image.
  • the parallax value is the maximum at the pixel of the subject closest to the camera, and the parallax value becomes smaller at the pixel of the subject far from the camera as the distance from the camera is longer.
  • the weight w1 for the value obtained from the RGB value of the pixel included in the region of the left image corresponding to the region of the parallax image is reduced.
  • the weight w2 for the value obtained from the luminance value of the pixel included in the parallax image area is increased.
  • the ratio of the weight w1 of the left image and the weight w2 of the parallax image uses the following formula (4).
  • p is a predetermined coefficient that is statistically determined through experiments, and is a positive real number.
  • dn is the parallax value of the pixel of the subject closest to the camera.
  • Left image weight w1: parallax image weight w2 A ⁇ p
  • the left image and the parallax image are given a 9: 1 weighting to the RGB value and luminance value of each image pixel, and the two images are combined. Is called.
  • a correspondence table in which disparity values and weights are associated with each other may be prepared in advance, and the weights may be changed according to the disparity values according to the correspondence table, regardless of the above equation (4).
  • the pixel weight w1 of the left image that is the original image is relatively heavier than the pixel weight w2 of the parallax image. Since the left image and the parallax image are combined, the state of the original image of the subject closest to the camera can be confirmed. In addition, as the subject that is located farther from the camera is farther away from the camera, the pixel weight w2 of the parallax image is relatively heavier than the pixel weight w1 of the left image that is the original image. Since the parallax image is synthesized, it is easy to grasp the stereoscopic effect of the stereoscopic image generated from the captured image.
  • the parallax image display device according to the second exemplary embodiment of the present invention differs from the parallax image display device according to the first exemplary embodiment of the present invention shown in FIG.
  • the other configurations are the same.
  • FIG. 7 is a flowchart showing processing of the parallax image display device according to the second exemplary embodiment of the present invention.
  • step 701 to 705 is the same as the processing from step 301 to 305 in FIG. 3 in the first exemplary embodiment of the present invention, and the description thereof will be omitted.
  • step 706 which is a process after the parallax image is created, the color difference component of the left image is synthesized with the parallax image.
  • the left image and the parallax image are weighted 1: 9 to the RGB values of the pixels of both images, and the two images are combined.
  • the second exemplary embodiment only the color difference component is extracted from the left image, and the extracted color difference component is combined with the parallax image.
  • the color difference in the present exemplary embodiment is RY and BY obtained by subtracting the luminance value Y from the R and B pixel values among the RGB pixel values originally including the luminance value Y. .
  • the relationship between the color differences RY and BY and the luminance value Y is expressed by the following equation (5), where the color difference BY is Cb and the color difference RY is Cr.
  • Y 0.29900R + 0.58700G + 0.11400B
  • Cr 0.50,000R-0.48869G-0.81131B
  • Cb ⁇ 0.16874R ⁇ 0.33126G + 0.50000B
  • the parallax image is a monochrome image expressed only by luminance values.
  • a pixel in the parallax image has a luminance value Y ′, and the color difference between the pixels of the left image corresponding to the pixel of the parallax image having the luminance value Y ′ is Cr and Cb in Equation (6). .
  • step 706 the color difference component extracted from the left image and the parallax image are synthesized by substituting Y ′, which is the luminance value of the parallax image, into the luminance value Y of the above formula (6) for each pixel.
  • step 707 it is determined whether or not the synthesis process has been completed for all the pixels. If the synthesis process has been completed for all the pixels, an image obtained by synthesizing the color difference component of the left image and the parallax image in step 708. Is displayed on the display device 204 shown in FIG. 2, and the processing in steps 701 to 708 is completed.
  • FIG. 8 shows an example of an image obtained by synthesizing the color difference component of the left image and the parallax image in the second exemplary embodiment of the present invention.
  • the color difference component of the left image is displayed more clearly than in the first exemplary embodiment, so that the difference in color of each subject can be recognized.
  • an outline of each subject can be grasped.
  • the color difference is extracted for the RGB value of each pixel of the left image, but some pixels have a parallax value of 2 ⁇ 2 to 3 ⁇ 3.
  • the color difference extracted from the left image is also extracted for the region corresponding to the region of the parallax image.
  • the image obtained by synthesizing the color difference component and the parallax image of the left image does not require a special display device such as a display device including a lenticular lens, and is a bitmap image that can be displayed on a normal 2D monitor.
  • the user or the like grasps the stereoscopic effect of the finally obtained stereoscopic image by visually recognizing an image obtained by synthesizing the color difference component of the left image displayed on the screen of the 2D monitor and the parallax image.
  • an image is generated by combining a parallax image obtained by converting a parallax value for each pixel of a left image into luminance and a left image color difference component.
  • the parallax image display device according to the third exemplary embodiment of the present invention differs from the parallax image display device according to the first exemplary embodiment of the present invention shown in FIG. However, the other configurations are the same.
  • FIG. 9 is a flowchart showing processing of the parallax image display device according to the third exemplary embodiment of the present invention.
  • step 901 it is determined in step 901 whether or not two or more images taken from two or more different viewpoints are input to the image input unit.
  • the input images are two or more images taken from two or more different viewpoints shown in FIG. 4 as in the first exemplary embodiment.
  • the parallax map creation unit 2021 shown in FIG. 2 creates a parallax map from the left image and the right image by stereo matching, as in the first exemplary embodiment.
  • the parallax occurs in the horizontal direction (horizontal direction) of the image and no shift occurs in the vertical direction (vertical direction).
  • step 903 the parallax value corresponding to each pixel of the left image, for example, as the left image so that the user or the like can recognize the stereoscopic effect of the stereoscopic image from the parallax map by the parallax image creation unit 2022 shown in FIG. Is represented by a color, for example, a color difference value, and an image in which the color difference value for each pixel is shown at the position of the corresponding pixel on the left image is generated, and this is used as a parallax color image.
  • a color for example, a color difference value
  • a separate color determination unit (not shown) that determines the color of the corresponding left image region according to the parallax value for each region of the parallax map is provided, and the parallax image creation unit 2022 is provided. May create a parallax color image in which the resolution of each region of the left image is changed to the color determined by the color determination unit.
  • the conversion is performed according to the correspondence table describing the correspondence between the parallax value and the color difference value.
  • the color difference changes from red to blue when the parallax value is large, and from red to blue as the parallax value decreases, and the correspondence table indicates that the large parallax value corresponds to the red color difference.
  • the disparity value is classified for each determined range, and a correspondence table in which the color is associated with the disparity value of the classified range is provided, and the color corresponding to the disparity value of the region of the left image is supported. You may make it determine based on a table
  • step 904 it is determined whether or not the conversion process from the parallax value to the color difference value has been performed for all the pixels. If all the pixels have been converted, the parallax color image created by the conversion in step 905 is determined. Are stored in the storage unit 205 shown in FIG.
  • step 906 as in the first exemplary embodiment, the image composition unit 2023 shown in FIG. 2 assigns a weight of 1: 9 to the RGB value for each pixel of each image in the left image and the parallax image.
  • the ratio of the weights may be other than 1: 9.
  • the above-described weighting is performed on the RGB value of each pixel of the left image.
  • several pixels such that the parallax value of the parallax image is 2 ⁇ 2 to 3 ⁇ 3 are used. Are calculated for a region gathered in a square shape, the RGB value of the left image is also weighted for the region corresponding to the region of the parallax image.
  • step 907 it is determined whether or not the synthesis process for all pixels has been completed. If the synthesis process for all pixels has been completed, an image obtained by synthesizing the left image and the parallax color image is obtained in step 908. The information is displayed on the display device 204 shown in FIG. 2, and the processing of steps 901 to 908 is completed.
  • FIG. 10 shows an example of an image obtained by synthesizing the left image and the parallax color image in the third exemplary embodiment of the present invention.
  • the image is indicated by a dot in the foreground that is the region having the largest parallax value.
  • the shaded portion is expressed in red, and the recessed portion having a small parallax value is expressed in blue.
  • the pixels of the left image are mixed by synthesis and the pixels of the left image are also displayed, so that an outline of a subject such as a grove of a distant view can be grasped.
  • the image obtained by combining the left image and the parallax color image is a bitmap image that can be displayed on a normal 2D monitor, without requiring a special display device such as a display device having a lenticular lens.
  • the user or the like grasps the stereoscopic effect of the finally obtained stereoscopic image by visually recognizing an image obtained by synthesizing the left image displayed on the screen of the 2D monitor and the parallax color image.
  • the third exemplary embodiment of the present invention by creating an image obtained by synthesizing the parallax color image obtained by converting the parallax value for each pixel of the left image into a color difference and the left image. Even in a normal 2D monitor, the stereoscopic effect of the stereoscopic image generated from the captured image can be grasped.
  • the image composition unit 2023 in FIG. 2 extracts the color difference components of the pixels included in each region of the left image, and the color difference between the region of the left image corresponding to each region of the parallax color image and each region of the parallax color image.
  • the ingredients may be synthesized.
  • the image composition unit 2023 in FIG. 2 performs processing of the left image that is the original image according to the parallax value, as in Modification 1 of the first exemplary embodiment or Modification 2 of the first exemplary embodiment.
  • the pixel weight w1 and the pixel weight w2 of the parallax color image may be changed.
  • a parallax luminance image in which the parallax value of the parallax map area is expressed by luminance may be created, and the image synthesis unit 2023 in FIG. 2 may synthesize the parallax luminance image and the parallax color image.
  • a resolution determining unit that determines the resolution of the corresponding region of the left image according to the parallax value for each region of the parallax map, and the parallax resolution image in which the resolution of each region of the left image is changed to the resolution determined by the resolution determining unit
  • a parallax resolution image creating unit that creates a parallax resolution image, and the image synthesis unit 2023 in FIG. 2 may synthesize the parallax resolution image and the parallax color image.
  • the resolution determination unit may reduce the resolution of the region of the left image as the parallax value corresponding to the region in the parallax map becomes smaller, or the absolute value of the parallax value corresponding to the region in the parallax map The resolution of the area of the left image may be lowered as the value increases.
  • the resolution determination unit classifies the parallax value for each determined range, has a correspondence table in which the resolution is associated with the parallax value of the classified range, and corresponds to the position of the region of the left image in the parallax map
  • the disparity value being used may be the disparity value of the region of the left image, and the resolution corresponding to the disparity value of the region of the left image may be determined based on the correspondence table.
  • a range in which the included parallax value is small may correspond to a lower resolution as the included parallax value is small, or a range in which the absolute value of the included parallax value is large Alternatively, a lower resolution may be associated with an increase in the absolute value of the included parallax value.
  • the resolution determination unit may be a sharpness determination unit that determines the sharpness of the corresponding left image region in accordance with the parallax value for each region of the parallax map.
  • the disparity value in the disparity map area is converted into a luminance value
  • the position of the disparity map in which the absolute value of the disparity value is within a threshold is specified
  • the specified area is colored with a predetermined color.
  • a cross point image creating unit that creates a point image may be further included, and the image composition unit 2023 in FIG. 2 may compose the cross point image and the parallax color image.
  • the parallax value of the area where the absolute value of the parallax value is maximum is determined by converting the parallax value of the area of the parallax map into a luminance value, specifying the position of the area where the absolute value of the parallax value is maximum in the parallax map.
  • 2 further includes a parallax absolute value maximum image creating unit that creates a parallax absolute value maximum image in which the region is colored with different colors depending on whether the area is positive or negative.
  • the image composition unit 2023 in FIG. The maximum image and the parallax color image may be combined.
  • the parallax image display device according to the fourth exemplary embodiment of the present invention is different from the parallax image display device according to the first exemplary embodiment of the present invention shown in FIG. Although the function of 2023 is different, other configurations are the same.
  • FIG. 11 is a flowchart showing processing of the parallax image display device according to the fourth exemplary embodiment of the present invention.
  • step 1101 it is determined in step 1101 whether a right image and a left image taken from two or more different viewpoints are input to the image input unit.
  • the input images are two or more images taken from two or more different viewpoints shown in FIG. 4 as in the first exemplary embodiment.
  • the parallax map creation unit 2021 shown in FIG. 2 creates a parallax map from the left image and the right image by stereo matching, as in the first exemplary embodiment.
  • the parallax occurs in the horizontal direction (horizontal direction) of the image and no shift occurs in the vertical direction (vertical direction).
  • the parallax image creation unit 2022 shown in FIG. 2 converts the resolution of the left image for each pixel according to the parallax value of the parallax map so that the user or the like can recognize the stereoscopic effect of the stereoscopic image. . Specifically, an image having a large parallax value, that is, a high resolution of a pixel related to a subject close to the camera and a low parallax value, that is, a low resolution of a pixel related to a subject far from the camera is generated. A resolution image is used.
  • a resolution determination unit (not shown) that determines the resolution of the corresponding region of the left image according to the parallax value for each region of the parallax map is separately provided, and the parallax image creation unit 2022 Alternatively, a parallax resolution image in which the resolution of each region of the left image is changed to the resolution determined by the resolution determination unit may be created.
  • the image is divided into rectangular blocks such as 3 ⁇ 3, 5 ⁇ 5, and 7 ⁇ 7, and the pixel values in each block are changed to the pixel values in the block.
  • Mosaic filling with average values is used.
  • the square block is reduced, and in a region where the parallax value is desired to be reduced for the resolution, the square block is increased.
  • the correspondence between the parallax value and the size of the block to be mosaicked is based on, for example, a correspondence table in which the two are matched.
  • pixels near the crosspoint are clarified. Can also be displayed.
  • step 1104 it is determined whether or not all pixels have been processed. If all pixels have been processed, in step 1105, a parallax resolution image file in which the resolution of the left image is changed according to the parallax value is obtained. And stored in the storage unit 205 shown in FIG.
  • step 1106 which is a step after the parallax resolution image is created, the color difference component of the left image is synthesized with the parallax resolution image for each pixel.
  • the color difference is extracted for the RGB value of each pixel of the left image, but some pixels such as the parallax value of the parallax image is 2 ⁇ 2 to 3 ⁇ 3.
  • the color difference extracted from the left image is also extracted for the region corresponding to the region of the parallax image.
  • step 1106 the color difference component of the left image is combined with the parallax resolution image.
  • the first modification, or the second modification the pixel of the left image and the parallax resolution are combined. You may combine with the pixel of an image.
  • step 1107 it is determined whether or not the synthesis process for all pixels has been completed. If the synthesis process for all pixels has been completed, in step 1108, the color difference component of the original left image and the parallax resolution image are obtained. 2 are displayed on the display device 204 shown in FIG. 2, and the processing of steps 1101 to 1108 is completed.
  • FIG. 12 shows an example of an image obtained by combining the color difference component of the left image and the parallax resolution image obtained by changing the resolution of the left image according to the parallax value in the fourth exemplary embodiment of the present invention.
  • the color difference component of the original left image is also displayed, so the difference in color of each subject can be recognized, and this allows the outline of each subject to be grasped. ing.
  • An image obtained by combining the color difference component of the original left image and the parallax resolution image does not require a special display device such as a display device having a lenticular lens, and can be displayed on a normal 2D monitor. It is a bitmap image.
  • the user or the like grasps the stereoscopic effect of the finally obtained stereoscopic image by visually recognizing an image obtained by combining the color difference component of the original left image displayed on the screen of the 2D monitor and the parallax resolution image. To do.
  • the resolution of the image is changed, but the sharpness of the image may be changed.
  • a separate sharpness determination unit (not shown) that determines the sharpness of the corresponding left image region according to the parallax value for each region of the parallax map is provided.
  • 2022 may create a parallax sharpness image in which the resolution of each region of the left image is changed to the sharpness determined by the sharpness determination unit.
  • Gaussian blur that smoothes an image using a Gaussian function is used to change the sharpness of the image.
  • the region is the center pixel, and the range of the surrounding pixels when calculating the weighted average of the pixel values of the center pixel and the surrounding pixels by a Gaussian function is used. Make it smaller.
  • the region is the central pixel
  • the surrounding pixels when calculating the weighted average of the pixel values of the central pixel and the pixels around the central pixel by a Gaussian function Increase the range.
  • an image obtained by combining a parallax resolution image obtained by converting a parallax value for each pixel of a left image into a resolution difference and a left image color difference component is combined.
  • the parallax image creation unit 2022 illustrated in FIG. 2 generates a left image for each pixel so that the user can recognize the stereoscopic effect of the stereoscopic image.
  • the resolution was converted according to the parallax value of the parallax map. Specifically, an image having a large parallax value, that is, a high resolution of a pixel related to a subject close to the camera and a low parallax value, that is, a low resolution of a pixel related to a subject far from the camera is generated. A resolution image was obtained.
  • the parallax image creation unit 2022 of FIG. 2 classifies the parallax values for each determined range, and creates a correspondence table in which resolutions corresponding to the classified ranges are set in advance. Have.
  • the parallax image creation unit 2022 identifies the parallax value corresponding to the pixel of the left image from the parallax map, identifies the resolution corresponding to the identified parallax value with reference to the correspondence table, and determines the pixel of the left image Is changed to the specified resolution.
  • the image is divided into rectangular blocks such as 3 ⁇ 3, 5 ⁇ 5, and 7 ⁇ 7, and the resolution is changed.
  • Mosaicing is used in which the pixel values are filled with the average value of the pixel values in the block. In a region where the parallax value for which the resolution is desired to be increased is large, the square block is reduced, and in a region where the parallax value is desired to be reduced for the resolution, the square block is increased.
  • the pixel of the left image with a parallax value of 0 to 2 has a 5 ⁇ 5 mosaic block size and a parallax value of 3 to 5
  • a pixel of a left image is a block to be mosaicked with the resolution of the pixel of the left image corresponding to the range to which the parallax value of the pixel belongs, such as a 3 ⁇ 3 block size to be mosaicked Apply and change the size of.
  • the larger the parallax value included in this range the smaller the size of the block to be mosaicked, and the corresponding parallax value range.
  • the smaller the included parallax value the higher the resolution of the pixels related to the subject close to the camera, and the higher the resolution of the pixels related to the subject far from the camera. It is possible to generate and display an image that is intermittently lowered according to the distance from the image.
  • the smaller the absolute value of the parallax values included in this range the smaller the size of the block to be mosaicked, and the parallax value range.
  • the larger the absolute value of the disparity value included in this range the larger the size of the block to be mosaicked is associated, thereby clearly displaying the pixels near the crosspoint, and the crosspoint It is possible to generate and display an image in which the resolution of the subject away from the screen is intermittently lowered according to the distance from the cross point.
  • the case where the parallax value corresponding to each pixel of the left image corresponds to the parallax map, that is, the case where the parallax value of the parallax image is calculated for each pixel.
  • the parallax value of a parallax image is calculated for a region where several pixels are gathered in a square shape, such as 2 ⁇ 2 or 3 ⁇ 3.
  • the parallax image creation unit 2022 in FIG. 2 can determine the parallax value. And a correspondence table in which resolutions corresponding to the classified ranges are set in advance.
  • the parallax image creation unit 2022 identifies the parallax value corresponding to the area of the left image from the parallax map, identifies the resolution corresponding to the identified parallax value by referring to the correspondence table, and determines the area of the left image Is changed to the specified resolution.
  • step 1103 in FIG. 11 The processing after step 1103 in FIG. 11 is the same as the fourth exemplary embodiment in the modification of the fourth exemplary embodiment.
  • the resolution depends on the parallax value.
  • the color difference component or pixel of the left image may be combined with the image in which is changed.
  • the parallax image creation unit 2022 of FIG. 2 classifies the parallax values for each determined range, and previously sets the sharpness corresponding to the parallax values of the classified range.
  • the disparity value corresponding to the left image area is specified from the disparity map with the set correspondence table, the sharpness corresponding to the specified disparity value is specified with reference to the above correspondence table, and the left image area The sharpness may be changed to the specified sharpness.
  • the higher the parallax value included in this range the higher the sharpness, and the smaller the parallax value included in this range of the parallax value range.
  • the lower the sharpness of the range the higher the sharpness of the pixels related to the subject closer to the camera, and the lower the sharpness of the pixels related to the subject far from the camera is generated and displayed according to the distance from the camera. can do.
  • the smaller the absolute value of the parallax values included in this range the higher the sharpness is associated, and the parallax value ranges included in this range.
  • the higher the absolute value of the parallax value the lower the sharpness, so that the pixels near the crosspoint are clearly displayed, and the sharpness of the subject away from the crosspoint is intermittent according to the distance from the crosspoint. It is possible to generate and display an image with a low height.
  • Gaussian blur that smoothes an image using a Gaussian function is used to change the sharpness of the image.
  • the area is set as the central pixel, and the range of the surrounding pixels when the weighted average of the pixel values of the central pixel and the surrounding pixels is calculated by a Gaussian function is reduced.
  • the area is set as the central pixel, and the range of the surrounding pixels when calculating the weighted average of the pixel values of the central pixel and the surrounding pixels by a Gaussian function is increased. To do.
  • the stereoscopic effect of the stereoscopic image generated from the left image is changed by stepwise changing the resolution of the image for each predetermined range of parallax values. It becomes easy to grasp the outline.
  • the parallax image display device according to the fifth exemplary embodiment of the present invention differs from the parallax image display device according to the first exemplary embodiment of the present invention shown in FIG. However, the other configurations are the same.
  • FIG. 13 is a flowchart showing processing of the parallax image display device according to the fifth exemplary embodiment of the present invention.
  • Steps 1301 to 1304 is the same as the processing from Steps 301 to 304 in FIG. 3 in the first exemplary embodiment of the present invention, and a description thereof will be omitted.
  • the parallax image creation unit 2022 identifies pixels whose absolute value of the parallax value in the parallax map is equal to or smaller than a predetermined threshold on the parallax image created in step 1303, and colors the identified pixels.
  • pixels having an actual parallax value of ⁇ 2 or more and 2 or less are colored in a predetermined color.
  • the color is green, but the color may be a red color or a blue color as long as it can be easily distinguished from other pixels.
  • step 1306 it is determined whether or not the parallax value is ⁇ 2 or more and 2 or less for all pixels.
  • the parallax value is ⁇ 2 or more and 2 or less.
  • a cross point image in which pixels are colored to display cross points is displayed on the display device 204 of FIG.
  • FIG. 14 shows a case where the cross point is in the foreground
  • FIG. 15 shows a case where the cross point is in the foreground.
  • FIGS. 14 and 15 a subject with a large parallax value is represented with low luminance, and a subject with a small parallax value is represented with high luminance.
  • the pixels other than the cross-point pixels are expressed in monochrome shades, but the outline of each subject is unclear, and the parts with the same parallax value are expressed with the same brightness. I can't figure out the details at all.
  • step 1308 the image composition unit 2023 shown in FIG. 2 synthesizes the left image and the cross point image for each pixel.
  • the left image and the crosspoint image are weighted 1: 9 to the RGB values of the pixels of each image, and the two images are combined. Yes.
  • the above-described weighting is performed on the RGB value of each pixel of the left image.
  • several pixels such that the parallax value of the parallax image is 2 ⁇ 2 to 3 ⁇ 3 are used. Are calculated for a region gathered in a square shape, the RGB value of the left image is also weighted for the region corresponding to the region of the parallax image.
  • step 1309 it is determined whether or not the synthesis process for all the pixels has been completed. If the synthesis process for all the pixels has been completed, in step 1310, an image obtained by synthesizing the left image and the crosspoint image is obtained. The information is displayed on the display device 204 shown in FIG. 2, and the processing of steps 1301 to 1310 is completed.
  • the image obtained by synthesizing the left image and the cross-point image is a bitmap image that can be displayed on a normal 2D monitor, without requiring a special display device such as a display device having a lenticular lens.
  • the user or the like grasps the stereoscopic effect of the finally obtained stereoscopic image by visually recognizing an image obtained by synthesizing the left image and the crosspoint image displayed on the screen of the 2D monitor.
  • a crosspoint image is created from a parallax image obtained by converting the parallax value for each pixel of the left image into luminance, and the created crosspoint image and By creating an image synthesized with the left image, it is possible to grasp the stereoscopic effect of the stereoscopic image generated from the captured image even on a normal 2D monitor.
  • the parallax image display device according to the sixth exemplary embodiment of the present invention differs from the parallax image display device according to the first exemplary embodiment of the present invention shown in FIG. However, the other configurations are the same.
  • FIG. 16 is a flowchart showing processing of the parallax image display device according to the sixth exemplary embodiment of the present invention.
  • steps 1601 to 1604 is the same as the processing from steps 301 to 304 in FIG. 3 in the first exemplary embodiment of the present invention, and the description thereof will be omitted.
  • the parallax image creation unit 2022 identifies the region where the absolute value of the parallax value in the left image is the maximum on the parallax image created in step 1603 based on the parallax map created in step 1602, It is determined whether or not the specified region has the maximum parallax value in the pop-out direction, that is, whether or not it is the foreground portion of the left image.
  • the parallax value is 0 at the cross point where the optical axes of the left and right lenses of the stereoscopic image shooting camera intersect, and the farther away from the cross point, that is, the closer to the camera, or the farther from the camera across the cross point, the more.
  • the absolute value of the parallax value increases.
  • the position where the parallax value is positive is assumed to be a position close to the camera from the cross point, that is, the foreground, and the position where the parallax value is negative is set to be more than the cross point. It is assumed that the position is far from the camera, that is, a distant view.
  • the parallax image creation unit 2022 determines that the pixel The parallax absolute value maximum image colored with red, which is the determined color, is created. Note that the color is not limited to red, and any color can be used as long as the region can be distinguished from other regions.
  • step 1607 it is determined whether or not processing has been performed for all pixels. If processing has been performed for all pixels, in step 1608, the parallax absolute value obtained by coloring the region having the maximum parallax value in the pop-out direction in red. The maximum image is displayed on the display device 204 shown in FIG.
  • FIG. 17 is a parallax absolute value maximum image displaying an area of a pixel having the maximum parallax value in the pop-out direction in the sixth exemplary embodiment of the present invention.
  • a subject with a large parallax value is represented with low luminance
  • a subject with a small parallax value is represented with high luminance.
  • the parallax value is the largest in the pop-out direction, it is expressed in monochrome shades, but the outline of each subject is unclear, and the parts with the same parallax value are expressed with the same brightness. I cannot grasp details of subjects such as trees in a distant view.
  • step 1609 the image composition unit 2023 shown in FIG. 2 synthesizes the left image in FIG. 4 that is the left image and the parallax absolute value maximum image that displays the region of the pixel having the maximum parallax value in the pop-out direction. .
  • each of the left image and the parallax absolute value maximum image displaying the region of the pixel having the maximum parallax value in the pop-out direction is weighted by 1: 9.
  • the images are synthesized by applying to the RGB values of the pixels of the image.
  • the above-described weighting is performed on the RGB value of each pixel of the left image.
  • several pixels such that the parallax value of the parallax image is 2 ⁇ 2 to 3 ⁇ 3 are used. Are calculated for a region gathered in a square shape, the RGB value of the left image is also weighted for the region corresponding to the region of the parallax image.
  • step 1610 it is determined whether or not the synthesis process for all the pixels is completed. If the synthesis process for all the pixels is completed, in step 1611, the pixel with the largest parallax value in the pop-out direction is compared with the left image. An image obtained by combining the parallax absolute value maximum image displaying the area is displayed on the display device 204 shown in FIG. 2, and the processing of steps 1601 to 1611 is completed.
  • step 1605 If it is determined in step 1605 that the parallax value has the maximum absolute value in the depth direction, the processing in steps 1627 to 1631 is performed.
  • the processing in steps 1627 to 1631 is the same as the processing in steps 1607 to 1611 described above except that the region having the maximum parallax value in the depth direction in step 1626 is colored with blue, which is a different color from step 1606. The description is omitted.
  • FIG. 18 is a parallax absolute value maximum image displaying a region having the maximum parallax value in the depth direction in the sixth exemplary embodiment of the present invention.
  • the region where the parallax value in the depth direction is the maximum is displayed in blue.
  • the cross point area can be displayed together with the area where the absolute value of the parallax value is maximum.
  • the seventh exemplary embodiment is an operation display unit of an apparatus capable of processing in the above-described first to sixth exemplary embodiments.
  • the configuration of the seventh exemplary embodiment is basically as shown in the block diagram of the parallax image display device according to the first exemplary embodiment of the present invention in FIG. The difference is that the display unit 204 is integrated in a touch panel format.
  • the operation display unit in the exemplary embodiment may use an LCD or the like for the display unit and may have a pointing device such as a mouse or a pen tablet as the operation unit.
  • the operation display unit illustrated in FIG. 19 displays a left image 301 that is an original image on the left in the uppermost stage, and a parallax image created based on a parallax value calculated from the left image and the right image on the right side. 302 is displayed.
  • pixel mixing in which the left image and the parallax image are synthesized by weighting the RGB values.
  • a slider 305 for changing the weighting of RGB values when “Pixel mixture” is selected is provided on the middle right of FIG. 19. The user moves the slider 305 on the touch panel left and right. By performing the operation, the weighting ratio of the RGB values of the left image and the parallax image can be arbitrarily changed within the range of 0:10 to 10: 0.
  • a crosspoint adjustment interface 306 that is an interface that can change the crosspoint of a stereoscopic image. While confirming the display on the parallax image displayed on the upper right of FIG. 19, the position of the cross point can be changed in the front-rear direction from the near side to the depth.
  • the region having the maximum parallax value according to the sixth exemplary embodiment of the present invention is reflected in the parallax image displayed on the upper right of FIG.
  • a size designation button 309 for designating a size is provided.
  • the user has what stereoscopic effect from two or more images read from the image input unit 201 of FIG. Is created by the processing according to the first to sixth exemplary embodiments of the present invention described above, and in some cases, a desired stereoscopic effect can be obtained by changing the cross point. be able to.
  • the parallax value is adjusted for the entire parallax image, and the parallax image is created again based on the adjusted parallax value and displayed.
  • the left image and the right image are stereo-matched using the left image as a reference to generate a parallax map is described, but the right image may be used as a reference.
  • a parallax map may be generated for each of the images as the first image (reference image) and the other image as the second image.
  • FIG. 2 is a computer having a CPU and a memory, the processing routines of the first to sixth exemplary embodiments are programmed, and the program is executed by the CPU. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　本発明は、立体視用画像の立体感を２Ｄモニタで確認できる、視差画像表示装置、視差画像表示方法、及び視差画像表示プログラムを提供する。即ち、異なる２以上の視点から撮影された複数の画像を取得し、該取得した複数の画像に含まれる第１の画像と該第１の画像とは異なる画像との各々対応する領域毎の位置の差で表される視差値を第１の画像の領域の位置に対応させた視差マップを生成し、領域毎の視差値に応じて対応する領域の解像度を決定し、第１の画像の各領域の解像度を該決定した解像度に変更した視差解像度画像を作成し、視差解像度画像と第１の画像とを合成する。

Description

視差画像表示装置、視差画像表示方法及び視差画像表示プログラム
　本発明は、視差画像表示装置、視差画像表示方法及び視差画像表示プログラムに係る。本発明は、特に、立体視用画像を生成するに先立ち、生成される立体視用画像の立体感を２次元表示のモニタで確認できる、視差画像表示装置、視差画像表示方法、及び視差画像表示プログラムに関する。
　従来、３Ｄ画像の立体感を２Ｄモニタで把握しようとする場合、立体視用画像の元になる２以上の画像であって、異なる２以上の視点から撮影された画像の視差を視差値として数値化し、生成される立体視用画像の立体感を、その視差値から判断する方法が考えられてきた。しかしながら、視差の程度を示す視差値は単なる数値に過ぎず、視差値の数値から実際の立体感を感覚的に把握することは困難である。
　そのため、視差値を２以上の画像のうちの第１の画像の画素位置に対応させた視差マップを生成し、その視差マップ上の視差値の程度を輝度差又は色彩の遷移で表現した視差画像を生成して立体視用画像の立体感を確認する技術が一般に知られている。
　しかしながら、視差値を輝度差等で表現した視差画像は、図１の右に示すように、元となった画像（図１の左）の特徴を全く示さないことがある。
　図１の右に示した視差画像では、図１の左の元の画像において手前に存在している被写体が最も視差値が大きく、この視差値が最大である被写体を黒に近い暗色で表示している。
　また、図１の左の元の画像では遠い被写体ほど視差値は小さくなっており、図１の右の視差画像では視差値が小さな被写体ほど、輝度が大きくなるように表示されている。
　その結果、図１の場合では、ある程度遠くの被写体では、視差値の差を輝度差で表現できる範囲を超えてしまい、遠い被写体は輝度が最大である白一色でしか視差画像では表示されなくなる。
　この図１のような場合では、視差画像によって、元の画像から生じる立体視用画像の立体感を大まかに把握することはできる。しかしながら、視差画像における視差値が大きい暗色の部分又は視差値が小さい白っぽい部分が、元の画像とどう対応しているのかが把握できない。
　例えば、特開２００３－０４７０２７号公報には、立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体が開示されている。この立体画像形成システムは、作成した視差マップに基づき、右画像と左画像とをストライプ状の複数の画像片に切り分け、これら切り分けられたストライプ状の画像片を交互に配置した、いわゆるレンチキュラー画像を作成し、作成したレンチキュラー画像で立体視効果を確認する。
　また、特開２００８－１０３８２０号公報には、立体画像処理装置が開示されている。この立体画像処理装置は、右画像と左画像との視差データを用いて動画像についてレンチキュラー画像を生成し、この生成したレンチキュラー画像で立体視効果を確認する。
　しかしながら、特開２００３－０４７０２７号公報に開示されている技術は、作成したレンチキュラー画像を、レンチキュラーレンズ等の手段によって立体視の効果を確認する。したがって、この技術では、通常の２次元表示のモニタ（以下、「２Ｄモニタ」と記載）上で立体視用画像の立体感を確認できない。
　また、特開２００８－１０３８２０号公報に開示されている立体画像処理装置も、レンチキュラー画像化した動画像の立体視効果を確認するには、レンチキュラー画像に対応した専用の立体画像再生装置（３Ｄモニタ）で当該動画像を再生しなければならない。
　本発明は、立体視用画像の立体感の効果を、当該立体視用画像を作成する前に２Ｄモニタで予め確認できる視差画像表示装置、視差画像表示方法及び視差画像表示プログラムを提供する。
　本発明の第１の態様は、発明の視差画像表示装置であって、異なる２以上の視点から撮影された複数の画像を取得する取得部と、前記取得部により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる第２の画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成する視差マップ生成部と、領域毎の視差値に応じて対応する領域の解像度を決定する解像度決定部と、前記第１の画像の各領域の解像度を前記解像度決定部において決定した解像度に変更した視差解像度画像を作成する視差画像作成部と、前記視差解像度画像と前記第１の画像とを合成する画像合成部と、を含んで構成されている。
　本発明の第１の態様の視差画像表示装置は、視差画像作成部が異なる２以上の視点から撮影された複数の画像から生成される立体視画像の立体感を示す視差値を解像度の差で認識できる視差解像度画像を作成する。画像合成部は、視差解像度画像と第１の画像とを合成することで、第１の画像の画素が合成によって視差解像度画像に混合され、解像度によって視差値が認識できることに加えて、被写体の概略が把握できる画像を生成する。
　画像合成部によって生成される画像は、レンチキュラーレンズを備えた表示機器のような特別な表示装置等を要するものではなく、通常の２Ｄモニタで表示できるビットマップ画像である。このから、本発明の第１の態様は、第１の画像と第２の画像とから作成される立体視用画像の立体感の効果を、当該立体視用画像を作成する前に２Ｄモニタで予め確認することができる。
　本発明の第２の態様の視差画像表示装置は、異なる２以上の視点から撮影された複数の画像を取得する取得部と、前記取得部により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる第２の画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成する視差マップ生成部と、領域毎の視差値に応じて対応する領域のシャープネスを決定するシャープネス決定部と、前記第１の画像の各領域のシャープネスを前記シャープネス決定部において決定したシャープネスに変更した視差シャープネス画像を作成する視差画像作成部と、前記視差シャープネス度画像と前記第１の画像とを合成する画像合成部と、を含む視差画像表示装置である。
　本発明の第３の態様の視差画像表示方法は、異なる２以上の視点から撮影された複数の画像を取得し、該取得した複数の画像に含まれる第１の画像と該第１の画像とは異なる画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成し、領域毎の視差値に応じて対応する領域の解像度を決定する。
　さらに、本発明の第３の態様は、前記第１の画像の各領域の解像度を該決定した解像度に変更した視差解像度画像を作成し、前記視差解像度画像と前記第１の画像とを合成する、視差画像表示方法である。
　本発明の第４の態様は、視差画像表示プログラムであって、コンピュータを、異なる２以上の視点から撮影された複数の画像を取得する取得部、前記取得部により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる第２の画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成する視差マップ生成部、領域毎の視差値に応じて対応する領域の解像度を決定する解像度決定部、として機能させる。
　さらに、本発明の第４の態様は、前記第１の画像の各領域の解像度を前記解像度決定部において決定した解像度に変更した視差解像度画像を作成する視差画像作成部、及び前記視差解像度画像と前記第１の画像とを合成する画像合成部として機能させるための視差画像表示プログラムである。
　なお、領域には、１つの画素のみならず、画素が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域も含む。
　以上説明したように、本発明の上記態様によれば、第１の画像と第２の画像とから作成される立体視用画像の立体感の効果を、当該立体視用画像を作成する前に、２Ｄモニタで予め確認できる。
元の画像と視差画像とを比較した図である。 本発明の第１の例示的実施形態に係る視差画像表示装置のブロック図である。 本発明の第１の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。 異なる２以上の視点から撮影された２以上の画像の一例を示す図である。 本発明の第１の例示的実施形態に係る視差画像の一例を示す図である。 本発明の第１の例示的実施形態において第１の画像と視差画像とを合成した画像の一例を示す図である。 本発明の第２の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。 本発明の第２の例示的実施形態において第１の画像の色差成分と視差画像とを合成した画像の一例を示す図である。 本発明の第３の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。 本発明の第３の例示的実施形態において第１の画像と視差色差画像とを合成した画像の一例を示す図である。 本発明の第４の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。 本発明の第４の例示的実施形態において第１の画像の色差成分と視差値にしたがって第１の画像の解像度を変化させた視差解像度画像とを合成した画像の一例を示す図である。 本発明の第５の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。 本発明の第５の例示的実施形態において第１の画像のクロスポイントを表示したクロスポイント画像である。 本発明の第５の例示的実施形態において第１の画像のクロスポイントを表示したクロスポイント画像である。 本発明の第６の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。 本発明の第６の例示的実施形態において飛び出し方向に視差値が最大の画素の領域を表示した視差絶対値最大画像である。 本発明の第６の例示的実施形態において奥行き方向に視差値が最大の領域を表示した視差絶対値最大画像である。 本発明の第１～６の例示的実施形態における処理が可能な装置の操作表示部である。
　以下、図面を参照して、本発明の例示的実施形態を詳細に説明する。
　［第１の例示的実施形態］
　図２は、本発明の第１の例示的実施形態に係る視差画像表示装置のブロック図である。
　図２に示すように、本発明の第１の例示的実施形態に係る視差画像表示装置２００は、異なる２以上の視点から撮影された２以上の画像が入力される画像入力部２０１と、入力された２以上の画像に基づいて第１の画像（第１～第７の例示的実施形態では左画像）とこの左画像とは異なる視点から撮影された第２の画像（第１～第７の例示的実施形態では右画像）とから作成される立体視用画像の立体感を確認するための画像を作成する画像処理部２０２と、視差画像表示装置２００を操作するための操作部２０３と、画像処理部２０２の処理結果を表示する表示装置２０４と、入力された画像等を記憶する記憶部２０５と、を有する。
　画像入力部２０１には、立体視用画像を撮影するカメラ等が撮影した異なる２以上の視点から撮影された２以上の画像が入力される。画像入力部２０１には、立体視用画像を撮影するカメラが直結されていてもよい。しかしながら、画像入力部２０１は、当該カメラが撮影した画像を格納した情報記憶媒体（磁気ディスク、光ディスク、光磁気ディスク、メモリカード、ＩＣカード等の何れか）から当該カメラが撮影した画像を読み出して入力するデータ読出装置であってもよい。
　操作部２０３は、ユーザ等が視差画像装置２００に対する指示を入力するための装置であり、タッチパネル、キーボード、マウス及びペンタブレット等の入力デバイスが用いられる。
　表示装置２０４は、画像処理部２０２の処理過程又は処理結果を表示するＬＣＤ等の装置であり、本例示的実施形態では、２Ｄモニタである。
　記憶部２０５は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等による記憶装置である。
　さらに画像処理部２０２は、視差マップ作成部２０２１と、視差画像作成部２０２２と、画像合成部２０２３と、を有する。視差マップ作成部２０２１は、入力された２以上の画像に含まれる左画像とこの左画像とは異なる視点から撮影された右画像との各々対応する画素毎の位置の差で表される視差を、左画像の画素の位置に対応させた視差マップを作成する。視差画像作成部２０２２は、作成した視差マップの視差値の大きさを輝度で示した視差画像を作成する。画像合成部２０２３は、作成した視差画像を左画像と合成する。
　画像処理部２０２は、ＣＰＵ及びメモリを有するコンピュータでもよく、この場合は、記憶部２０５に格納されている当該コンピュータを画像処理装置として機能させるためのプログラムにしたがって動作する。
　画像合成部２０２３が視差画像と左画像とを合成した画像は、画像処理部２０２の処理結果として表示装置２０４に出力される。
　また、入力された画像、視差マップ、視差画像及び画像合成部２０２３が合成した画像等は、記憶部２０５に記憶される。
　次に、図３にしたがって、本発明の第１の例示的実施形態に係る視差画像表示装置の処理について説明する。ここで図３は、本発明の第１の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。
　まず、画像入力部に異なる２以上の視点から撮影された２以上の画像が入力されたか否かがステップ３０１で判断される。
　ここで、図４は、画像入力部に入力される異なる２以上の視点から撮影された２以上の画像の一例であり、右側の視点から撮影された右画像（図２の右）と左側の視点から撮影された左画像（図２の左）を示す図である。ステップ３０２では、図４に示した異なる２以上の視点から撮影された２以上の画像から視差マップを作成する。なお、図４の左画像と右画像は、視差が画像の横方向（水平方向）に発生しており、縦方向（垂直方向）にずれは生じていないものとする。
　このステップ３０２では、図２で示した視差マップ作成部２０２１が、左画像と右画像とに対してステレオマッチングを行って視差マップを生成する。
　ステレオマッチングとは、異なる視点から撮影された２枚１組の画像を用い、左の画像のある領域が、右画像のどの領域に対応するかを特定して、各領域の３次元的な位置を推測する方法である。
　具体的には、図４に示すように、例えば左画像を基準として、左画像上の画素（ｘ１，ｙ１）に対応する右画像上の対応画素（ｘ２，ｙ２）を抽出する。左画像上の画素（ｘ１，ｙ１）と右画像上の対応画素（ｘ２，ｙ２）との視差ｄは、ｄ＝ｘ２－ｘ１と計算でき、この視差ｄを、基準とした左画像の画素位置（ｘ１，ｙ１）に格納する。
　視差ｄを、基準とした左画像の画素位置に格納した視差値を視差マップとする。なお、本例示的実施形態では、画像の１画素毎に視差値を算出しているが、画素が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について視差値を算出してもよく、このように画素が集合した領域について視差値を算出する場合は、処理速度が向上し得ると考えられる。
　この視差マップは、各画素について視差値が示されているが、単なる数値データであるから、ユーザ等が読んでも、視差値が実際の立体視用画像においてどのような立体感を生じ得るかということを認識することはできない。
　そこで、ステップ３０３では、図２で示した視差画像作成部２０２２が、ユーザ等が立体視用画像の立体感を認識できるように、視差マップの画素毎の視差値を輝度値に変換し、左画像の各画素に対応する視差値を輝度で表した画像である視差画像を作成する。
　視差値を輝度値に変換する方法は、種々考えられるが、視差値と輝度値との一対一の対応関係を記した対応表にしたがって変換するのが一般的である。
　ステップ３０４では、全画素について視差値から輝度値への変換処理が行われたか否かが判断され、全画素が変換されたのであれば、ステップ３０５で、当該変換によって作成された視差画像のファイルを、図２に記した記憶部２０５に記憶する。
　図５は、本発明の第１の例示的実施形態に係る視差画像の一例を示す図である。この図５では、視差値が大きい被写体は低輝度で、視差値が小さい被写体は高輝度で表現されている。
　図５では、画像上の全ての被写体は、モノクロームの濃淡で表現されているが、各被写体の輪郭は不明瞭であり、視差値が同一な部分は同一の輝度で表現されるため、遠景の木立等の被写体の細部が全く把握できない。
　この図５を元の画像である図４の左画像と交互に比較することによって、元の画像と視差画像との対応を把握することも考えられるが、２つの画像を見比べるのは煩雑であるし、画像を見比べて元の画像との対応を把握した上で、最終的に生成される立体視用画像の立体感を、元の画像の被写体と対比させて認識することは困難である。
　そこで、ステップ３０６では、図２で示した画像合成部２０２３が、図４の左画像と視差画像とを画素毎に合成する。
　このステップ３０６では、左画像と視差画像とで、ｗ１：ｗ２、例えば１：９の重み付けをそれぞれの画像画素のＲＧＢ値に施して、両画像の合成を行っている。
　ステップ３０６での画像の合成は、左画像に対する重みｗ１より視差画像に対する重みｗ２を重くして、以下の式（１）にしたがって加重平均値を演算することにより左画像と視差画像とを合成する。ａは左画像の画素値、ｂは画素値ａの画素に対応する視差画像の画素の輝度値である。この加重平均値は、視差画像及び左画像の画素の全てについて求める。
　　　（ａ・ｗ１＋ｂ・ｗ２）／（ｗ１＋ｗ２）　　　　・・・（１）
　ただし、ｗ１＜ｗ２であり、ｗ１＝１、ｗ２＝９とすることが好ましい。
　カラー画像の場合には、左画像の各画素は、ＲＧＢの各値ａＲ、ａＧ、ａＢを各々有しているので、各画素のＲＧＢ値の各々について以下の式（２）のように加重平均を求める。
　　　（ａＲ・ｗ１＋ｂ・ｗ２）／（ｗ１＋ｗ２）
　　　（ａＧ・ｗ１＋ｂ・ｗ２）／（ｗ１＋ｗ２）　　　・・・（２）
　　　（ａＢ・ｗ１＋ｂ・ｗ２）／（ｗ１＋ｗ２）
　なお、本例示的実施形態では、左画像の各１画素のＲＧＢ値について上記の重み付けを行っているが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合は、左画像のＲＧＢ値の重み付けも、視差画像の領域に対応する領域についてＲＧＢ値の重み付けをする。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域についてＲＧＢ値の重み付けをする場合は、当該領域の各画素のＲＧＢ値の平均値を算出し、算出したＲＧＢ値の平均値に対して上記式（２）による重み付けをする。
　続くステップ３０７では、全画素での合成処理が完了したか否かを判断し、全画素での合成処理が完了した場合は、ステップ３０８において、左画像と視差画像とを合成した画像を、図２に示した表示装置２０４に表示して、ステップ３０１～３０８の処理を完了する。
　図６は、本発明の第１の例示的実施形態において左画像と視差画像とを合成した画像の一例を示したものである。本発明の第１の例示的実施形態では、輝度差によって視差値が認識できることに加えて、左画像の画素が合成によって混合され、左画像の色差成分も薄く表示されるので、遠景の木立等の被写体の概略が把握できる。
　また、左画像と視差画像とを合成した画像は、レンチキュラーレンズを備えた表示機器のような特別な表示装置等を要するものではなく、通常の２Ｄモニタで表示できるビットマップ画像である。
　ユーザ等は、２Ｄモニタの画面に表示された左画像と視差画像とを合成した画像を視認することにより、最終的に得られる立体視用画像の立体感を把握する。
　以上説明したように、本発明の第１の例示的実施形態によれば、左画像の各画素についての視差値を輝度に変換した視差画像と左画像とを合成した画像を作成することにより、通常の２Ｄモニタでも撮影画像から生成される立体視用画像の立体感を把握することができる。
　［第１の例示的実施形態の変形例１］
　第１の例示的実施形態では、図３のステップ３０６の左画像と視差画像との合成において、左画像の画素のＲＧＢ値に対する重みをｗ１、視差画像の輝度値に対する重みをｗ２とし、一例としてｗ１：ｗ２＝１：９の重み付けをそれぞれの画像の画素のＲＧＢ値及び輝度値に施して、両画像の合成を行っていた。
　この左画像と視差画像との合成における重み付けを、視差値に応じて変更するのが、以下で説明する第１の例示的実施形態の変形例１と同変形例２である。
　このうち、第１の例示的実施形態の変形例１は、立体視用カメラの左右のレンズの光軸が交差するクロスポイント付近の被写体に係る画素では左画像の重みｗ１を視差画像の重みｗ２に比して重くする。
　さらに、クロスポイントよりも手前又は奥の被写体に係る画素は、クロスポイントから離れているほど、視差画像の重みｗ２を重くしていき左画像の重みｗ１は軽くしていくというものである。
　視差値の絶対値は、クロスポイントに係る被写体の画素で最小の「０」となり、クロスポイントから離れた被写体の画素では、クロスポイントから離れるほど、視差値の絶対値は大きくなる。
　このため、第１の例示的実施形態の変形例１では、視差値の絶対値が大きくなるに従って、視差画像の領域に対応する左画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みｗ１を軽くすると共に、視差画像の領域に含まれる画素の輝度値から得られる値に対する重みｗ２を重くしていく。
　重み付けを視差値に応じて変化させる方法は種々考えられるが、視差値をｄとしたとき、左画像の重みｗ１と視差画像の重みｗ２の比率は、以下の式（３）を用いる。ここでｍは、実験を通じて統計的に決定される所定の係数であって、正の実数である。また、Ａ及びＢは、Ａ≧ＢかつＡ＋Ｂ＝１０の関係を有し、各々０～１０の値をとり得る正の実数である。
　左画像の重みｗ１：視差画像の重みｗ２＝Ａ－ｍ｜ｄ｜：Ｂ＋ｍ｜ｄ｜・・・（３）
　上述のように、クロスポイントに存在する被写体に係る画素の視差値は「０」で、その視差値の絶対値は最小となるから、上記式（３）を用いると、クロスポイントに存在する被写体における左画像の画素に対するＲＧＢ値への重みｗ１は「Ａ」であり、クロスポイントに存在する被写体における視差画像の画素に対する輝度値への重みｗ２は「Ｂ」となる。
　上述のように、Ａ及びＢは、Ａ≧ＢかつＡ＋Ｂ＝１０の関係を有し、各々０～１０の値をとり得る正の実数であるから、一例として、Ａ＝９、Ｂ＝１とすると、クロスポイントに存在する被写体ではｗ１＝９、ｗ２＝１となり、左画像と視差画像とで、９：１の重み付けがそれぞれの画像画素のＲＧＢ値及び輝度値に施されて、両画像の合成が行われる。
　また、一例として、Ａ＝１０、Ｂ＝０とすると、クロスポイントに存在する被写体ではｗ１＝１０、ｗ２＝０となり、画像合成に際して、左画像の画素のみが使用され、視差画像の輝度値は、画像合成に際して用いられないことになる。
　クロスポイントから離れた位置に存在する被写体に係る画素における視差値は、クロスポイントから離れるほど当該視差値の絶対値が増大するので、式（３）によると、相対的に左画像の重みｗ１は軽くなり、反対に視差画像の重みｗ２が相対的に重くなっていく。
　また、上記の式（３）にはよらず、視差値と重み付けを対応させた対応表を予め用意し、この対応表（ルックアップテーブル）に従って視差値に応じて重み付けを変更してもよい。
　この第１の例示的実施形態の変形例１によれば、クロスポイント付近の被写体においては、原画像である左画像の画素の重みｗ１を視差画像の画素の重みｗ２に比べて相対的に重くして左画像と視差画像とが合成されるので、クロスポイント付近の被写体の原画像での状態を確認できる。また、クロスポイントから離れた位置に存在する被写体はクロスポイントから遠ざかるほど、原画像である左画像の画素の重みｗ１に比して、相対的に視差画像の画素の重みｗ２を重くして左画像と視差画像とが合成されるので、撮影画像から生成される立体視用画像の立体感の把握が容易となる。
　［第１の例示的実施形態の変形例２］
　第１の例示的実施形態の変形例２は、カメラに近い被写体に係る画素では左画像の重みｗ１を視差画像の画素の重みｗ２に比して重くして、カメラから遠い被写体に係る画素ほど視差画像の重みｗ２を重くしていき左画像の重みｗ１は軽くしていくというものである。
　視差値は、カメラに最も近い被写体の画素で最大となり、カメラから離れた被写体の画素では、カメラから離れるほど視差値は小さくなる。
　このため、第１の例示的実施形態の変形例２では、視差値が小さくなるに従って、視差画像の領域に対応する左画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みｗ１を軽くすると共に、視差画像の領域に含まれる画素の輝度値から得られる値に対する重みｗ２を重くしていく。
　重み付けを視差値に応じて変化させる方法は種々考えられるが、視差値をｄとしたとき、左画像の重みｗ１と視差画像の重みｗ２の比率は、以下の式（４）を用いる。ここでｐは、実験を通じて統計的に決定される所定の係数であって、正の実数である。ｄｎは、カメラから最も近い被写体の画素の視差値である。
　また、Ａ及びＢは、Ａ≧ＢかつＡ＋Ｂ＝１０の関係を有し、各々０～１０の値をとり得る正の実数である。
　左画像の重みｗ１：視差画像の重みｗ２
　　　　　　　　　　　＝Ａ－ｐ｜ｄ－ｄｎ｜：Ｂ＋ｐ｜ｄ－ｄｎ｜・・・（４）
　カメラに最も近い被写体の視差値はｄｎであるから、式（４）の｜ｄ－ｄｎ｜は「０」となる。このためカメラに最も近い被写体における左画像の画素に対するＲＧＢ値への重みｗ１は「Ａ」であり、カメラに最も近い被写体における視差画像の画素に対する輝度値への重みｗ２は「Ｂ」となる。
　上述のように、Ａ及びＢは、Ａ≧ＢかつＡ＋Ｂ＝１０の関係を有する各々０～１０の値をとり得る正の実数であるから、一例として、Ａ＝９、Ｂ＝１とすると、カメラに最も近い被写体ではｗ１＝９、ｗ２＝１となり、左画像と視差画像とで、９：１の重み付けがそれぞれの画像画素のＲＧＢ値及び輝度値に施されて、両画像の合成が行われる。
　また、一例として、Ａ＝１０、Ｂ＝０とすると、カメラに最も近い被写体ではｗ１＝１０、ｗ２＝０となり、画像合成に際して、左画像の画素のみが使用され、視差画像の輝度値は、画像合成に際して用いられない。
　カメラから離れた位置に存在する被写体においては、上記式（４）中の｜ｄ－ｄｎ｜が増大するので、相対的に左画像の重みｗ１は軽くなり、逆に視差画像の重みｗ２が相対的に重くなっていく。
　また、上記の式（４）にはよらず、視差値と重み付けを対応させた対応表（ルックアップテーブル）を予め用意し、この対応表に従って視差値に応じて重み付けを変更してもよい。
　この第１の例示的実施形態の変形例２によれば、カメラに最も近い被写体においては、原画像である左画像の画素の重みｗ１を視差画像の画素の重みｗ２に比べて相対的に重くして左画像と視差画像とが合成されるので、カメラに最も近い被写体の原画像での状態を確認できる。また、カメラから離れた位置に存在する被写体はカメラから遠ざかるほど、原画像である左画像の画素の重みｗ１に比して、相対的に視差画像の画素の重みｗ２を重くして左画像と視差画像とが合成されるので、撮影画像から生成される立体視用画像の立体感の把握が容易となる。
　［第２の例示的実施形態］
　続いて、本発明の第２の例示的実施形態について説明する。本発明の第２の例示的実施形態に係る視差画像表示装置は、図２に示した本発明の第１の例示的実施形態に係る視差画像表示装置とは画像合成部２０２３の機能が異なるが、その他の構成については同一である。
　次に、図７にしたがって本発明の第２の例示的実施形態に係る視差画像表示装置の処理について説明する。図７は、本発明の第２の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。
　このうち、ステップ７０１～７０５までの処理は、本発明の第１の例示的実施形態における図３のステップ３０１～３０５までの処理と同様なので、説明を省略する。
　視差画像が作成された後の工程であるステップ７０６では、左画像の色差成分を視差画像に合成する。本発明の第１の例示的実施形態では、左画像と視差画像とで、１：９の重み付けを両画像の画素のＲＧＢ値に施して、両画像の合成を行ったが、本発明の第２の例示的実施形態では、左画像から色差成分のみを抽出し、抽出した色差成分を視差画像に合成している。
　本例示的実施形態における色差は、元々輝度値Ｙが含まれているＲＧＢの各画素値のうち、Ｒ及びＢの各々の画素値から輝度値Ｙを減算したＲ－Ｙ及びＢ－Ｙである。
　色差Ｒ－Ｙ及びＢ－Ｙ並びに輝度値Ｙの関係は、例えば、ＹＣｒＣｂ方式では、色差Ｂ－ＹをＣｂ、色差Ｒ－ＹをＣｒとすると、以下の式（５）のようになる。
　　　Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
　　　Ｃｒ＝０．５００００Ｒ－０．４１８６９Ｇ－０．０８１３１Ｂ　　・・・（５）
　　　Ｃｂ＝－０．１６８７４Ｒ－０．３３１２６Ｇ＋０．５００００Ｂ
　上記式（５）から、ＹＣｒＣｂからＲＧＢへの変換に係る以下の式（６）が算出される。
　　　Ｒ＝Ｙ＋１．４０２００Ｃｒ
　　　Ｇ＝Ｙ－０．３４４１４Ｃｂ－０．７１４１４Ｃｒ　　　　　　　　・・・（６）
　　　Ｂ＝Ｙ＋１．７７２００Ｃｂ
　一方、視差画像は、輝度値のみで表現されたモノクロ画像である。この視差画像のある画素が輝度値Ｙ’を有し、この輝度値Ｙ’を有する視差画像の画素に対応する左画像の画素の色差が、式（６）中のＣｒ及びＣｂであるとする。
　ステップ７０６では、画素毎に上記式（６）の輝度値Ｙに、視差画像の輝度値であるＹ’を代入することで、左画像から抽出した色差成分と視差画像とを合成している。
　続くステップ７０７では、全画素での合成処理が完了したか否かを判断し、全画素での合成処理が完了した場合は、ステップ７０８において、左画像の色差成分と視差画像とを合成した画像を、図２に示した表示装置２０４に表示して、ステップ７０１～７０８の処理を完了する。
　図８は、本発明の第２の例示的実施形態において左画像の色差成分と視差画像とを合成した画像の一例を示したものである。各画素の輝度の違いから視差値が認識できることに加えて、第１の例示的実施形態の場合よりも、左画像の色差成分が明瞭に表示されるので、各被写体の色の違いを認識でき、これによって各被写体の概略が把握できる。
　また、本例示的実施形態では、左画像の各１画素のＲＧＢ値について色差を抽出しているが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合は、左画像から抽出する色差も、視差画像の領域に対応する領域について抽出する。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について色差を抽出する場合は、当該領域の各画素のＲＧＢ値の平均値を算出し、算出したＲＧＢ値の平均値から色差を抽出する。
　左画像の色差成分と視差画像とを合成した画像は、レンチキュラーレンズを備えた表示機器のような特別な表示装置等を要するものではなく、通常の２Ｄモニタで表示できるビットマップ画像である。
　ユーザ等は、２Ｄモニタの画面に表示された左画像の色差成分と視差画像とを合成した画像を視認することにより、最終的に得られる立体視用画像の立体感を把握する。
　以上説明したように、本発明の第２の例示的実施形態によれば、左画像の各画素についての視差値を輝度に変換した視差画像と左画像色差成分とを合成した画像を作成することにより、通常の２Ｄモニタでも撮影画像から生成される立体視用画像の立体感を把握できる。
　［第３の例示的実施形態］
　続いて、本発明の第３の例示的実施形態について説明する。本発明の第３の例示的実施形態に係る視差画像表示装置は、図２に示した本発明の第１の例示的実施形態に係る視差画像表示装置とは視差画像作成部２０２２の機能が異なるが、その他の構成については同一である。
　次に、図９にしたがって本発明の第３の例示的実施形態に係る視差画像表示装置の処理について説明する。図９は、本発明の第３の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。
　まず、画像入力部に異なる２以上の視点から撮影された２以上の画像が入力されたか否かがステップ９０１で判断される。入力される画像は、第１の例示的実施形態と同じく、図４に示した異なる２以上の視点から撮影された２以上の画像である。
　続いて、ステップ９０２では、図２で示した視差マップ作成部２０２１が、第１の例示的実施形態と同様に、ステレオマッチングによって、左画像と右画像とから視差マップを作成する。なお、図４の左画像と右画像は、視差が画像の横方向（水平方向）に発生しており、縦方向（垂直方向）にずれは生じていないものとする。
　ステップ９０３では、図２で示した視差画像作成部２０２２が、視差マップから、ユーザ等が立体視用画像の立体感を認識できるように、左画像として例えば左画像の各画素に対応する視差値を色、例えば色差の値で表し、この画素毎の色差の値を左画像上の対応する画素の位置に示した画像を生成し、これを視差色画像とする。
　なお、視差画像作成部２０２２とは別に、視差マップの領域毎の視差値に応じて対応する左画像の領域の色を決定する色決定部（図示せず）を別途備え、視差画像作成部２０２２は、左画像の各領域の解像度を色決定部において決定した色に変更した視差色画像を作成するようにしてもよい。
　視差値を色差の値に変換する方法は、種々考えられるが、視差値と色差の値との対応を記した対応表にしたがって変換する。本例示的実施形態では、視差値が大きな場合は赤、視差値が小さくなるにしたがって赤から青へ色差が変化するようになっており、対応表は、大きな視差値は赤の色差に対応させ、小さな視差値になるほど赤から青が強調された色差に対応するようにしている。
　この場合、視差値を決められた範囲毎に分類し、該分類された範囲の視差値に色を対応させた対応表を有するようにして、左画像の領域の視差値に対応する色を対応表に基づいて決定するようにしてもよい。
　ステップ９０４では、全画素について視差値から色差の値への変換処理が行われたか否かが判断され、全画素が変換されたのであれば、ステップ９０５で、当該変換によって作成された視差色画像のファイルを、図２に記した記憶部２０５に記憶する。
　視差値を色差で表現した視差色画像でも、ある程度は、左画像の特徴が観察できる場合がある。しかしながら、遠景の木立等の被写体の細部を把握するためには、第１の例示的実施形態と同様に、左画像と視差を色差で表現した視差色画像とを合成することが望ましい。
　ステップ９０６では、第１の例示的実施形態と同様に、図２に示した画像合成部２０２３が、左画像と視差画像とで、１：９の重み付けをそれぞれの画像の画素毎のＲＧＢ値に施して、両画像の合成を行っているが、重みの比率は１：９以外でもよい。
　なお、本例示的実施形態では、左画像の各１画素のＲＧＢ値について上記の重み付けを行っているが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合は、左画像のＲＧＢ値の重み付けも、視差画像の領域に対応する領域についてＲＧＢ値の重み付けをする。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域についてＲＧＢ値の重み付けをする場合は、当該領域の各画素のＲＧＢ値の平均値を算出し、算出したＲＧＢ値の平均値に対して上記式（２）による重み付けをする。
　続くステップ９０７では、全画素での合成処理が完了したか否かを判断し、全画素での合成処理が完了した場合は、ステップ９０８において、左画像と視差色画像とを合成した画像を、図２に示した表示装置２０４に表示して、ステップ９０１～９０８の処理を完了する。
　図１０は、本発明の第３の例示的実施形態において左画像と視差色画像を合成した画像の一例を示したもので、実画像では、視差値が最も大きい領域である手前のドットで示された部分は赤で表現され、視差値が小さい奥まった部分は青で表現されている。
　また、色差によって視差値が認識できることに加えて、左画像の画素が合成によって混合され、左画像の画素も表示されるので、遠景の木立等の被写体の概略が把握できるようになっている。
　また、左画像と視差色画像とを合成した画像は、レンチキュラーレンズを備えた表示機器のような特別な表示装置等を要するものではなく、通常の２Ｄモニタで表示できるビットマップ画像である。
　ユーザ等は、２Ｄモニタの画面に表示された左画像と視差色画像とを合成した画像を視認することにより、最終的に得られる立体視用画像の立体感を把握する。
　以上説明したように、本発明の第３の例示的実施形態によれば、左画像の各画素についての視差値を色差に変換した視差色画像と左画像とを合成した画像を作成することにより、通常の２Ｄモニタでも撮影画像から生成される立体視用画像の立体感を把握することができる。
　この第３の例示的実施形態では、以下のような様々な変形例も可能である。
　まず、図２の画像合成部２０２３は、左画像の各領域に含まれる画素の色差成分を抽出し、視差色画像の各領域と視差色画像の領域の各々に対応する左画像の領域の色差成分とを合成してもよい。
　また、図２の画像合成部２０２３は、第１の例示的実施形態の変形例１又は第１の例示的実施形態の変形例２のように、視差値に応じて原画像である左画像の画素の重みｗ１と視差色画像の画素の重みｗ２とを変化させるようにしてもよい。
　また、視差マップの領域の視差値を輝度で表現した視差輝度画像を作成し、図２の画像合成部２０２３は、視差輝度画像と視差色画像とを合成してもよい。
　また、視差マップの領域毎の視差値に応じて対応する左画像の領域の解像度を決定する解像度決定部と、左画像の各領域の解像度を解像度決定部において決定した解像度に変更した視差解像度画像を作成する視差解像度画像作成部と、をさらに有し、図２の画像合成部２０２３は、視差解像度画像と視差色画像とを合成するようにしてもよい。
　解像度決定部は、視差マップにおいて領域に対応している視差値が小さくなるに従って左画像の領域の解像度を低下させるようにしてもよいし、視差マップにおいて領域に対応している視差値の絶対値が大きくなるに従って左画像の領域の解像度を低下させるようにしてもよい。
　また、解像度決定部は、視差値を決められた範囲毎に分類し、該分類された範囲の視差値に解像度を対応させた対応表を有し、視差マップにおいて左画像の領域の位置に対応させている視差値を左画像の領域の視差値とし、左画像の領域の視差値に対応する解像度を対応表に基づいて決定するようにしてもよい。
　対応表には種々の記載が考えられるが、含まれる視差値が小さい範囲には、該含まれる視差値が小さいほど低い解像度を対応させてもよいし、含まれる視差値の絶対値が大きい範囲には、該含まれる前記視差値の絶対値が大きいほど低い解像度を対応させるようにしてもよい。
　さらに、上記の解像度決定部を視差マップの領域毎の視差値に応じて対応する左画像の領域のシャープネスを決定するシャープネス決定部としてもよい。
　また、視差マップの領域の視差値を輝度値に変換し、かつ視差マップにおける視差値の絶対値が閾値以内である領域の位置を特定し、該特定した領域を決められた色で着色したクロスポイント画像を作成するクロスポイント画像作成部をさらに有し、図２の画像合成部２０２３は、クロスポイント画像と視差色画像とを合成するようにしてもよい。
　さらに、視差マップの領域の視差値を輝度値に変換し、かつ視差マップにおける視差値の絶対値が最大である領域の位置を特定し、視差値の絶対値が最大である領域の視差値が正の場合と負の場合とで、該領域を異なる色で着色した視差絶対値最大画像を作成する視差絶対値最大画像作成部をさらに有し、図２の画像合成部２０２３は、視差絶対値最大画像と視差色画像とを合成するようにしてもよい。
　［第４の例示的実施形態］
　続いて、本発明の第４の例示的実施形態について説明する。本発明の第４の例示的実施形態に係る視差画像表示装置は、図２に示した本発明の第１の例示的実施形態に係る視差画像表示装置とは視差画像作成部２０２２及び画像合成部２０２３の機能が異なるが、その他の構成については同一である。
　次に、図１１にしたがって本発明の第４の例示的実施形態に係る視差　画像表示装置の処理について説明する。図１１は、本発明の第４の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。
　まず、画像入力部に異なる２以上の視点から撮影された右画像及び左画像が入力されたか否かがステップ１１０１で判断される。入力される画像は、第１の例示的実施形態と同じく、図４に示した異なる２以上の視点から撮影された２以上の画像である。
　続いて、ステップ１１０２では、図２で示した視差マップ作成部２０２１が、第１の例示的実施形態と同様に、ステレオマッチングによって、左画像と右画像とから視差マップを作成する。なお、図４の左画像と右画像は、視差が画像の横方向（水平方向）に発生しており、縦方向（垂直方向）にずれは生じていないものとする。
　ステップ１１０３では、図２で示した視差画像作成部２０２２が、ユーザ等が立体視用画像の立体感を認識できるように、画素毎に左画像の解像度を視差マップの視差値に応じて変換する。具体的には、視差値が大きい、すなわち、カメラに近い被写体に係る画素の解像度は高く、視差値が小さい、すなわちカメラから遠い被写体に係る画素の解像度を低くした画像を生成し、これを視差解像度画像とする。
　なお、視差画像作成部２０２２とは別に、視差マップの領域毎の視差値に応じて対応する左画像の領域の解像度を決定する解像度決定部（図示せず）を別途備え、視差画像作成部２０２２は、左画像の各領域の解像度を解像度決定部において決定した解像度に変更した視差解像度画像を作成するようにしてもよい。
　解像度を変化させる方法として、具体的には、画像を、例えば３×３、５×５、７×７等の方形状のブロックに区切り、それぞれのブロック内の画素値をブロック内の画素値の平均値で埋めるモザイク化が用いられる。解像度を高くしたい視差値が大きい領域では、方形状のブロックを小さくし、解像度を低くしたい視差値が小さい領域では、方形状のブロックを大きくする。
　なお、視差値に応じて画素をモザイク化する際には、解像度を高くしたい領域、すなわちモザイク化するブロックが小さい領域からモザイク化を開始し、順次、モザイク化するブロックが大きい領域のモザイク化を行うことが好ましい。これは、モザイク化するブロックが大きい領域からモザイク化を始めてしまうと、いきなり広範囲の領域で画素が平滑化されてしまうからである。
　視差値とモザイク化するブロックの大きさの対応は、例えば、両者を対応させた対応表による。
　また、視差値の絶対値が小さい画素を中心とする領域の解像度を高くし、視差値の絶対値が大きい画素を中心とする領域の解像度を低くすることによって、クロスポイント近傍の画素を明りょうに表示することもできる。
　ステップ１１０４では、全画素に処理を行ったか否かが判断され、全画素に処理を行ったのであれば、ステップ１１０５で、視差値にしたがって左画像の解像度を変化させた視差解像度画像のファイルを、図２に記した記憶部２０５に記憶する。
　視差値を解像度の違いで表現した視差解像度画像でも、ある程度は、左画像の特徴が観察できる場合がある。しかしながら、木の葉等の被写体の細部を把握するためには、第２の例示的実施形態と同様に、左画像の色差成分と視差値を解像度の違いで表現した視差解像度画像とを合成することが望ましい。
　視差解像度画像が作成された後の工程であるステップ１１０６では、画素毎に左画像の色差成分を視差解像度画像に合成する。
　なお、本例示的実施形態では、左画像の各１画素のＲＧＢ値について色差を抽出しているが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合は、左画像から抽出する色差も、視差画像の領域に対応する領域について抽出する。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について色差を抽出する場合は、当該領域の各画素のＲＧＢ値の平均値を算出し、算出したＲＧＢ値の平均値から色差を抽出する。
　ステップ１１０６では左画像の色差成分を視差解像度画像に合成したが、第１の例示的実施形態、同変形例１又は同変形例２に記載のステップ３０６のように、左画像の画素と視差解像度画像の画素とを合成してもよい。
　続くステップ１１０７では、全画素での合成処理が完了したか否かを判断し、全画素での合成処理が完了した場合は、ステップ１１０８において、元となった左画像の色差成分と視差解像度画像とを合成した画像を、図２に示した表示装置２０４に表示して、ステップ１１０１～１１０８の処理を完了する。
　図１２は、本発明の第４の例示的実施形態において左画像の色差成分と視差値にしたがって左画像の解像度を変化させた視差解像度画像とを合成した画像の一例を示したものである。解像度の違いよって視差値が認識できることに加えて、元となった左画像の色差成分も表示されるので、各被写体の色の違いを認識でき、これによって各被写体の概略が把握できるようになっている。
　また、元となった左画像の色差成分と視差解像度画像とを合成した画像は、レンチキュラーレンズを備えた表示機器のような特別な表示装置等を要するものではなく、通常の２Ｄモニタで表示できるビットマップ画像である。
　ユーザ等は、２Ｄモニタの画面に表示された元となった左画像の色差成分と視差解像度画像とを合成した画像を視認することにより、最終的に得られる立体視用画像の立体感を把握する。
　なお、本発明の第４の例示的実施形態では、画像の解像度を変更したが、画像のシャープネスを変更するようにしてもよい。この場合、視差画像作成部２０２２とは別に、視差マップの領域毎の視差値に応じて対応する左画像の領域のシャープネスを決定するシャープネス決定部（図示せず）を別途備え、視差画像作成部２０２２は、左画像の各領域の解像度をシャープネス決定部において決定したシャープネスに変更した視差シャープネス画像を作成するようにしてもよい。
　画像のシャープネスの変更には、例えば、ガウス関数を用いて画像の平滑化をするガウシアンぼかしが用いられる。
　シャープネスを高くしたい視差値が大きい領域では、当該領域を中心画素とし、ガウス関数によって当該中心画素及び当該中心画素の周囲の画素の画素値の加重平均を算出する際の当該周囲の画素の範囲を小さくする。
　一方で、シャープネスを低くしたい視差値が小さい領域では、当該領域を中心画素とし、ガウス関数によって当該中心画素及び当該中心画素の周囲の画素の画素値の加重平均を算出する際の当該周囲の画素の範囲を大きくする。
　なお、視差値の絶対値が小さい画素の領域のシャープネスを高くし、視差値の絶対値が大きい画素の領域のシャープネスを低くすることによって、クロスポイント近傍の画素を明りょうに表示することもできる。
　以上説明したように、本発明の第４の例示的実施形態によれば、左画像の各画素についての視差値を解像度の差に変換した視差解像度画像と左画像色差成分とを合成した画像を作成することにより、通常の２Ｄモニタでも左画像から生成される立体視用画像の立体感を把握することができる。
　［第４の例示的実施形態の変形例］
　第４の例示的実施形態では、図１１のステップ１１０３において、図２で示した視差画像作成部２０２２が、ユーザ等が立体視用画像の立体感を認識できるように、画素毎に左画像の解像度を視差マップの視差値に応じて変換した。具体的には、視差値が大きい、すなわち、カメラに近い被写体に係る画素の解像度は高く、視差値が小さい、すなわちカメラから遠い被写体に係る画素の解像度を低くした画像を生成し、これを視差解像度画像とした。
　第４の例示的実施形態の変形例では、図２の視差画像作成部２０２２は、視差値を決められた範囲毎に分類し、この分類された範囲に対応する解像度を予め設定した対応表を有する。
　また、視差画像作成部２０２２は、左画像の画素に対応する視差値を視差マップから特定し、前述の対応表を参照して、特定した視差値に対応する解像度を特定し、左画像の画素の解像度を、この特定した解像度に変更する。
　解像度を変化させる方法として具体的には、第４の例示的実施形態と同様に、画像を、例えば３×３、５×５、７×７等の方形状のブロックに区切り、それぞれのブロック内の画素値をブロック内の画素値の平均値で埋めるモザイク化が用いられる。解像度を高くしたい視差値が大きい領域では、方形状のブロックを小さくし、解像度を低くしたい視差値が小さい領域では、方形状のブロックを大きくする。
　ただし、第４の例示的実施形態の変形例では、例えば、視差値が０～２である左画像の画素は、モザイク化するブロックの大きさを５×５とし、視差値が３～５である左画像の画素は、モザイク化するブロックの大きさを３×３とする等のように、左画像の画素の解像度を、その画素の視差値が属している範囲に対応するモザイク化するブロックの大きさを適用して、変更する。
　なお、ある範囲の視差値に応じて画素をモザイク化する際には、解像度を高くしたい領域、すなわちモザイク化するブロックが小さい領域からモザイク化を開始し、順次、モザイク化するブロックが大きい領域のモザイク化を行うことが好ましい。これは、モザイク化するブロックが大きい領域からモザイク化を始めてしまうと、いきなり広範囲の領域で画素が平滑化されてしまうからである。
　ある範囲の視差値と解像度に係るモザイク化するブロックの大きさとの対応は、上述のように両者を対応させた対応表による。
　この対応表において、視差値の範囲のうち、この範囲に含まれている視差値が大きい範囲ほど、モザイク化するブロックの大きさが小さいものを対応させ、視差値の範囲のうち、この範囲に含まれている視差値が小さい範囲ほど、モザイク化するブロックの大きさが大きいものを対応させることによって、カメラに近い被写体に係る画素の解像度は高く、カメラから遠い被写体に係る画素の解像度をカメラからの距離に応じて断続的に低くした画像を生成し表示することができる。
　なお、上記の対応表において、視差値の範囲のうち、この範囲に含まれている視差値の絶対値が小さい範囲ほど、モザイク化するブロックの大きさが小さいものを対応させ、視差値の範囲のうち、この範囲に含まれている視差値の絶対値が大きい範囲ほど、モザイク化するブロックの大きさが大きいものを対応させることによって、クロスポイント近傍の画素を明りょうに表示し、クロスポイントから離れた被写体の解像度を、クロスポイントからの距離に応じて断続的に低くした画像を生成し表示することができる。
　また、第４の例示的実施形態の変形例では、視差マップに左画像の各画素に対応する視差値が対応している場合、すなわち視差画像の視差値が画素毎に算出されている場合を前提としたが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合であってもよい。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について視差値が算出されている場合でも、図２の視差画像作成部２０２２は、視差値を決められた範囲毎に分類し、この分類された範囲に対応する解像度を予め設定した対応表を有する。
　また、視差画像作成部２０２２は、左画像の領域に対応する視差値を視差マップから特定し、前述の対応表を参照して、特定した視差値に対応する解像度を特定し、左画像の領域の解像度を、この特定した解像度に変更する。
　図１１のステップ１１０３以降の処理は、第４の例示的実施形態の変形例も第４の例示的実施形態と同様であり、図１１のステップ１１０６に記したように、視差値に応じて解像度を変化させた画像に左画像の色差成分又は画素を合成してもよい。
　なお、第４の例示的実施形態の変形例では、図２の視差画像作成部２０２２は、視差値を決められた範囲毎に分類し、この分類された範囲の視差値に対応するシャープネスを予め設定した対応表を有し、左画像の領域に対応する視差値を視差マップから特定し、前述の対応表を参照して、特定した視差値に対応するシャープネスを特定し、左画像の領域のシャープネスを、この特定したシャープネスに変更するようにしてもよい。
　この対応表において、視差値の範囲のうち、この範囲に含まれている視差値が大きい範囲ほど、高いシャープネスを対応させ、視差値の範囲のうち、この範囲に含まれている視差値が小さい範囲ほど、低いシャープネスを対応させることによって、カメラに近い被写体に係る画素のシャープネスは高く、カメラから遠い被写体に係る画素のシャープネスをカメラからの距離に応じて断続的に低くした画像を生成し表示することができる。
　上記の対応表において、視差値の範囲のうち、この範囲に含まれている視差値の絶対値が小さい範囲ほど、高いシャープネスを対応させ、視差値の範囲のうち、この範囲に含まれている視差値の絶対値が大きい範囲ほど、低いシャープネスを対応させることによって、クロスポイント近傍の画素を明りょうに表示し、クロスポイントから離れた被写体のシャープネスを、クロスポイントからの距離に応じて断続的に低くした画像を生成し表示することができる。
　画像のシャープネスの変更には、第４の例示的実施形態と同様に、例えば、ガウス関数を用いて画像の平滑化をするガウシアンぼかしが用いられる。
　シャープネスを高くしたい領域では、当該領域を中心画素とし、ガウス関数によって当該中心画素及び当該中心画素の周囲の画素の画素値の加重平均を算出する際の当該周囲の画素の範囲を小さくする。
　一方で、シャープネスを低くしたい領域では、当該領域を中心画素とし、ガウス関数によって当該中心画素及び当該中心画素の周囲の画素の画素値の加重平均を算出する際の当該周囲の画素の範囲を大きくする。
　この第４の例示的実施形態の変形例によれば、決められた範囲の視差値毎に画像の解像度を段階的に変化させることにより、左画像から生成される立体視用画像の立体感の概略を把握することが容易となる。
　［第５の例示的実施形態］
　続いて、本発明の第５の例示的実施形態について説明する。本発明の第５の例示的実施形態に係る視差画像表示装置は、図２に示した本発明の第１の例示的実施形態に係る視差画像表示装置とは視差画像作成部２０２２の機能が異なるが、その他の構成については同一である。
　次に、図１３にしたがって本発明の第５の例示的実施形態に係る視差画像表示装置の処理について説明する。図１３は、本発明の第５の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。
　このうち、ステップ１３０１～１３０４までの処理は、本発明の第１の例示的実施形態における図３のステップ３０１～３０４までの処理と同様なので、説明を省略する。
　ステップ１３０５では、視差画像作成部２０２２が、視差マップにおける視差値の絶対値が所定の閾値以下の画素をステップ１３０３で作成した視差画像上で特定し、特定した画素を着色する。
　例えば、当該閾値が「２」であるなら、実際の視差値が－２以上２以下の画素を決められた色に着色する。本例示的実施形態では緑色に着色したが、他の画素と識別が容易なものであれは、色は赤系統の色でも青系統の色でもよい。
　続くステップ１３０６では、全画素について視差値が－２以上２以下であるか否かを確認したか否かを判断し、当該確認の処理が完了した場合は、視差値が－２以上２以下の画素を着色してクロスポイントを表示したクロスポイント画像を図２の表示装置２０４に表示する。
　図１４及び図１５は、本発明の第５の例示的実施形態においてクロスポイントを表示したクロスポイント画像である。
　図１４は、クロスポイントが中景にある場合であり、図１５は、クロスポイントが前景にある場合である。
　また、図１４及び図１５は、視差値が大きい被写体は低輝度で、視差値が小さい被写体は高輝度で表現されている。クロスポイントの画素以外は、モノクロームの濃淡で表現されているが、各被写体の輪郭は不明瞭であり、視差値が同一な部分は同一の輝度で表現されるため、遠景の木立等の被写体の細部が全く把握できない。
　これら図１４または図１５を、元の画像である図４の左と交互に比較することによって、元の画像とクロスポイント画像との対応を把握することも考えられるが、２つの画像を見比べるのは煩雑であるし、画像を見比べて元の画像との対応を把握した上で、最終的に生成される立体視用画像の立体感を、元の画像の被写体と対比させて認識することは困難である。
　そこで、ステップ１３０８では、図２で示した画像合成部２０２３が、画素毎に左画像とクロスポイント画像とを合成する。
　このステップ１３０８では、第１の例示的実施形態と同様に、左画像とクロスポイント画像とで、１：９の重み付けをそれぞれの画像の画素のＲＧＢ値に施して、両画像の合成を行っている。
　なお、本例示的実施形態では、左画像の各１画素のＲＧＢ値について上記の重み付けを行っているが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合は、左画像のＲＧＢ値の重み付けも、視差画像の領域に対応する領域についてＲＧＢ値の重み付けをする。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域についてＲＧＢ値の重み付けをする場合は、当該領域の各画素のＲＧＢ値の平均値を算出し、算出したＲＧＢ値の平均値に対して上記式（２）による重み付けをする。
　続くステップ１３０９では、全画素での合成処理が完了したか否かを判断し、全画素での合成処理が完了した場合は、ステップ１３１０において、左画像とクロスポイント画像とを合成した画像を、図２に示した表示装置２０４に表示して、ステップ１３０１～１３１０の処理を完了する。
　左画像とクロスポイント画像とを合成した画像は、レンチキュラーレンズを備えた表示機器のような特別な表示装置等を要するものではなく、通常の２Ｄモニタで表示できるビットマップ画像である。
　ユーザ等は、２Ｄモニタの画面に表示された左画像とクロスポイント画像とを合成した画像を視認することにより、最終的に得られる立体視用画像の立体感を把握する。
　以上説明したように、本発明の第５の例示的実施形態によれば、左画像の各画素についての視差値を輝度に変換した視差画像からクロスポイント画像を作成し、作成したクロスポイント画像と左画像とを合成した画像を作成することにより、通常の２Ｄモニタでも撮影画像から生成される立体視用画像の立体感を把握することができる。
　［第６の例示的実施形態］
　続いて、本発明の第６の例示的実施形態について説明する。本発明の第６の例示的実施形態に係る視差画像表示装置は、図２に示した本発明の第１の例示的実施形態に係る視差画像表示装置とは視差画像作成部２０２２の機能が異なるが、その他の構成については同一である。
　次に、図１６にしたがって本発明の第６の例示的実施形態に係る視差画像表示装置の処理について説明する。図１６は、本発明の第６の例示的実施形態に係る視差画像表示装置の処理を示すフローチャートである。
　図１６において、ステップ１６０１～１６０４までの処理は、本発明の第１の例示的実施形態における図３のステップ３０１～３０４までの処理と同様なので、説明を省略する。
　ステップ１６０５では、視差画像作成部２０２２が、ステップ１６０２で作成した視差マップに基づき、左画像で視差値の絶対値が最大となっている領域をステップ１６０３で作成した視差画像上で特定し、その特定した領域が飛び出し方向について視差値が最大になっているか否か、つまりは、左画像の前景部分か否かを判断する。
　視差値は、立体視画像撮影用カメラの左右のレンズの光軸が交差するクロスポイントで０となり、クロスポイントから離れた、つまりはカメラに近いほど、又はクロスポイントをはさんでカメラから遠いほど、視差値の絶対値は大きくなる。
　本発明の第６の例示的実施形態では、視差値が正となっている位置をクロスポイントからカメラに近い位置、すなわち前景であるとし、視差値が負となっている位置をクロスポイントよりもカメラから遠い位置、すなわち遠景であるとする。
　ステップ１６０５で、視差値の絶対値が大きい画素の視差値が正である場合、その画素は飛び出し方向に視差値が最大であると判断し、ステップ１６０６では、視差画像作成部２０２２が、当該画素を決められた色である赤で着色した視差絶対値最大画像を作成する。なお、色は赤に限定されず、当該領域が他の領域と識別可能な色であればよい。
　続くステップ１６０７では、全画素で処理を行ったか否かが判断され、全画素で処理を行ったのであれば、ステップ１６０８において、飛び出し方向に視差値が最大である領域を赤く着色した視差絶対値最大画像を、図２に示した表示装置２０４に表示する。
　図１７は、本発明の第６の例示的実施形態において飛び出し方向に視差値が最大の画素の領域を表示した視差絶対値最大画像である。
　図１７は、視差値が大きい被写体は低輝度で、視差値が小さい被写体は高輝度で表現されている。飛び出し方向に視差値が最大の画素の領域以外は、モノクロームの濃淡で表現されているが、各被写体の輪郭は不明瞭であり、視差値が同一な部分は同一の輝度で表現されるため、遠景の木立等の被写体の細部が全く把握できない。
　図１７を、元の画像である図４の左画像と交互に比較することによって、元の画像と飛び出し方向に視差値が最大の画素の領域を表示した視差絶対値最大画像との対応を把握することも考えられるが、２つの画像を見比べるのは煩雑であるし、画像を見比べて元の画像との対応を把握した上で、最終的に生成される立体視用画像の立体感を、元の画像の被写体と対比させて認識することは困難である。
　そこで、ステップ１６０９では、図２で示した画像合成部２０２３が、左画像である図４の左画像と飛び出し方向に視差値が最大の画素の領域を表示した視差絶対値最大画像とを合成する。
　このステップ１６０９では、第１の例示的実施形態と同様に、左画像と、飛び出し方向に視差値が最大の画素の領域を表示した視差絶対値最大画像とで、１：９の重み付けをそれぞれの画像の画素のＲＧＢ値に施して、両画像の合成を行っている。
　なお、本例示的実施形態では、左画像の各１画素のＲＧＢ値について上記の重み付けを行っているが、視差画像の視差値が２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域について算出されている場合は、左画像のＲＧＢ値の重み付けも、視差画像の領域に対応する領域についてＲＧＢ値の重み付けをする。
　この２×２乃至は３×３というように、いくつかの画素が方形状に集合した領域についてＲＧＢ値の重み付けをする場合は、当該領域の各画素のＲＧＢ値の平均値を算出し、算出したＲＧＢ値の平均値に対して上記式（２）による重み付けをする。
　続くステップ１６１０では、全画素での合成処理が完了したか否かを判断し、全画素での合成処理が完了した場合は、ステップ１６１１において、左画像と飛び出し方向に視差値が最大の画素の領域を表示した視差絶対値最大画像とを合成した画像を、図２に示した表示装置２０４に表示して、ステップ１６０１～１６１１の処理を完了する。
　なお、ステップ１６０５で、視差値の絶対値が最大の領域が、奥行き方向において視差値が最大となっている場合は、ステップ１６２７～１６３１の処理が行われる。このステップ１６２７～１６３１の処理は、ステップ１６２６で奥行き方向に視差値が最大の領域をステップ１６０６とは異なる色である青で着色する以外は、前述のステップ１６０７～１６１１の処理と同様であるので、説明は省略する。
　図１８は、本発明の第６の例示的実施形態において奥行き方向に視差値が最大の領域を表示した視差絶対値最大画像である。奥行き方向の視差値が最大となっている領域が青で表示されている。
　本発明の第６の例示的実施形態では、視差値の絶対値が最大の領域が、飛び出し方向（クロスポイントよりも手前）にあるのか、または奥行き方向（クロスポイントよりも奥）にあるのかが判断できる。さらには、前述の本発明の第５の例示的実施形態のように、クロスポイントの領域を、視差値の絶対値が最大となっている領域と共に表示することも可能である。
　［第７の例示的実施形態］
　第７の例示的実施形態は、上述の第１～６の例示的実施形態における処理が可能な装置の操作表示部である。
　第７の例示的実施形態の構成は、基本的には、図２の本発明の第１の例示的実施形態に係る視差画像表示装置のブロック図に示した通りであるが、操作部２０３と表示部２０４とがタッチパネル形式で一体となっている点が相違する。
　なお、本例示的実施形態における操作表示部は、タッチパネル以外にも、表示部にＬＣＤ等を用い、操作部としてマウスまたはペンタブレット等のポインティングデバイスを有してもよい。
　図１９に示した操作表示部は、最上段左に、元の画像である左画像３０１を表示し、その右隣に左画像と右画像とから算出した視差値に基づいて作成された視差画像３０２が表示されている。
　図１９の中段左には、画像合成を行う際に、本発明の第１の例示的実施形態のように、左画像と視差画像とを、ＲＧＢ値に重み付けをして合成する「画素混合」を選択するための画素混合ボタン３０３と、本発明の第２の例示的実施形態のように、左画像の色差を視差画像に合成する「色差混合」を選択するための色差混合ボタン３０４とが設けられている。
　また、図１９の中段右には、「画素混合」を選択した場合に、ＲＧＢ値の重み付けを変更するためのスライダー３０５が設けられており、ユーザは、タッチパネル上のスライダー３０５を左右に移動させる操作をすることにより、左画像と視差画像とのＲＧＢ値の重み付けの比率を０：１０～１０：０の範囲で任意に変更することができる。
　図１９の下から２段目左には、立体視画像のクロスポイントを変更できるインターフェースであるクロスポイント調整インターフェース３０６があり、ユーザは、本発明の第５の例示的実施形態に係るクロスポイントの表示を図１９上部右に表示されている視差画像上で確認しながら、クロスポイントの位置を手前から奥行きまでの前後方向に変更することができる。
　図１９の下から２段目中央には、本発明の第６の例示的実施形態に係る最大視差値となっている領域を、図１９上部右に表示されている視差画像に反映することができる最大視差ボタン３０７があり、図１９の下から２段目右には、画像をトリミングする際のインターフェースであるトリミングボタン３０８があり、図１９の最下段には、プリントされる立体視画像のサイズを指定するサイズ指定ボタン３０９が設けられている。
　以上説明したように、第７の例示的実施形態の視差画像表示装置によれば、ユーザは、図２の画像入力部２０１から読み込ませた２以上の画像から、どのような立体感を有する画像が作成されるのかを、上述の本発明の第１～６の例示的実施形態に係る処理によって確認し、場合によっては、クロスポイントを変更することによって、好みの立体感が得られるようにすることができる。
　なお、クロスポイントを変更する方法は種々考えられるが、視差画像の画像全体で視差値を調整し、調整した視差値に基づいて視差画像を再度作成し、表示する。
　なお、上記第１～第７の例示的実施形態では、左画像と右画像とを左画像を基準としてステレオマッチングして視差マップを生成する場合について説明したが、右画像を基準としてもよい。
　また、３以上の画像を取得した場合には、いずれかの画像を第１の画像（基準画像）とし、その他の画像を第２の画像として、それぞれについて視差マップを生成するようにするとよい。
　また、図２の画像処理部２０２が、ＣＰＵ及びメモリを有するコンピュータである場合は、上記第１～第６の例示的実施形態の処理ルーチンをプログラム化して、そのプログラムを当該ＣＰＵにより実行するようにしてもよい。
　日本特許出願２０１１－００５０１２の開示は、その全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (28)

  1. 　異なる２以上の視点から撮影された複数の画像を取得する取得部と、
    　前記取得部により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる第２の画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成する視差マップ生成部と、
    　領域毎の視差値に応じて対応する領域の解像度を決定する解像度決定部と、
    　前記第１の画像の各領域の解像度を前記解像度決定部において決定した解像度に変更した視差解像度画像を作成する視差画像作成部と、
    　前記視差解像度画像と前記第１の画像とを合成する画像合成部と、
    　を含む視差画像表示装置。
  2. 　前記解像度決定部は、前記視差マップにおいて前記領域に対応している前記視差値が小さくなるに従って前記第１の画像の前記領域の解像度を低下させるようにする請求項１に記載の視差画像表示装置。
  3. 　前記解像度決定部は、前記視差マップにおいて前記領域に対応している前記視差値の絶対値が大きくなるに従って前記第１の画像の前記領域の解像度を低下させるようにする請求項１に記載の視差画像表示装置。
  4. 　前記解像度決定部は、前記視差値を決められた範囲毎に分類し、該分類された範囲の視差値に解像度を対応させた対応表を有し、前記視差マップにおいて前記第１の画像の前記領域の位置に対応させている視差値を前記第１の画像の前記領域の視差値とし、前記第１の画像の前記領域の視差値に対応する解像度を前記対応表に基づいて決定する請求項１に記載の視差画像表示装置。
  5. 　前記解像度決定部は、前記対応表において、前記範囲に含まれる前記視差値が小さい前記範囲には、該含まれる前記視差値が小さいほど低い解像度を対応させた請求項４に記載の視差画像表示装置。
  6. 　前記解像度決定部は、前記対応表において、前記範囲に含まれる前記視差値の絶対値が大きい前記範囲には、該含まれる前記視差値の絶対値が大きいほど低い解像度を対応させた請求項４に記載の視差画像表示装置。
  7. 　前記画像合成部は、前記第１の画像の各領域に含まれる画素の色差成分を抽出し、前記視差解像度画像の各領域と前記視差解像度画像の領域の各々に対応する前記第１の画像の領域の色差成分とを合成する請求項１～請求項６のいずれか１項に記載の視差画像表示装置。
  8. 　前記画像合成部は、前記視差解像度画像及び前記第１の画像の各々を複数の領域に分割した際の前記視差解像度画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みを、前記第１の画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みより重くして、前記視差解像度画像の各領域と前記視差解像度画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項１～請求項６のいずれか１項に記載の視差画像表示装置。
  9. 　前記画像合成部は、前記視差マップにおいて前記視差値の絶対値が最小値となる領域に対応する前記視差解像度画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みよりも、前記視差解像度画像の領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くし、前記視差マップにおいて前記視差値の絶対値が前記最小値よりも大きい領域に対応する前記視差解像度画像の領域と前記視差解像度画像の該領域に対応する前記第１の画像の領域とでは、前記視差値の絶対値が大きくなるに従って、前記視差解像度画像の該領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを軽くすると共に、前記視差解像度画像の該領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くして、前記視差解像度画像の各領域と前記視差解像度画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項１～請求項６のいずれか１項に記載の視差画像表示装置。
  10. 　前記画像合成部は、前記視差マップにおいて前記視差値が最大値となる領域に対応する前記視差解像度画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みよりも、前記視差解像度画像の領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くし、前記視差マップにおいて前記視差値が前記最大値よりも小さい領域に対応する前記視差解像度画像の領域と前記視差解像度画像の該領域に対応する前記第１の画像の領域とでは、前記視差値が小さくなるに従って、前記視差解像度画像の該領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを軽くすると共に、前記視差解像度画像の該領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くして、前記視差解像度画像の各領域と前記視差解像度画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項１～請求項６のいずれか１項に記載の視差画像表示装置。
  11. 　異なる２以上の視点から撮影された複数の画像を取得する取得部と、
    　前記取得部により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる第２の画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成する視差マップ生成部と、
    　領域毎の視差値に応じて対応する領域のシャープネスを決定するシャープネス決定部と、
    　前記第１の画像の各領域のシャープネスを前記シャープネス決定部において決定したシャープネスに変更した視差シャープネス画像を作成する視差画像作成部と、
    　前記視差シャープネス度画像と前記第１の画像とを合成する画像合成部と、
    　を含む視差画像表示装置。
  12. 　前記シャープネス決定部は、前記視差マップにおいて前記領域に対応している前記視差値が小さくなるに従って前記第１の画像の前記領域のシャープネスを低下させるようにする請求項１１に記載の視差画像表示装置。
  13. 　前記シャープネス決定部は、前記視差マップにおいて前記領域に対応している前記視差値の絶対値が大きくなるに従って前記第１の画像の前記領域のシャープネスを低下させるようにする請求項１１に記載の視差画像表示装置。
  14. 　前記シャープネス決定部は、前記視差値を決められた範囲毎に分類し、該分類された範囲の視差値にシャープネスを対応させた対応表を有し、前記視差マップにおいて前記第１の画像の前記領域の位置に対応させている視差値を前記第１の画像の前記領域の視差値とし、前記第１の画像の前記領域の視差値に対応するシャープネスを前記対応表に基づいて決定する請求項１１に記載の視差画像表示装置。
  15. 　前記シャープネス決定部は、前記対応表において、前記範囲に含まれる前記視差値が小さい前記範囲には、該含まれる前記視差値が小さいほど低いシャープネスを対応させた請求項１４に記載の視差画像表示装置。
  16. 　前記シャープネス決定部は、前記対応表において、前記範囲に含まれる前記視差値の絶対値が大きい前記範囲には、該含まれる前記視差値の絶対値が大きいほど低いシャープネスを対応させた請求項１４に記載の視差画像表示装置。
  17. 　前記画像合成部は、前記第１の画像の各領域に含まれる画素の色差成分を抽出し、前記視差シャープネス画像の各領域と前記視差シャープネス画像の領域の各々に対応する前記第１の画像の領域の色差成分とを合成する請求項１１～請求項１６のいずれか１項に記載の視差画像表示装置。
  18. 　前記画像合成部は、前記視差シャープネス画像及び前記第１の画像の各々を複数の領域に分割した際の前記視差シャープネス画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みを、前記第１の画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みより重くして、前記視差シャープネス画像の各領域と前記視差シャープネス画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項１１～請求項１６のいずれか１項に記載の視差画像表示装置。
  19. 　前記画像合成部は、前記視差マップにおいて前記視差値の絶対値が最小値となる領域に対応する前記視差シャープネス画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みよりも、前記視差シャープネス画像の領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くし、前記視差マップにおいて前記視差値の絶対値が前記最小値よりも大きい領域に対応する前記視差シャープネス画像の領域と前記視差シャープネス画像の該領域に対応する前記第１の画像の領域とでは、前記視差値の絶対値が大きくなるに従って、前記視差シャープネス画像の該領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを軽くすると共に、前記視差シャープネス画像の該領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くして、前記視差シャープネス画像の各領域と前記視差シャープネス画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項１１～請求項１６のいずれか１項に記載の視差画像表示装置。
  20. 　前記画像合成部は、前記視差マップにおいて前記視差値が最大値となる領域に対応する前記視差シャープネス画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みよりも、前記視差シャープネス画像の領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くし、前記視差マップにおいて前記視差値が前記最大値よりも小さい領域に対応する前記視差シャープネス画像の領域と前記視差シャープネス画像の該領域に対応する前記第１の画像の領域とでは、前記視差値が小さくなるに従って、前記視差シャープネス画像の該領域に対応する前記第１の画像の領域に含まれる画素のＲＧＢ値から得られる値に対する重みを軽くすると共に、前記視差シャープネス画像の該領域に含まれる画素のＲＧＢ値から得られる値に対する重みを重くして、前記視差シャープネス画像の各領域と前記視差シャープネス画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項１１～請求項１６のいずれか１項に記載の視差画像表示装置。
  21. 　前記視差マップ生成部、前記解像度決定部、前記シャープネス決定部、前記視差画像作成部及び前記画像合成部に対する指示を入力する操作部と、
    　前記視差マップ生成部、前記解像度決定部、前記シャープネス決定部、前記視差画像作成部及び前記画像合成部による処理結果を表示する表示部と、
    　をさらに含む請求項１～請求項２０のいずれか１項に記載の視差画像表示装置。
  22. 　前記領域は１つの画素が含まれる領域である請求項１～請求項２１のいずれか１項に記載の視差画像表示装置。
  23. 　異なる２以上の視点から撮影された複数の画像を取得し、
    　該取得した複数の画像に含まれる第１の画像と該第１の画像とは異なる画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成し、
    　領域毎の視差値に応じて対応する領域の解像度を決定し、
    　前記第１の画像の各領域の解像度を該決定した解像度に変更した視差解像度画像を作成し、
    　前記視差解像度画像と前記第１の画像とを合成する視差画像表示方法。
  24. 　前記視差解像度画像と前記第１の画像とを合成するときに、前記視差解像度画像及び前記第１の画像の各々を複数の領域に分割した際の前記視差解像度画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みを、前記第１の画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みより重くして、前記視差解像度画像の各領域と前記視差解像度画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項２３に記載の視差画像表示方法。
  25. 　前記領域は１つの画素が含まれる領域である請求項２３または請求項２４に記載の視差画像表示方法。
  26. 　コンピュータを、
    　異なる２以上の視点から撮影された複数の画像を取得する取得部、
    　前記取得部により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる第２の画像との各々対応する領域毎の位置の差で表される視差値を、前記第１の画像の領域の位置に対応させた視差マップを生成する視差マップ生成部、
    　領域毎の視差値に応じて対応する領域の解像度を決定する解像度決定部、
    　前記第１の画像の各領域の解像度を前記解像度決定部において決定した解像度に変更した視差解像度画像を作成する視差画像作成部、
    及び
    　前記視差解像度画像と前記第１の画像とを合成する画像合成部として機能させるための視差画像表示プログラム。
  27. 　前記画像合成部は、前記視差解像度画像及び前記第１の画像の各々を複数の領域に分割した際の前記視差解像度画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みを、前記第１の画像の各領域に含まれる画素のＲＧＢ値から得られる値に対する重みより重くして、前記視差解像度画像の各領域と前記視差解像度画像の領域の各々に対応する前記第１の画像の領域とを合成する請求項２６に記載の視差画像表示プログラム。
  28. 　前記領域は１つの画素が含まれる領域である請求項２６または請求項２７に記載の視差画像表示プログラム。
PCT/JP2011/076318 2011-01-13 2011-11-15 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム WO2012096054A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-005012 2011-01-13
JP2011005012 2011-01-13

Publications (1)

Publication Number Publication Date
WO2012096054A1 true WO2012096054A1 (ja) 2012-07-19

Family

ID=46506971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076318 WO2012096054A1 (ja) 2011-01-13 2011-11-15 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム

Country Status (1)

Country Link
WO (1) WO2012096054A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767293A (zh) * 2021-01-11 2021-05-07 达闼机器人有限公司 获取视差图像的方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2010506287A (ja) * 2006-10-04 2010-02-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像強調

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
JP2008082870A (ja) * 2006-09-27 2008-04-10 Setsunan Univ 画像処理プログラム及びこれを用いた路面状態計測システム
JP2010506287A (ja) * 2006-10-04 2010-02-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像強調

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767293A (zh) * 2021-01-11 2021-05-07 达闼机器人有限公司 获取视差图像的方法、电子设备及存储介质
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US8638329B2 (en) Auto-stereoscopic interpolation
US8977039B2 (en) Pulling keys from color segmented images
US8213711B2 (en) Method and graphical user interface for modifying depth maps
JP4966431B2 (ja) 画像処理装置
US9270977B2 (en) 3D photo creation system and method
CN102124749B (zh) 立体图像显示装置
TW201029443A (en) Method and device for generating a depth map
CN104081768B (zh) 异视点图像生成装置以及异视点图像生成方法
JP4661824B2 (ja) 画像処理装置、方法およびプログラム
TWI531212B (zh) 呈現立體影像之系統及方法
JP7387434B2 (ja) 画像生成方法および画像生成装置
CN106664397A (zh) 用于生成三维图像的方法和装置
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP5356590B1 (ja) 画像処理装置及びその方法
JP5862635B2 (ja) 画像処理装置、立体データ生成方法、及びプログラム
US11043019B2 (en) Method of displaying a wide-format augmented reality object
WO2012096065A1 (ja) 視差画像表示装置及び視差画像表示方法
JP6611588B2 (ja) データ記録装置、撮像装置、データ記録方法およびプログラム
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
CA2674104C (en) Method and graphical user interface for modifying depth maps
WO2011071978A1 (en) Three dimensional image rendering
JP5279078B2 (ja) 画像撮影・表示方法、画像撮影・表示装置、およびプログラム
WO2012096054A1 (ja) 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム
KR101519463B1 (ko) 3d 이미지 변환 장치 및 그 방법
GB2585197A (en) Method and system for obtaining depth data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11855297

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11855297

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP