WO2004114224A1 - 仮想視点画像生成方法及び３次元画像表示方法並びに装置 - Google Patents

仮想視点画像生成方法及び３次元画像表示方法並びに装置 Download PDF

Info

Publication number
WO2004114224A1
WO2004114224A1 PCT/JP2004/008638 JP2004008638W WO2004114224A1 WO 2004114224 A1 WO2004114224 A1 WO 2004114224A1 JP 2004008638 W JP2004008638 W JP 2004008638W WO 2004114224 A1 WO2004114224 A1 WO 2004114224A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
subject
point
viewpoint
Prior art date
Application number
PCT/JP2004/008638
Other languages
English (en)
French (fr)
Inventor
Yutaka Kunita
Akihiko Hashimoto
Shiro Suyama
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to JP2005505046A priority Critical patent/JP4052331B2/ja
Priority to US10/561,344 priority patent/US7538774B2/en
Priority to EP04746140.5A priority patent/EP1646012B1/en
Publication of WO2004114224A1 publication Critical patent/WO2004114224A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels

Definitions

  • the present invention relates to a technique for estimating information on a three-dimensional shape of an object from a plurality of images and generating an image using the information.
  • the technology of the present invention can be applied to a system that supports visual communication such as a videophone.
  • a three-dimensional image of a subject is displayed using a plurality of images of the subject taken under different conditions, or an image of the subject viewed from a virtual viewpoint (hereinafter, referred to as a virtual viewpoint image) is generated. There is a way to do that.
  • a method of displaying a three-dimensional image of an object for example, there is a method of using a display having a plurality of image display surfaces, such as a DFD (Depth-Fused 3-D) display.
  • the DFD is a display in which a plurality of image display surfaces are overlapped at a certain interval (for example, see Document 1: Japanese Patent No. 3022558).
  • the DFDs are roughly classified into a luminance modulation type and a transmission type.
  • the DFD When displaying an image of the object on the DFD, for example, a two-dimensional image of the object to be displayed is displayed on each image display surface.
  • the DFD is a luminance modulation type
  • the luminance of pixels overlapping each other on the display surface as viewed from a preset observer's viewpoint (reference viewpoint) is determined according to the shape of the object in the depth direction. And display it.
  • the brightness of the pixels on the image display surface in front of the observer is increased, and at another point, the pixels on the display surface behind the observer are higher. Brightness increases.
  • an observer who observes images displayed on the respective image display surfaces of the DFD can observe a three-dimensional image (three-dimensional image) of the object.
  • the DFD is a transmissive type
  • the transmissivity of pixels overlapping each other on the image display surface as viewed from a preset observer's viewpoint (reference viewpoint) is determined by the depth direction of the object. Is set and displayed in proportion to the shape of.
  • a method of displaying a three-dimensional image of the object in addition to the display method using the DFD, for example, two images having parallax corresponding to the distance between the left and right eyes of the observer are displayed. There is also a method of displaying on a profile screen such as a liquid crystal display.
  • the three-dimensional shape of the object is, for example, a computer's graphit status or the like. If it is generated and known, the respective images may be generated using the model. On the other hand, when the three-dimensional shape of the object is not known, the three-dimensional shape of the object, that is, a geometric model must be obtained before generating each of the images.
  • the obtained geometric model of the subject is expressed, for example, as a set of basic figures called polygons and vota cells.
  • Shape from X there are various methods for obtaining a geometric model of the subject based on the plurality of images, and many studies have been made as Shape from X in the field of computer vision.
  • a typical model acquisition method in the above-mentioned Shape from X is a stereo method (1 column; see, for example, Reference 2: “Takeo Kanade et al .: Virtuahzed Reality: Onstructmg Virtual Worlds from Real
  • a geometric model of the subject is obtained based on a plurality of images of the subject taken from different viewpoints.
  • the distance from the reference viewpoint for acquiring the model to each point on the subject is determined by, for example, corresponding point matching, that is, matching of points (pixels) on each image, and the principle of triangulation. Ask for.
  • a geometric model of the subject is not immediately obtained by the stereo method, but a point cloud on the surface of the subject is obtained. Therefore, the geometric model of the subject
  • it is necessary to determine the structural information on how the points included in the point cloud are connected to each other and what kind of surface is formed for example, Ref. 3: "Katsushi Ikeuchi:" Modeling of Real Objects from Images ", Journal of the Robotics Society of Japan, Vol.16, No.6, pp.763-766, 1998).
  • a device that generates an image performs complicated processing such as fitting of the shape of the subject or statistical processing. There must be. Therefore, high computer power is required.
  • a method of obtaining a geometric model of the subject based on a plurality of images includes, as a typical model acquisition method similar to the stereo method, a method of acquiring each image taken from a plurality of viewpoints.
  • Shape from Silhouette method There is a method called Shape from Silhouette (hereinafter referred to as Shape from Silhouette method) that determines an area occupied by the subject in space based on the contour of the subject (the column is described in Document 4: “Potmesil, M:” Generating Octree Models of 3D Objects from their Silhouettes in a Sequence of Images, "CVGIP 40, pp. 1-29, 1987").
  • the geometric model of the subject obtained by the Shape from Silhouette method is often represented as a collection of small cubes called "bota cells".
  • the geometric model of the subject is represented by the Vota cell, the amount of data required to represent the three-dimensional shape of the subject becomes enormous. Therefore, high computer power is required to obtain a geometric model of the subject using the Shape from Silhouette method.
  • a projection surface of a multilayer structure is set, and
  • a cut-out partial image (texture image) is attached to a projection plane corresponding to the distance of the object shown in the texture image to obtain a three-dimensional visual effect. Therefore, there is an advantage that the graphics hardware mounted on the popular personal computer can perform sufficiently high-speed processing and can easily handle data.
  • the method for obtaining a geometric model of the subject by using the stereo method is based on the shape and surface of the subject. It is not always possible to obtain reliable distance information at any point on the object, regardless of the shape (texture), the shape of the object immediately affected by the environment around the object, and ( For example, see Reference 7: "Masatoshi Okutomi:” Why is stereo difficult? ", Journal of the Robotics Society of Japan, Vol.16, No.6, pp.39-43, 1998.)
  • the Shape from Silhouette method is a method of obtaining a geometric model of the subject in principle, assuming that the subject has a convex shape. For this reason, if the object is entirely or partially concave, there is a problem that a correct model of the object cannot be obtained.
  • the Shape from Silhouette method is still a major research in the field of computer vision, and it is difficult to accurately extract the background on an image and the outline of the subject. It has become a challenge.
  • the geometric model of the subject obtained by the Shape from Silhouette method is a model obtained from an incorrect contour, and its reliability is not sufficiently high. Therefore, an image generated from the geometric model of the subject obtained by the Shape from Silhouette method has a problem that the image quality is not sufficiently satisfactory.
  • the depth value given to each texture pixel is known, that is, the shape of the subject is accurate. It is assumed that what is required. Therefore, if the shape of the object is not known, a geometric model of the subject must first be obtained. As a result, if there is a portion with low reliability when estimating the shape of the subject, the texture image may be pasted on an incorrect projection plane, and the generated image may be significantly deteriorated. There is a problem.
  • the process of pasting an image on the projection surface of the multilayer structure is fast, but the process of obtaining the depth value is difficult.
  • high processing capability is required.
  • An object of the present invention is to obtain a three-dimensional shape of a subject from a plurality of images to generate a subject image. It is an object of the present invention to provide a technology capable of reducing the deterioration of the device.
  • Another object of the present invention is to obtain a three-dimensional shape of a subject from a plurality of images and generate an image of the subject, even if the processing performance is low, even if the apparatus has a low image quality. It is an object of the present invention to provide a technique that can generate an image in a short time with little deterioration.
  • the present invention provides a step of acquiring a plurality of images of a subject taken by a plurality of cameras and determining a virtual viewpoint which is a position at which the subject is viewed. Generating a virtual viewpoint image, which is an image obtained when the subject is viewed, based on the acquired image of the subject, the virtual viewpoint image generation method.
  • the step of generating an image includes: a step 1 of setting a projection plane having a multilayer structure; a step 2 of finding a corresponding point on the image of each subject corresponding to each projection point on the projection plane; Determining the color information or the luminance information of the projection point based on the color information or the luminance information of the corresponding point, and the plurality of projection points overlapping from a certain reference viewpoint in space. Equivalent to the position of the projection point Before that distance Calculating the degree of possibility that the subject exists, based on the degree of correlation between the corresponding point or the vicinity thereof, and color information or luminance information of a reference point overlapping from the virtual viewpoint with the object.
  • Step 5 of determining the color information or luminance information of each pixel in the virtual viewpoint image by performing a mixing process in accordance with the degree of the possibility that the image exists, and for all points corresponding to the pixels of the virtual viewpoint image. And a step 6 of repeatedly performing the steps 1 to 5 described above.
  • the image generation method of the present invention includes a step of acquiring an image of the subject from a plurality of different viewpoints, and a step of acquiring a three-dimensional shape of the subject from the plurality of images. Generating an image of the subject as viewed from the observer's viewpoint based on the three-dimensional shape of the subject, wherein the step of acquiring the three-dimensional shape of the subject is a virtual Setting a projection plane of a multilayer structure on a suitable three-dimensional space, determining a reference viewpoint for acquiring the three-dimensional shape of the subject, and corresponding to a projection point which is a point on the projection plane.
  • the step of calculating the degree includes preparing a plurality of camera sets, which are combinations of several viewpoints selected from the plurality of viewpoints, and calculating a degree of correlation from corresponding points on an image included in each of the camera sets.
  • Determining the presence probability wherein the step of determining the presence probability includes the step of calculating a presence probability based on the degree of correlation of each projection point obtained for each of the camera sets, and the step of determining each of the camera sets. Determining the existence probability of each projection point by performing the integration process of the existence probabilities.
  • the present invention provides a step of acquiring a plurality of images obtained by photographing a subject while changing the focusing distance, and setting a virtual viewpoint which is a viewpoint for viewing the subject shown in the plurality of images: The 3D shape of the subject from the plurality of images. Generating an image of the subject viewed from the virtual viewpoint based on the acquired three-dimensional shape of the subject, wherein the three-dimensional shape of the subject is acquired.
  • a step of determining color information or luminance information of the projection point from color information or luminance information of the corresponding point on each of the acquired images corresponding to a certain projection point, and a focusing point of the corresponding point corresponding to the projection point Determining the degree of focus of the projection points from the degrees of projection, and for a plurality of projection points overlapping when viewed from the reference viewpoint, corresponding to the position of each projection point based on the degree of focus of each projection point.
  • Distance to the subject Determining the existence probability, which is the probability that the surface of the object exists, wherein the step of generating the image of the subject as viewed from the virtual viewpoint includes color information or color information of projection points overlapping when viewed from the virtual viewpoint. It can be configured as an image generation method characterized in that luminance information is mixed at a ratio according to the existence probability to determine color information or luminance information of each point on an image to be generated.
  • the present invention includes a step of acquiring a plurality of images obtained by photographing a subject under different conditions; a step of acquiring a three-dimensional shape of the subject from the plurality of images; and a step of acquiring the three-dimensional shape of the subject. Generating an image of the subject viewed from the viewpoint of the observer based on the three-dimensional shape of the subject, wherein the step of obtaining the three-dimensional shape of the subject is performed in a virtual three-dimensional space.
  • Determining the existence probability that is the probability that the surface of the object is present on each of the projection points with respect to the plurality of projection points that overlap when viewed from the reference viewpoint, and that determines the existence probability Calculating the evaluation reference value of each projection point from the image information of the corresponding point; performing statistical processing of the evaluation reference value of each projection point; and evaluating the evaluation reference value obtained by performing the statistical processing. Calculating the existence probability of each projection point based on the value.
  • the present invention provides a step of obtaining a plurality of images obtained by photographing a subject under different conditions; a step of obtaining a three-dimensional shape of the subject from the plurality of images; Setting a viewpoint position at which the observer views a plurality of image display surfaces at different depth positions, and generating a two-dimensional image to be displayed on each of the image display surfaces based on the acquired three-dimensional shape of the subject And displaying the generated two-dimensional image on each of the display surfaces to present a three-dimensional image of the subject, wherein the three-dimensional shape of the subject is acquired.
  • the step of presenting the three-dimensional image may be configured as a three-dimensional image display method characterized by displaying the color information or the luminance information of each of the display points at a luminance according to the existence probability.
  • an image of a subject when an image of a subject is generated by acquiring a three-dimensional shape of the subject from a plurality of images, a remarkable image quality occurs in a portion where the reliability of the estimation of the shape of the subject is low. Can be reduced. Further, even with a device having low processing performance, it is possible to generate an image in a short time with little deterioration of the image quality. Further, it is possible to reduce the size of a photographing device for photographing an image used for obtaining a geometric model of a subject, and to simplify the device configuration.
  • FIG. 1 is a diagram for explaining a problem of a conventional virtual viewpoint image.
  • FIG. 2 is a schematic diagram for explaining the principle of a virtual viewpoint image generation method according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a projection plane group, a camera, a reference viewpoint, a projection point, and a corresponding point.
  • FIG. 3 is a schematic diagram for explaining the principle of the virtual viewpoint image generation method according to the first embodiment.
  • FIG. 4 is a schematic diagram for explaining the principle of the virtual viewpoint image generation method according to the first embodiment, and is a diagram illustrating an example of a mixing process according to the transparency of a projection point.
  • FIG. 5 is a schematic diagram for explaining the principle of the virtual viewpoint image generation method according to the first embodiment, and is a diagram showing an example of a subject, a projection plane group, a reference viewpoint, a virtual viewpoint, and a projection point. You.
  • FIG. 6 is a schematic diagram showing a schematic configuration of a virtual viewpoint image generation device of Example 1-1, and is a block diagram showing a configuration inside the image generation device.
  • FIG. 7 is a schematic diagram illustrating a schematic configuration of a virtual viewpoint image generation device according to Example 1-1, and is a diagram illustrating a configuration example of a system using the image generation device.
  • FIG. 8 is a schematic diagram for explaining a mathematical model of a virtual viewpoint image generation method using the virtual viewpoint image generation device of Embodiment 1-1, and is a diagram illustrating an example of projection conversion.
  • FIG. 9 is a schematic diagram for explaining a mathematical model of a virtual viewpoint image generation method using the virtual viewpoint image generation device of Embodiment 1-1, and is a diagram illustrating an example of coordinate transformation.
  • FIG. 10 is a schematic diagram for explaining a virtual-viewpoint image generation processing procedure according to the embodiment 1-1.
  • FIG. 11 is a schematic diagram for explaining a virtual viewpoint image generation processing procedure according to Embodiment 11 and is a specific flowchart of steps for generating a virtual viewpoint image.
  • FIG. 12 is a schematic diagram for explaining a generation processing procedure of a virtual viewpoint image according to the embodiment 11 and is a diagram illustrating an example of a method of setting a projection plane.
  • FIG. 13 is a schematic diagram for explaining the virtual viewpoint image generation processing procedure of Embodiment 11 and is a diagram showing an example of a projection point, a projection point sequence, and a set of projection point sequences.
  • FIG. 14 is a schematic diagram for explaining a virtual viewpoint image generation processing procedure according to the embodiment 11; and FIG. 14 is a diagram illustrating an angle formed by a reference viewpoint, a projection point, and a camera position for explaining color information mixing processing. It is a figure showing an example.
  • FIG. 15 is a schematic diagram for explaining a generation processing procedure of a virtual viewpoint image according to the embodiment 1-1.
  • FIG. 9 is a diagram showing an example of a corresponding point matching process.
  • FIG. 16 is a schematic diagram for explaining a virtual viewpoint image generation processing procedure according to the embodiment 11; it is a diagram for explaining a rendering process.
  • FIG. 17 is a schematic diagram for explaining a virtual viewpoint image generation processing procedure in Example 11 and is a diagram illustrating an example of a generated virtual viewpoint image.
  • FIG. 18 is a schematic diagram showing an application example of a system to which the virtual viewpoint image generation device according to the embodiment 11 is applied.
  • FIG. 19 (a) is a flowchart showing a process which is a feature of the embodiment 12 and FIG. 19 (b) is a flowchart showing an example of a specific processing procedure of a step of determining transparency information.
  • FIG. 20 is a schematic diagram for explaining a virtual viewpoint image generation method according to Embodiment 13 and is a diagram showing an example of a projection plane group, a reference viewpoint, a virtual viewpoint, and a projection point.
  • FIG. 21 is a schematic diagram for explaining the principle of the image generation method according to the second embodiment, and is a diagram for explaining the concept of the generation method.
  • FIG. 22 is a schematic diagram for explaining the principle of the image generation method according to the second embodiment.
  • FIG. 2 is a diagram two-dimensionally expressing 21.
  • FIG. 23 is a diagram for explaining how to determine the degree of correlation of corresponding points.
  • FIG. 24 is a view for explaining points that are problematic when calculating the degree of correlation of corresponding points.
  • FIG. 25 is a schematic diagram for explaining the principle of the image generation method according to the second embodiment, and is a diagram for explaining a method for solving the problem when obtaining the correlation.
  • FIG. 26 is a diagram illustrating an example of a method for improving the accuracy of the existence probability.
  • FIG. 27 is a schematic diagram for explaining the principle of the image generation method according to the second embodiment.
  • FIG. 28 is a schematic diagram for explaining the principle of the image generation method according to the second embodiment.
  • FIG. 29 is a schematic diagram for explaining the image generation method of the embodiment 2-1 and is a flowchart showing an example of an overall processing procedure.
  • FIG. 30 is a schematic diagram for explaining the image generation method of the embodiment 2_1, and is a flowchart showing an example of a processing procedure of a step of determining color information and an existence probability of a projection point in FIG. 29.
  • FIG. 31 is a schematic diagram for explaining the image generation method of the embodiment 2_1. It is a flowchart which shows an example of the step which determines an existence probability.
  • FIG. 32 is a schematic diagram for explaining the image generation method of the embodiment 2-1 and is a diagram showing a setting example of a camera set.
  • FIG. 33 is a schematic diagram for explaining the image generation method of the embodiment 2-1 and is a diagram for explaining a method of converting information on a projection surface into information on a display surface.
  • FIG. 34 is a diagram for explaining a method of converting information on the projection surface into information on the display surface.
  • FIG. 35 is a block diagram showing a configuration example of an image generation device to which the image generation method of Embodiment 2-1 is applied.
  • FIG. 36 is a diagram showing a configuration example of an image display system using an image generation device to which the image generation method of Embodiment 2-1 is applied.
  • FIG. 37 is a diagram showing another example of the configuration of an image display system using an image generation device to which the image generation method of Embodiment 2-1 is applied.
  • FIG. 38 is a schematic diagram for explaining the image generation method of the embodiment 2-2, and is a flowchart showing an example of the entire processing procedure.
  • FIG. 39 is a schematic diagram for explaining the image generation method of the embodiment 2-2, and is a diagram for explaining the principle of rendering.
  • FIG. 40 is a schematic diagram for explaining the image generation method of the embodiment 2-2, and is a diagram for explaining a problem in the image generation method of the embodiment 2;
  • FIG. 41 is a schematic diagram for explaining the image generation method of the embodiment 2-2, and is a diagram for explaining a method of solving a problem in the image generation method of the embodiment 2;
  • FIG. 42 is a schematic diagram for explaining the image generation method of the embodiment 2-2, and is a flowchart showing an example of a processing procedure for converting the existence probability into transparency.
  • FIG. 43 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram illustrating a setting example of a projection plane and a reference viewpoint.
  • FIG. 44 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram illustrating a setting example of a projection plane and a reference viewpoint.
  • FIG. 45 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a method for determining color information of a projection point and a degree of focus.
  • FIG. 46 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a method of determining the existence probability of a projection point.
  • FIG. 47 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a method for determining the existence probability of a projection point.
  • FIG. 48 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a method for determining the existence probability of a projection point.
  • FIG. 49 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a method of generating an image viewed from a virtual viewpoint.
  • FIG. 50 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a problem in the image generation method of the present invention.
  • FIG. 51 is a schematic diagram for explaining the principle of the image generation method according to the third embodiment, and is a diagram for explaining a method for solving a problem in the image generation method of the present invention.
  • FIG. 52 is a schematic diagram for explaining a mathematical model of the image generation method according to the third embodiment, and is a diagram showing a relationship among projection points, corresponding points, and points on an image to be generated.
  • FIG. 53 is a schematic diagram for explaining a mathematical model of an image generating method according to the third embodiment, and is a diagram for explaining a method of converting points in space and pixels on an image.
  • FIG. 54 is a schematic diagram for explaining the image generating method of the embodiment 3-1 and is a flowchart showing a procedure for generating an image.
  • FIG. 55 is a schematic diagram for explaining the image generation method of the embodiment 3-1 and is a diagram for explaining a method of setting a projection point sequence.
  • FIG. 56 is a schematic diagram for explaining the image generation method of the embodiment 3-1 and is a flowchart showing a specific example of the process of step 10305 in FIG. 54.
  • FIG. 57 is a schematic diagram for explaining the image generation method of the embodiment 3_1 and is a diagram for explaining a rendering method.
  • FIG. 58 is a schematic diagram showing a schematic configuration of an apparatus for generating an image by the image generation method of Embodiment 3-1 and is a block diagram showing a configuration of the apparatus.
  • FIG. 59 is a view for explaining a configuration example of a subject image photographing means in Embodiment 3-1.
  • FIG. 60 is a view for explaining a configuration example of a subject image photographing means in Embodiment 3-1.
  • FIG. 61 is a diagram for explaining a configuration example of a subject image photographing means according to Embodiment 3-1.
  • FIG. 62 is a schematic diagram showing a schematic configuration of an image generation system using the image generation device of Embodiment 3-1 and is a diagram showing a configuration example of the image generation system.
  • FIG. 63 is a schematic diagram showing a schematic configuration of an image generation system using the image generation device of Embodiment 3-1 and is a diagram showing another configuration example of the image generation system.
  • FIG. 64 is a flowchart showing a process of a virtual viewpoint image generation method according to Embodiment 3-2.
  • FIG. 65 is a schematic diagram for explaining another generation method in the image generation method according to the third embodiment.
  • FIG. 66 is a schematic diagram for explaining the image generation method of Example 411 according to the third embodiment, and is a flowchart showing an example of the overall processing procedure.
  • FIG. 67 is a schematic diagram for explaining the image generating method according to the example 411, and is a diagram showing an example of a method of setting a projection plane.
  • FIG. 68 is a schematic diagram for explaining the image generation method according to the example 411, and is a diagram showing an example of a method of setting a projection plane.
  • FIG. 69 is a schematic diagram for explaining the image generation method according to the example 411, and is a diagram for explaining a method of setting a projection point sequence.
  • FIG. 70 is a schematic diagram for explaining the image generation method according to the embodiment 4-11, and is a flowchart showing an example of a processing procedure of a step of determining color information and an existence probability of a projection point.
  • FIG. 71 is a schematic diagram for explaining the image generation method according to the example 4-11, and is a diagram for explaining a method of determining the existence probability.
  • FIG. 72 is a schematic diagram for explaining the image generation method according to Example 411, and is a diagram for explaining a method for determining the existence probability.
  • FIG. 73 is a schematic diagram for explaining the image generation method according to Example 411, and is a diagram for explaining a method for determining the existence probability.
  • FIG. 74 is a schematic diagram for explaining the image generation method of the embodiment 4-1 and is a diagram for explaining a method of determining the existence probability.
  • FIG. 75 is a schematic diagram for explaining an image generation method according to Example 4-1 and is a diagram for explaining a method for generating a two-dimensional image to be displayed on each image display surface.
  • FIG. 76 is a schematic diagram for explaining the image generation method of Embodiment 4-1 and is a diagram for explaining a method of generating a two-dimensional image to be displayed on each image display surface.
  • FIG. 77 is a schematic diagram for explaining the image generation method of Embodiment 4-1 and is a diagram for explaining a method of generating a two-dimensional image to be displayed on each image display surface.
  • FIG. 78 is a schematic diagram for explaining the image generation method according to the example 412, and is a diagram showing the relationship between projection points and corresponding points.
  • FIG. 79 is a schematic diagram for explaining the image generation method according to the example 412, and is a flowchart showing an example of steps for determining color information and existence probability of a projection point.
  • FIG. 80 is a schematic diagram for explaining the image generation method according to the embodiment 412, and is a diagram for explaining how to determine the existence probability.
  • FIG. 81 is a schematic diagram for explaining the image generation method according to the example 412, and is a diagram for explaining how to determine the existence probability.
  • FIG. 82 is a schematic diagram for explaining the arbitrary viewpoint image generation method of the embodiment 4-13, and is a flowchart showing an example of the overall processing procedure.
  • FIG. 83 is a schematic diagram for explaining the arbitrary viewpoint image generating method of the embodiment 4-13, and is a diagram for explaining the principle of rendering.
  • FIG. 84 is a flowchart showing an example of a processing procedure for converting the existence probability to transparency in the embodiment 4-13.
  • FIG. 85 is a schematic diagram showing a schematic configuration of an image generation device according to Example 4-4.
  • FIG. 86 is a schematic diagram showing a schematic configuration of the image generation device of Embodiment 4-4.
  • FIG. 87 is a schematic diagram showing a schematic configuration of an image generation device of Embodiment 4-4, and is a diagram showing a configuration example of an image display system using the image generation device.
  • FIG. 88 is a schematic diagram showing a schematic configuration of an image generation device of Embodiment 4-4, and is a diagram showing a configuration example of an image display system using the image generation device.
  • FIG. 89 is a schematic diagram showing a schematic configuration of an image generation device of Embodiment 4-4, and is a diagram showing a configuration example of an image display system using the image generation device.
  • FIG. 90 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 according to the fifth embodiment, and is a flowchart showing an example of the overall processing procedure.
  • FIG. 91 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram showing an example of a method of setting a projection plane.
  • FIG. 92 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram showing an example of a method of setting a projection plane.
  • FIG. 93 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of setting projection points.
  • FIG. 94 is a schematic diagram for explaining the three-dimensional image display method of the embodiment 5-1 and is a flowchart showing an example of a processing procedure of a step of determining color information and existence probability of a projection point.
  • FIG. 95 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of determining the existence probability.
  • FIG. 96 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of determining the existence probability.
  • FIG. 97 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of determining the existence probability.
  • FIG. 98 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of generating a two-dimensional image to be displayed on each image display surface.
  • FIG. 99 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of generating a two-dimensional image to be displayed on each image display surface.
  • FIG. 100 is a schematic diagram for explaining the three-dimensional image display method of Example 5-1 and is a diagram for explaining a method of generating a two-dimensional image to be displayed on each image display surface.
  • FIG. 101 is a schematic diagram for explaining the three-dimensional image display method of Embodiment 5-2, and is a diagram showing the relationship between projection points and corresponding points.
  • FIG. 102 is a schematic diagram for explaining the three-dimensional image display method of Embodiment 5-2, and is a flowchart showing an example of steps for determining color information and existence probability of a projection point.
  • FIG. 103 is a schematic diagram for explaining the three-dimensional image display method of Example 5-2, and is a diagram for explaining how to determine the existence probability.
  • FIG. 104 is a schematic diagram for explaining the three-dimensional image display method of Example 5-2, and is a diagram for explaining how to determine the existence probability. Explanation of reference numerals
  • 1, 1A, 1B, 1C virtual viewpoint image generation device
  • 101 virtual viewpoint determination unit
  • 102 subject image acquisition unit
  • 103 image generation unit
  • 103a projection plane determination unit
  • 103b reference viewpoint determination unit
  • 103c Texture array securing means
  • 103d Corresponding point matching processing means
  • 103e Color information determining means
  • 103f Existence probability information determining means
  • 103g Rendering means
  • 104 Generated image output means
  • 3 subject photographing means (camera)
  • 4 image display means
  • 6 virtual viewpoint image
  • 7 subject image
  • 7A degraded part of the image
  • 7B part of which the image is missing.
  • 6, 6A, 6B, 6C image generation device
  • 601 subject image acquisition means
  • 602 observer viewpoint setting means
  • 603 projection plane setting means
  • 604 projection plane information storage area securing means
  • 605 color information / Existence probability determination means
  • 606 Projection plane information-display plane information conversion means
  • 607 ... Image output means 7, 7A, 7B ... Image display means, 8, 8A, 8B ...
  • Subject image photographing means 9, 9A, 9B: Reference viewpoint input means
  • 2, 2A, 2B, 2C image generation device
  • 201 subject image acquisition unit
  • 202 observer viewpoint setting unit
  • 203 projection plane setting unit
  • 204 texture array securing unit
  • 205 color information / existence probability Determination means
  • 206 projection plane information-display plane information conversion means
  • 207 image output means
  • 208 rendering means, 3, 3A, 3B ... image display means, 4, 4A, 4B ... Photographing means, 5, 5A, 5B ... Reference viewpoint input means
  • the first embodiment is an embodiment mainly corresponding to claim 1 to claim 11.
  • the present embodiment an example is shown in which three primary colors of red (R), green (G), and blue (B) are used to represent color information, but luminance (Y) or color difference (U, V) is used.
  • luminance Y
  • U color difference
  • FIGS. 2 to 5 are schematic diagrams for explaining the principle of the virtual viewpoint image generation method according to the present invention.
  • FIG. 2 shows an example of a projection plane group, a camera, a reference viewpoint, a projection point, and a corresponding point.
  • FIGS. 3 (a) and 3 (b) are diagrams showing an example of a graph of the degree of correlation between corresponding points
  • FIG. 4 (a) is a diagram showing an example of a mixing process according to the transparency of projection points.
  • Fig. 4 (b) is a diagram expressing the mixing process of color information according to transparency in a color space
  • Fig. 5 is a diagram showing an example of a subject, a projection plane group, a reference viewpoint, a virtual viewpoint, and a projection point.
  • the virtual viewpoint image generation method includes a step 1 of setting a projection plane group having a multilayer structure, and a step of setting a plurality of cameras corresponding to each point (projection point) on the projection plane.
  • Step 4 of calculating the degree of sex (existence probability information) based on the degree of correlation of the corresponding point or its neighboring area, and mixing processing of the color information of the overlapping reference points from the virtual viewpoint according to the existence probability information Step 5 to determine the color information of each pixel at the virtual viewpoint, and Step 6 to repeat Steps 1 to 5 for all points corresponding to the pixels of the virtual viewpoint image.
  • an estimated value having sufficient reliability in distance estimation may be used depending on the shooting conditions and parts of the subject.
  • the reliability is low, the position where the estimated value is obtained is low, and the contribution to image generation is reduced by drawing vaguely, and extreme image degradation is caused.
  • areas where high-reliability distance data are obtained are clearly drawn to increase the contribution to image generation.
  • the possibility of the existence of a subject is calculated from the degree of correlation, and a plurality of projection points are drawn with clarity according to the existence probability information, so that the reliability of estimation can be improved.
  • a plurality of projection points are drawn vaguely, the noise of the generated image is not conspicuous, and an effect of generating a better image as seen by the observer is obtained.
  • the drawing method of the present invention can be implemented in a symphony by using texture mapping, which is a basic method of computer graphics, and can be satisfactorily processed by 3D graphics hardware mounted on a popular personal computer. This has the effect of reducing the computer load as much as possible.
  • each reference point on the projection plane has transparency having a gradation from transmission to non-transmission, and the transparency at each reference point is obtained in step 4 above.
  • the mixing process for obtaining the color information of each point at the virtual viewpoint in step 5 is sequentially processed from the projection point far from the virtual viewpoint to the projection point close to the virtual viewpoint.
  • the color information obtained by the mixing process up to a certain projection point is obtained by internally dividing the color information at the projection point and the color information obtained by the mixing process up to the previous projection point at a ratio according to the transparency.
  • the color information obtained by the mixing process is an internal part of the color information at a certain stage and the next color information.
  • color information D is represented by K and D
  • Equation 5 The guarantee as in Equation 5 is proved by mathematical induction, but a detailed description is omitted.
  • the color information of the virtual viewpoint can always be stored in an appropriate color space V.
  • Equation 7 is obtained.
  • the color information K at the point A on the image plane of the virtual viewpoint P is the projection point on the straight line PA.
  • the color information is calculated by adding the color information with the weight according to the existence possibility information, and is represented by the following Expression 8.
  • ⁇ ⁇ ⁇ [ ⁇ [+ ⁇ 2 ⁇ 2
  • K ⁇ , but in Equation 9, the luminance of each component of (R, G, ⁇ ) is
  • K is an effective color space.
  • hi, hi, hi ', and hi' are ⁇ and ⁇ , respectively.
  • a mixing process is sequentially performed from a projection point far from the virtual viewpoint to a projection point close to the virtual viewpoint, and is obtained by a mixing process up to a certain projection point. If the color information to be obtained is obtained by internally dividing the color information at the projection point and the color information obtained by the mixing process up to the previous projection point at a ratio according to the transparency, ⁇ is given by the following formula: 12
  • the expression (12) becomes the following expression (13) from the expressions (6), (7), (10), and (11), and is a good approximation of the original color information.
  • the range of color information that is effective when the color information is calculated by an operation using the following mathematical expression For example, a correction process is not required, but such a correction is not necessary for image generation that converts to transparency.
  • a unique projection plane group is set for each camera in step 1, and in step 3, the color information of the projection point is set to a camera unique to the projection plane to which the projection point belongs.
  • the existence probability information in step 4 is calculated using the color information of the corresponding point of the image captured by the camera based on the viewpoint of the camera unique to the projection plane to which the projection point belongs, and the color information of the virtual viewpoint in step 5 is mixed.
  • the processing is corrected based on the positional relationship between the virtual viewpoint and each reference viewpoint. In this way, a unique projection plane group is set for each camera irrespective of the positional relationship between the cameras. Therefore, even if the camera arrangement is complicated or irregular, the projection plane group setting processing is performed.
  • the image can be generated by a consistent processing method without affecting the image quality.
  • a program for executing the virtual viewpoint image generation method according to the first embodiment of the present invention on a dedicated device, a popular personal computer, or the like has a wide application range and high versatility.
  • FIG. 6 and 7 are schematic diagrams showing a schematic configuration of a virtual viewpoint image generation device according to Embodiment 1-1 of the present invention.
  • FIG. 6 is a block diagram showing a configuration inside the image generation device
  • FIG. FIG. 1 is a diagram illustrating a configuration example of a system using a device.
  • 1 is a virtual viewpoint image generation device
  • 101 is a virtual viewpoint determination unit
  • 102 is a subject image acquisition unit
  • 103 is an image generation unit
  • 103a is a projection plane determination unit
  • 103b is a reference viewpoint determination unit.
  • 103c is a texture arrangement securing means
  • 103d is a corresponding point matching processing means
  • 103e is color information determining means
  • 103f is existence probability information determining means
  • 103g is rendering means
  • 104 is generated image output means
  • 2 is viewpoint position input means.
  • Reference numeral 3 denotes subject photographing means
  • reference numeral 4 denotes image display means.
  • User is a user of the virtual viewpoint image generation device
  • Obj is a subject.
  • the virtual viewpoint image generating apparatus 1 of the embodiment 1-1 uses the viewpoint (virtual viewpoint) parameters input by the user User using the viewpoint position input unit 2.
  • the virtual viewpoint determining means 101 determines, for example, a position, a direction, and an angle of view as parameters of the virtual viewpoint.
  • the viewpoint position input means 2 is, for example, as shown in FIG. Or a device such as a mouse, which is operated and selected by the user User, or a device such as a keyboard, which the user User directly inputs as a numerical value.
  • a detection sensor may be used. Also, it can be provided by another program or provided via a network.
  • the subject image acquiring means 102 may sequentially acquire the position and orientation of the subject, which changes every moment, at a fixed interval, for example, at an interval of 30 Hz, or the subject image may be stationary at an arbitrary time. It is possible to acquire an image, or to acquire a subject image which has been taken in advance by reading it from a recording device. It is desirable that the subject images from multiple viewpoint positions be captured at the same time by synchronizing all cameras. This is not the case if it can be considered.
  • the image generation means 103 includes a projection plane determination means 103a for determining the position and shape of the projection plane used for image generation, and a reference viewpoint for determining the position of the reference viewpoint.
  • Determining means 103b texture array securing means 103c for allocating an array of texture images to be pasted on the projection plane on a memory, and a plurality of viewpoint positions in the image of the subject acquired by the subject image acquiring means 102.
  • Corresponding point matching processing means 103d for associating locations where the same area of the subject is photographed, and the image information of a plurality of subjects obtained by acquiring the color information of the texture array secured by the texture array securing means 103c.
  • the subject is present on the projection plane, out of the color information determining means 103e which is determined by mixing the color information of the two and the texture array secured by the texture array securing means 103c.
  • Probability information determining means 103f for determining the degree of possibility (existence probability information) based on the result of the corresponding point matching processing means 103d; the color information determined by the color information determining means 103e;
  • a rendering means 103g for rendering the projection plane viewed from the virtual viewpoint based on the existence probability information determined by the information determining means 103f.
  • the arrangement secured by the texture arrangement securing means 103c holds color information and existence probability information for each pixel, and includes, for example, red (R), green (G), and blue (B).
  • the primary color and the existence probability information are expressed in 8 bits each.
  • the present invention is not limited to this particular data representation. It is not format dependent.
  • the image display means 4 is, for example, a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel) or the like connected to the generated image output means 104 such as a display terminal.
  • the image display means 4 may be, for example, a two-dimensional flat display device or a curved display device surrounding the user User. If a display device capable of stereoscopic display is used as the image display means 4, the virtual viewpoint determination means 101 determines two virtual viewpoints corresponding to the left and right eyes of the user User, and generates the image. After the virtual viewpoint images from the two virtual viewpoints are generated by the means 103, independent images can be presented to the left and right eyes of the user. In addition, if a 3D display that can generate images from three or more virtual viewpoints and display images with three or more parallaxes is used, stereoscopic images can be displayed to one or more users. Can also be presented.
  • a system using the virtual viewpoint image generation device 1 has, for example, a configuration as shown in FIG. 7, and generates a virtual viewpoint image via a user Use or the viewpoint position input means 2.
  • the virtual viewpoint image generation apparatus 1 photographs the subject Obj with the subject photographing means (camera) 3, acquires the image, and then acquires the acquired image.
  • An image (virtual viewpoint image) at the designated viewpoint is generated based on the image of the subject.
  • the generated virtual viewpoint image is presented to the user User by the image display means 4.
  • Fig. 7 shows an example of the implementation of the image generation device according to the present invention, and the claims of the present invention are not necessarily limited to such a configuration.
  • the arrangement, form, and implementation are arbitrary without departing from the spirit of the present invention.
  • FIGS. 8 and 9 are schematic diagrams for explaining a mathematical model of a virtual viewpoint image generation method using the virtual viewpoint image generation device of Embodiment 1-1, and FIG. 8 is an example of projection transformation.
  • FIG. 9 is a diagram showing an example of coordinate conversion.
  • the center position of the camera also indicates the camera itself, and similarly, P indicates the virtual viewpoint itself and the center position of the virtual viewpoint.
  • the force that the cameras C are arranged in a horizontal line is not limited to such an arrangement.
  • the present invention is not limited to such an arrangement, but may be applied to various arrangements such as a two-dimensional lattice or an arc. Applicable.
  • the arrangement of the projection plane L is not necessarily limited to parallel,
  • Embodiment 1-1 it is assumed that the projection plane L is a plane.
  • an image of virtual viewpoint P where the camera is not located is generated based on the image of subject ⁇ bj obtained at position C where the camera is actually located. Basically, a part of the image of the subject
  • the virtual viewpoint P and the camera C project points in the three-dimensional space onto two-dimensional points on the respective image planes.
  • Equation 15 a matrix projected from a point (X, ⁇ , Z) on a three-dimensional space to a point (X, y) on an image plane is given by a matrix of 3 rows and 4 columns. Equation 15 can be expressed.
  • a matrix ⁇ representing a perspective projection transformation of a focal length f around the origin is
  • the image handled by the computer is a so-called digital image, which is represented by a two-dimensional array in the memory.
  • the coordinate system (U, V) indicating the position of this array is called the digital image coordinate system.
  • one point on the digital image having a size of 640 pixels X 480 pixels is a variable u that takes an integer value of 039, a variable u that takes a shift, and an integer value of 0 to 479.
  • the color information at that point is represented by data obtained by quantizing the red (R), green (G), and blue ( ⁇ ) information at that address with 8 bits or the like. Is done.
  • the image coordinates (X, y) as shown in FIG. 9 (a) and the digital image coordinates (u, V) as shown in FIG. 9 (b) have a one-to-one correspondence. For example, they have a relationship as shown in Expression 17 below.
  • V is a force that takes discrete values. In the following description, continuous values are assumed unless otherwise specified, and appropriate discretization processing is performed when accessing an array.
  • FIGS. 10 to 17 are schematic diagrams for explaining the virtual viewpoint image generation processing procedure of the present embodiment 11;
  • FIG. 10 is a flowchart of the entire generation processing, and
  • FIG. 11 is a virtual viewpoint image.
  • FIG. 12 is a diagram showing an example of a projection plane setting method
  • FIG. 13 is a diagram showing an example of a projection point, a sequence of projection points, and a set of projection point sequences
  • FIG. 15 is a diagram illustrating an example of an angle formed by a reference viewpoint, a projection point, and a camera position for explaining the color information mixing process.
  • FIG. 15 is a diagram illustrating an example of the corresponding point matching process.
  • FIG. 16 is a diagram illustrating the rendering process.
  • FIG. 17 is a diagram showing an example of the generated virtual viewpoint image.
  • the virtual viewpoint determination is performed based on a request from a user User.
  • the parameters of the virtual viewpoint P are determined by means (step 501).
  • step 501 for example, the position, direction, angle of view, and the like of the virtual viewpoint P are determined.
  • an image of the subject Obj taken by the plurality of cameras 3 (C) is acquired by the subject image acquiring means 102 (Step 502).
  • an image (virtual viewpoint image) when the subject Obj is viewed from the virtual viewpoint P is generated (Step 503). .
  • step 503 for example, the processing of each step as shown in FIG. 11 is performed to generate a virtual viewpoint image.
  • step 503 first, the position of the projection plane L (jejJ ⁇ ⁇ l, 2 ! ⁇ , M ⁇ ) of the multilayer structure used for generating the virtual viewpoint image is determined by the projection plane determination unit 103a. Then, the shape is determined (step 503a).
  • the projection plane L in the step 503a for example, projection planes having a planar shape as shown in FIG. 8 are installed in parallel at equal intervals.
  • a plane projection plane
  • a plane projection plane
  • may be arranged in the sequence 1 (d l, 2,3, ').
  • the example of setting the projection plane L is merely an example, and the image generation method of the present invention basically requires setting two or more different projection planes. It is not limited to the setting method.
  • the reference viewpoint determining means 103b next uses the degree of possibility that the subject exists on the projection point (existence probability information) used in the subsequent processing.
  • a point (reference viewpoint) R to be a reference when calculating is determined (step 503b).
  • the position of the reference viewpoint R may be the same as the position of the virtual viewpoint P, or if there are a plurality of virtual viewpoints, the position of the center of gravity may be used.
  • the present invention does not provide a method depending on how to take a specific reference viewpoint.
  • step 503c a number of projection points are set on the projection plane.
  • the projection points are set so as to lie on a plurality of straight lines passing through the reference viewpoint R, and the projection points on the same straight line are collectively treated as a projection point sequence.
  • FIG. 13 focusing on a straight line passing through the reference viewpoint R,
  • an array for holding an image to be texture-mapped on the projection plane is secured in the memory of the image generating apparatus by the texture array securing unit 103c.
  • the array to be reserved has texture information corresponding to the position of the projection point for each pixel, and color information (R, G, B) and existence probability information, for example, 8 bits each.
  • step 503d the correspondence between the two-dimensional digital coordinates (U,) of the pixels in the texture array and the three-dimensional coordinates (Y, ⁇ ) of the projection point is also set.
  • U, two-dimensional digital coordinates
  • Y, ⁇ three-dimensional coordinates
  • (X, ⁇ , ⁇ ) values may be set as a table for all (U, V) values
  • the value of (Xj, Y, Zj) may be set only for the representative (Uj, Vj), and other correspondences may be obtained by a complementation process (for example, linear complementation).
  • step 503d After the processing of step 503d is completed, color information and existence information of a pixel corresponding to each projection point secured in step 503d are determined based on the image of the subject acquired in step 502. I do. At that time, the projection point sequence S is sequentially scanned in the range of ⁇ , and the projection point T is sequentially scanned in the range of T, thereby performing a double loop process.
  • the projection point sequence S to be operated is initialized to a start position (step 503e). Then, the projection point T to be scanned is initialized to the start position in the projection point sequence S, and
  • j l (step 503f).
  • the position of the projection point T is next determined.
  • the markers (X *, Y *, ⁇ *) are obtained, and when the point at the position (X *, ⁇ *, ⁇ *) is photographed with each camera, the position corresponding to each of the image planes is determined. It is calculated using the relationship from Expressions 14 to 17 (Step 503g). At this time, a set of cameras for calculating the corresponding points S ⁇ ⁇ C ;
  • the set of cameras ⁇ may be all cameras, or one or more cameras may be arbitrarily selected according to the positions of the virtual viewpoint P, the reference viewpoint R, and the projection point T.
  • the corresponding point of each camera obtained here is set as G (i e i), and its digital coordinates are set as (u *, v *) (i ei).
  • the color information determining means 103e next calculates the color information at the pixel (U *, V *) on the texture array corresponding to the projection point T by (u * , *) (i
  • ⁇ Determined by mixing the color information in I) (step 503h).
  • the mixing process for example, an average value of the color information of the corresponding points of each camera is obtained.
  • the vectors representing the color information (R, G, B) at T and the corresponding point G are ⁇ and K, respectively, for example, if K is determined as in the following Expression 19, the projection point ⁇ ⁇ is viewed from the reference viewpoint R The closer the camera is to an angle, the greater the contribution of the mixing process.
  • the corresponding point matching processing means 103d calculates the degree of correlation Q of the corresponding point G (i e i) of each camera with respect to the projection point T (step
  • the degree of correlation Q is, for example, as shown in Equation 20 below, where Q takes a positive value.
  • Equation 20 the higher the correlation of the corresponding points, the smaller the value of Qj.
  • the color information of the projection point and the corresponding point are compared at only one point.
  • the color information can be compared at a plurality of points near the projection point and the corresponding point.
  • the degree of correlation Q in these areas is calculated by, for example, the following equation 21. It is.
  • K (U, V) is an estimated value of color information at coordinates (U, V) of the texture array
  • K (u) is an estimated value of color information at coordinates (U, V) of the texture array
  • , v) indicate color information at the coordinates (u, v) of the image captured by the camera C.
  • the method of calculating the degree of correlation is not limited to the above, and the present invention does not depend on a specific calculation method.
  • the projection point T and the corresponding point are not limited to the above, and the present invention does not depend on a specific calculation method.
  • the area composed of the corresponding pixel and the surrounding eight pixels is defined as a neighboring area ⁇ and a corresponding area ⁇ , respectively.
  • how to determine the neighboring region ⁇ and the corresponding region ⁇ is not limited to this example.
  • step 503i After the processing of step 503i is completed, the projection point T is updated (step 503 ⁇ 4).
  • step 5031 If you have finished scanning, proceed to the next step 5031, if you have not finished scanning yet. If so, the process returns to step 503g.
  • the existence probability information determining means 103f passes the reference viewpoint R based on the degree of correlation Q calculated in step 503i. For all the projection points T (jej) on the straight line, the degree of possibility (existence probability information) ⁇ of the object existing on the projection points is determined (step 5031). However, the existence probability information needs to satisfy the conditions of the following Expressions 22 and 23.
  • the degree of correlation Q between the projection point and the corresponding point calculated in step 503i is calculated by, for example, the following Expression 24 and Expression 25.
  • the presence probability information ⁇ . (Jej) is obtained by performing the conversion process represented.
  • step 5031 After the processing of step 5031 is completed, the projection point sequence S is updated (step 503m), and it is determined whether the projection point sequence ⁇ has been scanned (step 503 ⁇ ). Here, if all the scanning has been completed, the process proceeds to the next step 503 ⁇ , and if not, the process returns to the step 503f.
  • the viewed image is drawn and generated according to the existence probability information / 3 (step 503o).
  • the coordinates of the image plane at the virtual viewpoint P are represented by (u, V).
  • the color information K * of a certain pixel p * (u *, V *) on the image plane is represented by the color information ⁇ K * of the projection point sequence ⁇ T * I jej ⁇ on the line connecting P and p *.
  • the image at the virtual viewpoint P can be obtained.
  • K * is calculated as the following equation 27 instead of the equation 26, the reference viewpoint R and the temporary viewpoint R are calculated. Even if the position of the visual point P is different, K * must be within the effective color space.
  • a general-purpose graphics library such as OpenGL or DirectX can store a projection plane configuration and a texture distribution system. Data such as the setting of the IJ and the viewpoint P may be passed, and the drawing process may be entrusted.
  • the virtual viewpoint image generation process (step 503) is completed as described above, and the generated virtual viewpoint image is displayed on the image display means 4 (step 504).
  • the virtual viewpoint image 6 displayed on the image display means 4 is, for example, as shown in FIG. 17, out of the image 7 of the subject, the degree of the correlation Q calculated in the step 5031 is low, I.e., the estimate j
  • the unreliable spot 7A is rendered vaguely and blurred. Therefore, for example, unlike the conventional virtual viewpoint image 6 as shown in FIG. 1, the image does not appear to be missing, and the deterioration is such that the user does not notice.
  • step 505 the continuation or end of the process is determined. If the process is to be continued, the process is repeated from the first step 501.
  • the subject can be accurately detected in every case and every place as in the conventional means.
  • a low-reliability estimate was obtained on the premise that distance estimation could not provide a sufficiently reliable estimate depending on the shooting conditions and site of the subject rather than trying to obtain a geometric model.
  • the parts are vaguely drawn to reduce the contribution to image generation,
  • areas where highly reliable distance data are obtained are clearly drawn to increase the contribution to image generation.
  • the virtual viewpoint image generation device 1 of the present embodiment since the virtual viewpoint image is generated using texture mapping, the load on the device in the image generation processing can be reduced, and A virtual viewpoint image can be generated at high speed.
  • the virtual viewpoint image generation device 1 does not need to be a dedicated device. For example,
  • the program can be provided by being recorded on a recording medium such as a floppy disk or a CD-ROM, or can be provided through a network.
  • the configuration of the virtual viewpoint image generation device and the generation method and processing procedure of the virtual viewpoint image described in the embodiment 1-1 are merely examples, and the gist of the present invention is that it has a multilayer structure.
  • the transparency information of the projection plane to be formed is determined according to the reliability of the corresponding region between the images obtained by photographing a plurality of different viewpoint position force subjects. For this reason, this point does not greatly deviate, the scope is not limited, and it does not depend on a specific processing method or implementation.
  • a system using the virtual viewpoint image generation device 1 is not limited to a one-way system as shown in FIG. 7, but can be applied to a two-way system.
  • FIG. 18 is a schematic diagram showing an application example of a system to which the virtual viewpoint image generation device 1 of the embodiment 11 is applied.
  • the virtual viewpoint image generation device 1 of the embodiment 11 is suitable for a system such as a videophone or a video conference, for example, as shown in FIG.
  • a system such as a videophone or a video conference
  • both are users and It can be applied to a system that supports visual communication by presenting each other's images, assuming it is a moving object.
  • the image of UserB from the viewpoint desired by UserA is Img [A ⁇ B]
  • Img [A ⁇ B] is the image of UserB taken by the subject photographing means (camera) 3 B on UserB side. It is originally generated and presented to the image display means 4A on the UserA side.
  • Img [B ⁇ A] is also used as the image of UserA captured by the object capturing means (camera) 3A on the UserA side. And presented to the image display means 4B on the UserB side.
  • the viewpoint transmitting means 201A and 201B and the data receiving units 202A and 202B of the Z posture sensor mounted on the user's head are input by the viewpoint position input means of each User.
  • a desired virtual viewpoint is calculated by automatically following a user's head movement.
  • the viewpoint input means does not necessarily have to take such a form. It is also possible to estimate the position / posture of the head based on the images of the user captured by the subject capturing means 3A and 3B, and provide the same function.
  • Img [A ⁇ B] is generated by either the virtual viewpoint image generation device 1A on the UserA side or the virtual viewpoint image generation device 1B on the UserB side.
  • the image of UserB captured by the camera 3B is transmitted to the virtual viewpoint image generation device 1A on the UserA side via the network 8, and based on the image, the virtual viewpoint image generation device 1A [A ⁇ B] is generated and presented on the image display means 4A.
  • the virtual viewpoint image Img [A ⁇ B] is transmitted to the virtual viewpoint image generation device 1A on the UserA side and presented on the image display means 4A.
  • the explanation is omitted, the same applies to Img [B ⁇ A].
  • each unit constituting the image generation unit 103 in Fig. 6 can be shared by either the virtual viewpoint image generation device 1A on the UserA side or the virtual viewpoint image generation device 1B on the UserB side.
  • the image generating apparatus 1A on the User A side implements the projection plane determining means 103a, the reference viewpoint determining means 103b, and the corresponding point matching means 103d, and the image on the User B side Generation processing unit 1B Security means 103c, color information determination means 103e, existence probability information determination means 103f, and rendering means 103g can be implemented.
  • the explanation is omitted, the same applies to Img [B ⁇ A].
  • an image generation device 1C different from the virtual viewpoint image generation devices 1A and 1B on the UserA side and the UserB side is provided at an arbitrary place on the network 8, and all or a part of the image generation means is provided. It is also possible to implement
  • the power described for communication between the two users, UserA and UserB is not limited to this, and the number of users is not limited to this. S can.
  • a virtual space used for communication is assumed separately from the real space where the user actually exists, images of other users according to the positional relationship are presented to each other, and the power and network will be Users can be presented with the feeling of sharing the above virtual space (cyberspace).
  • FIG. 19 is a schematic diagram for explaining the virtual viewpoint image generation method according to the embodiment 1-2
  • FIG. 19 (a) is a flowchart showing a process which is a feature of the embodiment 1-2
  • FIG. b) is a flowchart illustrating an example of a specific processing procedure of a step of determining transparency information.
  • the configuration of the virtual viewpoint image generation device 1 and the overall processing procedure can take the same form as the example described in the above-described Embodiment 11-11. Only a part will be described.
  • a virtual viewpoint image is generated by using the existence probability information j3 determined in the step 5031.
  • step 5031 Had generated a, in the first embodiment one 2, as shown in FIG. 19 (a), after the step 5031, the addition of step 503 P of determining the transparency by converting the existence probability information.
  • step 503d for securing the texture array of the embodiment 1-1 the array for storing the color information and the existence probability information is secured.
  • step 503d an array for holding the color information and the transparency information is secured.
  • the transparency information ⁇ is calculated based on the existence probability information j3, and in the same way as in step 5031 of the embodiment: in this embodiment 1-2, the existence probability information A simple calculation is performed, and the transparency information is calculated in the next step 503p.
  • step 503 ⁇ for performing the rendering process of the embodiment 1-2 instead of the equations 26 and 27 described in the embodiment 11-11, the equations 2 to 4 are used.
  • D the color information K * of a certain pixel p * (u *, V *) on the image plane is calculated as in the following Expression 28.
  • hi ⁇ (step 5032 ⁇ ).
  • update the value of j to j jl (Step 5033p).
  • the denominator is 0 (zero), so it cannot be calculated.
  • Embodiment 1-1 As described above, according to the virtual viewpoint image generation method of Embodiment 1-2, as in Embodiment 1-1, a virtual viewpoint image in which partial image deterioration is not conspicuous can be easily obtained. , And can be generated at high speed.
  • Example 11-11 in the image generation using the existence probability information as it is, when the reference viewpoint and the virtual viewpoint are different, the luminance may increase near the occluded region of the subject.
  • the existence probability information is converted into transparency as in Example 1-2. In such image generation, there is an effect of preventing this phenomenon. Therefore, it is possible to obtain a virtual viewpoint image closer to the actual subject, with less deterioration of the image.
  • Example 11-11 in the image generation using the existence probability information as it is, when the reference viewpoint and the virtual viewpoint are different, the color information is calculated by the calculation using the mathematical expression described later. In this case, for example, correction processing is required, but in the image generation for converting the existence probability information into transparency as in Example 112, the correction processing is not required. Such correction is unnecessary. Therefore, the image generation processing can be simplified.
  • the virtual viewpoint image generation method described in Embodiment 1-2 is only an example, and the gist of the present embodiment is to convert the existence probability information into transparency information to generate a virtual viewpoint image. It is to do. Therefore, it does not depend on a specific calculation method or processing procedure within a range that does not greatly depart from this gist.
  • the above color information corresponds to luminance information in the case of a black and white image, and can be processed in a similar manner.
  • FIG. 20 is a schematic diagram for explaining the virtual viewpoint image generation method according to the thirteenth embodiment, and is a diagram illustrating an example of a projection plane group, a reference viewpoint, a virtual viewpoint, and a projection point.
  • a virtual viewpoint is determined in step 501, and an image of a subject is acquired in the next step 502.
  • step 503 of generating the virtual viewpoint image which is performed next, in step 503 of determining the projection plane, a projection specific to each camera is performed. Set the shadow plane group.
  • the projection plane group is, for example, as shown in FIG. 20, the camera Ci (iei,
  • the reference viewpoint R unique to the projection plane group ⁇ is set to the same position as the camera viewpoint C in the process of determining the reference viewpoint in step 503b.
  • step 503c After the step 503b is completed, next, the process of the step 503c is performed according to the procedure described in the eleventh embodiment. Then, in the next step 503d, each pixel of the digital image photographed by the camera is back-projected onto the projection plane, and is associated with each pixel of the texture array on the projection plane.
  • the conversion of the point (u, V) of the digital image to the point (X, y) on the image plane is represented by, for example, the above equation (17).
  • the back projection to the point (X, ⁇ , Z) on the middle projection plane can be formalized as follows, for example.
  • Z is a back projection image.
  • the process from the step 503e to the step 503g is performed according to the procedure described in the embodiment 1-1. Then, in the process of determining the color information in the next step 503h, the projection points on the projection plane group ⁇ ⁇ are determined using only the color information of the image captured by the camera C. Set.
  • the digital image captured by the camera can be used as it is as the color information of the texture array on the projection plane.
  • step 503i to step 503 ⁇ processing is performed in the same procedure as in Example 11-11.
  • the rendering means of step 503 ⁇ performs color information mixing processing on all overlapping projection points as viewed from the virtual viewpoint #.
  • the color information is mixed on a straight line passing through the virtual viewpoint ⁇ with respect to the projection points on the projection plane groups ⁇ and ⁇ .
  • the projection point on the projection plane L is represented by ⁇
  • the color information at ⁇ is represented by ⁇
  • the existence possibility information is represented by ⁇ .
  • the color information of the image plane is determined as follows, for example.
  • the color information K * of a pixel p * (u *, V *) on the image plane is the color information of a projection point sequence ⁇ T * I ie ijej ⁇ on a straight line connecting P and p *.
  • a virtual viewpoint image in which partial image deterioration is not conspicuous is easily and rapidly obtained. Can be generated.
  • Embodiment 13-13 if a unique projection plane group is set for each camera irrespective of the positional relationship between the cameras, the arrangement of the cameras may be complicated or irregular. Even if Image generation can be performed by a consistent processing method that does not affect the setting processing of the shadow plane group.
  • the virtual viewpoint image generation method described in the first to third embodiments is an example, and the gist of the present embodiment is to convert the existence probability information into transparency information to generate a virtual viewpoint image. It is to do. Therefore, it does not depend on a specific calculation method or processing procedure within a range that does not greatly depart from this gist.
  • the color information corresponds to luminance information, and can be processed in the same manner.
  • distance estimation is not performed in every case and every place as in the conventional method, and an accurate geometric model of the object is obtained.
  • the portions where the estimated value with low reliability is obtained are vaguely drawn to reduce the contribution to image generation, and the extreme image Deterioration is prevented, and the places where highly reliable distance data is obtained are clearly drawn to increase the contribution to image generation.
  • the deterioration of the image at a place where the reliability of the estimation is low becomes inconspicuous.
  • the color information of the projection plane group associated with the same camera is all the same, a texture memory for storing the color information can be shared when processing is performed by a computer (computer). Therefore, it is possible to reduce the load on the apparatus used for image generation, which consumes less memory than the number of projection planes.
  • the camera corresponding to a certain projection plane is uniquely determined, it is easy to calibrate the lens, such as correcting lens distortion, by setting the correspondence between the two coordinates in advance. Speed and speed.
  • the processing time of a device that generates a virtual viewpoint image based on images of a plurality of subjects can be shortened, or the load on the device can be reduced, and even a popular personal computer can be used. An image with little partial deterioration can be generated in a short time.
  • the second embodiment is an embodiment mainly corresponding to claims 12 to 21.
  • the basic mechanism in the second embodiment is the same as that in the first embodiment.
  • a plurality of camera sets are prepared, and based on the degree of correlation obtained for each camera set.
  • the feature is that the existence probability is calculated.
  • components having the same function are denoted by the same reference numerals.
  • the image generation method obtains a three-dimensional shape of an object shown in the image from a plurality of images having different viewpoints, and presents a three-dimensional image of the object, Alternatively, it is a method of generating an image when the object is viewed from an arbitrary viewpoint.
  • the three-dimensional shape of the object is obtained by estimating the distance from the observer's viewpoint to each point on the surface of the object by setting the projection surface of the multilayer structure using a texture mapping method. Ask.
  • a point hereinafter, referred to as a projection point
  • a projection point on each projection surface that overlaps from the observer's viewpoint
  • the degree of correlation between points (hereinafter referred to as corresponding points) is obtained. Then, based on the degree of correlation between the projection points overlapping when viewed from the viewpoint of the observer, it is estimated which of the overlapping projection points is close to the projection point where the surface of the object is present.
  • any one of a plurality of projection points overlapping from the viewpoint of the observer is selected. It is not necessary to consider whether the surface of the object exists near the projection point of the above.If the surface of the object exists at a rate corresponding to the degree of correlation between the projection points, the vicinity of each projection point Think.
  • a probability (hereinafter, referred to as an existence probability) that an object surface exists at each of the projection points or in the vicinity thereof is determined from the degree of correlation with each of the projection points. Then, when generating an image based on the three-dimensional shape of the subject, assigning the color information of the projection point to the color information of each point on the image to be generated, Allocate in proportions. In this way, it is difficult for the observer to observe the projection plane to estimate the distance to the surface of the object, render the ray portion ambiguous, and make discontinuous noise or the like inconspicuous.
  • the existence probability may be obtained using a parameter function P (l) reflecting the probability density distribution.
  • P (l) reflecting the probability density distribution.
  • FIGS. 21 to 28 are schematic diagrams for explaining the principle of the image display method according to the present embodiment.
  • FIG. 21 is a diagram for explaining the concept of a method of generating an image to be displayed
  • FIG. Fig. 23 (a) and Fig. 23 (b) show how to calculate the degree of correlation of corresponding points
  • Figs. 24 (a) and 24 (b) show corresponding points.
  • Fig. 25 explains the problematic point when calculating the degree of correlation
  • Fig. 25 illustrates the method for solving the problem when calculating the degree of correlation
  • Figs. 26 (a) and 26 (b) show the probability of existence.
  • FIGS. 27 (a), 27 (b), and 28 illustrate an example of a method for improving accuracy, and illustrate the features of the present embodiment.
  • a virtual three-dimensional space is set in an image generating device such as a computer, and the image is displayed on the three-dimensional space.
  • the point is photographed by the cameras installed at the viewpoints C and C.
  • the degree of correlation (similarity) of the corresponding points G 1, G 2, G 3 on the images with respect to the shadow point T is determined, m i, m i + l, m i + 2, m
  • projection point T projection plane L
  • the projection point T corresponds to the projection point T.
  • the degree of correlation Q of each corresponding point G j J "J is used.
  • the degree of correlation Q is obtained using, for example, the following Equation 40, as in the first embodiment.
  • the color information at point T is the average value of the color information K at each corresponding point G.
  • the projection plane L is at the position of the set distance 1.
  • the surface of the object B is shown at the corresponding point G 'of
  • 'correlation degree Q' is as shown in Fig. 24 (b), and it is difficult to estimate which projection point T is near the surface of the object.
  • the estimation was incorrect. In this case, the noise appears as discontinuous noise on the displayed image.
  • each projection point T It is assumed that the surface of the object exists with a probability corresponding to the ratio of the magnitude of the correlation degree Q.
  • the probability (existence probability) that the surface of the object exists at or near the projection point T be a projection point on a straight line lp drawn from the observer's viewpoint P, that is, the observer's viewpoint P It is necessary that the existence probability of the projection point T overlapping with each other satisfies the conditions as shown in Expression 41 and Expression 42 below.
  • the existence probability satisfies the conditions of Equations 41 and 42. Therefore, the existence probability may be determined by a method other than the conversion processing represented by Expression 43 and Expression 44.
  • the probability / 3 of the presence of the surface of the object at or near each of the projection points T is determined. For example, as shown in Fig. 25, the probability is subtracted from the viewpoint P of the observer. The color information K and the existence probability ⁇ for each projection point T on the straight line lp are determined.
  • the degree of correlation Q of each projection point T of the straight line lp for example, as shown in FIG. If difficult, comparable A plurality of projection points having the existence probability appear. Therefore, the pixels corresponding to the projection points ⁇ on the plurality of projection planes are displayed with the same luminance, and the observer looking at the projection plane L from the observer's viewpoint P has an unclear sense of distance. Move on. However, since the surface image of the object is displayed at a plurality of overlapping projection points when viewed from the observer's viewpoint P, discontinuous noises caused by erroneous estimation of the distance to the object surface do not occur. Les ,. Therefore, it is possible to display a three-dimensional image of an object that looks natural to the observer without finding the accurate three-dimensional shape of the object to be displayed.
  • the existence probability before performing the statistical processing that is, the existence probability ⁇ obtained from Expression 43 and Expression 44 is used. Is the evaluation reference value V. Then, a value obtained after performing statistical processing on the evaluation reference value V is defined as an existence probability.
  • ⁇ is an average value
  • ⁇ is a parameter representing variance
  • the existence probability ⁇ is determined using, for example, the following Expression 48.
  • 1 ⁇ and 1+ are the lower limit value and the upper limit value of the distance at which it is considered that the surface of the object exists on the projection plane L at the distance 1, as shown in FIG. 26 (b).
  • Equation 5 Give 0.
  • the degree of correlation Q is calculated using the corresponding points G and G corresponding to the projection point T.
  • the rate / 3 can be obtained from the following equation (51).
  • the color information K of the projection point T can be determined, for example, by using the following Expression 52 from the color information K obtained for each combination ⁇ and the existence probability.
  • FIGS. 29 to 34 are schematic diagrams for explaining the image generation method according to the embodiment 2-1 according to the present invention.
  • FIG. 29 is a flowchart showing an example of the overall processing procedure
  • FIG. I s a flowchart showing an example of a processing procedure of steps for determining color information and existence probability of a projection point in FIG. 31
  • FIG. 31 is a flowchart showing an example of steps for determining existence probability in FIG. 30, and
  • FIG. 32 is a camera set
  • FIG. 34 (a), and FIG. 34 (b) are diagrams illustrating a method of converting the information on the projection surface into the information on the display surface.
  • the image generation method according to Example 2-1 uses the images captured from a plurality of viewpoints to acquire the three-dimensional shape of the object shown in the image, and obtain the three-dimensional shape of the acquired object. This is a method of generating a two-dimensional image to be displayed on each image display surface of an image display means having a plurality of image display surfaces, such as a DFD, based on the above.
  • the image generation method includes, for example, as shown in FIG. 29, a step 1 of acquiring an image of an object photographed from a viewpoint C, a step 2 of setting a viewpoint P of an observer, and a step 3 of Step 3 of acquiring the three-dimensional shape, and obtaining the color information and the existence probability of the point (projection point) on the projection surface that represents the acquired three-dimensional shape.
  • Generating a two-dimensional image to be displayed on the image display surface by converting the image into a two-dimensional image, and displaying the display points on the image display surface with luminance or transparency according to the color information and the existence probability. .
  • step 3 sets a projection plane L of a multilayer structure and step 302 determines a reference viewpoint for acquiring a three-dimensional shape of an object, as shown in FIG. And a projection point which is a set of projection points T on each projection plane L overlapping when viewed from the reference viewpoint.
  • Step 304 for determining ⁇ , and color information of the projection point T And a step 305 of securing an array for storing the existence probability and the existence probability, and a step 306 of determining the color information and the existence probability of the projection point T.
  • the step 306 includes a step 30601 of initializing the projection point sequence and a step 3060 of initializing the camera set # and voting data.
  • a step 30603 of initializing a projection point T on the projection point sequence a step 30604 of determining color information of the projection point, and a step G corresponding to the point G corresponding to the projection point T.
  • Step 30606 for repeating the processing of step 30604 and step 30605, step 30607 for voting each degree of correlation Q obtained by the camera set ⁇ , and camera set ⁇
  • step 30604 is repeated for all the camera sets, and the processing up to the step 30607 is repeated, and the correlation degree Q voted in the step 30607 is used.
  • step 30610 for repeating the processing from step 30602 to step 30609 for all projection point sequences.
  • step 30609 initializes the camera set S.
  • Step 30609a and the evaluation standard value h j'h from the correlation Q obtained using the camera set ⁇
  • the step 30609d of determining the existence probability of each projection point T, the step 30609e of updating the camera set j by jj, hh and repeating the processing from the step 30609b to the step 30609d, and the step 30609e of each camera set ⁇ By integrating the determined existence probabilities j3, each of the above hj, h
  • the camera is located at an installation position, and is arranged one-dimensionally on a certain straight line as shown in FIG. 21, for example.
  • the viewpoint C of the camera is Not only on a line but also on a plurality of straight lines or curves may be arranged one-dimensionally. Also, they may be arranged in a two-dimensional lattice on a plane or curved surface that is not one-dimensional.
  • the image to be acquired may be a color image or a black and white image.
  • each point (pixel) on the image is red (R), green ( The description assumes that a color image represented by color information using the three primary colors G) and blue (B) is acquired.
  • the viewpoint P of the observer who observes the three-dimensional image (image) of the object displayed on the DFD is set in a virtual space on an image generation device such as a computer (Step 2).
  • step 3 a three-dimensional shape of the object used to generate the image is obtained (step 3).
  • step 3 a projection plane L for estimating the three-dimensional shape (surface shape) of the object is set in the virtual space (step 301). At this time, the projection plane L is
  • the set interval of the projection plane L may or may not match the interval of the image display surface of the DFD for displaying an image, for example.
  • the reference viewpoint may be, for example, the observer's viewpoint, or may be determined to any point on the three-dimensional space other than the observer's viewpoint.
  • a projection point sequence composed of a set of projection points T on each projection plane L overlapping with each other from the observer's viewpoint P or the reference viewpoint, and on the acquired image corresponding to each projection point T A corresponding point G is set (step 303).
  • the projection point T is represented by a point ( ⁇ , ⁇ , Z) in the virtual space (three-dimensional space), and is a two-dimensional xy on the image plane of the image captured from the viewpoint C.
  • the coordinates of the corresponding point G are given by (X, y).
  • the coordinates (X, y) of the corresponding point G are obtained by projecting the projection point (X, Y, Z) of the previous' J'J'J "J onto the image plane of the image in which the viewpoint C force is also captured.
  • the general 3-by-4 transformation row described in the first embodiment may be used.
  • an image to be handled is a so-called digital image, which is represented by a two-dimensional array on a memory of the device.
  • the coordinate system representing the position of the array is referred to as a digital image coordinate system, and the position is represented by (u, V).
  • the position of each pixel on the digital image is represented by a variable u taking any one of integer values from 0 to 639, and a variable u from 0 to 479 Is indicated by a variable V that takes one of the integer values of Then, the color information of the point is given as data obtained by quantizing the information of red (R), green (G), and blue (B) at the address into 8 bits or the like.
  • the image coordinate system (u, V) is associated on a one-to-one basis and has, for example,
  • Equation 53 for example, it is assumed that the u axis of the digital image coordinate system is parallel to the X axis.
  • k and k are unit lengths of the u-axis and the V-axis of the digital image coordinate system with respect to the (X, y) coordinate system in virtual space, respectively, and ⁇ is the u-axis and the V-axis. It is an angle.
  • step 303 the coordinates (X, ⁇ , Z) of the projection point T are associated with the coordinates of the digital image (u, V). For example, this mapping is performed by giving a value of (X, ⁇ , ⁇ ) as a table for all (U, V), and then generating a representative (u, V). The value of (X, Y, ⁇ .) May be set only for this, and the other points may be obtained by interpolation processing such as linear interpolation.
  • (u, V) is a force that takes a discrete value.
  • a continuous value is used unless otherwise specified, and an appropriate distance is used when accessing the two-dimensional array.
  • a decentralization process shall be performed.
  • a combination (camera set) ⁇ ⁇ ⁇ of camera viewpoints C to be used for obtaining the degree of correlation Q is determined (step 304).
  • ⁇ ⁇ C, C, C, C ⁇
  • ⁇ ⁇ C, C, C, C ⁇ .
  • the method of determining the camera set ⁇ is arbitrary, and in the example shown in FIG. 32, ⁇ , ⁇
  • Set ⁇ can be prepared in advance according to the installation status of the camera (viewpoint C).
  • step 304 After the processing of step 304 is completed, next, for example, the color information K of the projection point T and the information of the probability of the existence of the object / 3 are stored in the memory (storage means) of the image generation device.
  • An array to be stored is secured (step 305).
  • the array for storing information is such that the information ⁇ and ⁇ of the projection point T are, for example, the color information of red (R), green (G), blue ( ⁇ ) and the presence of the object.
  • step 305 After the process of step 305 is completed, the color information of each of the projection points T and the probability of the presence of an object are determined using the obtained plurality of images (step 306). Previous
  • step 306 for example, for a certain projection point sequence, a process of calculating the color information K and the degree of correlation Q of each projection point T on the projection point sequence by using the designated camera set h,
  • step 306 first, as shown in FIG. 30, a projection point sequence is initialized (step 30601).
  • step 30602 the camera set S and the voting data of the correlation degree are initialized.
  • the color information K of the point T is determined (step 30604). At this time, the color information ⁇ of the projection point ⁇
  • J j.h j is, for example, an average value of the color information ⁇ ⁇ of the corresponding points G included in the camera set ⁇ .
  • the projection point ⁇ and the corresponding point G included in the selected camera set ⁇ are The degree of correlation Q is calculated (30605).
  • the correlation Q is, for example,
  • the projection point T is updated, and it is determined whether or not the processing of the steps 30604 and 30605 has been performed on all projection points on the projection point sequence to be processed (step 30606).
  • the process returns to step 30604 to repeat the processing.
  • step 30604 and step 30605 When the processing of step 30604 and step 30605 is performed on all projection points on the projection point sequence to be processed, the result, that is, the selected camera set ⁇ is included.
  • Corresponding point G Force The color information K and the degree of correlation Q found are voted (step 30607), J jh j, h
  • step 30607 After the processing in step 30607 is completed, the camera set ⁇ is updated, and the processing h
  • step 30608 It is determined whether or not there is a camera set for which the processing from step 30604 to step 30607 has not been performed on the projection point sequence targeted for (step 30608). If there is a camera set for which the processing up to step 30607 has not been performed, the flow returns to step 30603 to repeat the processing.
  • step 30607 After the processing up to step 30607 is performed, the color information K and the existence probability of the projection point T are determined from the color information K and the degree of correlation Q voted in step 30607 (30604).
  • step 30609 for example, as shown in FIG. 31, first, the camera set ⁇ is initialized (step 30609a).
  • an evaluation reference value V is calculated from the degree of correlation Q of each projection point T calculated using the camera set ((step 30609b).
  • the evaluation reference value V is, for example, the number
  • the distribution function p (1) of the existence probability is obtained (step 30609c).
  • the distribution function p (1) is obtained using, for example, Equations 45, 46, and 47, for example, h h.
  • the existence probability ⁇ is, for example, the expression 48, the expression
  • step 30609e the process returns to step 30609b and the processing is repeated.
  • step 30609f the color information K is, for example,
  • Equation 51 Is calculated using the above equation (52). Further, the existence probability / 3 is calculated by, for example, using Equation 51.
  • step 30609f ends, the process of step 30609 ends. Then, the projection point sequence is updated, and it is determined whether there is a projection point sequence that has not been subjected to the processing from step 30602 to step 30609 (step 30610). If there is a projection point sequence for which the processing from step 30602 to step 30609 has not been performed, the flow returns to step 30602 to repeat the processing.
  • step 3 When the processing from step 30602 to step 30609 is performed on all projection point sequences, the processing in step 306 (step 3) is completed, and the force S to obtain the three-dimensional shape of the object is obtained. it can.
  • a two-dimensional image to be displayed on each image display surface of the DFD is then determined based on the three-dimensional shape of the object. Generate.
  • the image generation The color information KD h and the existence probability ⁇ I of the display point of the facing surface I I The color information ⁇ and the existence probability ⁇ of the projection point ⁇ that coincides with the display point.
  • the set interval of the projection plane L does not need to match the installation interval of the image generation plane LD. It is also necessary to match the set number of the projection plane L and the set number of the image generation plane LD. Absent. That is, depending on how to set the projection plane L, for example, as shown in FIG. is there. In such a case, the color information KD and the existence probability ⁇ of the intersection (display point) A of the straight line lr drawn from the observer's viewpoint ⁇ and each of the image generation planes LD are obtained by the following procedure.
  • the color information KD of each of the display points ⁇ ⁇ ⁇ is, for example, a projection point T on the straight line lp, and the display point A (image generation plane LD) is closest to the display point (image generation plane).
  • the color information KD of the display point A may be the color information K of the projection point T closest to the display point A instead of the average value.
  • the existence probability ⁇ of each display point A is a value obtained by adding the existence probability ⁇ of the projection point T whose display point ⁇ (image generation plane LD) is the nearest display point (image generation plane). And at this time, if a set of projection planes L where a certain image generation plane LD is the closest image generation plane is defined as ⁇ LI ⁇ ⁇ R ⁇ , the existence probability ⁇ of the display point ⁇ ⁇ on the image generation plane LD is Each projection plane L
  • the image generation plane LD is closest to the image generation plane.
  • the projection planes L, L, and L are formed as a surface. Therefore, the color information KD of the display point A is
  • the average value of the color information ⁇ , ⁇ , K of the projection points T, T, ⁇ is set.
  • the existence probability ⁇ of A is the sum of the existence probability / 3 of the projection points ⁇ , ⁇ , ⁇ , ⁇ . Same rr 1 2 3 1 2 3 As described above, the color information KD of the display point A on the image generation plane LD is, for example, the projection point ⁇ , T
  • the installation interval of the image generation plane D and the set interval of the projection plane L are different, and the distance between two consecutive image generation planes LD, LD is different.
  • the probabilities ⁇ and ⁇ are the existence probabilities of the projection points ⁇ on the respective projection planes L,
  • the image generation planes LD may be distributed according to the ratio of the distances to the LDs. At this time, generally,
  • the existence probability ⁇ of the display point A on the image generation plane LD can be given by the following equation 55 using the existence probability ⁇ of each projection point ⁇ .
  • w is a coefficient indicating the degree of contribution of the projection plane L to the image generation plane LD.
  • the projection is performed between the two image generation surfaces LD 1 and LD 2.
  • the image generation on the projection plane L is performed.
  • Equation 56 The contributions w and w to the plane LD and LD are given by the following Equation 56, respectively.
  • the distances from the projection plane L to the image generation planes LD and LD are B and B, respectively.
  • Equation 57 w are given by Equation 57 below.
  • the existence probability ⁇ of the LD display point ⁇ is as shown in the following Expression 58.
  • a two-dimensional image to be displayed on each image display surface of the DFD can be obtained.
  • the points (pixels) on each image display surface of the DFD are displayed with the color information ⁇ ⁇ ⁇ ⁇ assigned to each point on each image generation surface LD (Step 5).
  • the DFD is a luminance modulation type
  • the color information KD of each display point A of each of the image generation planes LD may be displayed at a luminance according to the existence probability ⁇ .
  • the transmittance at each display point ⁇ may be set to a transmittance according to the existence probability ⁇ and displayed.
  • FIGS. 35 to 37 are schematic diagrams showing a schematic configuration of an apparatus and a system to which the image generation method of the embodiment 2-1 is applied.
  • FIG. 35 is a block diagram showing a configuration example of the image generation apparatus.
  • FIG. 36 is a diagram showing a configuration example of an image display system using an image generation device, and
  • FIG. 37 is a diagram showing another configuration example of an image display system using an image generation device.
  • 6 is an image generation device
  • 601 is a subject image acquisition unit
  • 602 is a reference viewpoint setting unit
  • 603 is a projection plane setting unit
  • 604 is a projection plane information storage area securing unit
  • 605 is color information / existence probability determining unit.
  • Reference numeral 606 denotes projection plane information-display plane information conversion means
  • 607 denotes image output means
  • 7 denotes image display means (DFD)
  • 8 denotes subject image photographing means
  • 9 denotes observer viewpoint input means.
  • the image generating apparatus 6 to which the image generating method according to the embodiment 2-1 is applied includes, for example, as shown in FIG. 35, a subject image acquiring unit 6001 for acquiring a plurality of subject images having different photographing conditions.
  • observer viewpoint setting means 602 for setting the viewpoint of the observer who views the image to be generated, and setting of a projection plane for determining the existence probability, a projection point sequence, a corresponding point, a camera set, and the like.
  • Color information / existence probability determining means 605 for determining the existence probability (existence probability), and projection surface information for converting the color information of the projection point and the information of the existence probability to the color information and the existence probability of the display surface.
  • An information conversion unit 606 and an image output unit 607 are provided. At this time, the image output from the image output unit 607 is displayed on the image display unit 7 having a plurality of overlapping display surfaces, such as a DFD.
  • the subject image acquiring means 601 acquires an image of a subject (object) photographed by the subject image photographing means (camera) 8. It should be noted that the image to be obtained may be obtained directly from the image photographed by the subject image photographing means 8, or may be a magnetic or electrical image on which the image photographed by the subject image photographing means 8 is recorded. Alternatively, the optical recording medium power may be obtained indirectly.
  • the observer viewpoint setting means 602 includes, for example, Based on the information input using the image condition input means 9, the relative positional relationship between the observer's viewpoint and the image display means 7, such as the distance from the observer's viewpoint and the line of sight, is set. Further, the image condition input means 9 may be a means for detecting the posture and the line of sight of the observer and inputting information according to the posture and the line of sight.
  • the corresponding point G on each image is also set.
  • the projection plane etc. setting unit 603 may set and set a camera set ⁇ based on the condition input by the image condition input unit 9.
  • the projection plane information storage area securing means 604 is configured to determine the color of each projection point T on each projection plane.
  • An area for storing the information ⁇ and the existence probability is stored, for example, on a memory provided in the apparatus.
  • the color information / existence probability determining means 605 calculates the color information of the projection point T from the color information of the corresponding point G on the image corresponding to the projection point T based on the principle described above. K
  • the projection plane information / display plane information conversion unit 606 converts the color information and the existence probability of the projection plane into the image generation plane, that is, the image display unit.
  • the image to be displayed on the display surface of step 7 is converted into color information and brightness distribution ratio of a point (display point) on the surface that generates the image.
  • the image generation device 6 performs the processing from step 1 to step 5 described in the embodiment 2-1 to generate an image to be displayed on the DFD. That is, the image generating device 6 does not need to perform the process of obtaining an accurate three-dimensional shape of the object as in the related art. Therefore, an image displayed on the DFD can be generated at high speed and easily even in a device without high processing capability.
  • the image generation device 6 can also be realized by, for example, a computer and a program executed by the computer. In this case, the processing described in Embodiment 2-1 is performed. What is necessary is just to make the computer execute a program in which instructions corresponding to the management procedure are described. At this time, the program may be provided by being recorded on a magnetic, electrical, or optical recording medium, or may be provided using a network such as the Internet.
  • An image display system using the image generation device 6 may be configured as shown in Fig. 36, for example.
  • the subject image photographing means 8 is arranged so that an observer User observes the image display means (DFD) 7, closes to a space, is installed in a place, may be, It may be installed in a remote place.
  • the photographed image should be transferred to the image generating device 6 using a network such as the Internet.
  • an image display system using the image generation device 6 is used for a videophone or a video conference in which a certain observer User can observe only a certain subject Obj. It can also be applied to a two-way communication system.
  • the image generation devices 6A and 6B, the image display means (DFD) 7A and 7B, the subject image photographing means 8A and 8B, Reference viewpoint setting means 9A and 9B may be provided. Then, for example, if the image generation devices 6A, 6B installed in the space where the respective observers UserA, UserB are located are connected via a network 10 such as the Internet, the observer UserA can use the subject image photographing means 8B.
  • the three-dimensional image of the observer UserB generated from the photographed image can be observed by the image display means 7A.
  • the observer UserB can observe the three-dimensional image of the observer UserA generated from the image photographed by the subject image photographing means 8A on the image display means 7B.
  • each of the image generating devices 6A and 6B does not need to have a configuration as shown in Fig. 35.
  • Either one may be a general communication terminal not provided with the configuration means as shown in FIG. Further, the respective components as shown in FIG. 35 may be allocated to the image generating devices 6A and 6B.
  • the image generation devices 6A and 6B are installed in the space where the observers UserA and UserB are located. Even if it is not installed, a three-dimensional image of an object to be displayed on the image display means (DFD) 7A, 7B can be obtained using the image generation device 6C on the network 10.
  • DMD image display means
  • the subject image photographing means 8 shows photographing means composed of four cameras, but the number of cameras may be two or three. , 5 or more.
  • the cameras may be arranged one-dimensionally on a straight line or a curved line, or arranged in a two-dimensional lattice on a plane or a curved surface.
  • the camera set ⁇ is set to the step 30 h.
  • Force set in advance and performing processing in step 4 for example, while performing processing to generate an image to be displayed by programmatic processing, moving a camera set that meets the conditions specified by the observer May also be set.
  • the observer inputs conditions such as the distribution of the correlation degree Q or a threshold value from the image condition input means, and performs the process of step 306 while searching for a camera set that meets the conditions. For example, it is considered that a three-dimensional image close to the image desired by the observer can be displayed.
  • the point (pixel) on the image is expressed by color information using the three primary colors of red (R), green (G), and blue).
  • the image display method of the embodiment 2-1 is not limited to the color image, and each of It is also possible to obtain a three-dimensional shape of the object by acquiring a black-and-white image in which a point (pixel) uses luminance (Y) and color difference (U, V).
  • the brightness information (Y) is used as information corresponding to the color information, and a three-dimensional shape is acquired by the procedure described in Embodiment 2-1. The above two-dimensional image should be generated.
  • FIGS. 38 to 42 are schematic diagrams for explaining the arbitrary viewpoint image generation method according to the embodiment 2-2.
  • FIG. 38 is a flowchart illustrating an example of the overall processing procedure
  • FIG. 39 is a diagram illustrating the principle of rendering
  • FIG. 40 is a diagram illustrating a problem when generating an arbitrary viewpoint image
  • FIGS. 41 (a) and 41 (b) are diagrams for explaining a method of solving a problem in generating an arbitrary viewpoint image
  • FIG. 42 is a flowchart showing an example of a processing procedure for converting the existence probability into transparency. is there.
  • the three-dimensional shape of the subject acquired in the step 3 is used to display on the respective image display surfaces of an apparatus having a plurality of image display surfaces, such as the DFD.
  • the method of generating a two-dimensional image has been described as an example, the three-dimensional shape model of the subject is not limited to this, and may be used when generating a two-dimensional image of the subject viewed from an arbitrary viewpoint. Can be.
  • the difference from the embodiment 2-1 is that, as shown in FIG. 38, after step 3 described above, rendering, that is, a two-dimensional image of the three-dimensional shape of the subject viewed from the observer's viewpoint
  • the processing of step 11 is performed.
  • the process of acquiring the three-dimensional shape of the subject in steps 1 to 3 is as described in the embodiment 2-1 and therefore the detailed description is omitted.
  • each point (pixel) on the displayed arbitrary viewpoint image is displayed as shown in FIG.
  • the color information K of each of the projection points T is weighted by the value of the existence probability and mixed, and the color information K of the point A on the generated image is, for example, Calculated by formula 59 below
  • the shape of the subject and the reference Depending on the positional relationship between the point R and the virtual viewpoint P, the color information of the point on the generated image may be significantly different from the color information of the surface of the actual object, or may not fit in an effective color space.
  • the two projection planes L 1 and L 2 are placed on the actual object in a positional relationship as shown in FIG.
  • the projection points T ′ and T ′ overlapping when viewed from the viewpoint R are as described in Embodiment 2-1.
  • the color information K of the point A on the generated image is K '
  • the mixing process for obtaining the color information of each point in the generated image is performed sequentially from a projection point far from the viewpoint of the generated image to a projection point close to the viewpoint of the generated image.
  • the color information obtained by the mixing process is obtained by internally dividing the color information at the projection point and the color information obtained by the mixing process up to the previous projection point at a ratio according to the transparency. Further, at this time, the color information obtained by the mixing process is an internal part of the color information at a certain stage and the next color information.
  • a projection plane L ′ 1, 2,...
  • a vector K having components of red (R), green (G), and blue (B) and representing color information of the projection point are set.
  • the color space V is represented by Equation 60 below.
  • the color information D m is an internally dividing point between the vector K and the color information D in the color space V as shown in FIG. 41 (b). Therefore, the color information D is D if K ⁇ V, D.
  • the color information D of the point A of the generated image always becomes appropriate. It can be stored in the color space V.
  • the existence probability is set to the transparency ⁇ . Perform the conversion process.
  • the transparency a of the projection point T is set to a ⁇ (step 1102).
  • the transparency ⁇ is ⁇ ⁇ 1, for example, the transparency is obtained from the following equation 64 (step 1105).
  • the strength is set to 1 (step 1106).
  • the transparency ⁇ is not limited to the expression 64, but may be obtained using another expression.
  • the value may be set to a value other than 1.
  • the conversion process ends. After that, a mixing process is performed using the above formulas 62 and 63, and color information D of the point A on the arbitrary viewpoint image is obtained. If this process is performed for all points (pixels) on the arbitrary viewpoint image, an arbitrary viewpoint image can be obtained from the observer's viewpoint P.
  • the basic configuration of an image generation device that generates such an arbitrary viewpoint image is the same as that of the image generation device described in the embodiment 2-1.
  • a means for performing the above-described mixing process may be provided. Therefore, description of the device is omitted.
  • a camera set that meets conditions specified by the observer may be dynamically set while performing processing for generating an image to be displayed by program processing.
  • an observer inputs a condition such as a distribution of the correlation degree Q or a threshold value from the image condition input means.
  • step 306 Is input, and if the process of step 306 is performed while searching for a camera set that meets the conditions, it is considered that a three-dimensional image close to the image desired by the observer can be displayed.
  • the image to be acquired is a black-and-white image that can be either a color image or a black-and-white image
  • luminance information is used as information corresponding to the color information.
  • the image generation method sets a plurality of projection planes when acquiring the three-dimensional shape of the subject, and sets points on each of the projection planes that overlap when viewed from the reference viewpoint.
  • the probability that the surface of the object exists is given.
  • the object is not to be obtained as an accurate three-dimensional shape of the object, assuming that the surface of the object is on one of the projection points overlapping each other when viewed from the reference viewpoint as in the past.
  • the three-dimensional shape of the object is acquired assuming that the surface of the object exists on the projection points with the existence probability.
  • an evaluation reference value is calculated from the degree of correlation of each projection point, and the evaluation reference value is calculated with respect to the evaluation reference value.
  • the probability of existence may be determined based on the distribution function of the probability of existence obtained by performing statistical processing on the basis of the probability. As described above, when the existence probability is determined by performing the statistical processing, it is possible to prevent a decrease in the reliability of the existence probability due to noise on the acquired image.
  • the third embodiment is an embodiment mainly corresponding to claims 22 to 29.
  • the three-dimensional shape of the subject shown in the image is acquired based on a plurality of images (multi-focus images) taken from one viewpoint while changing the focusing distance. Then, an image of the subject viewed from an arbitrary viewpoint (virtual viewpoint) is generated.
  • the present embodiment provides one The feature is that multiple images taken at different focal distances from the viewpoint are used.
  • the three-dimensional shape of the subject is represented by a multi-layer plane using a tester mapping technique.
  • components having the same function are denoted by the same reference numerals.
  • FIGS. 43 to 51 are schematic diagrams for explaining the principle of the image generation method according to the present embodiment.
  • FIGS. 43 and 44 show examples of setting a projection plane and a reference viewpoint.
  • FIGS. 46 to 48 are diagrams for explaining a method for determining the color information and the degree of focus of the projected point
  • FIGS. 46 to 48 are diagrams for explaining a method for determining the existence probability of the projected point
  • FIG. FIG. 50 illustrates a problem in the image generating method of the present embodiment
  • FIG. 51 illustrates a method of solving the problem in the image generating method of the present embodiment.
  • the image generation method of the present invention as described above, a subject shown in an image based on a plurality of images (multifocal images) taken at different focal distances from one viewpoint The three-dimensional shape is obtained, and an image of the subject viewed from an arbitrary viewpoint (virtual viewpoint) is generated. At this time, the three-dimensional shape of the subject is represented by a multilayer plane using a texture mapping technique.
  • the conventional model In the acquisition method it is considered that the surface of the subject exists at any one of the projection points ⁇ .
  • the projection point of the projection point ⁇ on which the surface of the subject is located is determined, for example, by the degree of focus of each of the projection points ⁇ . Therefore, first, the color information K and the degree of focus Q of each projection point T overlapping from the reference viewpoint R are determined.
  • the color information K of the projection point T is, for example, the average value of the color information / c of the corresponding points G, or the color information / c of the spatially corresponding corresponding points G.
  • the degree of focus of the projection point T is determined by the sharpness or blurring of the image at a point or a minute area on the image.
  • Literature 8 A.P.Pentland: A New bense for Depth of Field, IEEE Trans.On Pattern Analysis and Machine Intelligence, Vol.PAM 9, No.4, pp.523-531 (1987).
  • the focus degree Q is obtained, for example, by comparing the magnitude of the local spatial frequency of each of the corresponding points G.
  • the D-th th from Focus theory or Depth from Defocus theory is a method of analyzing a plurality of images having different focusing distances and measuring the surface shape of the object. At this time, for example, it can be estimated that the surface of the object is located at a distance corresponding to the focal distance of the image having the highest local spatial frequency among the images photographed with the focal distance changed. Therefore, the degree of focus Q of the projection point T is calculated using, for example, a local spatial frequency evaluation function represented by the following equation 65.
  • f is the gray value of the pixel
  • D is the constant for normalization
  • (-Lc, -Lr)-(Lc, Lr) and (xi, yi)-(xf, yf) is a small area for performing variance evaluation and smoothing, respectively.
  • Such processing is performed for all the projection points ⁇ overlapping with each other as viewed from the reference viewpoint R, and as shown in FIG. 46, the color information and the focus degree Q of each projection point T are obtained. Is determined, the distance at which the surface of the subject exists is estimated based on the height of the degree of focus Q of each projection point T. At this time, the focus of each overlapping projection point T viewed from the reference viewpoint R
  • FIG. 47 (a) for example, as shown in FIG.
  • the focus degree Q of the projection points T and T * is a value n n that is slightly higher than the focus degree Q of the other projection points T.
  • the surface of the subject exists at one of the projection points ⁇ and T *.
  • the focal point Q of both projection points T and T * is not a characteristic large value. Therefore, if either projection point is selected, its reliability is low. In some cases, an incorrect projection point may be selected. If the estimation (selection) of the projection point where the surface of the subject exists is incorrect, large noise appears on the generated image.
  • the distance of the subject surface is not specified to any one point, that is, any one of the overlapping projection points T viewed from the reference viewpoint R, and FIG.
  • an existence probability / 3 corresponding to the height of the degree of focus Q of each projection point T is given.
  • the existence probability / 3 needs to satisfy the conditions of the following Expressions 66 and 67 in a set of the existence probabilities of all the projection points T overlapping when viewed from the reference viewpoint R.
  • the process of determining the existence probability at each of the projection points T is performed in all directions, so that the three-dimensional shape of the subject is obtained. Can be obtained.
  • the image is generated by setting the virtual viewpoint P on a space where the projection plane L is set. Determine the color information for each point on the image.
  • the color information K of the point A on the generated image is obtained from the color information K of the projection point T overlapping the point A as viewed from the virtual viewpoint P and the existence probability / 3, for example,
  • the image generation method of the present invention can be simply implemented by texture mapping, which is a basic technique of computer graphics. Therefore, the better the processing can be done with the popular 3D graphics hardware installed in a popular personal computer, the lighter the computer load will be.
  • the degree of focus Q is calculated for each projection point T overlapping when viewed from a certain viewpoint such as the reference viewpoint, and the existence probability is determined. Therefore, depending on the shape of the subject and the positional relationship between the reference viewpoint and the virtual viewpoint, two projection points having a very high probability of existence exist among a plurality of overlapping projection points viewed from the virtual viewpoint P. The above may be included. In such a case, if the color information of each projection point is mixed at a ratio according to the existence probability, the color information of the point on the generated image may exceed the range of the valid color information.
  • the color information at the projection points ⁇ , ⁇ , ⁇ ′, T ′ is ⁇ , K, respectively.
  • K ′, K ′, and the object existence probability are ⁇ 1, ⁇ 2, ⁇ ′, ⁇ .
  • the existence probabilities ⁇ 1, ⁇ 2, ⁇ ', and ⁇ ' of the subject are determined on a straight line passing through the reference viewpoint R.
  • the surface of the subject ⁇ bj is located near the projection points T ′ and ⁇ .
  • the existence probability at the projection points T 'and T is higher than that at the projection points T and T'.
  • the color information ⁇ at the point ⁇ ⁇ on the image plane of the virtual viewpoint ⁇ is calculated from the expression 69 by the projection points ⁇ ′, T overlapping the point A on the image plane as viewed from the virtual viewpoint P.
  • ⁇ ⁇ ⁇ [ ⁇ [+ ⁇ 2 ⁇ 2
  • Equation 72 can be approximated by Equation 70 and Equation 71 as Equation 73 below. [0371] [Number 73]
  • a clipping process is required so as to fall within the range.
  • the image generation method of the present invention transparency having a plurality of gradations from transparent to non-transparent is set for each projection point based on the existence probability of the projection point.
  • the mixing process for obtaining the color information of each point in the generated image is performed sequentially from a projection point far from the viewpoint of the generated image to a projection point close to the viewpoint of the generated image, and the processing up to a certain projection point
  • the color information obtained by the mixing process is obtained by internally dividing the color information at the projection point and the color information obtained by the mixing process up to the previous projection point at a ratio according to the transparency.
  • the color information obtained by the mixing process is an internal part of the color information at a certain stage and the next color information.
  • a projection plane L ′ 1, 2,...
  • a vector K having components of red (R), green (G), and blue (B) and representing color information of the projection point T are set.
  • the color space V is represented by the following Expression 74.
  • the transparency ⁇ of the projection point T is set so as to satisfy the condition of the following Expression 75.
  • the color information D is a subdivision point between the vector information and the color information D in the color space V from the relationship between the mathematical expressions 75 and 76. Therefore, the color information D is as shown in FIG.
  • the color information K and the transparency ⁇ of the projection point T are calculated by satisfying Expressions 74 and 75.
  • the color information D of the point A of the generated image can always be stored in an appropriate color space V.
  • each of the projection points ⁇ , ⁇ , ⁇ ′, T ′ is
  • Equations 79 and 80 are set as given by Equations 79 and 80 below.
  • a mixing process is sequentially performed from a projection point far from the virtual viewpoint to a projection point close thereto, and a mixing process up to a certain projection point is performed.
  • the obtained color information is the color information at that projection point and the projection points before that And the color information obtained in the mixing process up to the above is internally obtained at a ratio according to the transparency.
  • the color information D of the point A of the image viewed from the virtual viewpoint P is given by the following equation 81.
  • the expression 81 becomes the following expression 82 from the expressions 70, 71, 79, and 80, and is a good approximation of the original color information.
  • FIGS. 52 and 53 are schematic diagrams for explaining a mathematical model of the image generation method of the present invention.
  • FIG. 52 is a diagram showing a relationship between projection points, corresponding points, and points on an image to be generated.
  • FIG. 53 is a diagram for explaining a method of converting points in space and pixels on an image.
  • color information of a point on the image viewed from the virtual viewpoint is obtained by perspective projection transformation or Obtain luminance information.
  • the matrix projected to the point (x, y) on the generated image is given by a 3-by-4 matrix.
  • the projection matrix and the matrix ⁇ representing the perspective projection transformation of the focal length f around the origin are as described in the first embodiment and the like.
  • FIGS. 54 to 57 are schematic diagrams for explaining an image generation method according to the embodiment 3-1 according to the present invention.
  • FIG. 54 is a flowchart showing an image generation procedure
  • FIG. FIG. 56 is a flowchart for explaining a method
  • FIG. 56 is a flowchart showing a specific example of the process of step 10305 in FIG. 54
  • FIG. 57 is a diagram for explaining a rendering method.
  • the image generation method according to the embodiment 3-1 is a method for generating an image using the above-described principle, and acquires a plurality of images having different focusing distances as shown in FIG. Step 101, a step 102 for setting a viewpoint (virtual viewpoint) of the observer, a step 103 for acquiring a three-dimensional shape of the subject based on the acquired image, and a step 103 for acquiring the three-dimensional shape of the subject based on the acquired image. Generates an image of a three-dimensional shape viewed from the virtual viewpoint.
  • the step 103 includes a step 10301 of setting a projection plane of the multilayer structure, a step 10302 of determining a reference viewpoint for obtaining a three-dimensional shape of the object, and a projection point sequence.
  • Step 10303 of setting points and the like step 10304 of securing the area for storing the texture system I, that is, the color information and the existence probability of the projection point, and step 10305 of determining the color information and the existence probability of the projection point
  • step 10305 of determining the color information and the existence probability of the projection point
  • the image generation method of the embodiment 3-1 for example, as shown in Fig. 54, first, a plurality of images obtained by photographing a subject while changing the focusing distance are obtained (step 101). At this time, the image to be acquired may be a color image or a black and white image. In the embodiment 3-1, each point (pixel) on the image is red (R), green (G). The description assumes that a color image represented by color information using the three primary colors of blue and blue (B) is acquired.
  • a position (virtual viewpoint) at which the observer views the subject is set (step 102).
  • a three-dimensional shape of the subject is obtained using the obtained image of the subject (step 103). Then, when the three-dimensional shape of the subject is acquired, an image of the virtual viewpoint when the subject is viewed is generated (step 104).
  • a projection plane L (je J ⁇ ⁇ 1, 2,..., M ⁇ ) of a multilayer structure is set (step 10301).
  • the projection plane L for example, a projection plane having a planar shape is set in parallel as shown in FIG.
  • the installation interval of the projection plane is equal to the focal distance of each image acquired in step 101, as shown in FIG. 44, for example. Les ,.
  • a viewpoint (reference viewpoint) R to be used as a reference when obtaining the probability that the surface of the object is present on the projection point is determined.
  • the reference viewpoint R may be the same point as the virtual viewpoint P, or may be a different point.
  • the position of the center of gravity may be used.
  • a projection point sequence consisting of a set of projection points on a straight line passing through the reference viewpoint R, a point on the image corresponding to the projection point (corresponding point), and the like are set (step 10303).
  • the projection point sequence is, for example, as shown in FIG. 13, a straight line passing through the reference viewpoint R and the projection surface. Defined as a collection of intersections (projection points).
  • an array for holding an image to be texture-mapped on each projection plane is secured, for example, on a memory of the device that generates the image (step 10304).
  • the reserved array has, for example, texture information corresponding to the position of the projection point, color information (R, G, ⁇ ) and existence probability information of 8 bits for each pixel.

Abstract

　複数のカメラで撮影された複数枚の被写体の画像をもとに、仮想視点から被写体を見たときの画像である仮想視点画像を生成する仮想視点画像生成方法が提供される。この仮想視点画像生成方法において、多層構造をもつ投影面を設定し、前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求め、複数の対応点の色情報に基づいて前記投影点の色情報を決定し、空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点の相関の度合いに基づいて計算し、前記仮想視点から見て重なり合う基準点の色情報に対し、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報を決定する。

Description

明 細 書
仮想視点画像生成方法及び 3次元画像表示方法並びに装置
技術分野
[0001] 本発明は、複数枚の画像から物体の 3次元形状に関する情報を推定し、その情報 を用いて画像を生成する技術に関するものである。本発明の技術は、例えば、テレビ 電話等の視覚的なコミュニケーションを支援するシステムに適用できる。
^景技術
[0002] 従来から、コンピュータグラフィックス（CG;Computer Graphics)やバーチャルリアリ ティ（VR;Virtual Realty)の分野では、カメラが設置された視点位置からだけでなぐ 利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が 盛んに研究されている。
[0003] 例えば、異なる条件で被写体を撮影した複数枚の画像を用いて、被写体の 3次元 像を表示する、あるいは被写体を仮想的な視点から見た画像 (以下、仮想視点画像 という）を生成する方法がある。
[0004] 物体の 3次元像を表示する方法としては、例えば、 DFD(Depth-Fused 3-D)デイス プレイのように、複数枚の画像表示面を持つディスプレイを用いる方法がある。前記 DFDは、複数枚の画像表示面を、ある間隔で重ね合わせたディスプレイである（例え ば、文献 1 :特許第 3022558号公報を参照）。また、前記 DFDには、大きく分けて、 輝度変調型と透過型がある。
[0005] 前記 DFDに前記物体の画像を表示するときには、例えば、表示する物体の 2次元 画像を各画像表示面に表示する。このとき、前記 DFDが輝度変調型であれば、前記 各表示面上の、あらかじめ設定された観察者の視点（基準視点）から見て重なる画素 の輝度を、前記物体の奥行き方向の形状に応じた割合に設定して表示する。こうす ると、前記物体上のある点は、観察者から見て手前にある画像表示面の画素の輝度 が大きくなり、また別の点は、観察者から見て奥の表示面の画素の輝度が大きくなる 。その結果、前記 DFDの各画像表示面に表示される画像を観察する観察者は、前記 物体の立体的な画像（3次元像）を観察することができる。 [0006] また、前記 DFDが透過型であれば、前記各画像表示面上の、あらかじめ設定され た観察者の視点 (基準視点)から見て重なる画素の透過度を、前記物体の奥行き方 向の形状に応じた割合に設定して表示する。
[0007] また、前記物体の 3次元像を表示する方法としては、前記 DFDを用いた表示方法の 他に、例えば、観察者の左右の眼の間隔に相当する視差を有する 2枚の画像を、液 晶ディスプレイ等の 夂の画面上に表示する方法もある。
[0008] このような、物体の 3次元像を表示するための画像や任意の視点から見た前記物体 の画像を生成するときに、前記物体の 3次元形状が、例えば、コンピュータ 'グラフイツ タス等で生成されていて既知である場合は、そのモデルを用いて前記各画像を生成 すればよい。一方、前記物体の 3次元形状が既知でない場合は、前記各画像を生成 する前に、前記物体の 3次元形状、すなわち、幾何学的なモデルを取得しなければ ならない。
[0009] また、前記複数枚の画像を用いて前記仮想視点画像を生成するときにも、まず、前 記複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る必要がある。こ のとき、得られた前記被写体の幾何学的なモデルは、例えば、ポリゴンやボタセルと 呼ばれる基本図形の集まりとして表現される。
[0010] 前記複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る方法は様々 であり、コンピュータ 'ビジョンの分野において、 Shape from Xとして数多くの研究が なされている。前記 Shape from Xにおいて代表的なモデル取得方法は、ステレオ法 である (1列； ίば、文献 2 :「Takeo Kanade et al. : Virtuahzed Reality:し onstructmg Virtual Worlds from Real
Scenes," IEEE MultiMedia, Vol.4, No. l, pp.34-37, 1997」を参照。 )。
[0011] 前記ステレオ法では、異なる視点から被写体を撮影した複数枚の画像をもとにして 、前記被写体の幾何学的なモデルを得る。このとき、モデルを取得するための基準 視点から前記被写体上の各点までの距離は、例えば、対応点マッチング、すなわち 各画像上の点（画素）の対応付けを行レ、、三角測量の原理で求める。ただしこのとき 、前記ステレオ法で即座に前記被写体の幾何学的なモデルが得られるわけではなく 、得られるのは被写体表面の点群である。そのため、前記被写体の幾何学的なモデ ルを得るには、前記点群に含まれる各点同士がどのように繋がり、どのような面を構 成するかという構造情報を決定する必要がある（例えば、文献 3 :「池内克史: "画像に よる実物体のモデル作成"， 日本ロボット学会誌， Vol.16, No.6, pp.763-766, 1998」を参照）。
[0012] つまり、前記ステレオ法を用いて前記被写体の幾何学的なモデルを得る方法では 、画像を生成する装置 (計算機)で、前記被写体の形状の当てはめや統計処理等の 複雑な処理を行わなければならない。そのため、高い計算機パワーが必要となる。
[0013] また、複数枚の画像をもとにして前記被写体の幾何学的なモデルを得る方法には、 前記ステレオ法とならぶ代表的なモデノレ取得方法として、複数の視点で撮影した各 画像の被写体の輪郭をもとにして、空間中で前記被写体が占める領域を決める Shape from Silhouetteと呼ばれる方法（以下、 Shape from Silhouette法という）がある (ί列 は、文献 4 :「Potmesil, M: "Generating Octree Models of 3D Objects from their Silhouettes in a Sequence of Images," CVGIP 40, pp.1-29, 1987」を参照。）。
[0014] 前記 Shape from Silhouette法で得られる前記被写体の幾何学的なモデルは、ボタ セルと呼ばれる微小な立方体の集まりとして表現されることが多レ、。し力しながら、前 記被写体の幾何学的なモデルを前記ボタセルで表現する場合、前記被写体の 3次 元形状を表現するために必要なデータ量が膨大な量になる。そのため、前記 Shape from Silhouette法を用いて前記被写体の幾何学的なモデルを得るには、高い計算 機パワーが要求される。
[0015] そこで近年、前記ステレオ法や前記 Shape from Silhouette法のように前記被写体 の幾何学的なモデルをポリゴンやボタセル等で表現する代わりに、例えば、前記被写 体の部分的な画像を多層構造の投影面にテクスチャマッピングし、前記被写体の 3 次元的な形状を多層平面で表現する方法が提案されている (例えば、文献 5「
Jonathan shade et al : Layered Depth Images, SIG RAPH98 conference
Proceedings, pp.231- 242, 1998」、文献 6「多湖，新田，苗村，原島:"動的レイヤ表現 を用いた Video- Based Rendering", 3次元画像コンファレンス 2001, pp.33-36, 2001」 を参照。）。
[0016] 前記テクスチャマッピングは、多層構造の投影面を設定し、前記撮影した画像から 切り取った部分的な画像（テクスチャ画像）を、そのテクスチャ画像に写っている物体 の距離に対応する投影面に貼り合わせて、立体的な視覚効果を得る方法である。そ のため、一般に普及しているパーソナル 'コンピュータに搭載されているグラフィックス •ハードウェアでも、十分に高速な処理を行うことができるとともに、データの扱いが容 易であるという利点がある。
[0017] しかしその一方、前記テクスチャマッピングによる多層平面で前記被写体の幾何学 的なモデルを表現する場合、前記投影面の設定間隔が広すぎると、前記被写体の 詳細な形状を表現することができない。そのため、大まかな形状は投影面（平面）で 表現し、微細な形状については、前記テクスチャ画像の画素毎に、例えば、 R (赤）， G (緑）， B (青）の色情報に加えて、もう 1つの値 (デブス値）を持たせるような工夫がな されている。前記文献 5では、各テクスチャ画像の画素の位置を前記デプス値に応じ て変化させて、前記多層平面だけでは表現しきれない微細な奥行きを表現する方法 が提案されている。また、前記文献 6では、前記デプス値に応じて、各画素の透明度 を設定して、前記多層平面だけでは表現しきれない微細な奥行きを表現する方法が 提案されている。
発明の開示
発明が解決しょうとする課題
[0018] し力、しながら、被写体の幾何学的なモデルを得る方法のうち、前記ステレオ法を用 レ、て前記被写体の幾何学的なモデルを得る方法では、前記被写体の形状や表面の 模様 (テクスチャ)、前記被写体周辺の環境の影響を受けやすぐどのような形状の被 写体でも、そして前記被写体上のどの点でも信頼性の高い距離情報を得られるとは 限らなレ、（例えば、文献 7 :「奥富正敏: "ステレオがなぜ難しいか"， 日本ロボット学会 誌， Vol.16, No.6, pp.39- 43， 1998」を参照。）。
[0019] 前記被写体の距離を推定するときに、その推定の信頼性が低いと、誤った距離を 推定してしまうことがある。距離の推定を誤った場合、前記被写体の幾何学的なモデ ルを用いて生成した仮想視点画像は、例えば、前記距離の推定を誤った箇所に不 連続なノイズが現れる。そのため、前記仮想視点画像は、例えば、図 1に示すように、 被写体 7の一部に欠損領域 7Bが生じてレ、るように見える。 [0020] また、前記 Shape from Silhouette法は、原理的に、前記被写体が凸形状であること を仮定して前記被写体の幾何学的なモデルを得る方法である。そのため、前記被写 体が全体的あるいは部分的に凹形状であると、前記被写体の正しいモデルを取得す ることができないとレ、う問題がある。
[0021] また、前記 Shape from Silhouette法は、画像上の背景と前記被写体の輪郭を正確 に抽出すること自体が難しぐ正確に抽出する方法については、現在でもコンピュー タ 'ビジョン分野における主要な研究課題となっている。つまり、前記 Shape from Silhouette法で得られる前記被写体の幾何学的なモデルは、不正確な輪郭から得ら れるモデルであり、その信頼性は十分に高いとはいえない。そのため、前記 Shape from Silhouette法で得られた前記被写体の幾何学的なモデルから生成される画像 は、十分に満足できる画質ではないとレ、う問題がある。
[0022] また、前記テクスチャマッピングのように前記被写体の 3次元的な形状を多層平面 で表現する方法は、各テクスチャ画素に与える前記デプス値が既知である、すなわ ち前記被写体の形状が正確に求められていることを前提にしている。そのため、前記 物体の形状が既知でない場合は、まず、前記被写体の幾何学的なモデルを取得し なければならない。その結果、前記被写体の形状を推定したときに信頼性が低い箇 所があると、前記テクスチャ画像を誤った投影面に貼り付けてしまうことがあり、生成し た画像が著しく劣化することがあるという問題がある。
[0023] また、前記テクスチャマッピングにより前記被写体の 3次元的な形状を表現する方 法では、前記多層構造の投影面に画像を貼り付ける処理は高速であるが、前記デブ ス値を求める処理において前記被写体の形状を正確に求めようとすると、高い処理 能力が必要になる。
[0024] 以上説明したように、従来技術では、前記被写体の形状を推定するときに、その推 定の信頼性が低い箇所があると、距離の推定を誤りやすぐ生成した画像上に不連 続なノイズが生じて画質が低下しやすいとレ、う問題があった。
[0025] また、前記被写体の形状の推定の誤りによる画質の低下を防ぐためには、推定の 信頼性が高くなるようにすればよいが、そのためには、多数の画像を用い、厳密な計 算処理を行って、前記被写体の正確な幾何学的なモデルを得なければならない。し かしながら、その場合、仮想視点画像等を生成する装置に高い処理性能 (計算機パ ヮー）が必要である。そのため、一般に普及しているパーソナル 'コンピュータ等では 、画質の劣化が少ない仮想視点画像を高速で生成することが難しいという問題もあつ た。
[0026] また、被写体の幾何学的なモデルの信頼性を高くするためには、より多くの視点か ら撮影した画像が必要になる。そのため、撮影装置が大型化し、装置構成が複雑化 するという問題もあった。
[0027] 本発明の目的は、複数枚の画像から被写体の 3次元的な形状を取得して被写体の 画像を生成するときに、被写体の形状の推定の信頼性が低い部分で生じる著しい画 質の劣化を低減することが可能な技術を提供することにある。
[0028] 本発明の他の目的は、複数枚の画像から被写体の 3次元的な形状を取得して被写 体の画像を生成するときに、処理性能が低い装置でも、部分的な画質の劣化が少な ぐかつ、短時間で画像を生成することが可能な技術を提供することにある。
[0029] 本発明の他の目的は、被写体の幾何学的なモデルを得るために用いる画像を撮 影する撮影装置の小型化し、装置構成を簡素化が可能な技術を提供することにある
[0030] 本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付 図面によって明らかになるであろう。
課題を解決するための手段
[0031] 上記の課題を解決するために、本発明は、複数のカメラで撮影された複数枚の被 写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定す るステップと、前記取得した被写体の画像をもとに、前記視点力、ら被写体を見たとき の画像である仮想視点画像を生成するステップとを有する仮想視点画像生成方法に おいて、前記仮想視点画像を生成するステップは、多層構造をもつ投影面を設定す るステップ 1と、前記投影面上の各投影点と対応する、前記各被写体の画像上の対 応点を求めるステップ 2と、複数の対応点の色情報または輝度情報に基づレ、て前記 投影点の色情報または輝度情報を決定するステップ 3と、空間上のある基準視点か ら見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前 記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関 の度合いに基づいて計算するステップ 4と、前記仮想視点から見て重なり合う基準点 の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合 処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定す るステップ 5と、前記仮想視点画像の画素に相当するすべての点について、前記ステ ップ 1からステップ 5までを繰り返し行うステップ 6とを有することを特徴とする仮想視点 画像生成方法として構成できる。
[0032] また、本発明の画像生成方法は、複数の異なる視点から被写体を撮影した画像を 取得するステップと、前記複数枚の画像から前記被写体の 3次元形状を取得するス テツプと、取得した前記被写体の 3次元形状に基づいて、観察者の視点から見た前 記被写体の画像を生成するステップとを有する画像生成方法であって、前記被写体 の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を 設定するステップと、前記被写体の 3次元形状を取得するための基準視点を決定す るステップと、前記投影面上の点である投影点と対応する前記取得した画像上の対 応点の色情報または輝度情報から、前記投影点の色情報を決定するステップと、前 記投影点と対応する対応点間の相関度を算出するステップと、前記基準視点から見 て重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投 影点に物体の表面が存在する確率である存在確率を決定するステップとを有し、前 記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視点の 組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセットに含ま れる画像上の対応点から相関度を求めるステップとを有し、前記存在確率を決定す るステップは、前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確 率を算出するステップと、前記カメラセット毎に決定した存在確率の統合処理をして 前記各投影点の存在確率を決定するステップとを有するものとして構成することもで きる。
[0033] また、本発明は、合焦距離を変えて被写体を撮影した複数枚の画像を取得するス テツプと、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定 ：、前記複数枚の画像から前記被写体の 3次元形状を取 と、前記取得した被写体の 3次元形状に基づいて、前記仮想視点から見た前記被写 体の画像を生成するステップとを有する画像生成方法であって、前記被写体の 3次 元形状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を設定す るステップと、前記被写体の 3次元形状を取得するための基準視点を決定するステツ プと、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の 色情報または輝度情報から、前記投影点の色情報または輝度情報を決定するステツ プと、前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定 するステップと、前記基準視点から見て重なり合う複数の投影点について、前記各投 影点の合焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体 の表面が存在する確率である存在確率を決定するステップとを有し、前記仮想視点 力 見た前記被写体の画像を生成するステップは、前記仮想視点から見て重なり合 う投影点の色情報または輝度情報を前記存在確率に応じた割合で混合して、生成 する画像上の各点の色情報または輝度情報を決定することを特徴とする画像生成方 法として構成することちできる。
また、本発明は、異なる条件で被写体を撮影した複数枚の画像を取得するステップ と、前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、前記取 得した被写体の 3次元形状に基づいて、前記観察者の視点から見た前記被写体の 画像を生成するステップとを有する画像生成方法であって、前記被写体の 3次元形 状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を設定するス テツプと、前記被写体の 3次元形状を取得するための基準視点を決定するステップと 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定するステップと
、前記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写 体の表面が存在する確率である存在確率を決定するステップとを有し、前記存在確 率を決定するステップは、前記対応点の画像情報から前記各投影点の評価基準値 を算出するステップと、前記各投影点の評価基準値の統計処理を行うステップと、前 記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出するス テツプとを有することを特徴とする画像生成方法として構成することもできる。 [0035] また、本発明は、異なる条件で被写体を撮影した複数枚の画像を取得するステップ と、前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、観察者か ら見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る視点位置 を設定するステップと、前記取得した被写体の 3次元形状に基づいて前記各画像表 示面に表示する 2次元画像を生成するステップと、前記生成した 2次元画像を前記各 表示面に表示することで前記被写体の 3次元像を提示するステップとを有する 3次元 画像表示方法であって、前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構造の投影面を設定するステップと、前記被写体の 3次元形状 を取得するための基準視点を決定するステップと、前記投影面上の点である投影点 と対応する前記取得した画像上の対応点の色情報または輝度情報から、前記投影 点の色情報または輝度情報を決定するステップと、前記基準視点から見て重なり合う 複数の投影点に対して、前記各投影点上に被写体の表面が存在する確率である存 在確率を決定するステップとを有し、前記 2次元画像を生成するステップは、前記投 影点の色情報または輝度情報、及び存在確率を、前記投影点が存在する投影面と 対応する前記画像表示面上の点である表示点の色情報または輝度情報、及び存在 確率に変換して前記 2次元画像を生成し、前記被写体の 3次元像を提示するステツ プは、前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表 示することを特徴とする 3次元画像表示方法として構成することもできる。
発明の効果
[0036] 本発明によれば、複数枚の画像から被写体の 3次元的な形状を取得して被写体の 画像を生成するときに、被写体の形状の推定の信頼性が低い部分で生じる著しい画 質の劣化を低減することが可能となる。また、処理性能が低い装置でも、部分的な画 質の劣化が少なぐかつ、短時間で画像を生成することが可能となる。更に、被写体 の幾何学的なモデルを得るために用いる画像を撮影する撮影装置の小型化し、装 置構成を簡素化が可能となる。
図面の簡単な説明
[0037] [図 1]従来の仮想視点画像の問題点を説明するための図である。
[図 2]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図であり、投影面群，カメラ，基準視点，投影点，対応点の一例を示す図である。
[図 3]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図である。
[図 4]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図であり、投影点の透明度に応じた混合処理の一例を示す図である。
[図 5]第 1の実施の形態における仮想視点画像生成方法の原理を説明するための模 式図であり、被写体，投影面群，基準視点，仮想視点，投影点の一例を示す図であ る。
[図 6]実施例 1 - 1の仮想視点画像生成装置の概略構成を示す模式図であり、画像生 成装置内部の構成を示すブロック図である。
[図 7]実施例 1 - 1の仮想視点画像生成装置の概略構成を示す模式図であり、画像生 成装置を用いたシステムの構成例を示す図である。
[図 8]実施例 1 - 1の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理 モデルを説明するための模式図であり、投影変換の一例を示す図である。
[図 9]実施例 1 - 1の仮想視点画像生成装置を用いた仮想視点画像生成方法の数理 モデルを説明するための模式図であり、座標変換の一例を示す図である。
[図 10]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり
、生成処理全体のフロー図である。
[図 11]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、仮想視点画像を生成するステップの具体的なフロー図である。
[図 12]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、投影面の設定方法の一例を示す図である。
[図 13]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、投影点，投影点列，投影点列の集合の一例を示す図である。
[図 14]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、色情報の混合処理を説明するための基準視点，投影点，カメラ位置によりなす角 度の一例を示す図である。
[図 15]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、対応点マッチング処理の一例を示す図である。
[図 16]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、レンダリング処理を説明するための図である。
[図 17]実施例 1一 1の仮想視点画像の生成処理手順を説明するための模式図であり 、生成された仮想視点画像の一例を示す図である。
[図 18]実施例 1一 1の仮想視点画像生成装置を適用したシステムの応用例を示す模 式図である。
[図 19] (a)は実施例 1一 2の特徴となる処理を示すフロー図であり、 (b)は透明度情報 を決定するステップの具体的な処理手順の一例を示すフロー図である。
[図 20]実施例 1一 3の仮想視点画像生成方法を説明するための模式図であり、投影 面群，基準視点，仮想視点，投影点の一例を示す図である。
[図 21]第 2の実施の形態の画像生成方法の原理を説明するための模式図であり、生 成方法の概念を説明する図である。
[図 22]第 2の実施の形態の画像生成方法の原理を説明するための模式図であり、図
21を 2次元的に表現した図である。
[図 23]対応点の相関度の求め方を説明する図である。
[図 24]対応点の相関度を求めるときに問題となる点を説明する図である。
[図 25]第 2の実施の形態の画像生成方法の原理を説明するための模式図であり、相 関度を求めるときの問題を解決する方法を説明する図である。
[図 26]存在確率の精度を向上させる方法の一例を説明する図である。
[図 27]第 2の実施の形態の画像生成方法の原理を説明するための模式図である。
[図 28]第 2の実施の形態の画像生成方法の原理を説明するための模式図である。
[図 29]実施例 2— 1の画像生成方法を説明するための模式図であり、全体的な処理 手順の一例を示すフロー図である。
[図 30]実施例 2_1の画像生成方法を説明するための模式図であり、図 29における 投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー 図である。
[図 31]実施例 2_1の画像生成方法を説明するための模式図であり、図 30における 存在確率を決定するステップの一例を示すフロー図である。
[図 32]実施例 2— 1の画像生成方法を説明するための模式図であり、カメラセットの設 定例を示す図である。
[図 33]実施例 2— 1の画像生成方法を説明するための模式図であり、投影面の情報を 表示面の情報に変換する方法を説明する図である。
[図 34]投影面の情報を表示面の情報に変換する方法を説明する図である。
[図 35]実施例 2 - 1の画像生成方法を適用した画像生成装置の構成例を示すブロッ ク図である。
[図 36]実施例 2 - 1の画像生成方法を適用した画像生成装置を用いた画像表示シス テムの構成例を示す図である。
[図 37]実施例 2— 1の画像生成方法を適用した画像生成装置を用いた画像表示シス テムの他の構成例を示す図である。
[図 38]実施例 2— 2の画像生成方法を説明するための模式図であり、全体的な処理 手順の一例を示すフロー図である。
[図 39]実施例 2— 2の画像生成方法を説明するための模式図であり、レンダリングの 原理を説明する図である。
[図 40]実施例 2 - 2の画像生成方法を説明するための模式図であり、本実施例 2の画 像生成方法で問題となる点を説明する図である。
[図 41]実施例 2— 2の画像生成方法を説明するための模式図であり、本実施例 2の画 像生成方法で問題となる点の解決方法を説明する図である。
[図 42]実施例 2— 2の画像生成方法を説明するための模式図であり、存在確率を透明 度に変換する処理手順の一例を示すフロー図である。
[図 43]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影面及び基準視点の設定例を示す図である。
[図 44]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影面及び基準視点の設定例を示す図である。
[図 45]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の色情報及び合焦点度の決定方法を説明する図である。 [図 46]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の存在確率の決定方法を説明する図である。
[図 47]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の存在確率の決定方法を説明する図である。
[図 48]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、投 影点の存在確率の決定方法を説明する図である。
[図 49]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、仮 想視点から見た画像の生成方法を説明する図である。
[図 50]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、本 発明の画像生成方法において問題となる点を説明する図である。
[図 51]第 3の実施の形態の画像生成方法の原理を説明するための模式図であり、本 発明の画像生成方法において問題となる点を解決する方法を説明する図である。
[図 52]第 3の実施の形態の画像生成方法の数理モデルを説明するための模式図で あり、投影点，対応点，生成する画像上の点の関係を示す図である。
[図 53]第 3の実施の形態の画像生成方法の数理モデルを説明するための模式図で あり、空間上の点と画像上の画素の変換方法を説明する図である。
[図 54]実施例 3 - 1の画像生成方法を説明するための模式図であり、画像の生成手 順を示すフロー図である。
[図 55]実施例 3— 1の画像生成方法を説明するための模式図であり、投影点列の設 定方法を説明する図である。
[図 56]実施例 3— 1の画像生成方法を説明するための模式図であり、図 54のステップ 10305の処理の具体例を示すフロー図である。
[図 57]実施例 3_1の画像生成方法を説明するための模式図であり、レンダリングの 方法を説明する図である。
[図 58]実施例 3 - 1の画像生成方法で画像を生成する装置の概略構成を示す模式図 であり、装置の構成を示すブロック図である。
[図 59]実施例 3-1における被写体画像撮影手段の構成例を説明する図である。
[図 60]実施例 3-1における被写体画像撮影手段の構成例を説明する図である。 [図 61]実施例 3— 1における被写体画像撮影手段の構成例を説明する図である。
[図 62]実施例 3— 1の画像生成装置を用いた画像生成システムの概略構成を示す模 式図であり、画像生成システムの一構成例を示す図である。
[図 63]実施例 3— 1の画像生成装置を用いた画像生成システムの概略構成を示す模 式図であり、画像生成システムの他の構成例を示す図である。
[図 64]実施例 3— 2の仮想視点画像生成方法の処理を示すフロー図である。
[図 65]第 3の実施の形態の画像生成方法における、他の生成方法を説明するための 模式図である。
[図 66]第 3の実施の形態による実施例 4一 1の画像生成方法を説明するための模式 図であり、全体的な処理手順の一例を示すフロー図である。
[図 67]実施例 4一 1の画像生成方法を説明するための模式図であり、投影面の設定 方法の一例を示す図である。
[図 68]実施例 4一 1の画像生成方法を説明するための模式図であり、投影面の設定 方法の一例を示す図である。
[図 69]実施例 4一 1の画像生成方法を説明するための模式図であり、投影点列の設 定方法を説明する図である。
[図 70]実施例 4一 1の画像生成方法を説明するための模式図であり、投影点の色情 報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。
[図 71]実施例 4一 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。
[図 72]実施例 4一 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。
[図 73]実施例 4一 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。
[図 74]実施例 4 - 1の画像生成方法を説明するための模式図であり、存在確率の決 定方法を説明する図である。
[図 75]実施例 4 - 1の画像生成方法を説明するための模式図であり、各画像表示面 で表示する 2次元画像の生成方法を説明する図である。 [図 76]実施例 4 - 1の画像生成方法を説明するための模式図であり、各画像表示面 で表示する 2次元画像の生成方法を説明する図である。
[図 77]実施例 4 - 1の画像生成方法を説明するための模式図であり、各画像表示面 で表示する 2次元画像の生成方法を説明する図である。
[図 78]実施例 4一 2の画像生成方法を説明するための模式図であり、投影点と対応点 の関係を示す図である。
[図 79]実施例 4一 2の画像生成方法を説明するための模式図であり、投影点の色情 報及び存在確率を決定するステップの一例を示すフロー図である。
[図 80]実施例 4一 2の画像生成方法を説明するための模式図であり、存在確率の求 め方を説明する図である。
[図 81]実施例 4一 2の画像生成方法を説明するための模式図であり、存在確率の求 め方を説明する図である。
[図 82]実施例 4一 3の任意視点画像生成方法を説明するための模式図であり、全体 的な処理手順の一例を示すフロー図である。
[図 83]実施例 4一 3の任意視点画像生成方法を説明するための模式図であり、レンダ リングの原理を説明する図である。
[図 84]実施例 4一 3において存在確率を透明度に変換する処理手順の一例を示すフ ロー図である。
[図 85]実施例 4 - 4の画像生成装置の概略構成を示す模式図である。
[図 86]実施例 4 - 4の画像生成装置の概略構成を示す模式図である。
[図 87]実施例 4 - 4の画像生成装置の概略構成を示す模式図であり、画像生成装置 を用いた画像表示システムの構成例を示す図である。
[図 88]実施例 4 - 4の画像生成装置の概略構成を示す模式図であり、画像生成装置 を用いた画像表示システムの構成例を示す図である。
[図 89]実施例 4 - 4の画像生成装置の概略構成を示す模式図であり、画像生成装置 を用いた画像表示システムの構成例を示す図である。
[図 90]第 5の実施の形態による実施例 5— 1の 3次元画像表示方法を説明するための 模式図であり、全体的な処理手順の一例を示すフロー図である。 [図 91]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、投影面の 設定方法の一例を示す図である。
[図 92]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、投影面の 設定方法の一例を示す図である。
[図 93]実施例 5— 1の 3次元画像表示方法を説明するための模式図であり、投影点の 設定方法を説明する図である。
[図 94]実施例 5— 1の 3次元画像表示方法を説明するための模式図であり、投影点の 色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図である。
[図 95]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、存在確率 の決定方法を説明する図である。
[図 96]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、存在確率 の決定方法を説明する図である。
[図 97]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、存在確率 の決定方法を説明する図である。
[図 98]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、各画像表 示面で表示する 2次元画像の生成方法を説明する図である。
[図 99]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、各画像表 示面で表示する 2次元画像の生成方法を説明する図である。
[図 100]実施例 5 - 1の 3次元画像表示方法を説明するための模式図であり、各画像 表示面で表示する 2次元画像の生成方法を説明する図である。
[図 101]実施例 5— 2の 3次元画像表示方法を説明するための模式図であり、投影点と 対応点の関係を示す図である。
[図 102]実施例 5— 2の 3次元画像表示方法を説明するための模式図であり、投影点 の色情報及び存在確率を決定するステップの一例を示すフロー図である。
[図 103]実施例 5 - 2の 3次元画像表示方法を説明するための模式図であり、存在確 率の求め方を説明する図である。
[図 104]実施例 5 - 2の 3次元画像表示方法を説明するための模式図であり、存在確 率の求め方を説明する図である。 符号の説明
(第 1の実施の形態）
1 , 1A, 1B， 1C…仮想視点画像生成装置、 101…仮想視点決定手段、 102…被 写体画像取得手段、 103…画像生成手段、 103a…投影面決定手段、 103b…基準 視点決定手段、 103c…テクスチャ配列確保手段、 103d…対応点マッチング処理手 段、 103e…色情報決定手段、 103f…存在確率情報決定手段、 103g…レンダリン グ手段、 104…生成画像出力手段、 2…視点位置入力手段、 3…被写体撮影手段（ カメラ）、 4…画像表示手段、 6…仮想視点画像、 7…被写体の像、 7A…画像が劣化 している部分、 7B…画像が欠損している部分。
(第 2の実施の形態）
6, 6A, 6B, 6C…画像生成装置、 601…被写体画像取得手段、 602…観察者視点 設定手段、 603…投影面設定手段、 604…投影面情報格納領域確保手段、 605· · · 色情報/存在確率決定手段、 606…投影面情報 -表示面情報変換手段、 607…画 像出力手段、 7, 7A, 7B…画像表示手段、 8， 8A, 8B…被写体画像撮影手段、 9， 9A, 9B…基準視点入力手段
(第 3の実施の形態）
2, 2A, 2B, 2C…画像生成装置、 201…被写体画像取得手段、 202…仮想視点 設定手段、 203…投影面等設定手段、 204…テクスチャ配列確保手段、 205…色情 報/存在確率決定手段、 206…レンダリング手段、 207…生成画像出力手段、 3， 3 A, 3B…被写体画像撮影手段、 4， 4A， 4B…視点情報入力手段、 5, 5A， 5B…画 像表示手段、 6…偏光型二値光学系、 7, 7A, 7B…イメージセンサ、 8…ビームスプ リツタ、 9…偏光フイノレタ、 10…可変焦点レンズ、 11a, l ib, 11c, l id…固定焦点レ ンズ、 12…レンズホルダ
(第 4の実施の形態）
2, 2A， 2B， 2C…画像生成装置、 201…被写体画像取得手段、 202…観察者視 点設定手段、 203…投影面等設定手段、 204…テクスチャ配列確保手段、 205…色 情報/存在確率決定手段、 206…投影面情報 -表示面情報変換手段、 207…画像 出力手段、 208…レンダリング手段、 3, 3A, 3B…画像表示手段、 4, 4A, 4B…被 写体画像撮影手段、 5, 5A， 5B…基準視点入力手段
(第 5の実施の形態）
2, 2A, 2B, 20· · · 3次元画像生成装置、 201…被写体画像取得手段、 202…観 察者視点設定手段、 203…投影面等設定手段、 204…テクスチャ配列確保手段、 2 05…色情報/存在確率決定手段、 206…投影面情報 -表示面情報変換手段、 20 7…画像出力手段、 3, 3Α， 3Β· · ·画像表示手段、 4, 4A, 4Β· · ·被写体画像撮影手 段、 5, 5A, 5B…基準視点入力手段
発明を実施するための最良の形態
[0039] 以下、発明を実施するための最良の形態として、第 1の実施の形態一第 5の実施の 形態について説明する。
[0040] [第 1の実施の形態]
まず、本発明の第 1の実施の形態について説明する。なお、第 1の実施の形態は、 主に請求項 1一請求項 11に対応する実施の形態である。本実施の形態では、色情 報の表現として赤 (R)，緑 (G) ,青（B)の 3原色を用いる例を示しているが、輝度 (Y) もしくは色差 (U, V)を用いた表現をとることも可能であり、また白黒画像の場合には 色情報として輝度情報のみを用いることが可能である。なお、第 1の実施の形態を説 明するための図において、同一機能を有するものは、同一符号を付ける。
[0041] 第 1の実施の形態における各実施例を説明する前に、まず、第 1の実施の形態に おける仮想視点画像生成方法の原理について説明する。
[0042] 図 2乃至図 5は、本発明における仮想視点画像生成方法の原理を説明するための 模式図であり、図 2は投影面群，カメラ，基準視点，投影点，対応点の一例を示す図 、図 3 (a)及び図 3 (b)は対応点間の相関度のグラフの一例を示す図、図 4 (a)は投影 点の透明度に応じた混合処理の一例を示す図、図 4 (b)は透明度に応じた色情報の 混合処理を色空間において表現した図、図 5は被写体，投影面群，基準視点，仮想 視点，投影点の一例を示す図である。
[0043] 本発明における仮想視点画像の生成方法は、多層構造をもつ投影面群を設定す るステップ 1と、投影面上の各点（投影点）に対応する複数のカメラの撮影画像上で の点（対応点）を求めるステップ 2と、複数の対応点の色情報を混合もしくはそのうち の 1つを選択することで投影点の色情報を決定するステップ 3と、空間上のある視点（ 基準視点)から見て重なり合う複数の投影点について、各投影点の距離に被写体が 存在する可能性の度合い（存在確率情報）を対応点もしくはその近傍領域の相関の 度合いをもとに計算するステップ 4と、仮想視点から見て重なり合う基準点の色情報 を存在確率情報に応じた混合処理をして仮想視点における各画素の色情報を決定 するステップ 5と、仮想視点画像の画素に相当するすべての点について前記ステップ 1からステップ 5を繰り返し行うステップ 6とを有する。すなわち、従来の手段のようにあ らゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなく 、被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値が得 られなレ、ことを前提として、信頼性が低レ、推定値が得られた箇所にっレ、ては曖昧に 描画して画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性 が高い距離データが得られた箇所については明瞭に描画して画像生成への寄与を 高くする。
[0044] ここで推定の信頼性は、撮影した画像の対応点の相関の程度（相関度）によって以 下のように判別される。例えば、図 2に示すように、基準視点 R、カメラの中心位置 C ( i=l，2，〜,N)、互いに平行な投影面 L (」·=1，2,· · ·,Μ)を設定し、投影点 Τを中心位置 C のカメラで撮影した対応点を Gとする。
[0045] すると、例えば、投影面 L上にある投影点 Τについて対応点の集合 {G
m m im I i=l,2,
…，N }が得られ、それらの相関の程度（相関度)も計算できる。
[0046] ここで、基準視点 Rから見て直線上にある複数の投影点 T (j=l,2,- · ·,Μ)につレ、て相 関度を計算し、横軸に基準視点 Rと投影面の距離 1、縦軸に相関度をとると、図 3 (a) あるいは図 3 (b)に示すようなグラフが得られる。相関度の具体的な計算方法につい ては後の実施例で述べることとし、ここでは相関度が大きいほど対応点間の相関の程 度が大きいものとして図示する。
[0047] 相関度が高い距離では複数のカメラにおける対応点は類似しており、投影点の位 置で被写体上の同じ点を撮影している可能性が高いため、その距離に被写体が存 在する可能性も高い。そして、基準視点 Rを通る直線上で被写体が存在する距離が 1つであると仮定すれば、図 3 (a)及び図 3 (b)に示したように、最も高い相関度をとる 距離 1=1*に被写体が存在すると推定できる。
[0048] このとき、図 3 (a)に示したように、距離 1=1*における対応点の相関度が他の候補よ りも非常に高い場合には信頼性の高い推定ができるが、図 3 (b)に示した、距離 1=1* と距離 1=1'のように推定値の候補が複数あり、かつその対応点の相関度が同程度の 場合には推定の信頼性が低くなる。
[0049] 図 3 (b)に示したような場合に、相関度が最も高い距離 1=1*に相当する投影点を 1 点だけ描画する方法をとると、推定の誤りにより、実際には被写体が距離 1=1'にあつ た場合、生成画像に大きなノイズとなって現れてしまう。
[0050] それに対し、本発明では相関度から被写体の存在する可能性 (存在確率情報）を 計算し、存在確率情報に応じた明瞭さで複数の投影点を描画することで、推定の信 頼性が低い場合には複数の投影点が曖昧に描画され、生成画像のノイズが目立た ず、観察者の見た目にはより良好な画像を生成する効果がある。
[0051] 一方、推定の信頼性が高い場合には存在確率情報が高い投影点が明瞭に描画さ れるため、より良好な画像を生成することが可能である。
[0052] また、本発明の描画手法はコンピュータグラフィクスの基本的な手法であるテクスチ ャマッピングによりシンプノレに実装でき、普及型のパーソナルコンピュータに搭載して レ、る 3次元グラフィックスハードウェアで良好に処理できるほど計算機負荷が軽くなる 効果がある。
[0053] また、本発明による仮想視点画像生成方法では、投影面上の各基準点は透過から 不透過までの階調を持つ透明度を有し、各基準点における透明度は上記ステップ 4 で得られる存在確率情報を変換することにより計算され、上記ステップ 5で仮想視点 における各点の色情報を得るための混合処理は仮想視点に遠い投影点から近い投 影点に向かって逐次的に処理され、ある投影点までの混合処理で得られる色情報は 、その投影点における色情報とそれ以前の投影点までの混合処理で得られる色情報 とを透明度に応じた比率で内分して得る。このとき、混合処理により得られる色情報 は、ある段階での色情報とその次の色情報の内分である。
[0054] ここで、例えば、図 4 (a)に示すように、投影面 L (j=l,2,… ）、投影点 T 0=1,2,· - ·
，M)、赤，緑，青 (R, G, B)の成分を持ち、投影点の色情報を表すベクトル K (j=l,2, •••，M)が、下記数式 1で表される色空間に設定されている場合を考える。
[0055] [数 1]
K. ^V,V≡{{R,G,B)\ ≤R≤h ≤G≤h ≤B≤l}
また、投影点の透明度ひ （j=l,2,… ）は、下記数式 2となるように設定されているも
J
のとする。
[0056] [数 2]
0< ゾ≤1
このとき、 j=mまでの混合処理で得られる色情報 Dは、下記数式 3及び数式 4のよう
m
な漸化式で表され、仮想視点から見て一番手前の j=Mまで混合処理した色情報 D が仮想視点における色情報となる。
[0057] [数 3]
D— =amKm+^ 1 -" ) m-l
[0058] [数 4]
このとき、前記数式 2及び数式 3の関係より、色情報 Dは色空間 Vにおいて Kと D
m m の内分点であるため、図 4(b)に示すように、 K , D ならば D である。 m-l m m-l m
[0059] すると、前記数式 1及び数式 2の条件を満たせば、仮想視点における色情報 D に っレ、て、下記数式 5のようになること力 S保証される。
[0060] [数 5]
前記数式 5のような保証は、数学的帰納法により証明されるが、詳細な説明は省略 する。
[0061] つまり、投影点の色情報及び透明度を前記数式 1及び数式 2を満たすように設定す れば、仮想視点の色情報は必ず適切な色空間 Vに納めることができる。
[0062] 以上のような特徴により、同一の被写体において複数の仮想視点画像を生成する 場合に、ある 1つの基準視点から投影点の色情報と透明度情報を計算したとしても、 その色情報及び透明度が前記数式 1及び数式 2を満たせば、すべての仮想視点画 像で適切な色情報の範囲で画像を生成することができる。
[0063] ここで、例えば、図 5に示すように、被写体〇bjがあり、 2つの投影面 L , L、基準視 点 仮想視点 Pを設定した場合において、投影点 τ , T， T '， T 'における色情報
1 2 1 2
がそれぞれ κ , κ , K ' , K '、被写体が存在する可能性の度合いが i3 , β ， β ' ,
1 2 1 2 1 2 1 β 'である場合を考える。
2
[0064] 前記被写体が存在する可能性の度合レ、 (存在可能性情報）は、基準視点 Rを通る 直線上で計算され、同一直線上の投影点における存在可能性情報の合計は 1となり 、投影点 Τ '及び Τ付近に被写体の表面が存在するため、この点での存在可能性情
1 2
報は Τ及び Τ 'に比べて高くなる。すると、前記存在可能性情報は、下記数式 6及び
1 2
数式 7のようになる。
[0065] [数 6]
Α = > β2 = ι [0066] [数 7]
このとき、仮想視点 Pの画像面の点 Aにおける色情報 Kは直線 PA上にある投影点
A
の色情報を存在可能性情報に応じた重み付けで加算することで計算され、下記数式 8のようになる。
[0067] [数 8]
ΚΑ = β[Κ[ + β2Κ2
また、前記数式 8は、前記数式 6及び数式 7により、下記数式 9のように表される c
[0068] [数 9]
Figure imgf000025_0001
仮想視点 Ρから見たときに、 Τ 'は Τにより遮蔽されているため、点 Αにおける本来
A A
の色情報は K =Κであるが、前記数式 9では Κ 'の分だけ（R, G, Β)の各成分の輝
A 2 1
度が上がってしまう。
[0069] また、 K及び K 'の各成分が大きな輝度を持つ場合には、 Kは有効な色空間の
A A A
範囲を超えてしまう。そのため、有効な色情報の範囲内に収まるようにクリッピング処 理が必要となる。
[0070] そこで、例えば、後の実施例 1 - 2で述べる計算方法により存在確率情報から透明 度を求めると、下記数式 10及び数式 11と計算される。
[0071] [数 10] = β αλ = 1
[0072] [数 11]
つ
Figure imgf000026_0001
ただし、前記数式 10及び数式 11において、 ひ ， ひ ， ひ '， ひ 'はそれぞれ τ ， τ
1 2 1 2 1
, Τ '， Τ 'における透明度である。
1 2
[0073] 二こで、仮想視点における各点の色情報を得るために、仮想視点に遠い投影点か ら近い投影点に向かって逐次的に混合処理し、ある投影点までの混合処理で得られ る色情報は、その投影点における色情報とそれ以前の投影点までの混合処理で得ら れる色情報とを透明度に応じた比率で内分して得るようにすると、 Κは、下記数式 12
A
のようになる。
[0074] [数 12]
ΚΛ = α2Κ2 + (1 - α2)α[Κ[
このとき、前記数式 12は、前記数式 6,数式 7,数式 10，数式 11から下記数式 13 のようになり、本来の色情報のよい近似となる。
[0075] [数 13] κΑ ^κ2 以上で述べたとおり、存在確率情報をそのまま用いた画像生成では、基準視点と 仮想視点が同一である場合には問題なレ、ものの、両者が異なる場合に被写体の遮 蔽領域付近で輝度の増加が生じることがあるのに対し、存在確率情報を透明度に変 換する画像生成では、この現象を防止する効果がある。
[0076] また、存在確率情報をそのまま用レ、る画像生成において基準視点と仮想視点が異 なる場合には、後に示す数式を用いた演算で色情報を計算した場合に有効な色情 報の範囲内に収まる保証がなぐ例えば、補正処理が必要であるのに対し、透明度 に変換する画像生成では、このような補正は不要である。
[0077] また、存在確率情報を透明度に変換する画像生成では、半透過の被写体も効率的 に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を適用 できる効果がある。
[0078] また、本発明の仮想視点画像生成方法では、ステップ 1においてカメラ毎に固有の 投影面群を設定し、ステップ 3において投影点の色情報は、投影点が属する投影面 に固有のカメラによる撮影画像の対応点の色情報を用い、ステップ 4における存在確 率情報は、投影点が属する投影面に固有のカメラの視点を基準視点として計算され 、ステップ 5における仮想視点の色情報の混合処理は、仮想視点と各基準視点との 位置関係により補正する。このようにすると、カメラ間の位置関係とは無関係にカメラ 毎に固有の投影面群を設定するため、カメラの配置が複雑であったり不規則であつ たりしても、投影面群の設定処理が影響を受けることはなぐ一貫した処理方法により 画像生成ができる。
[0079] また、前記カメラ毎に固有の投影面群を設定した場合、投影面の色情報に関して は対応するカメラで撮影した画像間での混合処理が必要ない。そのため、例えば、 計算機（コンピュータ）で処理する際に並列処理が可能であり、画像生成の高速化が 可能である。
[0080] また、同じカメラに対応付けされている投影面群の色情報はすべて同じであるため 、計算機 (コンピュータ）で処理する際に、色情報を格納するテクスチャメモリを共有 できる。そのため、投影面の数ほどはメモリを消費することがなぐ画像生成に用いる 装置の負荷を低減することができる。
[0081] また、ある投影面に対応するカメラは一意に決定されているため、両者の座標の対 応関係をあらかじめ設定しておくことで、レンズの歪曲収差の補正などのキヤリブレー シヨンを容易にかつ高速に行うことができる。
[0082] よって、本発明の第 1の実施の形態の仮想視点画像生成方法を専用の装置、普及 型のパーソナルコンピュータ等で実行させるプログラムは広い適用範囲と高い汎用 性を持つ。
[0083] 以下、第 1の実施の形態の仮想視点画像生成方法を実行する装置及び具体的な 画像生成方法を、実施例を挙げて説明する。
[0084] (実施例 1一 1)
図 6及び図 7は、本発明による実施例 1 - 1の仮想視点画像生成装置の概略構成を 示す模式図であり、図 6は画像生成装置内部の構成を示すブロック図、図 7は画像 生成装置を用いたシステムの構成例を示す図である。
[0085] 図 6において、 1は仮想視点画像生成装置、 101は仮想視点決定手段、 102は被 写体画像取得手段、 103は画像生成手段、 103aは投影面決定手段、 103bは基準 視点決定手段、 103cはテクスチャ配列確保手段、 103dは対応点マッチング処理手 段、 103eは色情報決定手段、 103fは存在確率情報決定手段、 103gはレンダリング 手段、 104は生成画像出力手段、 2は視点位置入力手段、 3は被写体撮影手段、 4 は画像表示手段である。また、図 7において、 Userは仮想視点画像生成装置の利用 者、 Objは被写体である。
[0086] 本実施例 1 - 1の仮想視点画像生成装置 1は、図 6及び図 7に示すように、利用者 Userが視点位置入力手段 2を用いて入力した視点（仮想視点）のパラメータを決定す る仮想視点決定手段 101と、複数の視点位置 Cにある被写体撮影手段 (カメラ） 3で 撮影された被写体〇bjの画像を取得する被写体画像取得手段 102と、前記取得した 被写体〇bjの画像をもとに、前記仮想視点から前記被写体 Objを見たときの画像 (仮 想視点画像）を生成する画像生成手段 103と、前記画像生成手段 103で生成した仮 想視点画像を画像表示手段 4に表示させるための生成画像出力手段 104とにより構 成される。
[0087] 仮想視点決定手段 101では、前記仮想視点のパラメータとして、例えば、位置、方 向、画角を決定する。また、前記視点位置入力手段 2は、例えば、図 7に示したように 、マウス等の利用者 Userが操作して選択するデバイスであってもよいし、キーボード 等の利用者 Userが直接数値として入力するデバイスでもよレ、し、前記利用者 Userが 装着する位置 ·姿勢検出センサでもよい。また、他のプログラムにより与えられるもの でも、ネットワークを介して与えられるものでも可能である。
[0088] また、前記被写体画像取得手段 102は、刻々と変化する被写体の位置 ·姿勢を一 定の間隔、例えば 30Hzの間隔で逐次的に取得することも、任意の時刻における被 写体の静止画像を取得することも可能であるし、あらかじめ撮影した被写体画像を記 録装置から読み出すことで取得することも可能である。なお、複数の視点位置からの 被写体画像は、すべてのカメラ間の同期をとることにより同一時刻に撮影したもので あることが望ましいが、被写体の位置 '姿勢の変化が十分に遅ぐ静止物と見なせる 場合にはこの限りではない。
[0089] また、前記画像生成手段 103は、図 6に示したように、画像生成に用いる投影面の 位置 ·形状を決定する投影面決定手段 103aと、基準視点の位置を決定する基準視 点決定手段 103bと、投影面に貼り付けるテクスチャ画像の配列をメモリ上に割り当て るテクスチャ配列確保手段 103cと、前記被写体画像取得手段 102で取得した被写 体の画像において、複数の視点位置の間で被写体の同一の領域が撮影されている 箇所の対応付けを行う対応点マッチング処理手段 103dと、前記テクスチャ配列確保 手段 103cで確保したテクスチャ配列のうちの色情報を、取得した複数枚の被写体の 画像の色情報を混合処理することで決定する色情報決定手段 103eと、前記テクス チヤ配列確保手段 103cで確保したテクスチャ配列のうちの、投影面上に被写体が 存在する可能性の度合い（存在確率情報）を、前記対応点マッチング処理手段 103 dの結果に基づいて決定する存在確率情報決定手段 103fと、前記色情報決定手段 103eで決定した色情報及び前記存在確率情報決定手段 103fで決定した存在確率 情報をもとに、前記仮想視点から見た前記投影面をレンダリングするレンダリング手 段 103gとにより構成される。
[0090] 前記テクスチャ配列確保手段 103cで確保する配列は、各画素にっレ、て色情報と 存在確率情報を保持し、例えば、赤 (R) ,緑 (G) ,青 (B)の 3原色及び前記存在確 率情報に対して各 8ビットで表現する。ただし、本発明はこのような特定のデータ表現 形式に依存するものではない。
[0091] また、前記画像表示手段 4は、例えば、ディスプレイ端子等の生成画像出力手段 1 04に接続された CRT (Cathode Ray Tube) , LCD (Liquid Crystal Display) , PDP ( Plasma Display Panel)等の表示装置である。前記画像表示手段 4は、例えば、 2次元 平面状の表示装置でもよいし、利用者 Userを取り囲むような曲面状の表示装置であ つてもよい。また、前記画像表示手段 4として、立体表示が可能な表示装置を用いれ ば、前記仮想視点決定手段 101で、前記利用者 Userの左右眼に相当する 2つの仮 想視点を決定し、前記画像生成手段 103で前記 2つの仮想視点からの仮想視点画 像を生成したのち、利用者の左右眼に独立した画像を提示することも可能である。ま た、 3つ以上の仮想視点からの画像を生成し、 3つ以上の視差がついた画像を表示 することのできる 3次元ディスプレイを用いれば、 1人以上の利用者に対して立体映 像を提示することも可能である。
[0092] また、前記仮想視点画像生成装置 1を用いたシステムは、例えば、図 7に示したよう な構成になっており、利用者 Use ま前記視点位置入力手段 2を介して仮想視点画像 生成装置 1に所望の視点位置 ·方向 ·画角を指定すると、前記仮想視点画像生成装 置 1は被写体 Objを前記被写体撮影手段（カメラ） 3で撮影し、その画像を取得した後 、前記取得した被写体の画像をもとに指示された視点における画像 (仮想視点画像） を生成する。前記生成された仮想視点画像は、前記画像表示手段 4により利用者 Userに提示する。
[0093] なお、図 7のシステム構成は本発明における画像生成装置の実装の一例を示すも のであり、本発明の請求範囲は必ずしもこのような構成に限定されるものではなぐ個 々の装置の配置、形態、実装は本発明の趣旨を逸脱しない範囲において任意であ る。
[0094] 以下、前記画像生成手段 103による画像生成処理について説明するが、その具体 的な処理手順を記述する前に、処理の前提となる数理モデルにっレ、て説明する。
[0095] 図 8及び図 9は、本実施例 1 - 1の仮想視点画像生成装置を用いた仮想視点画像 生成方法の数理モデルを説明するための模式図であり、図 8は投影変換の一例を示 す図、図 9は座標変換の一例を示す図である。 [0096] 本実施例 1 - 1の仮想視点画像生成装置を用いた画像生成処理では、例えば、図 8に示したように、カメラ 3の中心位置 C (i=l，2，〜，N)及び仮想視点 P、投影面 L ( 』=1，2，· · ·,Μ)が設定されている。以下、複数台のカメラ 3を区別するために、前記カメラ の中心位置 はカメラ自体も示すものとし、同様に Pは仮想視点自体を示すとともに 仮想視点の中心の位置を示すものとする。
[0097] また、図 8では、カメラ Cは横一列に配置している力 本発明はこのような配置に限 定されるものではなぐ例えば 2次元格子状や円弧状などの多様な配置にも適用可 能である。さらに、投影面 Lの配置も必ずしも平行に限定されるものではなぐ後述の
J
実施例 1-3のように曲面とすることも可能である。ただし、本実施例 1—1の説明では 投影面 Lは平面であるとする。
j
[0098] 本実施の形態の仮想視点画像生成方法では、実際にカメラを配置した位置 Cで取 得した被写体〇bjの画像をもとに前記カメラが配置されていない仮想視点 Pの画像を 生成するため、基本的には、カメラ Cで撮影した被写体の画像の一部をコンピュータ
i
等の仮想視点画像生成装置 1上に想定した投影面 Lに貼付 (テクスチャマッピング）
J
し、そのテクスチャマッピングされた投影面を前記仮想視点 Pから見たときの画像を座 標計算処理により生成するという手順を経る。
[0099] このような処理を行う際、前記仮想視点 P及びカメラ Cは、 3次元空間中の点をそれ ぞれの画像面の 2次元の点に射影する。
[0100] 一般的に、 3次元空間上の点 (X, Υ, Z)から画像面上の点（X, y)へ射影する行列 は 3行 4列の行列で与えられ、下記数式 14及び数式 15のように表すことができる。
[0101] [数 14]
Figure imgf000031_0001
[0102] [数 15]
Figure imgf000032_0001
このとき、例えば、原点を中心とした焦点距離 fの透視投影変換を表す行列 Φ は、
0 下記数式 16となる。
[0103] [数 16]
Figure imgf000032_0002
また、コンピュータにより扱う画像はいわゆるディジタル画像であり、メモリ上の 2次 元配列により表現されている。この配列の位置を示す座標系（U, V)をディジタル画像 座標系と呼ぶことにする。
[0104] このとき、例えば、 640画素 X 480画素の大きさをもつディジタル画像上の 1点は、 0 力 639の整数値のレ、ずれかをとる変数 uと、 0から 479の整数値のレ、ずれかをとる変 数 Vにより示され、その点での色情報はそのアドレスでの赤（R) ,緑 (G) ,青（Β)情報 を 8ビットなどで量子化したデータで表される。
[0105] またこのとき、図 9 (a)に示すような画像座標（X, y)と、図 9 (b)に示すようなディジタ ル画像座標 (u， V)は、 1対 1で対応付けされ、例えば、下記数式 17のような関係を持 つ。
[0106] [数 17]
Figure imgf000033_0001
ここで、図 9 (a)に示した x軸と図 9 (b)に示した u軸は平行であり、 u軸と V軸の単位 長は (X, y)座標系を基準に k， k、 u軸と V軸のなす角度を Θとおいた。
[0107] なお、 2次元配列の書き込み及び読み取りをする際、前記ディジタル画像座標 (u，
V)は離散値をとる力 以下の説明では断りのない限り連続値をとることとし、配列への アクセスの際に適当な離散化処理を行うものとする。
[0108] また、この座標変換で前記数式 17の関係に加え、レンズの収差による画像の歪み を補正した変換を行うことも可能である。
[0109] 以下、前記数理モデルを用いて、具体的な仮想視点画像の生成処理手順につい て説明する。
[0110] 図 10乃至図 17は、本実施例 1 1の仮想視点画像の生成処理手順を説明するた めの模式図であり、図 10は生成処理全体のフロー図、図 11は仮想視点画像を生成 するステップの具体的なフロー図、図 12は投影面の設定方法の一例を示す図、図 1 3は投影点、投影点列、投影点列の集合の一例を示す図、図 14は色情報の混合処 理を説明するための基準視点，投影点，カメラ位置によりなす角度の一例を示す図、 図 15は対応点マッチング処理の一例を示す図、図 16はレンダリング処理を説明する ための図、図 17は生成された仮想視点画像の一例を示す図である。
[0111] 本実施例 1 1の仮想視点画像生成装置 1を用いて仮想視点画像を生成するときに は、図 10に示すように、まず、利用者 Userからの要求に基づき、前記仮想視点決定 手段で仮想視点 Pのパラメータを決定する（ステップ 501)。前記ステップ 501では、 例えば、仮想視点 Pの位置、方向、画角等を決定する。
[0112] 次に、前記複数台のカメラ 3 (C )で撮影した被写体 Objの画像を、前記被写体画像 取得手段 102で取得する（ステップ 502)。 [0113] 次に、前記被写体画像取得手段 102で取得した被写体の画像をもとに、前記仮想 視点 Pから前記被写体 Objを見たときの画像 (仮想視点画像）を生成する (ステップ 50 3)。
[0114] 前記ステップ 503では、例えば、図 11に示すような各ステップの処理を行レ、、仮想 視点画像を生成する。
[0115] 前記ステップ 503の処理では、まず、前記投影面決定手段 103aにより、仮想視点 画像の生成に用いる多層構造の投影面 L (jejJ≡{l,2!- - -,M})の位置、形状を決定 する（ステップ 503a)。前記ステップ 503aで前記投影面 Lを設定するときには、例え ば、図 8に示したような、平面形状を持つ投影面を等間隔に平行に設置する。
[0116] また、前記カメラ Cが等間隔に配置されているときには、その設置間隔を B、カメラ の焦点距離を F、画像面の 1画素の大きさを δとして、下記数式 18で求められる距離 の系列 1 (d=l,2,3，' に平面（投影面）を配置してもよい。
[0117] [数 18]
BF
(d = l9 2， 3,
δά
このような場合、カメラ間の対応点マッチングの奥行き分解能と投影面の設置間隔 がー致する。すなわち、図 12に示すように、カメラ C及び C が間隔 Βで設置されて おり、カメラ Cの画像面上の点を Α、カメラ C の画像面上で Cにおける点 Αに相当 する点を A '、 A 'から d画素目の点を A 'とすれば、点 Aの対応点は {A ' I d=l,2,
… }からなる系列となり、その際に計算される距離の系列は前記数式 18で与えられる
[0118] ただし、前記投影面 Lの設定例はあくまでも一例であり、本発明の画像生成法は基 本的に 2枚以上の異なる投影面を設定すればよぐこのような特定の投影面の設定 法に限定されるものではなレ、。
[0119] 前記ステップ 503aの処理が済んだら、次に、前記基準視点決定手段 103bにより、 後の処理で用いる、投影点上に被写体が存在する可能性の度合い（存在確率情報） を計算する際に基準とする点 (基準視点) Rを決定する (ステップ 503b)。前記基準 視点 Rの位置は仮想視点 Pの位置と一致させてもよいし、仮想視点が複数ある場合 にはその重心位置にとってもよい。ただし、本発明は特定の基準視点の取り方に依 存した方法を提供するものではない。
[0120] 前記ステップ 503bの処理が済んだら、次に、前記投影面上に多数の投影点を設 定する（ステップ 503c)。このとき、基準視点 Rを通る複数の直線上に投影点が乗るよ うに設定し、同一の直線上にある投影点を投影点列としてひとまとめに扱う。ここで、 例えば、図 1 3に示すように、基準視点 Rを通るある直線に着目し、投影面 L上にある
J
投影点を τ、それらを集めた投影点列を sとおけば、 S = {T I jej}と書け、さらに投
J J
影点列の集合を∑とおけば s≡∑となる。
[0121] 前記ステップ 503の処理が済んだら、次に、前記テクスチャ配列確保手段 103cに より、前記投影面にテクスチャマッピングする画像を保持する配列 (テクスチャ配列） を、画像生成装置のメモリ上に確保する（ステップ 503d)。このとき、確保する配列は 、前記投影点の位置に対応するテクスチャ情報を画素毎に、色情報 (R, G, B)及び 存在確率情報を例えば 8ビットずつ持たせる。
[0122] また、前記ステップ 503dでは、テクスチャ配列の画素の 2次元ディジタル座標（U , ）と投影点丁の3次元座標 ， Y， Ζ )の対応関係も設定する。このとき、例えば、
J J J J J
すべての（U , V )の値に対して（X , Υ , Ζ )の値をテーブルとして設定してもよいし、
j j j j j
代表的な（Uj, Vj)に対してのみ (Xj, Y, Zj)の値を設定し、その他対応は補完処理（ 例えば線形補完）により求めてもよい。
[0123] 前記ステップ 503dの処理が済んだら、前記ステップ 502で取得した被写体の画像 をもとに、前記ステップ 503dで確保した各投影点に相当する画素の色情報及び存 在可能性情報を決定する。その際、投影点列 Sを ∑の範囲で順に走査し、さらに 投影点 Tを T の範囲で順に走査し、 2重のループ処理を行う。
J J
[0124] 前記ループ処理は、まず、操作する投影点列 Sを開始位置に初期化する (ステップ 503e)。そして次に、走査する投影点 Tを投影点列 S内で開始位置に初期化し、例
J
えば、 j= lとする（ステップ 503f)。
[0125] 前記ステップ 503e及び前記ステップ 503fの処理が済んだら、次に、投影点 Tの座 標 (X *, Y*， Ζ *)を求め、 (X *, Υ*， ζ *)の位置にある点を各カメラで撮影したとき、画 像面のそれぞれどの位置に対応するかを前記数式 14から数式 17までの関係を用い て算出する (ステップ 503g)。このとき、前記対応点を計算するカメラの集合 S≡{ C;
I iei}とおく。前記カメラの集合 Ξは、すべてのカメラであってもよいし、仮想視点 P や基準視点 R、投影点 Tの位置に応じて 1つもしくは複数のカメラを任意に選択して あよい。
[0126] ここで求めた各カメラの対応点を G (i e i)とおき、そのディジタル座標を (u *， v *) (i ei)とおく。
[0127] 前記ステップ 503gの処理が済んだら、次に、前記色情報決定手段 103eにより、投 影点 Tに対応するテクスチャ配列上の画素（U *， V *)における色情報を、 (u *, *) (i
≡I)における色情報を混合することにより決定する（ステップ 503h)。前記混合処理 は、例えば、各カメラの対応点の色情報の平均値をとる。
[0128] また、前記混合処理では、例えば、カメラ C ,投影点 T ,基準視点 Rによりなす角 Θ に応じた重み付けを行うことも可能である。ここで、例えば、図 14に示すように、カメラ の集合を S = { C， C ， C } (l={n,n+l ,n+2})とした場合を考える。このとき、投影点
Tと対応点 Gにおける色情報 (R, G, B)を表すベクトルをそれぞれ Κ , Kとおくと、 例えば、下記数式 19のように Kを決定すれば、基準視点 Rから投影点 Τを見る角度 と近い角度から撮影したカメラほど、混合処理の寄与の程度が大きくなる。
[0129] [数 19]
∑ cos θϋ . Κ
Figure imgf000036_0001
前記ステップ 503hの処理が済んだら、前記対応点マッチング処理手段 103dにより 、投影点 Tに対する各カメラの対応点 G (i e i)の相関の程度 Qを計算する (ステップ
503i)。前記相関の程度 Qは、例えば下記数式 20のようにすれば、 Qが正の値をと り、対応点の相関が高いほど Qjは小さな値をとる。
[0130] [数 20]
Figure imgf000037_0001
κも
/
また、前記数式 20では、投影点と対応点の色情報を 1点でのみ比較しているが、投 影点と対応点の近傍にある複数の点で色情報の比較を行うこともできる。このとき、例 えば、図 14に示すように、投影面 Τの近傍の領域 Φ、カメラ Cにおける対応領域 Ψ をとると、これらの領域における相関の程度 Qは、例えば、下記数式 21により計算さ れる。
[0131] [数 21]
Figure imgf000037_0002
ここで K (U， V)はテクスチャ配列の座標（U , V )における色情報の推定値、 K (u
J J ij
, v )はカメラ Cにおける撮影画像の座標 (u , v)における色情報を示す。
J
[0132] なお、相関の程度を計算する方法は上記の限りではなぐ本発明は特定の計算方 法に依存するものではなレ、。例えば、図 15に示した例では、投影点 T及び対応点に
J
相当する画素とその周りの 8画素からなる領域を、それぞれ近傍の領域 Φ、及びそ の対応領域 Ψとしている。しかし、近傍の領域 Φ、及びその対応領域 Ψの定め方 は、この例に限定されるものではない。
[0133] 前記ステップ 503iの処理が済んだら、次に、前記投影点 Tを更新し (ステップ 50¾
)、投影点 T E Sをすベて走査したかを判別する (ステップ 503k)。ここでもし、すべて j
を走査し終えたのなら、次のステップ 5031に進み、まだ走査し終えていないのであれ ば前記ステップ 503gに戻る。
[0134] 前記ステップ 503kで、すべて走査し終えたと判別されたら、次に、前記存在確率 情報決定手段 103fにより、前記ステップ 503iで計算した相関の程度 Qをもとにして 、基準視点 Rを通る直線上にあるすベての投影点 T (j e j)について、投影点上に被 写体が存在する可能性の度合い（存在確率情報） βを決定する (ステップ 5031)。た だし、前記存在確率情報 は、下記数式 22及び数式 23の条件を満たす必要があ る
[0135] [数 22]
0≤ ≤1
[0136] [数 23]
Μ
さらに、投影点 Τに被写体が存在する確率が高いほど 1に近い値をとるため、前記 ステップ 503iで計算した投影点と対応点の相関の程度 Qに対し、例えば、下記数式 24及び数式 25で表される変換処理を施して前記存在確率情報 β . (j e j)を得る。
[0137] [数 24]
- 1
[0138] [数 25] j =
Figure imgf000039_0001
ただし、前記存在確率情報 i3は、前記数式 22及び数式 23の条件を満たせばよい ため、変換処理は必ずしも前記数式 24及び数式 25で表される方法に限定されるも のではない。
[0139] 前記ステップ 5031の処理が済んだら、次に、投影点列 Sを更新し (ステップ 503m) 、投影点列 ∑をすベて走査したかを判別する（ステップ 503η)。ここでもし、すべ てを走査し終えたのなら次のステップ 503οに進み、まだ走査し終えていないのであ ればステップ 503fに戻る。
[0140] 前記ステップ 503ηで、すべて走査し終えたと判別されたら、次に、前記レンダリン グ手段 103gにより、多層構造を持つ投影面 L (j=l,2, ' ，M)を仮想視点 Pから見た画 像を、前記存在確率情報 /3に応じて描画して生成する（ステップ 503o)。ここで、例 えば、図 16に示すように、仮想視点 Pにおける画像面の座標が（u , V )で表されてい るとする。このとき、画像面上のある画素 p* (u *, V *)の色情報 K *は、 Pと p*を結ぶ直 線上にある投影点列 {T* I jej}の色情報 {K* I jej}に対応する存在確率情報 {
I J}を掛けて加算したものとして決定され、下記数式 26のように表される。
[0141] [数 26]
Figure imgf000039_0002
そして、画像面上にあるすベての画素について色情報を決定すれば、仮想視点 P における画像を得ることができる。
[0142] また、前記数式 26の代わりに、下記数式 27として K *を計算すると、基準視点 Rと仮 想視点 Pの位置が異なる場合でも、 K *は必ず有効な色空間の範囲内に収めることが
P
保証される。
[0143] [数 27]
Figure imgf000040_0001
なお、ここでは画像面の画素を走査して色情報を決定する手順を示したが、これに 限らず、例えば、 OpenGLや DirectX等の汎用的なグラフィックスライブラリに投影面の 構成、テクスチャ配歹 IJ、視点 Pの設定などのデータを受け渡し、描画処理を任せても よい。
[0144] 以上で前記仮想視点画像の生成処理 (ステップ 503)が終了し、生成された仮想視 点画像は、前記画像表示手段 4に表示される（ステップ 504)。このとき、前記画像表 示手段 4に表示される仮想視点画像 6は、例えば、図 17に示すように、被写体の像 7 のうち、前記ステップ 5031で計算した前記相関の程度 Qが低レ、、すなわち推定値の j
信頼性が低い箇所 7Aは、曖昧に描画され、ぼやけたようになつている。そのため、例 えば、図 1に示したような、従来の仮想視点画像 6のように、画像が欠損しているよう には見えず、利用者の目には気にならない程度の劣化となる。
[0145] その後、前記ステップ 505で、処理の継続あるいは終了を判断し、継続するのであ れば最初のステップ 501から繰り返し、終了であれば終了処理を行う。
[0146] 以上説明したように、本実施例 1一 1の仮想視点画像生成装置を用いた仮想視点画 像生成方法によれば、従来の手段のようにあらゆる場合及びあらゆる箇所で被写体 の正確な幾何モデルを得ようとするのではなぐ被写体の撮影条件や部位によって は距離推定で十分な信頼性を持つ推定値が得られなレ、ことを前提として、信頼性が 低い推定値が得られた箇所については曖昧に描画して画像生成への寄与を低くし、 極端な画像の劣化を防止するとともに、信頼性が高い距離データが得られた箇所に ついては明瞭に描画して画像生成への寄与を高くする。そのため、推定の信頼性が 低い箇所の画像の劣化を目立たなくすることができ、利用者の見た目には劣化の少 なレ、仮想視点画像とすることができる。
[0147] また、本実施例 1一 1の仮想視点画像生成装置 1では、テクスチャマッピングを利用 して仮想視点画像を生成するので、画像生成処理における装置の負荷を小さくする ことができ、かつ、高速に仮想視点画像を生成することができる。
[0148] また、前記仮想視点画像生成装置 1は、専用の装置である必要はなぐ例えば、
CPU,及び、メモリ、ハードディスク等の記憶装置を有するコンピュータとプログラムに よっても実現すること力 Sできる。その場合、図 11に示したような各ステップをコンピュー タに実行させることが可能なプログラムを作成し、前記コンピュータに実行させれば、 普及型のパーソナルコンピュータでも、画像の劣化が少ない仮想視点画像を容易に
、かつ高速に生成することができる。なお、この場合、処理に係るデータは記憶装置 に保持され、適宜読み出されて CPUにより処理がなされる。
前記プログラムは、フロッピーディスクや CD-ROM等の記録媒体に記録して提供する こともできるし、ネットワークを通して提供することも可能である。
[0149] なお、本実施例 1 - 1で説明した仮想視点画像生成装置の構成、及び仮想視点画 像の生成方法や処理手順は一例であり、本発明の本旨とするところは、多層から構 成される投影面の透明度情報を、複数の異なる視点位置力 被写体を撮影した画像 間の対応領域の信頼性に応じて決定することである。そのため、この主旨を大きく逸 脱しなレ、範囲にぉレ、て特定の処理方法や実装に依存するものではなレ、。
[0150] また、前記仮想視点画像生成装置 1を利用したシステムも、図 7に示したような、一 方向のシステムに限らず、双方向のシステムでも適用できる。
[0151] 図 18は、前記実施例 1一 1の仮想視点画像生成装置 1を適用したシステムの応用 例を示す模式図である。
[0152] 前記実施例 1一 1の仮想視点画像生成装置 1は、例えば、テレビ電話やテレビ会議 等のシステムに適しており、例えば、図 18に示すように、通信ネットワークを介して遠 隔地に存在する利用者 UserA及び UserBにおいて、両者が利用者であるとともに被 写体であると見なし、お互いの画像を提示し合い、視覚的なコミュニケーションを支援 するシステムに適用することができる。このとき、 UserAが所望する視点からの UserB の画像を Img[A→B]とおけば、 Img[A→B]は UserB側の被写体撮影手段（カメラ） 3 Bにより撮影された UserBの画像をもとに生成されて UserA側の画像表示手段 4Aに 提示される。また、 UserBが所望する視点力 の UserAの画像を Img[B→A]とおけば 、 Img[B→A]は UserA側の被写体撮影手段（カメラ） 3Aにより撮影された UserAの画 像をもとに生成されて UserB側の画像表示手段 4Bに提示される。
[0153] また、図 18に示したシステムでは、各 Userの視点位置入力手段力 利用者の頭部 に装着された位置 Z姿勢センサのデータ送信部 201A， 201Bとデータ受信部 202 A, 202Bにより構成され、利用者の頭部移動に自動的に追従して所望の仮想視点 を算出するような例を示している。しかしながら、前記視点位置入力手段は、必ずしも このような形態をとる必要はない。また、被写体撮影手段 3A, 3Bにより撮影された利 用者の画像をもとに頭部の位置/姿勢を推定し、同様の機能を持たせることも可能 である。
[0154] ここで、 Img[A→B]は UserA側の仮想視点画像生成装置 1Aと UserB側の仮想視 点画像生成装置 1Bのどちらで生成するようなシステム構成も可能である。前者の場 合には、カメラ 3Bで撮影された UserBの画像がネットワーク 8を介して UserA側の仮 想視点画像生成装置 1Aに伝送され、それをもとに前記仮想視点画像生成装置 1A で Img[A→B]が生成されて画像表示手段 4Aで提示される。また、後者の場合には UserB側のカメラ 3Bで撮影された UserBの画像をもとに UserB側の仮想視点画像生 成装置 1Bで Img[A→B]が生成されたのち、仮想視点画像 Img[A→B]が UserA側 の仮想視点画像生成装置 1Aに伝送されて画像表示手段 4Aで提示される。また、説 明は省略するが、 Img[B→A]についても同様である。
[0155] また、図 6における画像生成手段 103を構成する各手段は、 UserA側の仮想視点 画像生成装置 1A及び UserB側の仮想視点画像生成装置 1Bのどちらで分担するこ とも可能であり、例えば、 Img[A→B]を生成するために User A側にある画像生成装置 1Aで投影面決定手段 103a及び基準視点決定手段 103b、ならびに対応点マッチ ング手段 103dを実装し、 UserB側にある画像生成処理装置 1Bでテクスチャ配列確 保手段 103c及び色情報決定手段 103e及び存在確率情報決定手段 103f及びレン ダリング手段 103gを実装することができる。また、説明は省略するが、 Img[B→A]に ついても同様である。
[0156] さらには、ネットワーク 8上の任意の場所に、 UserA側及び UserB側の前記仮想視 点画像生成装置 1A, 1Bとは別の画像生成装置 1Cを設け、画像生成手段のすべて 若しくは一部を実装することも可能である。
[0157] なお、ここでは UserAと UserBの 2人の利用者間での通信について述べた力 利用 者の人数は、この限りではなぐさらに多数の利用者間でも同様に本発明を適用する こと力 Sできる。その際、利用者が実際に存在する実空間とは別にコミュニケーションに 用いる仮想空間を想定し、その位置関係に応じた他の利用者の画像をお互いに提 示し合えば、あた力、もネットワーク上の仮想空間（サイバースペース）を共有するかの ような感覚を利用者に提示することができる。
[0158] (実施例 1一 2)
図 19は、実施例 1一 2の仮想視点画像生成方法を説明するための模式図であり、 図 19 (a)は本実施例 1一 2の特徴となる処理を示すフロー図、図 19 (b)は透明度情報 を決定するステップの具体的な処理手順の一例を示すフロー図である。
[0159] 本実施例 1 - 2では、前記実施例 1 - 1で説明した仮想視点画像の生成処理にぉレ、 て、前記ステップ 5031で計算した投影点の存在確率情報の代わりに、前記存在確率 情報を透明度情報に変換して画像生成を行う例を示す。
[0160] このとき、前記仮想視点画像生成装置 1の構成や、全体的な処理手順については 、前記実施例 1一 1で説明した例と同様な形態をとることができるため、以下、差異の ある部分のみを説明する。
[0161] 前記実施例 1—1では、前記画像を生成するステップ 503において、図 11に示した ように、前記ステップ 5031で決定した前記存在確率情報 j3を用いて、仮想視点画像
j
を生成していたが、本実施例 1一 2では、図 19 (a)に示すように、前記ステップ 5031の 後、前記存在確率情報を変換して透明度を決定するステップ 503Pを付加する。
[0162] そのため、前記実施例 1—1のテクスチャ配列を確保するステップ 503dでは、色情 報及び前記存在確率情報を保持する配列を確保したのに対し、本実施例 1一 2のス テツプ 503dでは、色情報及び前記透明度情報を保持する配列を確保する。
[0163] 前記透明度情報 αは、前記存在確率情報 j3をもとに計算され、前記実施例: のステップ 5031と同様、本実施例 1一 2でも、前記ステップ 5031で前記存在確率情報 をレ、つたん計算し、次のステップ 503pで透明度情報を計算する。
[0164] また、本実施例 1—2のレンダリング処理を行うステップ 503οでは、前記実施例 1一 1 で説明した前記数式 26や数式 27の代わりに、前記数式 2から前記数式 4までに従つ て Dを逐次的に計算する。そのため、画像面上のある画素 p* (u *， V *)の色情報 K* は、下記数式 28のように計算することになる。
[0165] [数 28]
M
二 aMKM + ( 1 - " Μ- — i + · · '
+ - "Λ Χΐ - 1)· · ·(1 - "2) " 以上が本実施例における画像生成方法であるが、前記存在確率情報 をもとに透 明度情報 αを計算する方法の一例を、以下で示す。
[0166] まず、前記数式 26と前記数式 28を比較すると、下記数式 29のようになる。
[0167] [数 29]
βΜ = Μ β】 a. J)
Figure imgf000044_0001
この関係から、」·=Μ，Μ-1，· · ·,1の順に を求めていく手順は以下のようになる。
[0168] まず、図 19 (b)に示すように、 jの初期値として j=Mとする（ステップ 5031p)。次に、 前記数式 29から、 ひ = β と決定する (ステップ 5032ρ)。次に、 jの値を j=j-lと更新 する（ステップ 5033p)。
[0169] 次に、 α 力 S iか否かを判別する（ステップ 5034ρ)。このとき、 α ≠1であれば、前 記数式 29の関係から、下記数式 30により αを決定する（ステップ 5035ρ)。
[0170] [数 30]
Figure imgf000045_0001
一方、 α = 1のときは、下記数式 31により αを決定する（ステップ 5036ρ) (
[0171] [数 31]
α, = 1 この根拠を説明すると、まず、 ひ = 1ならば、下記数式 32のようになり、前記数式 3
0では分母が 0 (零）となるため計算できなレ、。
[0172] [数 32]
Figure imgf000045_0002
そこで前記数式 32を展開すると、下記数式 33となり、前記数式 29を代入すると、数 式 34のようになる。
[0173] [数 33] + (1 -« )(1 -¾-1 · ·(1 -^ 2 ) ゾ+1 = 1
[0174] [数 34]
+ Α - …十 +1 = ι
前記数式 34と前記数式 22及び数式 23から、下記数式 35が得られる c
[0175] [数 35] = 0
ここで、前記数式 32と前記数式 35を、前記数式 29の下辺に代入すれば 0 = 0 X a となり、 aは任意の値をとりうることがわかる。そこで、本実施例 1—2では、例えば、 ひ
J j j
= 1と設定する。
[0176] ただし、上記の通りひは任意の値に設定することができ、本発明は特定のひ の決 j J 定法に依存するものではない。
[0177] 次に、 j=lまで処理したかを判別し (ステップ 5037p)、すべての処理が済んだなら ば終了、まだ済んでいないのであれば前記ステップ 5033pに戻る。
[0178] 以上説明したように、本実施例 1 - 2の仮想視点画像生成方法によれば、前記実施 例 1-1と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ 高速に生成することができる。
[0179] また、前記実施例 1一 1で説明したように、存在確率情報をそのまま用いた画像生成 では、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が 生じることがあるのに対し、本実施例 1-2のように、存在確率情報を透明度に変換す る画像生成では、この現象を防止する効果がある。そのため、画像の劣化が少なぐ より実際の被写体に近い仮想視点画像を得ることができる。
[0180] また、前記実施例 1一 1で説明したように、存在確率情報をそのまま用いる画像生成 では、基準視点と仮想視点が異なる場合には、後に示す数式を用いた演算で色情 報を計算した場合に有効な色情報の範囲内に収まる保証がなぐ例えば、補正処理 が必要であるのに対し、本実施例 1一 2のように、前記存在確率情報を透明度に変換 する画像生成では、このような補正は不要である。そのため、画像生成処理が簡略化 できる。
[0181] また、本実施例 1一 2の仮想視点画像生成方法のように、存在確率情報を透明度に 変換する画像生成では、半透過の被写体も効率的に表現することができ、現実世界 にあるより多くの被写体に対して広く本発明を適用できる効果がある。
[0182] なお、本実施例 1 - 2で説明した仮想視点画像生成方法は一例であり、本実施例の 本旨とするところは、前記存在確率情報を透明度情報に変換して仮想視点画像を生 成することである。そのため、この主旨を大きく逸脱しない範囲において特定の計算 方法や処理手順に依存するものではなレ、。
[0183] また、上記の色情報とは、白黒画像の場合には輝度情報に相当し、同様に処理す ることが可能である。
[0184] (実施例 1一 3)
図 20は、実施例 1一 3の仮想視点画像生成方法を説明するための模式図であり、 投影面群、基準視点、仮想視点、投影点の一例を示す図である。
[0185] 本実施例 1一 3では、複数のカメラで共通の投影面 Lを用いるのではなぐカメラ C 毎に固有の投影面を設定して画像生成する方法について説明する。なお、仮想視 点画像生成装置 1の構成や、全体的な画像生成の処理手順は前記実施例 1 - 1で説 明した手順と同様であるので、詳細な説明は省略する。
[0186] まず、前記実施例 1一 1で説明したように、前記ステップ 501で仮想視点を決定し、 次の前記ステップ 502で被写体の画像を取得する。
[0187] 本実施例 1 - 3の画像生成方法では、次に行われる前記仮想視点画像を生成する ステップ 503の、投影面を決定するステップ 503において、前記カメラ毎に固有の投 影面群を設定する。
[0188] このとき、前記投影面群は、例えば、図 20に示すように、カメラ Ci (iei,
Hn-l,n,n+l，n+2})の画像面 Img (i≡l)に平行に、それぞれ固有の投影面群 Λ≡{L
I jej}を設定する。
[0189] 前記投影面群の設定が済んだら、次に、前記ステップ 503bの基準視点を決定する 処理において、前記投影面群 Λに固有の基準視点 Rを、カメラの視点 Cと同じ位置
i i i
に設定する。
[0190] 前記ステップ 503bが済んだら、次に、前記実施例 1一 1で説明したような手順で前 記ステップ 503cの処理を行う。そしてその次のステップ 503dでは、カメラで撮影した ディジタル画像の各画素を投影面上に逆投影し、投影面のテクスチャ配列の各画素 と対応づける。
[0191] ここで、ディジタル画像の点（u， V)と画像面上の点（X, y)への変換は、例えば、前 記数式 17で表され、（X, y)から 3次元空間中の投影面上の点（X, Υ, Z)への逆投 影は例えば以下のように数式化できる。
[0192] 一般に、 2次元の点 (X, y)が与えられたとき、前記数式 14及び前記数式 15を満た すような点 (X, Υ, Z)は 3次元中に無数にある力 そのうち投影面上にある点 (X, Y,
Z)が逆投影像である。
[0193] 投影面の式は一般的に aX + bY + cZ + d = 0と表現され、これをベクトル表現で書 き直すと、下記数式 36のようになる。
[0194] [数 36]
X
Y
[a b e d] = 0
Z
1 ここで前記数式 14及び前記数式 15、ならびに前記数式 36をまとめると、下記数式 37が得られる。
[0195] [数 37]
Figure imgf000049_0001
そこで、前記数式 37を (Χ， Υ， Ζ)について解くと (χ， y)から (X, Y, Ζ)への逆投影 像を求めることができる。ここで、例えば、前記数式 37の 4行 4列の行列が逆行列を 持つならば、 s'=l/sとおけば、前記逆投影像は下記数式 38で求められる。
[0196] [数 38]
Figure imgf000049_0002
Figure imgf000049_0003
なお、上記の例はあくまでも一例であり、レンズの収差 (例えば歪曲収差）を補正す るようなキャリブレーションを行うことも可能であるし、ディジタル画像の点（U， V)に対 応する投影面上の点（Χ， Υ， Ζ)をテーブルとして持つことも可能である。
[0197] その後、前記実施例 1-1で説明した手順で前記ステップ 503eから前記ステップ 50 3g間での処理を行う。そしてその次のステップ 503hの色情報を決定する処理では、 前記投影面群 Λ上の投影点は、カメラ Cで撮影した画像の色情報のみを用いて決 定する。
[0198] 本実施例 1-3で説明した前記ステップ 503dと前記ステップ 503hのようにすること で、カメラで撮影したディジタル画像をそのまま投影面のテクスチャ配列の色情報とし て用いることができる。
[0199] その後再び、前記ステップ 503iから前記ステップ 503ηまでは、前記実施例 1一 1と 同じ手順で処理を行う。そしてその次に、前記ステップ 503οのレンダリング手段にお いては、仮想視点 Ρから見て重なり合うすべての投影点について色情報の混合処理 を行う。このとき、例えば、図 20に示した例では、投影面群 Λ及び Λ 上の投影点 につレ、て、仮想視点 Ρを通る直線上で色情報の混合処理を行ってレ、る。
[0200] ここで、投影面 L上にある投影点を Τ、 Τでの色情報を Κ ,存在可能性情報を β として、前記実施例 1 - 1で前記数式 27として表された仮想視点 Pの画像面の色情報 は例えば以下のように決定される。
[0201] すなわち、画像面上のある画素 p* (u *， V *)の色情報 K *は、 Pと p*を結ぶ直線上に ある投影点列 {T * I i e ijej}の色情報 {K * I i e ijej}に対応する存在可能性情報
{ i3 Ί i e ijej}を係数とした重み付き平均値として決定され、下記数式 39となる。
[0202] [数 39]
M κ i≡I
。 = =l
-P M
に
U
ゾ =ι
以上説明したように、本実施例 1 - 3の仮想視点画像生成方法によれば、前記実施 例 1-1と同様に、部分的な画像の劣化が目立たない仮想視点画像を容易に、かつ 高速に生成することができる。
[0203] また、本実施例 1一 3のように、カメラ間の位置関係とは無関係にカメラ毎に固有の 投影面群を設定すれば、カメラの配置が複雑であったり不規則であったりしても、投 影面群の設定処理が影響を受けることはなぐ一貫した処理方法により画像生成が できる。
[0204] なお、本実施例 1 - 3で説明した仮想視点画像生成方法は一例であり、本実施例の 本旨とするところは、前記存在確率情報を透明度情報に変換して仮想視点画像を生 成することである。そのため、この主旨を大きく逸脱しない範囲において特定 の計算方法や処理手順に依存するものではない。
[0205] また、上記の色情報とは、白黒画像の場合には輝度情報に相当し、同様に処理す ることが可能である。
[0206] (第 1の実施の形態の効果）
第 1の実施の形態で説明した方法によれば、従来の方法のようにあらゆる場合及び あらゆる箇所で被写体の正確な幾何モデルを得ようとするのではなぐ被写体の撮影 条件や部位によっては距離推定で十分な信頼性を持つ推定値が得られないことを 前提とし、信頼性が低い推定値が得られた箇所については曖昧に描画して画像生 成への寄与を低くし、極端な画像の劣化を防止するとともに、信頼性が高い距離デ ータが得られた箇所については明瞭に描画して画像生成への寄与を高くする。その ため、推定の信頼性が低い箇所の画像の劣化が目立たなくなる。
[0207] また、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加 が生じるという問題を解決できる。また、基準視点と仮想視点が異なる場合、色情報 を計算したときに有効な色情報の範囲内に収まる保証がないので、補正処理が必要 となることがある力 本実施の形態で説明した方法ではこのような補正は不要である。 また、半透過の被写体も効率的に表現することができ、現実世界に存在する、より多 くの被写体に対して広く本発明を適用できる効果がある。また、カメラ間の位置関係と は無関係にカメラ毎に固有の投影面群を設定すれば、カメラの配置が複雑であった り不規則であったりしても、投影面群の設定処理が影響を受けることはなぐ一貫した 処理方法により画像生成ができる。
[0208] 更に、前記カメラ毎に固有の投影面群を設定した場合、投影面の色情報に関して は対応するカメラで撮影した画像間での混合処理が必要なレ、。そのため、例えば、 計算機（コンピュータ）で処理する際に並列処理が可能であり、画像生成の高速化が 可能である。
[0209] また、同じカメラに対応付けされている投影面群の色情報はすべて同じであるため 、計算機 (コンピュータ）で処理する際に、色情報を格納するテクスチャメモリを共有 できる。そのため、投影面の数ほどはメモリを消費することがなぐ画像生成に用いる 装置の負荷を低減することができる。更に、ある投影面に対応するカメラは一意に決 定されているため、両者の座標の対応関係をあら力、じめ設定しておくことで、レンズの 歪曲収差の補正などのキャリブレーションを容易にかつ高速に行うことができる。
[0210] また、複数枚の被写体の画像をもとに仮想視点画像を生成する装置の処理時間を 短縮する、あるいは装置に力、かる負荷を軽減することができ、普及型のパーソナルコ ンピュータでも部分的な劣化が少ない画像を短時間で生成させることができる。
[0211] [第 2の実施の形態]
以下、本発明の第 2の実施の形態について説明する。第 2の実施の形態は、主に 請求項 12—請求項 21に対応する実施の形態である。第 2の実施の形態における基 本的なしくみは第 1の実施の形態と同様である力 第 2の実施の形態では、カメラセッ トを複数組用意し、カメラセット毎に求めた相関度に基づき存在確率を算出する点に 特徴がある。なお、第 2の実施の形態を説明するための図において、同一機能を有 するものは、同一符号を付ける。
[0212] 第 2の実施の形態の画像生成方法は、視点が異なる複数枚の画像から、前記画像 に写っている物体の 3次元形状を取得し、前記物体の 3次元像を提示する画像、ある いは任意の視点から前記物体を見たときの画像を生成する方法である。このとき、前 記物体の 3次元形状は、テクスチャマッピングの手法を用い、多層構造の投影面を設 定して、前記観察者の視点から物体の表面上の各点までの距離を推定して求める。 前記物体の表面までの距離を推定するときには、例えば、前記観察者の視点から見 て重なり合う各投影面上の点（以下、投影点という）に対して、前記投影点と対応する 各画像上の点（以下、対応点という）の相関度を求める。そして、前記観察者の視点 力 見て重なり合う各投影点の相関度の高さから、前記重なり合う投影点のうち、どの 投影点の近傍に前記物体の表面が存在するか推定する。ただし、本実施の形態の 画像生成方法では、前記観察者の視点から見て重なり合う複数の投影点のうち、ど の投影点の近傍に前記物体の表面が存在するかということを考えるのではなぐ前記 各投影点の近傍に、前記各投影点の相関度の大きさに応じた割合で物体の表面が 存在すると考える。このとき、本発明の画像生成方法では、前記各投影点に対する 相関度から、前記各投影点もしくはその近傍に物体の表面が存在する確率 (以下、 存在確率という）を決定する。そして、前記被写体の 3次元形状に基づいて画像を生 成するときに、前記投影点の色情報を前記生成する画像上の各点の色情報に割り 当てるときに、前記存在確率の高さに応じた割合で割り当てる。このようにして、前記 投影面を観察してレ、る観察者から見て、前記物体表面までの距離の推定が難しレヽ部 分を曖昧に描画し、不連続なノイズ等を目立ちにくくする。
[0213] また、前記観察者の視点、もしくは物体の 3次元形状を取得するための基準視点か ら見て重なり合う複数の投影点について、物体表面の存在確率の確率密度分布をあ る程度想定できるのであれば、確率密度分布を反映したパラメータ関数 P (l)を用い て前記存在確率を求めてもよい。その場合、撮影した画像上のノイズ (雑音）の影響 による相関度のばらつきを低減でき、存在確率の信頼性の低下を防げる。
[0214] またさらに、ある投影点に対する相関度を、全ての画像上の対応点を用いて求める のではなぐあらかじめ定められていくつかの視点から撮影した画像上の対応点から 求めれば、例えば、ォクルージョン (遮蔽）により前記投影点上に物体の表面があつ ても写らない画像を取り除くことで、前記相関度の高さの信頼性が向上し、前記存在 確率の信頼性も向上する。
[0215] 図 21乃至図 28は、本実施の形態の画像表示方法の原理を説明するための模式 図であり、図 21は表示する画像の生成方法の概念を説明する図、図 22は図 21を 2 次元的に表現した図、図 23 (a)及び図 23 (b)は対応点の相関度の求め方を説明す る図、図 24 (a)及び図 24 (b)は対応点の相関度を求めるときに問題となる点を説明 する図、図 25は相関度を求めるときの問題を解決する方法を説明する図、図 26 (a) 及び図 26 (b)は存在確率の精度を向上させる方法の一例を説明する図、図 27 (a) , 図 27 (b)，及び図 28は本実施の形態の特徴を説明する図である。
[0216] 本実施の形態の画像表示方法では、表示する画像を生成するときに、まず、コンビ ユータ等の画像生成装置内に仮想的な 3次元空間を設定し、前記 3次元空間上に、 前記物体の画像を撮影したカメラの視点〇^=1,2 '， 、及び物体の 3次元形状を 推定する多層構造の投影面 L (j=l，2，一，M)を設定する。このとき、前記カメラがある 1 本の直線上に並んでいるとすれば、前記視点 Cは、例えば、図 21及び図 22に示す ように、 X軸 (Z = 0)上に設定する。また、前記投影面 Lは、例えば、図 21及び図 22 に示すように、 XY平面に平行な平面を、 Z =l (< 0)に設定する。
[0217] このとき、図 21及び図 22に示したように、観察者の視点 Pから引いた直線 lpとある 投影面 Lの交点（投影点) Tに物体の表面があれば、その点は、前記視点 Cに設置
m m l したカメラで撮影した画像上の点（対応点） G に写るはずである。同様に、前記投影
i,m
点 τに物体の表面があれば、その点は、前記視点 C ， C に設置したカメラで撮影 m i+1 i+2
した画像上ではそれぞれ、対応点 G ， G に写るはずである。そのため、前記投
1+1, m 1+2, m
影点 Tに対する前記各画像上の対応点 G , G , G の相関度 (類似度）がわか m i,m i+l,m i+2,m
れば、前記投影点 T上もしくはその近傍に物体の表面が存在するかどうか推定する
m
こと力 Sできる。そして、このような推定を、前記観察者の視点 Pから引いた直線 lp上の 各投影点 Tに対して行えば、前記観察者の視点 Pから引いた直線 lp上では、物体の
J
表面がどの投影点 T (投影面 L )の近傍にあるか推定できる。
[0218] 前記観察者の視点 Pから引レ、た直線 lp上で、物体の表面がどの投影点 T (投影面 L )の近傍にあるか推定するときには、例えば、前記投影点 Tと対応する各対応点 G j J "J の相関度 Qを用いる。前記相関度 Qは、例えば、第 1の実施の形態と同様に、下記 数式 40を用いて求める。
[0219] [数 40]
Figure imgf000054_0001
ここで、 Iは各カメラの視点 C (ί=1，2,· · ·,Ν)のうち画像面上に前記投影点 Tに対する
1 J
対応点 G を定義できる視点 Cの組み合わせ、 Kは各対応点 G の色情報、 Kは投影
1 1 IJ i，J J 点 Tの色情報で前記各対応点 G の色情報 Kの平均値とする。
J i.J IJ
[0220] このとき、設定した投影面 Lに、実際の物体の表面形状を重ね合わせると、例えば 、図 23 (a)のようになる場合を考えてみる。このとき、前記観察者の視点 Pから引いた 直線 lp上の投影点 Tのうち、前記カメラの視点 C , C , C から見える物体表面に最
j i i+1 i+2
も近い投影点は投影点 Tmである。そのため、前記投影点 Tに対する対応点 G ， G ， G のそれぞれに写っている物体表面上の点は、図 23 (a)に示したように、非 i+1'm i+2,m
常に近い位置関係にある。一方、例えば、投影面 Tに対する対応点のそれぞれに写
2
つている物体表面上の点は、離れた位置関係にある。その結果、前記数式 40を用い て、前記直線 lp上の各投影点 Tの相関度 Qを求めると、図 23 (b)に示すように、前記
J J
投影点 Tの相関度 Qだけが非常に小さな値となる。そのため、前記観察者の視点 Ρ m m
力、ら前記直線 lpの方向を見たときに、物体の表面は、前記投影点 T、すなわち前記
m
投影面 Lが設定されている距離 1の位置にあると推定できる。
m m
[0221] そこで、前記観察者の視点 Pから様々な方向に直線 lpを引き、各直線 lp上の投影 点 Tに対して、同様の処理を繰り返せば、前記画像に写っている物体の表面形状を
J
推定すること力 Sできる。
[0222] ただし、このような推定方法が有効である、すなわち推定した物体の表面形状の信 頼性が高いのは、図 23 (a)及び図 23 (b)に示したように、実際の物体の表面形状が 比較的単純な場合だけであり、物体の形状が複雑であったり、複数の物体が観察者 の視点 Pから見て重なっている場合には、推定した物体の表面形状の信頼性が低く なる。
[0223] ここで、推定した物体の表面形状の信頼性が低くなる例として、 2個の物体が観察 者の視点 Pから見て重なっており、設定した投影面 Lと、 2個の物体の表面形状を重 ね合わせると、例えば、図 24 (a)のようになる場合を考えてみる。このとき、図 24 (a) におレ、て破線で示してレ、る観察者の視点 Pから引レ、た直線 lp上の投影点 Tに対して 相関度 Qを求めれば、例えば、図 23 (b)に示したような分布になると考えられる。そ のため、前記直線 lpの付近では、推定した物体 Aの表面形状の信頼性が高いと考え られる。
[02241 ところ力 例えば、図 24 (a)において実線で示している観察者の視点 Pから引いた 直線 lp'上の投影点 T' に対して相関度 Q' を求める場合、視点 Cから撮影した画像
m m I
の対応点 G' には物体 Bの表面が写っており、前記視点 C , C から撮影した画
i,m Iナ l,m i+2,m 像の対応点 G' , G' には物体 Aの表面が写っている。このような場合、前記数式
40から求めた相関度 Q' は大きくなつてしまう。その結果、前記直線 lp'上の投影点 T
'の相関度 Q'の分布は、図 24 (b)に示したようになり、どの投影点 Tの近傍に物体の 表面があるか推定することが難しい。このとき、図 23 (b)に示したような分布の場合と 同様に、相関度 Q'が最も小さい投影点 T'の近傍に物体の表面があると推定すると、 その推定が誤りであった場合、表示する画像上に不連続なノイズとなって現れてしま う。
[0225] そこで、本実施の形態の画像表示方法では、例えば、前記相関度 Qが最も小さレ、 投影点 Tもしくはその近傍に物体の表面があるという推定をせず、各投影点 Tに、前 記相関度 Qの大きさの割合に応じた確率で物体の表面が存在すると考える。このとき
、前記投影点 Tもしくはその近傍に物体の表面が存在する確率 (存在確率)を とす ると、前記観察者の視点 Pから引いた直線 lp上の投影点、すなわち前記観察者の視 点 Pから見て重なり合う投影点 Tの存在確率 は、下記数式 41及び数式 42のような 条件を満たすことが必要である。
[0226] [数 41]
0 < ≤1
[0227] [数 42]
M =1
さらに、投影点 τのうち、物体表面が存在する確率が高い投影点ほど、前記存在確 率/^が 1に近い値をとるようにするためには、前記各投影点 Tの相関度 Qに対して、 例えば、下記数式 43及び数式 44で表される変換処理を行って、前記各投影点丁の 存在確率 βを決定する。 [0228] [数 43]
1
Figure imgf000057_0001
[0229] [数 44]
ただし、前記存在確率 は、前記数式 41及び数式 42の条件を満たしていればよ レ、。そのため、前記存在確率 は、前記数式 43及び数式 44で表される変換処理以 外の方法で決定してもよい。
[0230] このような処理により、前記各投影点 Tもしくはその近傍に物体の表面が存在する 確率 /3を決定すると、例えば、図 25に示すように、前記観察者の視点 Pから引いた ある直線 lp上の各投影点 Tに対する色情報 K及び存在確率 βが決定する。
[0231] こうして推定した物体の 3次元形状を用いて、例えば、輝度変調型の DFDに前記物 体の 3次元像を表示する場合は、複数の表示面のうちの、前記各投影点 Τに相当す る画素を、色情報 K，前記存在確率 /3に応じた輝度で表示する。こうすると、前記直
J
線 lp上の各投影点 Tの相関度 Q力 例えば、図 23 (b)に示したように、ある投影点 T の相関度 Qの値だけ、他の相関度の値と著しく異なる場合、その投影点 Tの存在 m m m 確率 /3 だけが大きな値をとる。そのため、前記投影点 Tに相当する画素の輝度だ m m
けが大きくなり、前記観察者の視点 Pから前記投影面 Lを見ている観察者の見た目 に明瞭にうつる。
[0232] 一方、前記直線 lpの各投影点 Tの相関度 Q力 例えば、図 24 (b)に示したようにな り、どの投影点 Tの近傍に物体の表面があるか推定することが難しい場合、同程度の 存在確率になる投影点が複数個現れる。そのため、複数の投影面 上の投影点 ηに 相当する画素が同程度の輝度で表示され、前記観察者の視点 Pから前記投影面 L を見ている観察者の見た目には、距離感が曖昧にうつる。し力 ながら、観察者の視 点 Pから見て重なる複数の投影点に物体の表面像を表示するので、物体表面までの 距離の推定を誤ることで生じるような不連続なノイズにはならなレ、。そのため、表示す る物体の正確な 3次元形状を求めなくても、観察者の見た目に自然な物体の 3次元 像を表示することができる。
[0233] また、前記手順で推定した物体の 3次元形状を用いて、任意の視点から前記物体 を見たときの二次元画像 (任意視点画像)を表示する場合には、例えば、前記観察 者の視点 Pから引いた直線 lp上の各投影点 Tの色情報 Kを前記存在確率 βの割合
J J
で混合した色情報を、前記直線 lpと表示する画像の画像面との交点の色情報とすれ ばよい。
[0234] また、前記存在確率 βを決定するときに、物体の表面が存在する確率の確率密度
J
分布をある程度想定することができるのであれば、前記数式 43及び数式 44で決定し た前記各投影点 Tの存在確率 j3に、前記物体の形状分布に基づいた統計処理を 行うことで、前記各視点 Cで撮影した画像のノイズ (雑音）による推定の誤差を低減す ること力 Sできる。ここで、前記統計処理を行う前の存在確率と処理を行ったあとの存在 確率を区別するために、前記統計処理を行う前の存在確率、すなわち前記数式 43 及び数式 44から求めた存在確率 βを、評価基準値 Vとする。そして、前記評価基 準値 Vに対して統計処理を行ったあとに得られる値を存在確率 とする。
[0235] 前記数式 43及び数式 44から求めた評価基準値 Vに対して行う統計処理では、ま ず、例えば、図 26 (a)に示すように、前記評価基準値 Vの分布に、物体の存在確率 の確率密度分布を当てはめ、存在確率の分布関数 p (l)を求める。このとき、前記確 率密度分布が、例えば、正規分布 (ガウス分布）に従うとすれば、前記存在確率の分 布関数 p (l)は、下記数式 45のように表すことができる。
[0236] [数 45]
Figure imgf000059_0001
ここで、 μは平均値、 σは分散を表すパラメータであり、前記評価基準値 Vを用レ'
J
て、下記数式 46及び数式 47のように推定することができる。
[0237] [数 46]
M
μ =∑β
[0238] [数 47]
Figure imgf000059_0002
こうして存在確率の分布関数 ρ (1)を求めたら、例えば、下記数式 48を用いて、前記 存在確率 βを決定する。
J
[0239] [数 48]
Figure imgf000059_0003
ここで、 1—及び 1 +は、図 26 (b)に示すように、距離 1にある投影面 Lに物体の表面が 存在するとみなす距離の下限値及び上限値であり、例えば、下記数式 49及び数式 5 0で与える。
[0240] [数 49]
一 ^-i /丁 =—00
2
[0241] [数 50]
+ 一 + j+ =
- 2 ' M 前記数式 45から数式 50の関係を用いて求めた前記存在確率 Vに基づいて、前 記 DFDに物体の 3次元像を表示したり、任意の視点から見た 2次元画像を表示したり することで、もとの画像、すなわち前記視点 Cから前記物体を撮影した画像のノイズ の影響を低減した画像を表示することができる。
[0242] また、例えば、図 24 (a)及び図 24 (b)に示したように、物体のォクルージョン (遮蔽） により、ある投影点 Tに対する対応点 G の中に、他の対応点とは異なる物体がうつつ
J i.J
ているような場合、その対応点を除外して相関度 Qを求めれば、比較的信頼性の高
J
い推定をすることができると考えられる。ここで、図 24 (a)のような場合を考えてみると 、レ、ままで説明した方法では、前記観察者の視点 Pから引いた直線 lp'上の投影点 T' の相関度 Q' を求めるときに、前記物体 Aの表面でなぐ物体 Bの表面がうつってい m m
る対応点 G も用いて求める。そのため、前記数式 40から求めた相関度 Q' は大きく
i,m m
なり、前記直線 lp'で物体の表面が存在する距離を推定することが難しかった。
[0243] そこで、例えば、図 27 (a)に示すように、前記物体 Bの表面がうつっている対応点 G
を除外して前記投影点 Tに関する相関度 Qを求める。このとき、図 27 (a)に示した l'm m m
例では、前記投影点 Tに対する対応点 G ， G を用いて相関度 Qを求めること
m 十 l,m i+2,m m
になる。こうすると、前記対応点 G , G には、前記物体 Aの表面の非常に近い点
i+1'm i+2,m 力 Sうつっているので、前記数式 40から相関度 Q 'を求めれば、図 27 (b)に示すように 、投影点 T' の相関度 Q'だけが他の投影点の相関度よりも小さいような分布になる。 そのため、ォクルージョンの影響を低減し、実際の物体の表面形状に近い 3次元形 状を推定することができる。
[0244] またこのとき、前記相関度 Qを求めるための対応点 G (視点 C )の組み合わせ Ξを 何通りか設定しておき、前記観察者の視点 Ρから引いたある直線 lp上の各投影点 τ の相関度 Qを、全ての組み合わせ Ξの場合について求め、その結果を統合して、最 終的な存在確率を求める。一般に、対応点 G (視点 C )の組み合わせを Ξ (h G H)と
"J 1 h し、前記各組み合わせ Ξ を用いて求めた前記直線 lp上の存在確率の分布関数を p h
(1)、前記各分布関数 p (1)から求めた存在確率を β とすれば、統合された存在確 h j,h
率 /3は下記数式 51から求めることができる。
[0245] [数 51]
Figure imgf000061_0001
また、前記投影点 Tの色情報 Kは、例えば、前記組み合せ組み合わせ Ξ 毎に求 j j h めた色情報 K 及び存在確率 から、例えば、下記数式 52を用いて決定できる。
J，h
[0246] [数 52]
Figure imgf000061_0002
すると、例えば、図 28に示すように、ある組み合わせ Ξで求めた物体表面まで の距離の推定の信頼性が高く明瞭なピークが現れる分布関数 p (1)が、別の組み合
h
わせ S で求めた物体表面までの距離の推定の信頼性が低い分布関数 p (1)の影響 h'
を受けにくい。そのため、全体として前記観察者の視点から表示する物体上の各点 までの距離の推定の信頼性が向上する。
[0247] (実施例 2— 1)
図 29乃至図 34は、本発明による実施例 2— 1の画像生成方法を説明するための模 式図であり、図 29は全体的な処理手順の一例を示すフロー図、図 30は図 29におけ る投影点の色情報及び存在確率を決定するステップの処理手順の一例を示すフロ 一図、図 31は図 30における存在確率を決定するステップの一例を示すフロー図、図 32はカメラセットの設定例を示す図、図 33，図 34 (a) ,及び図 34 (b)は投影面の情 報を表示面の情報に変換する方法を説明する図である。
[0248] 本実施例 2 - 1の画像生成方法は、複数の視点から撮影した画像を用いて、前記画 像に写っている物体の 3次元形状を取得し、取得した前記物体の 3次元形状に基づ いて、例えば、 DFDのように複数の画像表示面を持つ画像表示手段の各画像表示 面に表示する 2次元画像を生成する方法である。
[0249] 前記画像生成方法は、例えば、図 29に示すように、視点 Cから撮影した物体の画 像を取得するステップ 1と、観察者の視点 Pを設定するステップ 2と、前記物体の 3次 元形状を取得するステップ 3と、取得した 3次元形状を表現する投影面上の点（投影 点）の色情報及び存在確率を画像表示面上の点（表示点）の色情報及び存在確率 に変換して前記画像表示面に表示する 2次元画像を生成するステップ 4と、画像表 示面上の表示点を色情報，存在確率に応じた輝度または透明度で表示させるステツ プ 5とを有する。
[0250] また、前記ステップ 3は、例えば、図 29に示すように、多層構造の投影面 Lを設定 するステップ 301と、物体の 3次元形状を取得するための基準視点を決定するステツ プ 302と、前記基準視点から見て重なる各投影面 L上の投影点 Tの組でなる投影点
J
列及び前記投影点列の各投影点 Tに対応する取得した各画像上の対応点 G を設 定するステップ 303と、前記各投影点 Tの相関度 Qを求めるための視点 Cの組み合
I
わせ（以下、カメラセットという） Ξを決定するステップ 304と、前記投影点 Tの色情報 及び存在確率を格納する配列を確保するステップ 305と、前記投影点 Tの色情報及 び存在確率を決定するステップ 306とを有する。
[0251] また、前記ステップ 306は、例えば、図 30に示すように、前記投影点列を初期化す るステップ 30601と、前記カメラセット Ξ及び投票データを初期化するステップ 3060
2と、前記投影点列上の投影点 Tを初期化するステップ 30603と、前記投影点丁の 色情報を決定するステップ 30604と、前記投影点 Tに対する対応点 G のうち、前記
J
カメラセット Ξ の組み合わせに含まれる対応点を用いて相関度 Q を算出するステツ
h j,h
プ 30605と、処理の対象となっている投影点列上の全ての投影点 Tに対して前記ス
j
テツプ 30604及びステップ 30605の処理を繰り返し行わせるステップ 30606と、前 記カメラセット Ξで求めた各相関度 Q を投票するステップ 30607と、カメラセット Ξ
h j,h h を更新し、全てのカメラセットで前記ステップ 30604力もステップ 30607までの処理を 繰り返し行わせるステップ 30608と、前記ステップ 30607で投票した相関度 Q に基
],h づいて前記各投影点 Tの存在確率を決定するステップ 30609と、投影点列を更新し
J
、全ての投影点列に対して前記ステップ 30602からステップ 30609までの処理を繰 り返し行わせるステップ 30610とを有する。
[0252] またさらに、前記ステップ 30609は、図 31に示すように、カメラセット S を初期化す h
るステップ 30609aと、前記カメラセット Ξを用いて求めた相関度 Q から評価基準値 h j'h
を算出するステップ 30609bと、前記評価基準値 v の統計処理により存在確率
J>h j,h
の分布関数 p (1)を決定するステップ 30609cと、前記存在確率の分布関数から、前 h
記各投影点 Tの存在確率 を決定するステップ 30609dと、前記カメラセット Ξを j j,h h 更新し、前記ステップ 30609bからステップ 30609dまでの処理を繰り返し行わせるス テツプ 30609eと、前記各カメラセット Ξで求めた存在確率 j3 を統合して、前記各 h j,h
投影点 Tの存在確率 j3を決定するステップ 30609fとを有する。
[0253] 本実施例 2 - 1の画像生成方法を用いて、例えば、前記 DFDの各画像表示面に表 示する 2次元画像を生成するときには、まず、複数の異なる視点 C (i=l,2,〜，N)に設 置したカメラで物体を撮影した画像を取得する (ステップ 1)。このとき、前記視点 Cは
I
画像を撮影するカメラの設置位置とし、例えば、図 21に示したように、ある 1つの直線 上に 1次元的に並んでいるとする。またこのとき、前記カメラの視点 Cは、ある 1つの直 線上に限らず、複数の直線上あるいは曲線上に 1次元的に並んでいてもよい。また、 1次元的ではなぐ平面上あるいは曲面上に 2次元格子状に並んでいてもよい。また このとき、取得する画像は、カラー画像であっても、白黒画像であってもよいが、本実 施例 2—1では、画像上の各点（画素）が赤 (R) ,緑 (G)，青（B)の 3原色を用いた色 情報で表現されるカラー画像を取得するとして説明する。
[0254] 次に、コンピュータ等の画像生成装置上の仮想空間に、 DFDに表示する物体の 3 次元像 (画像）を観察する観察者の視点 Pを設定する (ステップ 2)。
[0255] 次に、前記画像を生成するために用いる、物体の 3次元形状を取得する（ステップ 3 )。前記ステップ 3では、まず、前記仮想空間上に、前記物体の 3次元形状 (表面形状 )を推定するための投影面 Lを設定する（ステップ 301)。このとき、前記投影面 Lは、
J
例えば、図 21に示したように、 XY平面と平行な平面として設定する。またこのとき、 前記投影面 Lの設定間隔は、例えば、画像を表示する DFDの画像表示面の間隔と 一致させてもよいし、一致させなくてもよい。
[0256] 次に、前記物体の 3次元形状を取得するための基準視点を決定する（ステップ 302 )。前記基準視点は、例えば、観察者の視点としても良いし、観察者の視点以外の 3 次元空間上の任意の点に決定しても良い。
[0257] 次に、前記観察者の視点 Pあるいは基準視点から見て重なる各投影面 L上の投影 点 Tの組でなる投影点列、及び前記各投影点 Tと対応する前記取得した画像上の 対応点 G を設定する (ステップ 303)。
i'J
[0258] このとき、前記投影点 Tは、前記仮想空間（3次元空間）上の点 (Χ， Υ , Z )で表さ れ、視点 Cから撮影した画像の画像面上に 2次元の xy座標系を考えると前記対応点 G の座標は (X， y )で与えられる。このとき、前記対応点 G の座標 (X , y )は、前 'J 'J 'J "J 記投影点 (X， Y， Z )を前記視点 C力も撮影した画像の画像面上に射影して求める
。この射影は、第 1の実施の形態で説明した一般的な 3行 4列の変換行歹を用いれ ばよい。
[0259] また、コンピュータのような画像生成装置を用いる場合、扱う画像はいわゆるデイジ タル画像であり、装置のメモリ上の 2次元配列で表現されている。以下、前記配列の 位置を表す座標系をディジタル画像座標系といい、その位置は (u, V)で表す。ここ で、例えば、横 640画素，縦 480画素のディジタル画像を考えると、前記ディジタル画 像上の各画素の位置は、 0から 639までの整数値のいずれかをとる変数 uと、 0から 479 までの整数値のいずれかをとる変数 Vにより示される。そして、その点の色情報は、そ のアドレスでの赤 (R)，緑 (G) ,青（B)の情報を 8ビット等に量子化したデータで与え られる。
[0260] このとき、 3次元の仮想空間内での前記対応点 G の座標 (X , y )と、前記ディジタ
，
ル画像座標系（u， V)は、 1対 1で対応付けされ、例えば、数式 53のような関係を持つ
[0261] [数 53]
K -ku cote u0 x
0 k sinO v0 y
0 0 1 1
Figure imgf000065_0001
なお、前記数式 53は、例えば、ディジタル画像座標系の u軸を、 X軸と平行にとって レ、るとする。また前記数式 53において、 k , kはそれぞれ、仮想空間上の（X, y)座標 系を基準にした前記ディジタル画像座標系の u軸と V軸の単位長、 Θは u軸と V軸のな す角である。
[0262] そこで、前記ステップ 303では、前記投影点 Tの座標（X , Υ , Z )と前記ディジタノレ 画像座標 (u , V )の対応付けを行う。この対応付けは、たとえば全ての (U , V )に対 して（X , Υ , Ζ )の値をテーブルとして与えてぉレ、てもよレ、し、代表的な（u , V )に対 してのみ (X , Y , ζ.)の値を設定し、その他の点は、例えば、線形補完等の補完処理 で求めてもよい。
[0263] また、前記ディジタル画像座標系では (u, V)は離散値をとる力 以下の説明では、 断りのない限り連続値をとることとし、前記 2次元配列へアクセスするときに適当な離 散化処理を行うものとする。
[0264] 前記ステップ 303の処理が済んだら、次に、相関度 Qを求めるときに用いるカメラの 視点 Cの組み合わせ (カメラセット） Ξ を決定する（ステップ 304)。ここで、例えば、視 点〇i、すなわちカメラが、図 32に示すように、 3X3の格子状に設置されているとすれ ば、前記カメラセット Ξ は、例えば、 Ξ ={C , C , C, C }， Ξ ={C , C , C, C }
h 1 1 2 3 5 2 3 5 6 9
, Ξ ={C , C , C , C }, Ξ ={C , C , C , C }の 4つに決定する。
3 5 7 8 9 4 1 4 5 7
[0265] なお、前記カメラセット Ξ の決定方法は任意であり、図 32に示した例では、 Ξ ， Ξ
h 1 2
, Ξ ， Ξだけに限らず、他のカメラセットを用意してもよい。またこのとき、前記カメラ
3 4
セット Ξ は、前記カメラ (視点 C)の設置状況に合わせてあらかじめ用意しておいても h i
よいし、観察者が指定してもよい。
[0266] 前記ステップ 304の処理が済んだら、次に、例えば、前記画像生成装置のメモリ（ 記憶手段)上に、前記投影点 Tの色情報 K及び物体が存在する確率 /3の情報を格
J J J
納する配列を確保する（ステップ 305)。このとき、情報を格納する配列は、前記投影 点 Tの各情報 Κ， βは、例えば、赤 (R),緑 (G),青（Β)の色情報及び物体が存在
J J J
する確率を、例えば、 8ビットずつ持たせるような配列を確保する。
[0267] 前記ステップ 305の処理が済んだら、次に、前記取得した複数枚の画像を用いて、 前記各投影点 Tの色情報及び物体が存在する確率を決定する（ステップ 306)。前
J
記ステップ 306では、例えば、ある投影点列に対して、指定したカメラセット Ξ を用い h て前記投影点列上の各投影点 Tの色情報 K 及び相関度 Q を求める処理を行い、
J J，h J，h
その処理を全てのカメラセット Ξで繰り返すという処理を行う。そして、その処理を全 h
ての投影点列に対して繰り返し行う。
[0268] そこで、前記ステップ 306では、まず、図 30に示すように、投影点列を初期化する（ ステップ 30601)。
[0269] 次に、カメラセット S及び相関度の投票データを初期化する（ステップ 30602)。
h
[0270] 次に、処理の対象となっている投影点列上の投影点 Tを初期化し、例えば、 j=lとす る（ステップ 30603)。
[0271] 次に、選択されているカメラセット Ξ に含まれる対応点 G の色情報から、前記投影 h i,i
点 Tの色情報 K を決定する（ステップ 30604)。このとき、前記投影点 Τの色情報 Κ
J j.h j は、例えば、前記カメラセット Ξ に含まれる対応点 G の色情報 Κの平均値にする
[0272] 次に、前記投影点 Τと、前記選択されているカメラセット Ξ に含まれる対応点 G の 相関度 Q を算出する（30605)。このとき、前記相関度 Q は、例えば、前記数式 40
J，h J，h
を用いて算出する。
[0273] 次に、投影点 Tを更新し、処理の対象となっている投影点列上の全ての投影点で 前記ステップ 30604及びステップ 30605の処理を行ったか判定する（ステップ 3060 6)。ここで、前記ステップ 30604及びステップ 30605の処理を行っていない投影点 があれば、前記ステップ 30604に戻って、処理を繰り返す。
[0274] 処理の対象となってレ、る投影点列上の全ての投影点で前記ステップ 30604及びス テツプ 30605の処理を行ったら、その結果、すなわち選択されたカメラセット Ξ に含 h まれる対応点 G力 求めた色情報 K 及び相関度 Q を投票する（ステップ 30607) ，J j.h j,h
[0275] 前記ステップ 30607の処理が済んだら、次に、前記カメラセット Ξ を更新し、処理 h
の対象となっている投影点列に対して、前記ステップ 30604からステップ 30607まで の処理を行っていないカメラセットがあるか判定する（ステップ 30608)。ここで、前記 ステップ 30604力 ステップ 30607までの処理を行っていないカメラセットがあれば、 前記ステップ 30603に戻って、処理を繰り返す。
[0276] 処理の対象となっている投影点列に対して、全てのカメラセット Ξで、前記ステップ h
30604力らステップ 30607までの処理を行ったら、前記ステップ 30607で投票した 色情報 K 及び相関度 Q から、投影点 Tの色情報 K及び存在確率 を決定する（
J，n j，h J J J
ステップ 30609)。
[0277] 前記ステップ 30609では、例えば、図 31に示すように、まず、カメラセット Ξ を初期 化する（ステップ 30609a)。
[0278] 次に、カメラセット Ξ を用いて算出した各投影点 Tの相関度 Q から、例えば、評価 基準値 V を算出する（ステップ 30609b)。前記評価基準値 V は、例えば、前記数
J>h j,h 式 43及び数式 44で表される変換処理で求める。
[0279] 次に、前記評価基準値 V の統計処理を行レ、、前記カメラセット Ξ を用いた場合の j,h h
存在確率の分布関数 p (1)を求める (ステップ 30609c)。前記分布関数 p (1)は、例 h h えば、前記数式 45,数式 46，数式 47を用いて求める。
[0280] 次に、前記カメラセット Ξ を用いた場合の存在確率の分布関数 p (1)から、前記カメ ラセット S を用いた場合の各投影点 Tに物体の表面が存在する確率 (存在確率） 13 h j
を決定する（ステップ 30609d)。前記存在確率 β は、例えば、前記数式 48,数式
49,数式 50を用いて求める。
[0281] 次に、前記カメラセット Ξ を更新し、処理の対象となっている投影点列に対して、前 記ステップ 30609b力 ステップ 30609dまでの処理を行ってレヽなレ、カメラセット Ξが あるか判定する（ステップ 30609e)。ここで、前記ステップ 30609b力らステップ 3060 9dまでの処理を行っていないカメラセット Ξがあれば、前記ステップ 30609bに戻つ て、処理を繰り返す。
[0282] 処理の対象となっている投影点列に対して、前記ステップ 30609bからステップ 30 609dまでの処理を行ったら、その処理結果を統合して、前記投影点 Tの色情報 K j 及び存在確率 /3を決定する（ステップ 30609f)。このとき、前記色情報 Kは、例えば
J
、前記数式 52を用いて求める。また、前記存在確率 /3は、例えば、前記数式 51を用 j
いて求める。
[0283] 前記ステップ 30609fの処理が終了すると、前記ステップ 30609の処理が終了する 。そして次に、投影点列を更新し、前記ステップ 30602からステップ 30609までの処 理を行っていない投影点列があるか判定する（ステップ 30610)。ここで、前記ステツ プ 30602からステップ 30609までの処理を行っていない投影点列があれば、ステツ プ 30602に戻って、処理を繰り返す。
[0284] 全ての投影点列に対して、前記ステップ 30602からステップ 30609までの処理を 行ったら、前記ステップ 306 (ステップ 3)の処理が終了し、前記物体の 3次元形状を 取得すること力 Sできる。
[0285] 前記ステップ 3の処理が終わり、前記物体の 3次元形状が得られたら、次に、前記 物体の 3次元形状に基づいて、前記 DFDの各画像表示面上に表示する 2次元画像 を生成する。前記 2次元画像を生成するときには、例えば、図 33に示すように、前記 物体の形状を取得した仮想空間上に前記 2次元画像を生成するための画像生成面 LD (r=l,2,— ,R)を設定する。
[0286] ここでまず、例えば、図 33に示すように、前記投影面 Lの設定枚数及び間隔と前記 画像生成面 LDの数及び間隔が一致する場合を考える。この場合、前記画像生成 面し の表示点 の色情報 KDh及び存在確率 γ I 前記表示点 と一致する投影 点 Τの色情報 Κ及び存在確率 βとすればょレ、。
[0287] また、前記投影面 Lの設定間隔は、前記画像生成面 LDの設置間隔と一致させる 必要はなぐ前記投影面 Lの設定枚数と前記画像生成面 LDの設定枚数を一致させ る必要もない。つまり、前記投影面 Lの設定の仕方によっては、例えば、図 34 (a)に 示すように、前記投影面 Lの設置間隔と前記画像生成面 LDの設置間隔が一致して レ、ない場合もある。このような場合、前記観察者の視点 Ρから引いた直線 lrと前記各 画像生成面 LDの交点（表示点） Aの色情報 KD及び存在確率 γ は、次のような手 順で求める。
[0288] まず、前記各表示点 Αの色情報 KDは、例えば、前記直線 lp上の投影点 Tであり、 その表示点 A (画像生成面 LD )が最も近い表示点（画像生成面）となる投影点丁の 色情報 Kの平均値にする。このとき、前記表示点 Aの色情報 KDは、平均値の代わ りに、前記表示点 A力 もっとも近い投影点 Tの色情報 Kとしてもよい。
[0289] 一方、前記各表示点 Aの存在確率 Ί は、その表示点 Α (画像生成面 LD )が最も 近い表示点（画像生成面）となる投影点 Tの存在確率 βを足し合わせた値とする。こ のとき、ある画像生成面 LDが最も近い画像生成面となる投影面 Lの集合を {L I }≡ R}とおくと、前記画像生成面 LD上の表示点 Αの存在確率 γ は、前記各投影面 L
r r h j の投影点 Tの存在確率 を用いて、下記数式 54で与えることができる。
[0290] [数 54]
Figure imgf000069_0001
ここで、図 34 (a)に示した場合を考えると、前記画像生成面 LDが最も近い画像生
1
成面になるのは、投影面 L， L , Lである。そのため、前記表示点 Aの色情報 KDは
1 2 3 r r
、例えば、投影点 T， T， τの色情報 κ , κ , Kの平均値にする。また、前記表示点
1 2 3 1 2 3
Aの存在確率 γ は、前記投影点 Τ , Τ， Τの存在確率 /3 ， β ， β の和にする。同 r r 1 2 3 1 2 3 様に、前記画像生成面 LD上の表示点 Aの色情報 KDは、例えば、投影点 Τ , T
2 2 2 4 5 の色情報 Κ , Kの平均値にする。また、前記表示点 Aの存在確率 γ は、前記投影
4 5 2 2
点 Τ , Τの存在確率 ， β の和にする。
4 5 4 5
[0291] また、例えば、図 34 (b)に示すように、前記画像生成面 Dの設置間隔と前記投影 面 Lの設定間隔が異なり、 2枚の連続した画像生成面 LD , LDの間に 2枚の投影面 j 1 2
L , Lが設定されている場合、前記各画像生成面 LD， LDの表示点 A , Aの存在
1 2 1 2 1 2 確率 γ ， γ は、前記各投影面 Lの投影点 Τの存在確率 を、前記投影点 Τから各
1 2 ] ]' ] ] 画像生成面 LD , LDまでの距離の比に応じて分配してもよい。このとき、一般に、前
1 2
記画像生成面 LD , LDの間に複数枚の投影面 Lの集合を {L とすると、前
1 2 j j I jej}
記画像生成面 LD上の表示点 Aの存在確率 Ί は、前記各投影点 Τの存在確率 β を用いて、下記数式 55で与えることができる。
[0292] [数 55]
Figure imgf000070_0001
jら J
ここで、 w は、投影面 Lの画像生成面 LDに対する寄与の度合いを表す係数であ る。
[0293] ここで、例えば、図 34 (b)に示すように、 2枚の画像生成面 LD , LDの間に、投影
1 2
面し， Lが設定されている場合を考える。このとき、投影面 Lから前記各画像生成面
1 2 1
LD , LDまでの距離がそれぞれ B , Bであれば、前記投影面 Lの前記各画像生成
1 2 1 2 1
面 LD , LDに対する寄与の度合い w , w はそれぞれ、下記数式 56で与えられる
1 2 1,1 1,2
[0294] [数 56] 1,1
B, + B2 Bx + B2
同様に、投影面 Lから前記各画像生成面 LD， LDまでの距離がそれぞれ B， B
2 1 2 3 4 であれば、前記投影面 Lの前記各画像生成面 LD , LDに対する寄与の度合い w
2 1 2 2,
, w はそれぞれ、下記数式 57で与えられる。
2,2
[0295] [数 57]
B4 B3
B, + BA ， B3 + Bt
この結果、前記画像生成面 LDの表示点 Aの存在確率 γ 、及び前記画像生成面
1 1 1
LDの表示点 Αの存在確率 γ はそれぞれ、下記数式 58のようになる。
2 2 2
[0296] [数 58]
= u A + w2tl A， ϊι = wi A + ¾2 βι
以上のような手順により、前記ステップ 4の処理を行うことで、前記 DFDの各画像表 示面に表示する 2次元画像が得られる。そして、 DFDの各画像表示面上の点（画素） を、前記各画像生成面 LD上の各点に割り当てられた色情報 Αで表示させる（ステツ プ 5)。このとき、前記 DFDが輝度変調型であれば、前記各画像生成面 LDの各表示 点 Aの色情報 KDを、前記存在確率 γ に応じた輝度で表示させればよい。また、前 記 DFDが透過型の場合は、例えば、各表示点 Αの透過度を前記存在確率 Ύ に応じ た透過度に設定して表示すればよい。
[0297] このように、図 29に示したステップ 1からステップ 5の処理を行って、前記 DFD物体 の 3次元像を表示した場合、前記原理のところで説明したように、物体の正確な 3次 元形状を求めなくても、観察者の見た目に自然な 3次元像を表示することができる。
[0298] 図 35乃至図 37は、本実施例 2 - 1の画像生成方法を適用した装置及びシステムの 概略構成を示す模式図であり、図 35は画像生成装置の構成例を示すブロック図、図 36は画像生成装置を用いた画像表示システムの構成例を示す図、図 37は画像生 成装置を用いた画像表示システムの他の構成例を示す図である。
図 35において、 6は画像生成装置、 601は被写体画像取得手段、 602は基準視点 設定手段、 603は投影面設定手段、 604は投影面情報格納領域確保手段、 605は 色情報/存在確率決定手段、 606は投影面情報 -表示面情報変換手段、 607は画 像出力手段、 7は画像表示手段 (DFD)、 8は被写体画像撮影手段、 9は観察者視点 入力手段である。
[0299] 本実施例 2— 1の画像生成方法を適用した画像生成装置 6は、例えば、図 35に示 すように、撮影条件が異なる複数枚の被写体画像を取得する被写体画像取得手段 6 01と、生成する画像を見る観察者の視点を設定する観察者視点設定手段 602と、存 在確率を決定するための投影面，投影点列，対応点，カメラセット等を設定する投影 面等設定手段 603と、投影面上の点（投影点）の色情報及び存在確率を格納する領 域を確保する投影面情報格納領域確保手段 604と、前記投影点の色情報及び前記 投影点に物体が存在する確率 (存在確率）を決定する色情報/存在確率決定手段 6 05と、前記投影点の色情報及び存在確率の情報を表示面の色情報及び存在確率 に変換する投影面情報一表示面情報変換手段 606と、画像出力手段 607とを備える 。このとき、前記画像出力手段 607から出力された画像は、例えば、 DFDのように、複 数の重なり合う表示面を備える画像表示手段 7で表示される。
[0300] また、前記被写体画像取得手段 601は、被写体画像撮影手段 (カメラ) 8で撮影さ れた被写体 (物体）の画像を取得する。なお、取得する画像は、前記被写体画像撮 影手段 8で撮影した画像を直接取得してもよレ、し、前記被写体画像撮影手段 8で撮 影した画像が記録された、磁気的，電気的，光学的な記録媒体力も間接的に取得し てもよい。
[0301] また、前記観察者視点設定手段 602は、例えば、観察者が、マウスやキーボード等 の画像条件入力手段 9を用いて入力した情報に基づいて、前記観察者の視点 から 前記画像表示手段 7までの距離や視線等の画像生成面 LDとの相対的な位置関係 を設定する。また、前記画像条件入力手段 9は、前記観察者の姿勢や視線を検知し て、その姿勢や視線に応じた情報を入力する手段であってもよい。
[0302] また、前記投影面等設定手段 603は、例えば、図 22に示したように、視点（カメラ） C力もの距離が 1 ϋ=1，2, · · · ,Μ)の平行な投影面 Lを設定する。また、前記投影面等設 定手段 603では、前記観察者視点設定手段 602で設定した観察者の視点 Ρから見 て重なる各投影面 L上の投影点 Τの組でなる投影点列や、前記投影点 Τに対応す
J J
る各画像上の対応点 Gも設定する。またこのとき、前記投影面等設定手段 603では 、前記画像条件入力手段 9により入力された条件に基づいたカメラセット Ξを設定し h てもよい。
[0303] また、前記投影面情報格納領域確保手段 604は、各投影面上の各投影点 Tの色
J
情報 κ及び存在確率 を格納する領域を、例えば、装置内に設けられたメモリ上に
J J
確保する。
[0304] また、前記色情報/存在確率決定手段 605は、前述のような原理に基づいて、前 記投影点 Tと対応する画像上の対応点 Gの色情報から前記投影点 Tの色情報 Kを
J ij J
決定するとともに、前記投影点 τに物体の表面が存在する確率 を決定する。
[0305] また、前記投影面情報 -表示面情報変換手段 606では、本実施例 2 - 1で説明した ように、前記投影面の色情報及び存在確率を前記画像生成面、すなわち前記画像 表示手段 7の表示面に表示する画像を生成する面上の点（表示点）の色情報及び輝 度分配率に変換する。
[0306] 前記画像生成装置 6は、本実施例 2 - 1で説明した前記ステップ 1から前記ステップ 5までの処理を行って、前記 DFDに表示する画像を生成する。すなわち、前記画像 生成装置 6では、従来のような物体の正確な 3次元形状を求める処理を行わなくてよ レ、。そのため、高い処理能力がない装置でも、前記 DFDに表示する画像を高速に、 かつ、容易に生成することができる。
[0307] また、前記画像生成装置 6は、例えば、コンピュータと前記コンピュータに実行させ るプログラムによっても実現することができる。その場合、本実施例 2— 1で説明した処 理手順に相当する命令が記述されたプログラムを前記コンピュータに実行させれば よい。またこのとき、前記プログラムは、例えば、磁気的，電気的，光学的な記録媒体 に記録して提供してもよいし、インターネット等のネットワークを利用して提供してもよ レ、。
[0308] また、前記画像生成装置 6を用いた画像表示システムは、例えば、図 36に示すよう な構成が考えられる。このとき、前記被写体画像撮影手段 8は、観察者 Userが前記 画像表示手段（DFD) 7を観察してレ、る空間に近レ、場所に設置されてレ、てもよレ、し、 地理的に遠隔な場所に設置されていてもよい。前記被写体画像撮影手段 8が地理 的に遠隔な場所に設置されている場合、撮影した画像は、インターネット等のネットヮ ークを利用して、前記画像生成装置 6に転送すればょレ、。
[0309] また、前記画像生成装置 6を用いた画像表示システムは、図 36に示したように、あ る観察者 Userが、ある被写体 Objを観察する場合だけでなぐテレビ電話やテレビ会 議といった双方向の通信システムに適用することもできる。その場合、例えば、図 37 に示すように、各観察者 UserA, UserBがいる空間のそれぞれに、画像生成装置 6A , 6B、画像表示手段 (DFD) 7A, 7B、被写体画像撮影手段 8A， 8B、基準視点設定 手段 9A, 9Bを設置すればよい。そして、例えば、前記各観察者 UserA, UserBがい る空間に設置された画像生成装置 6A, 6Bを、インターネット等のネットワーク 10で接 続しておけば、観察者 UserAは、被写体画像撮影手段 8Bで撮影された画像から生 成した観察者 UserBの 3次元像を前記画像表示手段 7Aで観察することができる。同 様に、観察者 UserBは、被写体画像撮影手段 8Aで撮影された画像から生成した観 察者 UserAの 3次元像を前記画像表示手段 7Bで観察することができる。
[0310] また、このような双方向の通信システムに適用する場合、前記各画像生成装置 6A , 6B力 図 35に示したような構成になっている必要はなぐ前記画像生成装置 6A, 6Bのどちらかは、図 35に示したような構成手段を備えていない一般的な通信端末で あってもよレ、。また、図 35に示したような各構成手段が、前記画像生成装置 6A, 6B に割り振られていてもよい。
[0311] また、図 37に示したように、ネットワーク 10上に他の画像生成装置 6Cが設けられて いれば、前記観察者 UserA, UserBがいる空間に、前記画像生成装置 6A, 6Bが設 置されていなくても、前記ネットワーク 10上の画像生成装置 6Cを利用して、前記画 像表示手段（DFD) 7A, 7Bで表示する物体の 3次元像を取得することができる。
[0312] また、図 37に示した画像生成システムでは、利用者力 SUserA, UserBの 2人である が、さらに多数の観察者 (利用者）間での通信システムにも適用できる。
[0313] また、図 36及び図 37では、前記被写体画像撮影手段 8は、 4個のカメラからなる撮 影手段を示しているが、前記カメラは、 2個または 3個であってもよいし、 5個以上であ つてもよレ、。また、前記カメラの配置は、直線または曲線上に 1次元的に配置されて レ、てもよレ、し、平面または曲面に 2次元格子状に配置されてレ、てもよレ、。
[0314] 以上説明したように、本実施例 2— 1の画像生成方法によれば、表示する物体の正 確な 3次元形状を求めなくても、観察者の見た目に自然な 3次元像を表示することが できる。
[0315] また、本実施例 2— 1の画像生成方法では、前記カメラセット Ξを、前記ステップ 30 h
4であらかじめ設定して処理を行っている力 これに限らず、例えば、プログラム的な 処理により、表示する画像を生成する処理を行いながら、観察者が指定した条件に 合うようなカメラセットを動的に設定してもよい。このとき、例えば、観察者が、前記画 像条件入力手段から、前記相関度 Qの分布あるいは閾値等の条件を入力し、その 条件に合うようなカメラセットを探しながら前記ステップ 306の処理を行えば、前記観 察者が望んでいる画像に近い 3次元像を表示することができると考えられる。
[0316] また、本実施例 2— 1の画像生成方法では、画像上の点（画素）が赤 (R) ,緑 (G) , 青 ）の 3原色を用いた色情報で表現されたカラー画像を取得し、前記物体の 3次 元的な形状をする場合を例に挙げて説明したが、本実施例 2— 1の画像表示方法で は、前記カラー画像に限らず、画像上の各点 (画素）が輝度 (Y) ,色差 (U, V)を用 いた表現の白黒画像を取得し、前記物体の 3次元的な形状を取得することもできる。 取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝 度情報 (Y)を用いて、本実施例 2-1で説明したような手順で 3次元形状を取得し、前 記 2次元画像を生成すればょレ、。
(実施例 2— 2)
図 38乃至図 42は、実施例 2— 2の任意視点画像生成方法を説明するための模式 図であり、図 38は全体的な処理手順の一例を示すフロー図、図 39はレンダリングの 原理を説明する図、図 40は任意視点画像を生成するときに問題となる点を説明する 図、図 41 (a)、（b)は任意視点画像を生成するときに問題となる点を解決する方法を 説明する図、図 42は存在確率を透明度に変換する処理手順の一例を示すフロー図 である。
[0317] 前記実施例 2— 1では、前記ステップ 3で取得した前記被写体の 3次元形状を用い て、前記 DFDのように複数の画像表示面を有する装置の前記各画像表示面で表示 する 2次元画像を生成する方法を例に挙げたが、前記被写体の 3次元形状モデルは 、これに限らず、任意の視点から見た前記被写体の 2次元画像を生成するときにも用 レ、ることができる。このとき、前記実施例 2— 1と異なるのは、図 38に示したように、前 記ステップ 3の後、レンダリング、すなわち前記被写体の 3次元形状を前記観察者の 視点から見た 2次元画像にするステップ 11の処理を行う点である。このとき、前記ステ ップ 1からステップ 3で前記被写体の 3次元形状を取得する処理は前記実施例 2 - 1 で説明しているとおりなので、詳細な説明は省略する。
[0318] また、本実施例 2— 2の任意視点画像生成方法において、レンダリングをするステツ プ 11では、例えば、図 39に示すように、前記表示する任意視点画像上の各点（画素 )の色情報は、前記観察者の視点 Pから見て、前記任意視点画像上の点 Aと重なる 投影点 T 0=1,2，· · ·, M)の色情報 Kを混合処理して決定する。このとき、前記混合処 理は、例えば、前記各投影点 Tの色情報 Kに前記存在確率 の値で重み付けをし て混合し、前記生成する画像上の点 Aの色情報 Kは、例えば、下記数式 59で算出
A
する。
[0319] [数 59]
M
ただし、前記数式 59を用いた混合処理の場合、例えば、被写体の形状や基準視 点 Rと仮想視点 Pの位置関係によっては、生成する画像上の点の色情報が、実際の 物体の表面の色情報と大きく異なったり、有効な色空間に収まらなかったりする。ここ で、実際の物体上に、図 40に示すような位置関係で、 2枚の投影面 L , L、基準視
1 2 点 R、仮想視点 Pを重ね合わせた場合を考えてみる。このとき、前記基準視点 から 見て重なり合う投影点 T， Tについて前記実施例 2— 1で説明したような方法で存在
1 2
確率 /3 ， j3 を決定すると、 β はほぼ 0になり、 β はほぼ 1になる。同様に前記基準
1 2 1 2
視点 Rから見て重なり合う投影点 T'， T'について前記実施例 2— 1で説明したような
1 2
方法で存在確率 /3 '， β 'を決定すると、 β，はほぼ 1になり、 β，はほぼ 0になる。
1 2 1 2
[0320] このとき、前記仮想視点 Ρの画像面の点 Αにおける色情報 Κは、前記数式 59を用
A
レ、ると、前記仮想視点 Pからみて前記画像面上の点 Aと重なる投影点 Τ' , Tの色情
1 2 報 Κ' , Kを、前記存在確率 /3 '， β に応じた重み付けで加算することで求まる。そう
1 2 1 2
すると、今、 β， ， β ともにほぼ 1になるので、前記点 Αの色情報 Κは =Kf +K
1 2 A A 1 2 になる。
[0321] し力 ながら、前記仮想視点 Pから前記物体 Objを見たときには、投影点 T'は、投
1 影点 Tにより遮蔽されているので、画像面上の点 Aにおける本来の色情報は Κ =K
2 A 2 である。つまり、生成された画像上の点 Aの色情報 Kは、本来の色情報よりも K'の
A 1 分だけ (R, G, B)の各成分の輝度が上がってしまう。
[0322] またこのとき、前記投影点 T'， Tの色情報 K'， Kの各成分が大きな輝度を持つ場
1 2 1 2
合、点 Aの色情報 Kは有効な色空間の範囲を超えてしまう。そのため、有効な色情
A
報の範囲内に収まるようにするクリッピング処理が必要となる。
[0323] そこで、このような問題を解決するために、例えば、前記投影点の存在確率に基づ いて、各投影点に透過から不透過までの複数の階調を持つ透明度を設定する。この とき、前記生成する画像における各点の色情報を得るための混合処理は、前記生成 する画像の視点から遠い投影点から近い投影点に向かって逐次的に処理し、ある投 影点までの混合処理で得られる色情報は、その投影点における色情報とそれ以前の 投影点までの混合処理で得られる色情報とを前記透明度に応じた比率で内分して 得る。またこのとき、前記混合処理により得られる色情報は、ある段階での色情報とそ の次の色情報の内分である。 [0324] 前記色情報の混合処理の原理を説明するために、例えば、色空間 Vに、図 41 (a) に示すように、投影面 L '=1，2，···,Μ)、投影点 T、赤 (R),緑 (G)，青 (B)の成分を持 ち投影点の色情報を表すベクトル Kが設定されている場合を考える。このとき、前記 色空間 Vは、下記数式 60で表されるとする。
[0325] [数 60]
Figure imgf000078_0001
また、前記投影点 Tの透明度ひは、下記数式 61の条件を満たすように設定されて いるとする。
[0326] [数 61]
Figure imgf000078_0002
このとき、変数 j=mまでの混合処理で得られる色情報 Dは、下記数式 62及び数式 6 m
3のような漸化式で表される。そして、前記仮想視点 Pから見て一番手前の投影面 L
、すなわち変数 j=Mまで混合したときの色情報 D ヽ前記生成する画像の画像面上 の点 Aにおける色情報 Kとなる。
A
[0327] [数 62]
Dm =amKm+(l~am)Dm^
[0328] [数 63] またこのとき、前記数式 61及び数式 62の関係から、前記色情報 Dmは、図 41 (b) 示すように、色空間 Vにおいてベクトル Kと色情報 D の内分点である。そのため、 前記色情報 Dは、 K ≡V, D ならば D となる。
[0329] すると、第 1の実施の形態でも説明したとおり、前記数式 60及び数式 61の条件を 満たせば、前記仮想視点 Pにおける色情報 D について、 D が保証される。
[0330] つまり、前記投影点 Tの色情報 K及び透明度ひを、前記数式 60及び数式 61を満 たすように設定すれば、前記生成する画像の点 Aの色情報 D は、必ず適切な色空 間 Vに納めることができる。
[0331] このように、透明度ひを用いた色情報の混合処理を行うと、同一の被写体において 複数の仮想視点から見た画像を生成するときに、ある 1つの視点（基準視点）から投 影点の色情報及び透明度を計算したとしても、その色情報及び透明度が、前記数式
60及び数式 61の条件を満たせば、生成する全ての画像を、適切な色情報の範囲で 生成すること力できる。
[0332] そこで、本実施例 2 - 2の任意視点画像の生成方法では、例えば、図 30に示したス テツプ 30609の後、あるいは前記レンダリングを行うステップ 1 1において、前記存在 確率 を透明度 αに変換する処理を行う。
[0333] 前記存在確率 βを透明度 αに変換する処理は、例えば、図 42に示すように、まず 、投影点 Τを初期化して j=Mとする（ステップ 1 101)。次に、前記投影点 Tの透明度 a を a β とする（ステップ 1 102)。
[0334] 次に、変数 jの値を j=j_lに更新する (ステップ 1 103)。そして、透明度ひ 力 S 1か否 力を判別する（ステップ 1 104)。ここで、透明度 α が α ≠1であれば、例えば、下 記数式 64から前記透明度ひを求める（ステップ 1 105)。
[0335] [数 64]
1
j, - M
m
m=j+l また、前記透明度ひ 力 である場合は、例えば、 ひ = 1とする（ステップ 1106)。な
j+l J
お、前記ステップ 1105で前記透明度 αを求めるときには、前記数式 64に限らず、他 の数式を用いて求めてもよい。また、詳細な説明は省略する力 前記ステップ 1106 においても、実際には、透明度ひを任意の値にすることができるので、 1以外の値に してもよい。
[0336] 次に、前記ステップ 1104力、らステップ 1106の処理を変数 j= lまで行ったか判別す る（ステップ 1107)。ここで、処理がまだ済んでいなければ、前記ステップ 1103に戻 つて、処理を繰り返す。
[0337] 前記ステップ 1104からステップ 1106の処理を変数 j=lまで行ったら、前記観察者 視点 Pから見て画像面上の点 Aと重なる投影点 Tの前記存在確率 j3を透明度ひに
J J J
変換する処理が終了する。その後、前記数式 62及び数式 63を用いた混合処理を行 レ、、任意視点画像上の点 Aの色情報 D を求める。そして、この処理を、前記任意視 点画像上の全ての点（画素）について行えば、前記観察者の視点 Pから任意視点画 像が得られる。
[0338] また、このような任意視点画像を生成する画像生成装置の基本的な構成は、前記 実施例 2— 1で説明した画像生成装置と同様の構成であり、図 35に示した投影面情 報 -表示面情報変換手段 606に相当する手段として、前述のような混合処理を行う 手段を備えればよい。そのため、装置に関する説明は省略する。
[0339] 以上説明したように、本実施例 2 - 2の画像生成方法によれば、物体の正確な 3次 元形状を求めなくても、観察者の見た目に自然な任意視点画像を生成することがで きる。
[0340] また、本実施例 2— 2の任意視点画像表示方法でも、前記カメラセット Ξ は、例えば
h
、プログラム的な処理により、表示する画像を生成する処理を行いながら、観察者が 指定した条件に合うようなカメラセットを動的に設定してもよい。このとき、例えば、観 察者が、前記画像条件入力手段から、前記相関度 Qの分布あるいは閾値等の条件
J
を入力し、その条件に合うようなカメラセットを探しながら前記ステップ 306の処理を行 えば、前記観察者が望んでレ、る画像に近い 3次元像を表示することができると考えら れる。 [0341] また、本実施例 2— 2の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (γ)を用いて、前記実施例 2— 1で説明したような処理を行って物体の 3次元形 状を取得した後、本実施例 2— 2で説明したような手順で仮想視点画像を生成すれば よい。
[0342] (第 2の実施の形態の効果）
上記の通り、第 2の実施の形態の画像生成方法は、前記被写体の 3次元形状を取 得するときに、複数の投影面を設定し、前記基準視点から見て重なり合う前記各投影 面上の点（投影点）に対して、物体の表面が存在する確率 (存在確率）をあたえる。す なわち、従来のように前記基準視点から見て重なり合う各投影点のうちの 1つの投影 面上に物体の表面があるとして正確な被写体の 3次元形状を取得しょうとするのでは なぐ前記物体の表面が前記各投影点上にある存在確率で存在するとして前記被写 体の 3次元形状を取得する。こうすることで、前記基準視点から見てある方向の物体 の表面の距離を推定するときに、その推定の信頼性が低い部分は前記各投影点の 存在確率に応じた割合で曖昧に描画される。そのため、前記物体の 3次元形状に基 づいて画像を生成したときに、従来のような物体表面の距離の推定を誤ったときに生 じる不連続なノイズを目立ちに《することができ、見た目に自然な画像を生成するこ とができる。
[0343] また、前述のように、前記取得した画像の中から、前記カメラセットに含まれる数枚 の画像から存在確率を算出すると、例えば、ォクルージョン (遮蔽領域）の影響により 、ある投影点の近傍にある物体の表面力 ある領域の視点からは見えない場合に、 その視点から撮影した画像を取り除レ、た存在確率を算出することができ、前記各投 影点の存在確率の信頼性が高くなる。
[0344] また、前記存在確率を決定するときに、前記存在確率の確率密度分布がある程度 想定できる場合は、前記各投影点の相関度から評価基準値を算出し、その評価基 準値に対して統計処理を行うことで得られる存在確率の分布関数に基づいて存在確 率を決定してもよい。このように、統計処理を行って存在確率を決定する場合、取得 した画像上のノイズ (雑音）による存在確率の信頼性の低下を防ぐことができる。 [0345] [第 3の実施の形態]
次に本発明の第 3の実施の形態について説明する。第 3の実施の形態は、主に請 求項 22—請求項 29に対応する実施の形態である。第 3の実施の形態では、 1つの 視点から合焦距離を変えて撮影した複数枚の画像 (多焦点画像)をもとにして前記画 像に写っている被写体の 3次元的な形状を取得し、任意の視点 (仮想視点）から見た 前記被写体の画像を生成する。すなわち、複数の視点力 被写体を撮影した複数枚 の画像をもとにして被写体の 3次元的な形状を取得する第 1、第 2の実施の形態に対 し、本実施の形態は、 1つの視点から合焦距離を変えて撮影した複数枚の画像を用 レ、る点に特徴がある。なお、本実施の形態でも、前記被写体の 3次元的な形状は、テ タスチヤマッピングの手法を用いた多層平面で表現する。なお、第 3の実施の形態を 説明するための図において、同一機能を有するものは、同一符号を付ける。
[0346] 図 43乃至図 51は、本実施の形態の画像生成方法の原理を説明するための模式 図であり、図 43及び図 44は投影面及び基準視点の設定例を示す図、図 45は投影 点の色情報及び合焦点度の決定方法を説明する図、図 46乃至図 48は投影点の存 在確率の決定方法を説明する図、図 49は仮想視点から見た画像の生成方法を説明 する図、図 50は本実施の形態の画像生成方法において問題となる点を説明する図 、図 51は本実施の形態の画像生成方法において問題となる点を解決する方法を説 明する図である。
[0347] 本発明の画像生成方法では、前述のように、 1つの視点から合焦距離を変えて撮 影した複数枚の画像（多焦点画像）をもとにして前記画像に写っている被写体の 3次 元的な形状を取得し、任意の視点 (仮想視点)から見た前記被写体の画像を生成す る。そしてこのとき、前記被写体の 3次元的な形状は、テクスチャマッピングの手法を 用レ、た多層平面で表現する。
[0348] 前記テクスチャマッピングの手法を用いて前記被写体の 3次元的な形状を表現する ときには、例えば、コンピュータ等の画像生成装置内に設定した仮想的な 3次元空間 上に、図 43に示すように、カメラの視点 C,多層構造の投影面 L (i=l,2，〜，M)，前記
J
被写体の 3次元的な形状を取得するための基準視点 Rを設定する。またこのとき、 N 枚の合焦距離が異なる画像力 前記被写体の形状を取得するとすれば、前記投影 面 Lは、図 44に示すように、前記各画像 Img (ί=1,2, · · · ,Ν)の合焦距離 fと一致するよ うな距離に設定する。
[0349] ここで、図 44に示したように、前記基準視点 Rからある方向を見たときに重なり合う 投影点 T (j=l,2, - - - ,N)について考えると、従来のモデル取得方法では、前記被写体 の表面は、前記投影点 Τのいずれか 1点に存在すると考える。このとき、前記被写体 の表面が前記投影点 Τのうちのどの投影点に存在するかは、例えば、前記各投影点 Τの合焦点度の高さによって決定する。そこで、まず、前記基準視点 Rから見て重な り合う各投影点 Tの色情報 K及び合焦点度 Qを決定する。
[0350] 前記投影点 Tの色情報 K及び合焦点度 Qを決定するときには、図 45に示すように
、前記投影点 Tと対応する前記各画像 Img上の点（対応点) Gの色情報/ c及び前記 対応点 Gで焦点の合っている度合レ、 (合焦点度）に基づいて決定する。このとき、前 記投影点 Tの色情報 Kは、例えば、前記各対応点 Gの色情報/ cの平均値、あるい は空間的に一致する対応点 G の色情報 /c とする。また、前記投影点 Tの合焦点 度は、画像上の点または微小領域での画像のシャープさやボケの程度により決めら れる。前記合焦点度の算出方法には、 D印 th from Focus理論もしくは Depth from Defocus理論に基づき、様々な方法がある。なお、 Depth from Focus理論もしくは Depth from Defocus理論については、例えば以下の文献を参照されたい。
[0351] 文献 8： A.P.Pentland: A New bense for Depth of Field, IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol.PAMト 9, No.4, pp.523-531(1987).
文献 9 : Murali Subbarao and gopal Surya：〃 Depth from Defocus: A Spatial Domain Approacn, International Journal of Computer Vision, 13, 3， pp.271-294, Kluwer Academic Publishers.
文献 10：石原満宏，佐々木博美："合焦法による高速三次元形状計測"， 精密工学会誌， Vol.63, No. l, pp.124-128,精密工学会.
文献 11 :大場光太朗，山田茂："実時間全焦点顕微鏡カメラ",〇 plus E， Vol.22, No.12, pp.1568-1576， 2000,新技術コミュニケーションズ.
前記合焦点度 Qは、例えば、前記各対応点 Gの局所空間周波数の大きさを比較 することで求められる。 [0352] 前記 D印 th from Focus理論もしくは Depth from Defocus理論は、合焦距離の異 なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、 例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画 像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記 投影点 Tの合焦点度 Qは、例えば、下記数式 65で表されるような局所空間周波数の 評価関数を用いて算出する。
[0353] [数 65]
Figure imgf000084_0001
ここで、 fは画素の濃淡値、 Dは正規化のための定数で評価を行う全ての画素数、 (-Lc, -Lr)-(Lc, Lr)及び（xi， yi)-(xf, yf)はそれぞれ分散評価と平滑化を行うための 小領域である。
[0354] そして、このような処理を、前記基準視点 Rから見て重なり合う全ての投影点 ηに対 して行い、図 46に示すように、前記各投影点 Tの色情報及び合焦点度 Qを決定した ら、前記各投影点 Tの合焦点度 Qの高さに基づいて、前記被写体の表面が存在す る距離を推定する。このとき、前記基準視点 Rから見て重なり合う各投影点 Tの合焦
J
点度 Qが、例えば、図 47 (a)に示すように、ある投影点 Tの合焦点度 Qのみが非常 j n n
に高い値を示している場合は、その投影点 τ上に前記被写体の表面が存在すると n
推定でき、その信頼性も非常に高い。
[0355] ところが、取得した画像の撮影条件や、前記被写体の形状、あるいは前記被写体 の表面の模様 (テクスチャ）によっては、例えば、図 47 (b)に示すように、合焦点度 Q が特徴的な大きな値をとる投影点 Tがない場合もある。図 47 (b)に示した例では、例 えば、投影点 T， T *の合焦点度 Qが、他の投影点 Tの合焦点度 Qよりも若干高い値 n n
なので、前記投影点 τ , T *のどちらかに前記被写体の表面が存在すると考えられる
n n
。し力 ながら、どちらの投影点 T， T *の合焦点度 Qも、特徴的な大きな値ではない ので、どちらかの投影点を選択した場合、その信頼性は低い。また、場合によっては 、誤った投影点を選択してしまうこともある。そして、前記被写体の表面が存在する投 影点の推定 (選択）を誤れば、生成した画像上に大きなノイズとなって現れる。
[0356] このような場合、前記被写体の表面の距離、すなわちどの投影面上に存在するか を推定したときの信頼性を上げるには、例えば、合焦距離の間隔を細かくして、より多 くの画像を用いたり、ピーク位置だけでなくその前後の合焦点度の値を、例えば、正 規分布関数等の既知の関数に当てはめたりして前記被写体表面の距離を推定する 工夫が必要となる。
[0357] し力 ながら、より多くの画像を用いれば、処理時間が長くなる、撮影手段における 合焦距離の調節が難しくなるといった問題がある。また、ある合焦距離にピントを合わ せた場合、その前後に被写界深度と呼ばれる範囲があり、前記被写界深度の範囲内 にある点であれば、前記合焦距離上になくても、撮影した画像上でのボケは実質的 に生じない。そのため、前記合焦距離を細力べ区切って効果が得られるのは前記被 写界深度程度の間隔まででそれ以上細力べしても効果は薄い。さらに、前記被写体 表面のテクスチャの空間周波数が低い、すなわち模様の変化が少なく一様である場 合、合焦距離を変えても画像上での変化は生じにくい。このような場合は、原理的に 、信頼性の高い推定を行うことが困難である。
[0358] このようなことから、一般的には、前記合焦点度 Qの分布が、図 47 (b)に示したよう な場合でも、前記合焦点度 Qが最大値の投影点 Tに前記被写体の表面が存在する としている。そのため、前記被写体の表面の距離の推定を誤り、生成した画像に大き なノイズが現れることが多かった。
[0359] そこで、本発明の画像生成方法では、前記被写体表面の距離をある 1点、すなわ ち前記基準視点 Rから見て重なり合う投影点 Tのいずれか 1点に特定せずに、図 48 に示すように、前記各投影点 Tの合焦点度 Qの高さに応じた存在確率 /3を与える。 このとき、前記存在確率 /3は、前記基準視点 Rから見て重なり合うすべての投影点 T の存在確率 の集合において、下記数式 66及び数式 67の条件を満たす必要があ
J
る。
[0360] [数 66] 0 < ≤ 1
[0361] [数 67]
Figure imgf000086_0001
そこで、投影面 Lが M枚あり、前記基準視点 Rから見て重なり合う投影点 Tが M個
J
あるとすれば、 k番目の投影面 L上の投影点 Tの存在確率 β は、下記数式 68から 求める。
[0362] [数 68]
Figure imgf000086_0002
1
このようにして、前記基準視点 Rから見て重なり合う投影点 Tjについて、前記各投影 点 Tに存在確率 を決定するという処理を、あらゆる方向に対して行うことで、前記 被写体の 3次元的な形状を得ることができる。そして、前記仮想視点 Pから見た前記 被写体の画像を生成するときには、例えば、図 49に示すように、前記投影面 Lが設 定された空間上に前記仮想視点 Pを設定して、生成する画像上の各点の色情報を 決定する。このとき、前記生成する画像上の点 Aの色情報 Kは、前記仮想視点 Pか ら見て前記点 Aと重なり合う投影点 Tの色情報 K及び存在確率 /3から、例えば、下
J
記数式 69を用いて決定する。
[0363] [数 69]
Figure imgf000087_0001
そして、前記数式 69を用いて、前記生成する画像上の全ての点の色情報を決定す ると、前記仮想視点 Ρから見た前記被写体の画像 (仮想視点画像）が得られる。この とき、生成された前記仮想視点画像上で、例えば、図 47 (a)に示したように、ある投 影点 Tの合焦点度 Qだけが特徴的な大きな値を持つような場合は、その投影点 T の存在確率 だけが大きくなる。そのため、前記数式 69を用いて色情報を混合処 理するときに、前記投影点 Tの色情報 Kの、前記生成画像上の点 Aの色情報 Kへ
A
の寄与率が高くなり、明瞭に描画される。また、図 47 (b)に示したように、前記被写体 の表面の距離の推定が難しい場合は、各投影点 Tの存在確率 /3が小さな値になる ので、前記生成画像上の点 Aの色情報 Kへの寄与率は低くなり、曖昧に描画される
。その結果、距離の推定を誤ったときに生じるような不連続で大きなノイズを低減する ことができ、観察者の見た目に、より良好な画像を生成することができる。
[0364] また、本発明の画像生成方法は、コンピュータ 'グラフィックスの基本的な手法であ るテクスチャマッピングによりシンプルに実装できる。そのため、普及型のパーソナル 'コンピュータに搭載している 3次元グラフィックス 'ハードウェアで良好に処理できる ほど、計算機負荷が軽くなる。
[0365] ただし、本発明の画像生成方法は、前記基準視点のようにある視点から見て重なり 合う各投影点 Tについて合焦点度 Qを算出し、前記存在確率 を決定している。そ のため、被写体の形状や、前記基準視点と前記仮想視点の位置関係によっては、前 記仮想視点 Pから見て重なり合う複数の投影点の中に、存在確率が非常に高い投影 点が 2点以上含まれることがある。そのような場合、前記各投影点の色情報を前記存 在確率に応じた割合で混合すると、生成する画像上の点の色情報が有効な色情報 の範囲を超えてしまうことがある。
[0366] ここで、これまでに説明した実施の形態と同様にして、図 50に示すように、被写体〇 bjがある空間に、 2枚の投影面 L , L、基準視点 R,仮想視点 Pを設定した場合につ
1 2
いて考えてみる。このとき、投影点 τ , τ , τ' , T'における色情報がそれぞれ κ , K
1 2 1 2 1 2
, K' , K'、被写体の存在確率が β , β ， β'， β，であるとする。
1 2 1 2 1 2
[0367] また、前記被写体の存在確率 β ， β ， β '， β 'は、基準視点 Rを通る直線上で決
1 2 1 2
定したとすると、図 50に示した例では、投影点 T'及び Τ付近に被写体〇bjの表面が
1 2
存在するため、この投影点 T'及び Tでの存在確率は、投影点 T及び T'に比べて
1 2 1 2 高くなる。このとき、前記各投影点 τ ,τ, τ' の存在確率 ,
1 2 1 , β ， β '， β 'は、
2 1 2 1 2 下記数式 70及び数式 71のようになる。
[0368] [数 70]
Α ο， β2 = ι
[0369] [数 71]
β;
Figure imgf000088_0001
二のとき、前記仮想視点 Ρの画像面上の点 Αにおける色情報 Κは、前記数式 69か ら、前記仮想視点 Pから見て前記画像面上の点 Aと重なる投影点 Τ' , Tの色情報 K'
， Kを、前記存在確率 '， β に応じた重み付けで加算することで求まり、下記数式
1 2 1 2
72のようになる c
[0370] [数 72]
ΚΑ = β[Κ[ + β2Κ2
また、前記数式 72は、前記数式 70及び数式 71により、下記数式 73のように近似で きる。 [0371] [数 73]
し力 ながら、前記仮想視点 ρから前記物体 Objを見たときには、投影点 τ'上の物
1 体表面は、投影点 T上の物体表面より遮蔽されているので、画像面上の点 Aにおけ
2
る本来の色情報は K =Kである。つまり、生成された画像上の点 Αの色情報 Κは、
A 2 A 前記数式 73のように、本来の色情報よりも K'の分だけ（R, G, Β)の各成分の輝度
1
が上がってしまう。
[0372] またこのとき、前記投影点 T'， Τの色情報 K'， Κの各成分が大きな輝度を持つ場
1 2 1 2
合、点 Αの色情報 Κは有効な色空間の範囲を超えてしまう。そのため、有効な色空
A
間の範囲内に収まるようにするクリッピング処理が必要となる。
[0373] そこで、本発明の画像生成方法では、前記投影点の存在確率に基づいて、各投影 点に透過から不透過までの複数の階調を持つ透明度を設定する。このとき、前記生 成する画像における各点の色情報を得るための混合処理は、前記生成する画像の 視点から遠い投影点から近い投影点に向かって逐次的に処理し、ある投影点までの 混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点ま での混合処理で得られる色情報とを前記透明度に応じた比率で内分して得る。また このとき、前記混合処理により得られる色情報は、ある段階での色情報とその次の色 情報の内分である。
[0374] 前記色情報の混合処理の原理を説明するために、例えば、色空間 Vに、図 51 (a) に示すように、投影面 L '=1，2，· · ·,Μ)、投影点 T、赤 (R) ,緑 (G)，青 (B)の成分を持 ち投影点 Tの色情報を表すベクトル Kが設定されている場合を考える。このとき、前 記色空間 Vは、下記数式 74で表されるとする。
[0375] [数 74]
Figure imgf000090_0001
また、前記投影点 Tの透明度 αは、下記数式 75の条件を満たすように設定されて
J
いるとする。
[0376] [数 75]
0<α. <1
このとき、変数 j=mまでの混合処理で得られる色情報 Dは、下記数式 76及び数式 7 7のような漸化式で表される。そして、前記仮想視点 Pから見て一番手前の投影面 L
、すなわち変数 j=Mまで混合したときの色情報 D ヽ前記生成する画像の画像面上 の点 Aにおける色情報 Kとなる。
A
[0377] [数 76]
Dm=amKm+{l-am)Dm^
[0378] [数 77]
またこのとき、前記数式 75及び数式 76の関係から、前記色情報 Dは、色空間 Vに おいてべクトノレ Κと色情報 D の内分点である。そのため、前記色情報 Dは、図 51
m m- 1 m
(b)に示すように、 K ev, D ならば D となる。
m m_l m
[0379] すると、前記数式 74及び数式 75の条件を満たせば、前記仮想視点 Pにおける色 f報 D について、前述したように、下記数式 78のようになることが保証される c
[0380] [数 78]
DM V
つまり、前記投影点 Tの色情報 K及び透明度 αを、前記数式 74及び数式 75を満
J J J
たすように設定すれば、前記生成する画像の点 Aの色情報 D は、必ず適切な色空 間 Vに納めることができる。
[0381] このように、透明度 αを用いた色情報の混合処理を行うと、同一の被写体において 複数の仮想視点から見た画像を生成するときに、ある 1つの視点 (基準視点)から投 影点の色情報及び透明度を計算したとしても、その色情報及び透明度が、前記数式 74及び数式 75の条件を満たせば、生成する全ての画像を、適切な色情報の範囲で 生成すること力できる。
[0382] そこで、例えば、図 50に示した例で、前記各投影点 Τ , Τ , Τ' , T'のそれぞれに
1 2 1 2
、下記数式 79及び数式 80で与えられるような透明度ひ , a , α ' , ひ 'を設定する。
1 2 1 2
[0383] [数 79]
"2 = A «1 = 1
[0384] [数 80]
ここで、前記仮想視点 Pにおける各点の色情報を得るために、前記仮想視点 から 見て遠い投影点から近い投影点に向かって逐次的に混合処理をし、ある投影点まで の混合処理で得られる色情報は、その投影点における色情報とそれ以前の投影点 までの混合処理で得られる色情報とを、前記透明度に応じた比率で内分して得るよう にする。そうすると、仮想視点 Pから見た画像の点 Aの色情報 Dは、下記数式 81のよ
A
うになる。
[0385] [数 81]
Κ Λ = a2K2 + ( - α2 ) α[Κ
このとき、前記数式 81は、前記数式 70,数式 71 ,数式 79,数式 80から下記数式 8 2のようになり、本来の色情報のよい近似となる。
[0386] [数 82]
ΚΑ 人つ 以上で述べたとおり、前記存在確率 をそのまま用いた画像生成では、基準視点 Rと生成する画像の視点 Pが同一である場合には問題ないものの、両者が異なる場 合に被写体の遮蔽領域付近で輝度の増加が生じることがあるのに対し、存在確率 β を透明度 αに変換する画像生成では、この現象を防止する効果がある。
[0387] また、前記存在確率 βをそのまま用いる画像生成において基準視点 Rと仮想視点 Ρが異なる場合には、複数の投影点の色情報を混合処理したときに、仮想視点 から 見た画像上の点の色情報が、有効な色空間の範囲内に収まる保証がない。そのた め、例えば、補正処理が必要となる。それに対し、前記存在確率 [3を透明度ひに変 換する画像生成では、このような補正は不要である。
[0388] また、前記存在確率 [3を透明度ひに変換する画像生成では、半透過の被写体も効 率的に表現することができ、現実世界にあるより多くの被写体に対して広く本発明を 適用できる効果がある。
[0389] 次に、本発明の画像生成方法を用いて画像を生成するときに、処理の前提となる 数理モデルの一例について説明する。 [0390] 図 52及び図 53は、本発明の画像生成方法の数理モデルを説明するための模式 図であり、図 52は投影点，対応点，生成する画像上の点の関係を示す図、図 53は 空間上の点と画像上の画素の変換方法を説明する図である。
[0391] 本発明の画像生成方法を用いて、前記仮想視点 Pから見た画像を生成するときに は、例えば、透視投影変換により、前記仮想視点から見た画像上のある点の色情報 または輝度情報を求める。ここで、カメラの視点 C、投影面 L (j=l，2，一,M)、仮想視点 Pが、例えば、図 52に示すように設定されている場合を考える。
[0392] 一般的に、 3次元空間上の投影点 T (X, Υ, Z)を前記仮想視点 Pから見た画像、 m
すなわち生成する画像上の点（x， y)へ射影する行列は、 3行 4列の行列で与えられ る。このとき、前記射影行列、及び原点を中心とした焦点距離 fの透視投影変換を表 す行列 Φは、第 1の実施の形態等において説明した通りである。
0
[0393] また、図 53に示すような画像座標 (X, y)と、ディジタル画像座標 (u, v)との関係も、 第 1の実施の形態において説明した通りである。なお、 2次元配列の書き込み及び読 み取りをする際、前記ディジタル画像座標 (u， v)は離散値をとるが、以下の説明では 断りのない限り連続値をとることとし、配列へのアクセスの際に適当な離散化処理を 行うものとする。また、レンズの収差による画像の歪みを補正した変換を行うことも可 能である。
[0394] (実施例 3 - 1)
図 54乃至図 57は、本発明による実施例 3— 1の画像生成方法を説明するための模 式図であり、図 54は画像の生成手順を示すフロー図、図 55は投影点列の設定方法 を説明する図、図 56は図 54のステップ 10305の処理の具体例を示すフロー図、図 5 7はレンダリングの方法を説明する図である。
[0395] 本実施例 3— 1の画像生成方法は、前述のような原理を用いて画像を生成する方法 であり、図 54に示すように、合焦距離が異なる複数枚の画像を取得するステップ 101 と、観察者の視点 (仮想視点）を設定するステップ 102と、前記取得した画像に基づ いて被写体の 3次元的な形状を取得するステップ 103と、前記ステップ 103で取得し た被写体の 3次元的な形状を前記仮想視点から見た画像を生成「レソ^ Π
ステップ 104とを有する。 [0396] また、前記ステップ 103は、多層構造の投影面を設定するステップ 10301と、被写 体の 3次元的な形状を取得するための基準視点を決定するステップ 10302と、投影 点列、対応点等を設定するステップ 10303と、テクスチャ配歹 I」、すなわち前記投影点 の色情報及び存在確率を格納する領域を確保するステップ 10304と、前記投影点 の色情報及び存在確率を決定するステップ 10305とを有する。
[0397] 本実施例 3— 1の画像生成方法では、例えば、図 54に示すように、まず、合焦距離 を変えて被写体を撮影した複数枚の画像を取得する (ステップ 101)。このとき、取得 する画像は、カラー画像であっても、白黒画像であってもよいが、本実施例 3-1では 、画像上の各点（画素）が赤 (R)，緑 (G)，青 (B)の 3原色を用いた色情報で表現さ れるカラー画像を取得するとして説明する。
[0398] 次に、観察者が前記被写体を見る位置 (仮想視点）を設定する (ステップ 102)。次 に、前記取得した被写体の画像を用いて、前記被写体の 3次元的な形状を取得する (ステップ 103)。そして、前記被写体の 3次元的な形状を取得したら、前記仮想視点 力 前記被写体を見たときの画像を生成する (ステップ 104)。
[0399] このとき、前記ステップ 103では、例えば、図 54に示すように、まず、多層構造の投 影面 L (je J≡{1,2，〜，M})を設定する（ステップ 10301)。このとき、前記投影面 Lは 、例えば、図 43に示したように、平面形状を持つ投影面を平行に設置する。またこの とき、前記投影面の設置間隔は、例えば、図 44に示したように、前記ステップ 101で 取得する各画像の合焦距離と一致させるのが好ましいが、一致していなくても構わな レ、。
[0400] 次に、前記被写体の 3次元的な形状を取得する視点、言い換えると、投影点上に 被写体の表面が存在する確率を求めるときの基準とする点（基準視点) Rを決定する (ステップ 10302)。このとき、前記基準視点 Rは、前記仮想視点 Pと同じ点であっても 良いし、異なる点であっても良い。また、連続的に複数の仮想視点 Pから見た被写体 の画像を生成するときには、その重心位置にとっても良い。
[0401] 次に、前記基準視点 Rを通る直線上の投影点の組でなる投影点列、前記投影点と 対応する画像上の点 (対応点)等を設定する (ステップ 10303)。このとき、前記投影 点列は、例えば、図 13に示すように、前記基準視点 Rを通る直線と前記投影面しの 交点 (投影点) の集まりとして定義する。このとき、投影点列 Sは、 S = {T I jej}と 書け、さらにその集合を σとおけば、 S e σとなる。
[0402] 次に、前記各投影面にテクスチャマッピングする画像を保持する配列（テクスチャ配 歹 IJ)を、例えば、前記画像を生成する装置のメモリ上に確保する (ステップ 10304)。 このとき、確保する配列は、例えば、前記投影点の位置に対応するテクスチャ情報を 、画素毎に色情報 (R, G, Β)及び存在確率の情報を 8ビットずつ持たせる。
[0403] また、前記ステップ 10304では、前記テクスチャ配列の画素の 2次元ディジタル座 標 (U , ）と投影点丁の3次元座標 ， Υ , Ζ )の対応関係も設定する。このとき、例
J j J J J J
えば、すべての（U， V)の値に対して（X， Υ， ζ )の値をテーブルとして設定してもよ j j j j j
いし、代表的な（U， V)に対してのみ（X， Υ， ζ )の値を設定し、その他の座標は、 j j j j j
例えば、線形補完等の補完処理により求めてもよい。
[0404] 次に、前記ステップ 101で取得した被写体の画像をもとに、前記ステップ 10304で 確保した各投影点 Tに相当する画素の色情報 K及び存在確率 βを決定する (ステツ
J J J
プ 10305)。このとき、前記色情報及び存在確率は、ある投影点列 S上の投影点 Tを
J
T.e sの範囲で順に走査し、それを投影点列 S ( e σ )の範囲で繰り返す 2重のルー プ処理を行う。
[0405] 前記ステップ 10305の処理を行うときには、まず、図 56に示すように、走査する投 影点列 Sを開始位置に初期化する (ステップ 10305a)。そして次に、走査する投影 点 Tを投影点列 S内で開始位置に初期化し、例えば、 j=
[0406] 次に、前記投影点 Tの座標 (X*, Y*， Z*)の色情報 Kを決定する（ステップ 10305c
J J j J J
)。前記ステップ 10305cでは、まず、座標 *, Y*, Z の位置にある点を撮影したと き、画像面 (イメージセンサ）どの位置に対応するかを算出する。そして、前記投影点 Tに対応するテクスチャ配列上の画素（U*， V*)における色情報は、例えば、（u *， V j J j ij ij
*) (ie i)における色情報とする。
[0407] 次に、前記投影点 Tの合焦点度 Qを決定する。このとき、前記合焦点度 Qは、例え
J J J
ば、対応点の局所空間周波数の大きさに基づいて、前記数式 65を用いて算出する（ ステップ 10305d)。
[0408] 前記ステップ 10305dまでの処理が済んだら、次に、前記投影点 Tを更新し、投影 点 T E Sをすベて走査したかを判別する（ステップ 10305e)。ここでもし、すべてを走 查し終えたのなら、次のステップ 10305fに進み、まだ走査し終えていないのであれ ば前記ステップ 10305cに戻る。
[0409] 前記ステップ 10305eで、すべて走査し終えたと判別されたら、次に、前記ステップ 10305dで算出した各投影点 Tの合焦点度 Qに基づいて、前記投影点列 S上のす ベての投影点 T (j e j)について、各投影点上に被写体が存在する確率 (存在確率） βを決定する（ステップ 10305f)。前記存在確率 /3は、例えば、前記数式 68を用い て決定する。なお、前記存在確率 /3は、基本的には、前記数式 66及び数式 67の条 件を満たせばよいので、前記数式 68以外の数式を用いてもよい。
[0410] 次に、投影点列 Sを更新し、投影点列 σをすベて走査した力、を判別する (ステツ プ 10305g)。ここでもし、すべてを走査し終えたのなら前記ステップ 103の処理、す なわち前記被写体の 3次元的な形状の取得が終了する。また、まだ走査していない 投影点列があれば、ステップ 10305bに戻る。
[0411] 前記ステップ 10305gで、すべての投影点列について走査し終えたと判別されたら 、次に、前記投影面 L (】=1 ,2，· · ·，Μ)を用いて表現される被写体を、前記仮想視点 Ρか ら見た画像を、前記存在確率 に応じて描画して生成する（ステップ 104)。ここで、 例えば、図 57に示すように、仮想視点 Pにおける画像面の座標が u , Vで表されてい るとする。このとき、画像面上のある画素 p* (u *, V *)の色情報 K *は、仮想視点 Pと画 像面上の画素 P*を結ぶ直線上にある投影点列 {T * I jej }の色情報 {K * I j ej }に対 応する存在確率 { β * I jej }を掛けて加算したものとして決定され、下記数式 83のよ うに表される。
[0412] [数 83]
Figure imgf000096_0001
そして、画像面上にあるすベての画素について、前記数式 83を用いて色情報を決 定すれば、仮想視点 Pにおける画像を得ることができる。
[0413] また、前記数式 83の代わりに、下記数式 84を用いて K *を計算すると、基準視点 R と仮想視点 Pの位置が異なる場合でも、 K *は必ず有効な色空間の範囲内に収める ことが保証される。
[0414] [数 84]
Figure imgf000097_0001
なお、ここでは画像面の画素を走査して色情報を決定する手順を示したが、これに 限らず、例えば、 OpenGLや DirectX等の汎用的なグラフィックスライブラリに投影面 Lの構成、テクスチャ配歹 1J、仮想視点 Pの設定などのデータを受け渡し、描画処理を j
任せてもよい。
[0415] 以上で本実施例 3 - 1の前記仮想視点画像の生成処理が終了し、生成された画像 は、 CRT (Cathode Ray Tube) ,液晶ディスプレイ等の画像表示手段に出力される。こ のとき、前記画像表示手段に表示される画像は、例えば、被写体の像のうち、前記ス テツプ 10305dで算出した合焦点度 Qが低い投影点の色情報は、生成した画像上の 点の色情報への寄与が小さい。そのため、距離の推定の信頼性が低い投影点につ いては曖昧に描画される。その結果、例えば、従来の方法で生成した画像のように、 部分的に画像が欠損している、あるいは画質が極端に劣化しているようには見えず、 利用者の目には気にならない程度の劣化となる。
[0416] 図 58乃至図 61は、本実施例 3 - 1の画像生成方法で画像を生成する装置の概略 構成を示す模式図であり、図 58は装置の構成を示すブロック図、図 59乃至図 61は 被写体画像撮影手段の構成例を示す図である。 図 58において、 2は画像生成装置、 201は多焦点画像 (被写体画像）取得手段、 2 02は仮想視点設定手段、 203は投影面等設定手段、 204はテクスチャ配列確保手 段、 205は色情報/存在確率決定手段、 206はレンダリング手段、 207は生成画像 出力手段、 3は多焦点画像 (被写体画像)撮影手段、 4は視点情報入力手段、 5は画 像表示手段である。また、図 59において、 6は偏光型二値光学系、 7, 7A, 7Bはィメ ージセンサ、 8はビームスプリッタ、〇bjA，〇bjBは被写体である。また、図 60におい て、 9は偏向フィルタである。また、図 61において、 10は可変焦点レンズ、 l la， l ib , 11c, l idは固定焦点レンズ、 12はレンズホルダである。
[0417] 本実施の形態の画像生成方法を用いて画像を生成するときに用いる画像生成装 置 2は、例えば、図 58に示すように、合焦距離が異なる複数枚の画像を取得する被 写体画像取得手段 201と、生成する画像の視点 (仮想視点）を設定する仮想視点設 定手段 202と、仮想的な 3次元空間上に多層構造の投影面を設定する投影面設定 手段 203と、前記投影面に貼り付ける画像 (テクスチャ画像）の配列をメモリ上に割り 当てるテクスチャ配列確保手段 204と、前記テクスチャ配列確保手段 204で確保した テクスチャ配列を用いて、前記各投影面上の点（以下、投影点という）の色情報及び 存在確率を決定する色情報/存在確率決定手段 205と、前記各投影点の色情報を 前記存在確率に応じた割合で混合し、生成する画像上の各画素の色情報を決定す るレンダリング手段 206と、前記レンダリング手段 206で生成された画像を出力する 生成画像出力手段 207とを備える。
[0418] このとき、前記被写体画像取得手段 201では、例えば、偏光型二値光学系（例えば 、文献 12 :特開 2000-258738号公報を参照。）のように偏光成分に応じて合焦距 離が変わるレンズを備える被写体画像撮影手段 3で撮影した被写体の画像を取得す る。また、前記偏光型二値光学系に限らず、可変焦点レンズ (例えば、文献 13 :特許 第 3303275号公報を参照。）を備える撮影手段で撮影した画像を取得してもよい。 また、その他にも、例えば、複数個の焦点距離が異なるレンズを一体的に支持してお き、個々のレンズを高速で切り替えながら撮影した画像を取得してもよい。またこのと き、前記被写体画像取得手段 201は、刻々と変化する被写体の位置'姿勢を一定の 間隔、例えば、 30Hzの間隔で逐次的に取得することも、任意の時刻における被写体 の静止画像を取得することも可能である。また、前記被写体の画像は、前記被写体 画像撮影手段 3で撮影した後、磁気的または電気的、あるいは光学的な記録媒体（ 記録装置）に記録された画像を取得してもよい。なお、前記被写体の画像は、同一時 亥 1Jに撮影した画像であることが望ましいが、被写体の位置や姿勢の変化が十分に遅 ぐ静止物と見なせる場合にはこの限りではない。
[0419] また、前記仮想視点設定手段 202は、前記生成する画像の視点 (仮想視点）のパ ラメータとして、例えば、位置，方向，画角を設定する。このとき、前記仮想視点は、 前記仮想視点設定手段 202において自動的に決定してもよいし、利用者がマウスや キーボード等の視点情報入力手段 4を用いて入力した情報に基づいて決定してもよ レ、。またこのとき、視点情報入力手段 4は、前記利用者が装着する位置'姿勢検出セ ンサでもよレ、。また、他のプログラムにより与えられるものでも、ネットワークを介して与 えられるものでも可能である。
[0420] また、前記投影面等設定手段 203は、例えば、図 54に示したステップ 10301,ステ ップ 10302,ステップ 10303の処理を行う。
[0421] また、前記テクスチャ配列確保手段 204では、図 54に示したステップ 10304の処 理を行い、例えば、各画素について色情報と存在確率に関する情報を保持し、例え ば、赤 (R) ,緑 (G) ,青（B)の 3原色及び前記存在確率に対して各 8ビットで表現する テクスチャ配列を確保する。ただし、本発明はこのような特定のデータ表現形式に依 存するものではない。
[0422] また、前記色情報/存在確率決定手段 205は、図 54に示したステップ 10305の処 理を行い、例えば、図 56に示したようなステップ 10305aからステップ 10305gまでの 処理を行う。また、前記レンダリング手段 206は、前記色情報/存在確率決定手段 2 05の結果をもとにして、図 54に示したステップ 104の処理を行レ、、前記仮想視点 P からみた前記被写体の画像を生成する。
[0423] また、前記レンダリング手段 206で生成した仮想視点画像は、前記生成画像出力 手段 207力、ら出力され、 CRT, LCD (Liquid Crystal Display) , PDP (Plasma Display Panel)等の画像表示手段 5で表示される。このとき、前記画像表示手段 5は、例えば 、 2次元平面状の表示装置でもよいし、利用者を取り囲むような曲面状の表示装置で あってもよい。また、前記画像表示手段 5として、立体表示が可能な表示装置を用い れば、前記仮想視点設定手段 202で、前記利用者の左右眼に相当する 2つの視点 を決定し、前記 2つの視点からの立体画像を生成したのち、利用者の左右眼に独立 した画像を提示することも可能である。また、 3つ以上の仮想視点からの画像を生成 し、 3つ以上の視差がついた画像を表示することのできる 3次元ディスプレイを用いれ ば、 1人以上の利用者に対して立体映像を提示することも可能である。
[0424] また、前記生成画像出力手段 207は、前記生成した画像を前記画像表示手段 5に 出力するだけでなぐ例えば、電気的，磁気的，光学的な記録媒体に出力するような 手段であってもよい。
[0425] またこのとき、図示は省略するが、前記画像生成装置 2に、前記生成した画像を蓄 積する蓄積手段を設けて前記生成した画像を蓄積しておき、利用者からの指示に応 じて、蓄積された画像を出力し前記画像表示手段 5で表示するようにしてもよい。
[0426] また、前記撮影手段 3として、例えば、偏光型二値光学系が組み込まれているカメ ラを用いれば、 2通りの合焦距離で前記被写体 Objを撮影することができる。前記偏 光型二値光学系は、光学的な異方性 (複屈折性)を示す材質を用いた光学系であり 、例えば、図 59 (a)に示すように、前記偏光型二値光学系 6を通る光の偏光成分が p 成分の場合と、 s成分の場合で合焦距離 f， f が異なる。このとき、一般的な撮影手段
1 2
のように、 1枚のイメージセンサ 7上に画像を結像すれば、前記イメージセンサ 7から 得られる画像では、前記 p成分によるイメージと s成分によるイメージ、すなわち合焦 距離 f で撮影した画像と合焦距離 f で撮影した画像が重なった画像になってしまう。
1 2
そのため、例えば、図 59 (b)に示すように、前記偏光型二値光学系 6を通った光をビ 一ムスプリッタ 8で分離し、 p成分の光を第 1イメージセンサ 7Aに結像させ、 s成分の 光を第 2イメージセンサ 7Bに結像させれば、合焦距離が f の画像と、合焦距離が f の
1 2 画像に分離して取得することができる。
[0427] ここで、例えば、図 59 (b)に示したように、前記合焦距離 f の近傍に被写体 ObjAが
1
あり、合焦距離 f の近傍に別の被写体〇bjBがあるとすれば、前記第 1イメージセンサ
2
7Aの画像、すなわち p成分の光で結像させた画像は、図 59 (c)に示したように、被 写体 ObjAがシャープで、被写体〇bjBがぼやけた画像になる。一方、前記第 2ィメー ジセンサ 7Bの画像は、逆に、被写体 ObjAがぼやけ、被写体 ObjBがシャープな画 像になる。
[0428] また、前記偏光型二値光学系 6を用いて撮影した画像を分離するときには、前記ビ 一ムスプリッタ 8の代わりに、例えば、図 60 (a)に示すように、前記偏光型二値光学系 6とイメージセンサ 7の間に偏光フィルタ 9を設置してもよい。このとき、設置する偏光 フイノレタ 9は、例えば、図 60 (b)に示すように、 p成分に対するフィルタ 9Aと s成分に 対するフィルタ 9B力 巿松格子状に配置されたフィルタを用いる。このとき、各フィル タ 9A， 9Bが前記イメージセンサ 7の画素と同じサイズ、あるいは n X n画素のサイズで あれば、前記イメージセンサ 7で得られた画像から、 p成分または s成分に相当する画 素を間引くことで、図 59 (c)に示したような 2枚の画像が得られる。
[0429] また、前記合焦距離が異なる複数枚の画像を撮影するときには、前記偏光型二値 光学系 6を用いる代わりに、例えば、図 61 (a)に示すように、可変焦点レンズ 10を用 レ、てもよい。前記可変焦点レンズ 10を用いれば、例えば、図 61 (a)に示したように、 1 つのレンズで 4つの焦点位置 f , f , f , f の画像を得ることができる。
1 2 3 4
[0430] またさらに、前記偏光型二値光学系 6や可変焦点レンズ 10のように、レンズの媒質 の屈折率を変化させることで焦点位置を変化させる代わりに、図 61 (b)に示すように 、合焦距離が固定しており、かつ、互いに異なる固定焦点レンズ 11a, l ib, 11c, 1 Idをレンズホルダ 12で一体的に支持し、例えば、レンズホルダ 12を回転させて個々 のレンズを高速で切り替えながら画像を撮影してもよい。
[0431] 以上説明したように、本実施例 3 - 1の画像生成方法によれば、従来の手段のように あらゆる場合及びあらゆる箇所で被写体の正確な幾何モデルを得ようとするのでは なぐ被写体の撮影条件や部位によっては距離推定で十分な信頼性を持つ推定値 が得られないことを前提として、推定の信頼性が低い箇所については曖昧に描画し て画像生成への寄与を低くし、極端な画像の劣化を防止するとともに、推定の信頼 性が高い箇所については明瞭に描画して画像生成への寄与を高くする。そのため、 推定の信頼性が低い箇所の画像の劣化を目立たなくすることができ、利用者の見た 目には劣化の少なレ、仮想視点画像とすることができる。
[0432] また、本実施例 3— 1の画像生成方法では、テクスチャマッピングの手法を利用して 物体の 3次元的な形状を取得し、前記仮想視点 Pから見た画像を生成するので、図 5 8に示したような画像生成装置 2で前記仮想視点画像を生成するときの負荷を小さく することができ、高速に仮想視点画像を生成することができる。
[0433] また、前記画像生成装置 2は、専用の装置 (計算機)である必要はなぐ例えば、コ ンピュータとプログラムによっても実現することができる。その場合、図 54及び図 56に 示したような各ステップをコンピュータに実行させることが可能なプログラムを作成し、 前記コンピュータに実行させれば、一般に普及しているパーソナル 'コンピュータでも 、画像の劣化が少ない仮想視点画像を容易に、かつ高速に生成することができる。 またこのとき、前記プログラムは、磁気的、電気的、あるいは光学的な記録媒体に記 録して提供することもできるし、ネットワークを通して提供することも可能である。
[0434] なお、本実施例 3— 1で説明した画像生成装置の構成、及び画像の生成方法ゃ処 理手順は一例であり、本発明の本旨とするのは、多層力 構成される投影面にテクス チヤマッピングする画像に対して存在確率を与え、推定した距離の信頼性が低いとこ ろは複数の投影面にテクスチャマッピングして曖昧に描画する点である。そのため、 この主旨を大きく逸脱しない範囲において特定の処理方法や実装に依存するもので はない。
[0435] また、本実施例 3 - 1の画像生成方法では、画像上の点（画素）が赤 (R) ,緑 (G) , 青（B)の 3原色を用いた色情報で表現されたカラー画像を取得し、前記仮想視点画 像を生成する場合を例に挙げて説明したが、本実施例 3-1の画像生成方法は、前 記カラー画像に限らず、画像上の各点（画素）が輝度 (Y)，色差 (U， V)を用いた表 現の白黒画像を取得し、前記仮想視点画像を生成することもできる。取得する画像 が前記白黒画像の場合、前記色情報に相当する情報として、前記輝度情報 (Y)を 用いて、本実施例 3— 1で説明したような手順で仮想視点画像を生成すればよい。
[0436] 図 62及び図 63は、本実施例 3— 1の画像生成装置を用いた画像生成システムの概 略構成を示す模式図であり、図 62は画像生成システムの一構成例を示す図、図 63 は画像生成システムの他の構成例を示す図である。
[0437] 本実施例 3— 1の画像生成装置 1は、例えば、図 62に示すような画像生成システム に適用することができる。このとき、利用者 Userがマウス等の前記視点情報入力手段 4を用いて、所望の視点位置，方向，画角を指定すると、前記画像生成装置 2は、前 記撮影手段 3で撮影している被写体 Objの画像を取得する。そして、前記被写体 Obj の画像を取得した前記画像生成装置 1では、本実施例 3 - 1で説明したような手順で 、前記利用者 Userが指定した視点位置，方向，画角から前記被写体〇bjを見たとき の画像を生成する。そして、生成した画像を画像表示手段 5に表示し、利用者 User に提示する。
[0438] このとき、前記撮影手段 3は、前記利用者 Userがいる場所と地理的に近い場所に 設置されていてもよいし、インターネット等のネットワークを介して、地理的に遠隔な場 所に設置されていてもよい。
[0439] また、本実施例 3— 1の画像生成装置 1は、例えば、図 62に示したように、利用者 Us erと被写体 Objの関係が固定されている一方向の画像生成システムだけでなぐテレ ビ電話やテレビ会議のような双方向の通信システムに適用することも可能である。
[0440] 本実施例 3— 1の画像生成装置 2を双方向の通信システムに適用するときには、例 えば、図 63に示すように、利用者 UserAを撮影する撮影手段 3A及び利用者 UserB を撮影する撮影手段 3Bがあればいい。こうすれば、前記利用者 UserAは、前記撮 影手段 3Bで撮影された利用者 UserBの画像を用いて、所望の視点から前記利用者 UserBを見たときの画像を生成し、画像表示手段 4Aに表示させることができる。同 様に、前記利用者 UserBは、前記撮影手段 2Aで撮影された利用者 UserAの画像 を用いて、所望の視点から前記利用者 UserBを見たときの画像を生成し、画像表示 手段 4Aに表示させることができる。このとき、前記画像生成装置 2は、図 63に示した ように、前記各利用者 UserA, UserBの手元に設置されていてもよいし、どちらか一 方の利用者 UserA, UserBの手元にのみ設置されていてもよレ、。また、インターネッ トゃ社内 LAN等のネットワーク 13上に前記画像生成装置 2Cを設置すれば、前記各 利用者 UserA, UserBの手元に前記画像生成装置 2が無くても、前記仮想視点から 見た画像を生成し、表示することができる。
[0441] また、図 63では、利用者が二人の例を示している力 さらに多数の利用者間でも、 同様の画像生成を行うことができる。そのため、利用者が実際に存在する実空間とは 別にコミュニケーションに用いる仮想空間を想定し、その位置関係に応じた他の利用 者の画像をお互いに提示し合えば、あた力もネットワーク上の仮想空間（サイバース ペース）を共有するかのような感覚を利用者に提示することができる。
[0442] なお、図 62及び図 63に示したシステムの構成は、本発明における画像生成装置 の一適用例を示すものであり、必ずしもこのような構成に限定されるものではない。す なわち、個々の装置及び手段の配置，形態，実装等は、本発明の趣旨を逸脱しない 範囲において任意に設定することができる。
(実施例 3— 2)
図 64は、実施例 3—2の特徴となる処理を示すフロー図である。本実施例 3— 2では 、前記実施例 3— 1で説明したような仮想視点画像の生成処理において、前記ステツ プ 10305fで決定した投影点の存在確率の代わりに、前記存在確率を透明度に変 換して画像生成を行う例を示す。
[0443] このとき、前記画像生成装置 1の構成や、全体的な処理手順については、前記実 施例 3— 1で説明した例と同様な形態をとることができるため、以下、差異のある部分 のみを説明する。
[0444] 前記実施例 3 - 1では、前記ステップ 10305fで決定した前記存在確率 βを用いて 、例えば、前記数式 69を用いて、前記仮想視点 Ρから見た画像上の各点の色情報を 決定し、前記仮想視点画像を生成したが、その場合、図 50を用いて説明したように、 前記被写体の形状や前記基準視点と仮想視点の位置関係によっては、本来の被写 体表面の色情報とは大きく異なる場合がある。そこで、本実施例 3— 2では、そのよう な問題を解決する方法として、前記存在確率を透明度に変換し、前記各投影点の色 情報を前記透明度に応じた割合で混合する方法について説明する。このとき、前記 存在確率を透明度に変換するステップは、前記ステップ 103による処理におけるステ ップ 10305fの後、または前記ステップ 104、あるいは前記ステップ 103とステップ 10 4の間で行えばよい。そこで、本実施例 3— 2では、図 64に示すように、前記前記存在 確率を決定するステップ 10305fの直後に、前記存在確率を変換して透明度を決定 するステップ 105を付加する。
[0445] この場合、前記実施例 3—1のテクスチャ配列を確保するステップ 10304では、色情 報及び前記存在確率を保持するテクスチャ配列を確保したのに対し、本実施例 3— 2 のステップ 10304では、色情報及び前記透明度を保持するテクスチャ配列を確保す る。
[0446] 前記透明度 αは、前記存在確率 βに基づいて計算され、前記実施例 3 - 1のステ ップ 10305fと同様、本実施例 3-2でも、前記ステップ 10305fで前記存在確率をい つたん計算し、次のステップ 105で透明度ひを計算する。
[0447] また、本実施例 3—2のレンダリング処理を行うステップ 104では、前記実施例 3— 1 で説明した前記数式 83や数式 84の代わりに、前記数式 11から前記数式 13までに 従って Dを逐次的に計算する。そのため、画像面上のある画素 p* (u *， V *)の色情報
J
K*は、下記数式 85のように計算することになる。
[0448] [数 85]
KP* = DM
= aMKM + ( 1 - " Μ μΜ_χΚΜ_χ + · · ·
Figure imgf000105_0001
以上が本実施例 3— 2における画像生成方法であるが、前記存在確率 /3をもとに透 明度ひを計算する方法は、第 1の実施の形態において図 19 (b)を参照して説明した 方法と同じである。
[0449] 本実施例 3-2の画像生成方法によれば、前記実施例 3-1と同様に、部分的な画 像の劣化が目立たない仮想視点画像を容易に、かつ高速に生成することができる。
[0450] また、前記実施例 3— 1で説明したように、存在確率をそのまま用いた画像生成では 、基準視点と仮想視点が異なる場合に被写体の遮蔽領域付近で輝度の増加が生じ ることがあるのに対し、本実施例 3-2のように、存在確率を透明度に変換する画像生 成では、この現象を防止する効果がある。そのため、画像の劣化が少なぐより実際 の被写体に近い仮想視点画像を得ることができる。
[0451] また、前記実施例 3— 1で説明したように、存在確率をそのまま用いる画像生成では 、基準視点と仮想視点が異なる場合には、色情報を混合したときに有効な色情報の 範囲内に収まる保証がなぐ例えば、補正処理が必要であるのに対し、本実施例 3- 2のように、前記存在確率情報を透明度に変換する画像生成では、このような補正は 不要である。そのため、画像生成処理が簡略化できる。
[0452] また、本実施例 3— 2の仮想視点画像生成方法のように、存在確率を透明度に変換 する画像生成では、半透過の被写体も効率的に表現することができ、現実世界にあ るより多くの被写体に対して広く本発明を適用できる効果がある。
[0453] なお、本実施例 3— 2で説明した画像生成方法は一例であり、本実施例 3—の本旨と するところは、前記存在確率を透明度に変換して仮想視点画像を生成することである 。そのため、この主旨を大きく逸脱しない範囲において特定の計算方法や処理手順 に依存するものではない。
[0454] また、本実施例 3— 2の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよく、白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (Y)を用いて、本実施例 3-2で説明したような混合処理を行えばよい。
[0455] 図 65は、本発明の画像生成方法における、他の生成方法を説明するための模式 図である。
[0456] 前記実施例 3 - 1及び実施例 3 - 2の画像生成方法では、合焦距離が異なる複数枚 の画像の取得に一般的なレンズを用レ、、色情報の投影あるいは射影をするときに、ピ ンホール光学系で近似することを前提として説明した。し力 ながら、本発明の画像 生成方法のように、合焦距離が異なる画像を用いる場合、例えば、テレセントリック · レンズを用いて前記複数枚の画像を取得すれば、色情報の投影あるいは射影をする ときに、図 65に示すように、平行投影系を設定することもできる。この場合、生成する 画像上の点 Aを通り、画像面に垂直な直線と前記投影面 Lの交点を対応点 Tとし、 前記実施例で説明したような手順で各投影点 T上に被写体が存在する確率 βを求 めればよレ、。このとき、図 65に示したように、投影点 Τにテクスチャマッピングする対
1
応点 Gの座標の X成分及び y成分は、イメージセンサ上の点 Gの X成分及び y成分に
1
なる。そして、取得した画像 Img上において、前記対応点 Gに写っている部分と同じ
i 1
部分は、前記イメージセンサ上の点 Gを通り前記イメージセンサと垂直な直線上にな るので、これらの点を対応点 Gとして前記投影点 Tの色情報 K及び合焦点度 Qを
i 1 1 1 決定する。そして、この処理を同一直線上の各投影点 Tに対して行った後、前記各 投影点の合焦点度から存在確率 βを求めればよい。
[0457] (第 3の実施の形態の効果）
上記のように、第 3の実施の形態の画像生成方法は、前記被写体の 3次元的な形 状を得るための基準視点から見て重なり合う複数の投影点に色情報または輝度情報 と前記被写体の表面が存在する確率 (存在確率）を与える。すなわち、従来の 3次元 的な形状を得る方法のように、前記被写体の表面を、前記基準視点から見て重なり 合う複数の投影点の中の 1つの投影点上に存在すると考えるのではなぐ前記被写 体の表面は、前記各投影点上に前記存在確率で存在すると考える。このようにすると 、距離の推定の信頼性が低い場合でも、実際に物体の表面が存在する投影点上に 、ある確率で物体の表面が存在する。このとき、前記仮想視点から見た前記被写体 の画像を生成すると、生成した画像上の点（画素）で、前記存在確率が低い投影点 の色情報を混合した色情報または輝度情報を持つ画素、すなわち距離の推定の信 頼性が低い被写体上の点は曖昧に描画される。その結果、距離の推定を誤ったとき に生じるような不連続なノイズを目立ちにくくすることができる。
[0458] 前記被写体の 3次元的な形状を得るために、合焦点度が異なる複数枚の画像を用 いる。このとき、前記基準視点から見て重なり合う各投影点の存在確率は、前記各投 影点と対応する前記各画像上の点（対応点）の合焦点度に基づいて決定する。その ため、物体の形状や、前記基準視点と前記仮想視点の位置関係によっては、前記仮 想視点から見て重なり合う複数の投影点の中に、存在確率が非常に高い投影点が 2 点以上含まれることがある。そのような場合、例えば、前記各投影点の色情報または 輝度情報を前記存在確率に応じた割合で混合すると、生成する画像上の点の色情 報が有効な色空間の範囲を超えてしまうことがある。そのため、前記存在確率に基づ いて前記投影点に透明度を設定し、前記透明度に応じた割合で色情報を混合処理 してもよレ、。このようにすると、前記仮想視点から見て重なり合う投影点の中に、存在 確率が高い投影点が 2点以上ある場合、前記仮想視点から見て遠くある投影点、例 えば、前記仮想視点からは見えない投影点の色情報の、生成画像上の点の色情報 への寄与を小さくすることができる。 [0459] 従来の生成方法のようにあらゆる形状の被写体、そして前記被写体上のあらゆる点 で幾何学的なモデルを正確に求めるような処理は行わない。そのため、前記画像を 生成する装置 (計算機）に力かる負荷を低減することができる。前記画像を生成する 装置に力かる負荷を低減できれば、一般に普及しているパーソナル 'コンピュータの ように、処理性能が低い装置でも、高速で画像を生成することが可能になる。
[0460] また、前記被写体の 3次元的な形状を取得するときに、 1つの視点から合焦距離を 変えて撮影した画像を用いる場合、前記画像の撮影に用いる撮影装置は、従来のよ うな多視点から撮影する装置に比べて小型化でき、装置構成も簡素化することができ る。このとき、例えば、光学的な異方性を示し、偏光面に応じて合焦距離が異なる材 質を備える偏光型二値光学系を用いて前記被写体を撮影すれば、 1つの視点から 合焦距離が異なる 2枚の画像を撮影することができる。また、例えば、合焦距離が異 なるレンズを複数個用意して、前記各レンズを高速で切り替えながら撮影すれば、 1 つの視点から合焦距離の異なる 3枚以上の画像を撮影することができる。
[0461] [第 4の実施の形態]
次に本発明の第 4の実施の形態について説明する。第 4の実施の形態は、主に請 求項 30—請求項 43に対応する実施の形態である。第 4の実施の形態は、評価基準 値 Vに対する統計処理 (パラメータフィッティング）に基づき存在確率を求める点に特 に特徴がある。なお、第 4の実施の形態を説明するための図において、同一機能を 有するものは、同一符号を付ける。
[0462] 第 4の実施の形態の 3次元画像表示方法では、互いに異なる撮影条件で被写体を 撮影した複数枚の画像から前記被写体の 3次元形状を取得し、取得した前記被写体 の 3次元形状に基づいて、 DFDのように複数の表示面を備えるディスプレイに前記被 写体の 3次元像を表示する。前記被写体の 3次元形状を取得するときには、仮想的 な 3次元空間上に多層構造の投影面を設定し、観察者の視点から見て重なり合う複 数の投影面上の点 (投影点）について、前記各投影点の色情報または輝度情報、及 び前記投影点上に被写体の表面が存在する確率 (存在確率）を決定する。そして、 取得した前記被写体の 3次元形状に基づいて、前記複数の表示面に表示する 2次 元画像を生成するときに、前記投影点の色情報または輝度情報を割り当てる 2次元 画像上の点に、前記色情報または輝度情報、及び存在確率を割り当て、前記画像 表示面に表示するときに、 2次元画像上の各点を前記存在確率の高さに応じた輝度 で表示する。こうすることで、前記被写体の表面の距離に関する推定の信頼性が低 い部分を曖昧に表示し、観察者の見た目に自然な 3次元像を提示する。
[0463] (実施例 4一 1)
図 66乃至図 77は、実施例 4一 1の画像生成方法を説明するための模式図であり、 図 66は全体的な処理手順の一例を示すフロー図、図 67及び図 68は投影面の設定 方法の一例を示す図、図 69は投影点列の設定方法を説明する図、図 70は投影点 の色情報及び存在確率を決定するステップの処理手順の一例を示すフロー図、図 7 1乃至図 74は存在確率の決定方法を説明する図、図 75乃至図 77は各画像表示面 で表示する 2次元画像の生成方法を説明する図である。
[0464] 本実施例 4一 1の画像生成方法は、例えば、 DFDのような観察者から見て奥行き方 向に重なった複数の画像表示面を有する画像表示手段に表示する画像を生成する 方法であり、図 66に示すように、異なる視点から物体を撮影した複数枚の画像を取 得するステップ 101と、表示する物体の 3次元像を観察する観察者の視点 (基準視点 )を設定するステップ 102と、前記複数枚の画像から前記物体の 3次元形状を取得す るステップ 103と、前記ステップ 103で取得した前記物体の 3次元形状に基づいて、 各画像表示面に表示する 2次元画像を生成するステップ 104と、前記ステップ 104で 生成した各 2次元画像を前記各画像表示面に表示して前記物体の 3次元像を提示 するステップ 105とを有する。
[0465] 本実施例 4 - 1の画像生成方法を用いて、例えば、前記 DFDで物体の 3次元像を表 示するための画像を生成するときには、まず、異なる視点から前記物体を撮影した画 像を取得する (ステップ 101)。このとき、前記取得する画像を撮影する視点は、例え ば、直線状に一列に並んでいても良いし、円弧状または任意の曲線上、あるいは平 面または曲面上に 2次元的に並んでいても良レ、。またこのとき、取得する画像は、力 ラー画像であっても、白黒画像であってもよいが、本実施例 4-1では、画像上の各点 (画素）が赤 (R)，緑 (G) ,青（B)の 3原色を用いた色情報で表現されるカラー画像を 取得するとして説明する。 [0466] 前記ステップ 1で画像を取得したら、次に、前記 DFDに表示される物体を観察する 観察者の視点を設定する（ステップ 102)。このとき、前記観察者の視点は、例えば、 前記複数の画像表示面のうちの基準となる画像表示面からの距離等の前記観察者 の視点と前記画像表示面の相対的な位置関係や、視線の方向等を設定する。
[0467] 前記ステップ 2で観察者の視点を設定したら、次に、前記ステップ 1で取得した複数 枚の画像から、前記画像に写っている物体の 3次元形状を取得する（ステップ 103)。 前記ステップ 3では、まず、多層構造の投影面 L (」·=1,2,· · ·,Μ)を設定する（ステップ 1
J
0301)。そして次に、前記物体の 3次元形状を取得するための基準視点 Rを設定す る（ステップ 10302)。このとき、前記投影面 Lは、例えば、図 67に示すように、仮想
J
的な 3次元空間上の XY平面と平行な面を複数枚設定する。またこのとき、前記各投 影面 Lは、例えば、図 67及び図 68に示すように、前記 3次元空間上の Z = 0から負
J
の方向の距離 1に設定する。また、前記基準視点 Rは、前記物体の 3次元形状を取得 j
するための視点であり、 3次元空間上の任意の点に設定することができる。そこで、前 記基準視点 Rは、前記ステップ 2で設定した観察者の視点とし、例えば、前記 Z = 0か ら最も遠い投影面 Lを、前記 DFDの観察者から見て最も奥にある画像表示面として、
1
図 68に示すように、前記投影面 Lからの距離が、前記観察者の視点から前記 DFD
1
の最も奥にある画像表示面までの距離 Idとなるように設定する。
[0468] 前記ステップ 10301及びステップ 10302で前記投影面 L及び基準視点 Rを設定し たら、次に、前記投影面上の投影点、及び前記各投影点と対応する前記取得した画 像上の点（対応点）等を設定する（ステップ 10303)。このとき、前記投影点は、例え ば、図 69に示すように、前記基準視点 Rから複数の方向に直線を引き、前記各直線 と前記各投影面 Lの交点に設定する。また、前記被写体の表面の距離を推定すると きには、前記同一直線上にある複数の投影点 Tに対して、どの投影点上に存在する か推定するので、図 69に示したように、同一直線上にある投影点 Tを投影点列 Sとし
J
てひとまとめに扱う。
[0469] また、前記対応点は、図 67及び図 68に示したように、前記投影点 Tから前記各カメ ラの視点 Cを見たときに、前記カメラの視点と重なる前記各カメラの画像面上の点 G である。このとき、図 67に示したように、前記各画像面上に 2次元の座標系（xy座標 系）を設定すると、前記投影点 T (X , Υ , Z )と対応する対応点 Gijの 2次元座標 (X，
J J J
y )は、前記投影点 Tを各画像面上の 2次元の点に射影することで求められる。この 射影は、一般的な、 3次元空間上の点 (Χ， Υ, Z)を 2次元平面上の点 (x， y)に射影 する 3行 4列の射影行列を用いて行えばょレ、。前記仮想的な 3次元空間内での前記 対応点 Gの座標 (X， y )と、前記ディジタル画像座標 (u， V)との関係は、これまでに 説明した通りである。
[0470] 前記ステップ 10303では、前記対応点 Gのディジタル画像座標 (u , v )と前記投 影点 Tの 3次元空間座標 (X , Υ , Z )の対応関係を設定する。この対応関係は、全て
J J J J
の（u , v )に対して (X， Υ， Ζ )の値をテーブルとして設定してもよレ、し、代表的な（u
, v )に対してのみ (X， Y , Z )の値を設定し、その他の点は、例えば、線形補完等の
J
補完処理で求めてもよい。
[0471] また、前記ディジタル画像座標系では (u， V)は離散値をとるが、以下の説明では断 りのない限り連続値をとることとし、前記 2次元配列へアクセスするときに適当な離散 化処理を行うものとする。
[0472] 前記ステップ 10303で前記投影点列、対応点等を決定したら、次に、前記投影面 Lの情報、すなわち前記投影面 Lにテクスチャマッピングする画像を格納する配列（ テクスチャ配歹 IJ)を確保する。 （ステップ 10304)。このとき、確保する配列は、前記投 影点 Tの位置に対応するテクスチャ情報として、画素毎に色情報及び存在確率の情 報を、例えば、 8ビットずつ持たせる。
[0473] 前記ステップ 10304で前記投影面の情報を格納する配列を確保したら、次に、各 投影点 Tの色情報及び存在確率を決定する（ステップ 10305)。前記ステップ 1030 5では、例えば、図 70に示すように、ある投影点列上の各投影点 Tの色情報及び存 在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという 2 重ループの処理を行う。そこでまず、前記投影点列を初期化する（ステップ 10305a) 。そして次に、前記投影点列上の投影点 Tを初期化し、例えば、 j=lとする。 （ステップ
J
10305b)。
[0474] 次に、前記投影点 Tの色情報を決定する（ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報 Kの平均値を 前記投影点 の色情報 に決定する。
[0475] 次に、前記投影点 Tと対応する各対応点 G (ie i)に写っている物体上の点の相関 度 Qを求める（ステップ 10305d)。このとき、前記相関度 Qは、例えば、前記投影点 Tの色情報を表すベクトルを K、各対応点 Gの色情報を表すベクトルを Kとおくと、
J j ij ij 下記数式 86により求められる c
[0476] [数 86] =Σ 1€/ ( -^ 前記数式 86を用いて相関度 Qを求めた場合、前記相関度 Qは、常に正の値をとり
J
、かつ、相関が高いほど値が小さくなる。
[0477] なお、前記数式 86は前記相関度 Qの求め方の一例であり、前記数式 86以外の数 式を用いて前記相関度 Qを求めてもよい。また、前記相関度 Qを求めるときには、前 記投影点 Tと前記対応点 Gの 1点だけでなぐ前記投影点 T及び前記対応点 Gの 近傍にある複数の点を含めた小領域を考えて求めてもよい。
[0478] 前記ステップ 10305dにより、前記相関度 Qを求めたら、前記投影点 Tを更新し、 処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及び ステップ 10305dの処理を行ったか確認する（ステップ 10305e)。ここで、前記ステツ プ 10305c及びステップ 10305dの処理を行っていない投影点があれば、前記ステ ップ 10305cに戻って前記色情報 K及び相関度 Qを求める。
J
[0479] 処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び相関 度 Qを求めると、図 71に示すように、投影点列上の各投影点 Tに対して色情報 K及
J
び相関度 Qが与えられる。このとき、前記各投影点 Tの相関度 Qを比較すると、一般
J J
的には、図 72 (a)に示すように、ある投影点 Tの相関度 Qだけが特徴的な小さな値
m m
をとる。このような場合、その投影点列投上では、前記物体の表面が前記投影点 τ m 上にあると推定でき、その信頼性も高い。
[0480] し力 ながら、物体の形状や表面の模様 (テクスチャ）、あるいは撮影条件等によつ ては、投影点列上の各投影点 Tの相関度 Qを比較したときに、図 72 (b)に示すよう に、相関度が特徴的な小さな値を持つ投影点がない場合がある。このような場合、前 記物体の表面がある 1つの投影点上にあると推定しても、その信頼性は低ぐ推定を 誤っている場合がある。そして、推定を誤っている場合、その影響が生成した画像上 に大きなノイズとなって現れてレヽた。
[0481] そこで、前記各投影点 Tの相関度 Qの高さに基づいて前記投影点列上の各投影 点 Tに物体の表面が存在する確率（存在確率） βを決定する。このとき、前記存在確
J J
率 βは、前記相関度 Qから直接求めることも可能であるが、取得した画像上にノイズ
J J
があり、前記相関度 Qの信頼性が低いと、前記存在確率 /3もその影響を受けて信頼
J J
性が低下する。そこで、本実施例 4 - 1の画像生成方法では、まず、前記存在確率 /3
J
の基準値として用いる評価基準値 Vを求める（ステップ 10305f)。このとき、前記評 j
価基準値 Vは、下記数式 87及び数式 88を満たす必要がある。
J
[0482] [数 87]
[0483] [数 88]
Figure imgf000113_0001
さらに、前記投影点 Τに物体の表面が存在する確率が高いほど前記評価基準 V が 1に近い値をとるようにすると、前記投影点列上の各投影点 Τに対して求めた相関 度 Qに対し、例えば、下記数式 89及び数式 90で表される変換処理を行って前記評 価基準値 v (je J)を算出すればょレ'
[0484] [数 89] =
Q J
[0485] [数 90]
Λ M ~〜 f=l なお、前記評価基準値 は、基本的には前記数式 87及び数式 88の条件を満たし ていればよい。そのため、前記変換処理は、前記数式 89及び数式 90以外の数式を 用いて算出してもよい。
[0486] 前記数式 89及び数式 90を用いて算出した各投影点 Tの評価基準値 vは、前述 のように、前記物体の表面が存在する確率 (存在確率）として用いることも可能である 力 取得した画像上のノイズの影響により、そのままでは存在確率としての信頼性が 不十分である場合が出てくる。そのため、次に、生成する物体の確率分布モデルを 仮定して、前記評価基準値 Vに対する統計処理 (パラメータフィッティング）を行い、 例えば、図 73 (a)に示すようなフィッティング関数 p (1)を求める（ステップ 10305g)。
[0487] ここで、前記物体が存在する確率の確率密度分布が、距離 1に対して正規分布（ガ ウス分布）に従うと仮定すれば、前記評価基準値 Vのフィッティング関数 p (l)は、下
J
記数式 91のように表すことができる。
[0488] [数 91] ( - 2
P ex
πσ 2σ
ここで、 / は存在確率分布の平均値、 σは存在確率分布の分散であり、それぞれ 下記数式 92,数式 93で与えられる。
[0489] [数 92]
Figure imgf000115_0001
[0490] [数 93]
Figure imgf000115_0002
前記フィッティング関数 ρ (1)を求めたら、その関数 ρ (1)から、各投影面 LPの距離 lp
1 j
、すなわち前記各対応点 Tに物体が存在する確率 j3を決定する（ステップ 10305h)
J J
。このとき、前記存在確率 /3は、例えば、下記数式 94を用いて決定する。
J
[0491] [数 94]
Yj =！:; Pil)dl
：で、 Γ, 1 Ίまそれぞれ、図 73 (b)に示すように、投影面 Lに寄与する距離の下
J J J 限及び上限であり、例えば、下記数式 95及び数式 96で与えられる。
[0492] [数 95]
/ J: = 2 / J： =- 00
[0493] [数 96]
Figure imgf000116_0001
前記ステップ 10305c力、らステップ 10305hの処理を行うと、図 74に示すように、投 影点列上の前記各投影点 Tの色情報 K及び存在確率 /3が決定される。その値を前
J J J
記ステップ 10304で確保した領域に格納する。
[0494] このように、ある投影点列上で表示する物体表面が存在する確率の確率密度分布 を仮定できる場合、前記評価基準値 Vのフィッティング関数 p (l)に基づいて前記存
J
在確率 /3を求めると、撮影した画像のノイズの影響を低減することができる。
J
[0495] なお、前記数式 91はフィッティング関数の一例であり、物体の形状分布に応じた種 々の関数、例えば、ラプラス分布関数を用いてパラメータフィッティングを行ってもよ レ、。
[0496] 前記各投影点 Tの色情報 K及び存在確率 βを格納したら、前記投影点列を更新 し、前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからス テツプ 10305hまでの処理を行ったか確認する（ステップ 10305i)。ここで、前記ステ ップ 10305cからステップ 10305hまでの処理を行っていない投影点列があれば、前 記ステップ 10305bに戻って前記ステップ 10305cからステップ 10305hまでの処理 を繰り返す。
[0497] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305hまでの処理を行うと、前記ステップ 10305 (ステップ 103 )の処理が終了し、前記物体の 3次元的な形状が得られる。
[0498] 前記ステップ 103の処理を行うと、例えば、図 74に示すように、ある投影点列上の 各投影点 T (j=l，2，' M)のテクスチャ配列には色情報 K及び存在確率 βが保持さ れている。つまり、本発明の 3次元画像表示方法で取得する物体の 3次元形状は、従 来の方法のように前記投影点列上のある 1つの投影点に物体の表面が存在するの ではなぐ前記各投影点に存在する。
[0499] 本実施例 4 - 1の画像生成方法では、前記ステップ 103で取得した前記被写体の 3 次元形状に基づいて、前記観察者から見た前記被写体の画像を生成する。本実施 例 4一 1では、生成する画像は DFDのような複数の画像表示面を有するディスプレイ の前記各画像表示面に表示する 2次元画像の生成方法について説明する。この場 合、前記ステップ 103の処理が終了したら、図 66に示したように、前記投影点の色情 報及び存在確率を、 2次元画像生成面上の点の色情報及び輝度分配係数に変換 する（ステップ 104)。
[0500] 前記ステップ 104で、前記各画像表示面に表示する 2次元画像を生成するときには 、まず、前記仮想的な 3次元空間上に観察者の視点、複数枚の 2次元画像生成面、 前記ステップ 103で取得した前記物体の 3次元形状を設定する。このとき、前記 2次 元画像生成面 LD (η=1，2 · ·，Ν)は、例えば、図 75に示すように、前記観察者の視点
Ρから見て奥行き方向に重なるように設定する。また、前記観察者の視点 Ρから前記 各 2次元画像生成面 LDnまでの距離 Idは、前記ステップ 102で設定された距離にな るように設定する。またこのとき、前記物体の 3次元形状を表現している投影面 Lの数 及び設定間隔が、前記 2次元画像生成面 LDの数及び設定間隔と一致しているとす れば、前記物体の 3次元形状は、例えば、図 75に示すように、前記投影面 Lと前記 2 次元画像生成面 LDがー致するように設定する。このとき、前記 2次元画像生成面 L
Dが、輝度変調型 DFDの各画像表示面に表示する画像を生成する面であるとすれ ば、観察者の視点 Pから見て重なり合う前記 2次元画像生成面 LD上の各点（表示点
)Aに対して、色情報 KD及び輝度分配係数 γ を決定する必要がある。ここで、図 7
5に示すように、前記物体の 3次元形状を表現している投影面 Lと 2次元画像生成面 LDがー致しているのであれば、前記各表示点 Aの色情報 KDは、前記各表示点 A がある 2次元画像生成面 LDと重なっている投影面 Lの投影点 Tの色情報 Kとする
。また、前記各表示点 Aの輝度分配率 γ は、前記各表示点 Αがある 2次元画像生 成面 LDと重なっている投影面 Lの投影点 Tの存在確率 /3を割り当てる。このように して、前記 2次元画像生成面 LD上の各表示点 Aに対して色情報 KD及び輝度分配 係数 γを決定したら、その 2次元画像生成面 LDに生成された画像を出力し、実際 の DFDの画像表示面で表示する（ステップ 105)。
[0501] ただし、前記物体の 3次元形状を表現する投影面 Lの数及び設定間隔は、前記 2 次元画像生成面 LDの数及び設定間隔と一致させる必要はない。そこで次に、投影 面しの数及び設定間隔と前記 2次元画像生成面 LDの数及び設定間隔が一致して レ、なレ、場合の前記 2次元画像の生成方法にっレ、て説明する。
[0502] このとき、前記観察者の視点 Pから見て一番手前の投影面から一番奥の投影面ま での距離と、一番手前の 2次元画像生成面から一番奥の 2次元画像生成面までの距 離がほぼ等しいのであれば、前記物体の 3次元形状を表現する投影面 Lは、例えば
、図 76に示すように、前記観察者の視点 Pから見て一番奥の投影面 Lと 2次元画像 生成面 LDが重なるように設定する。こうすると、前記観察者の視点 Pから見て一番 奥の 2次元画像生成面 LDの各表示点 Aの色情報 KD及び輝度分配係数 γは、前 記観察者の視点 Ρから見て一番奥の投影面 L上の各投影点 Τの色情報 Κ及び存在 確率 βである。
[0503] また、重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、以下のような方法で決定する。
[0504] 前記重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、例えば、前記観察者の視点 Ρから見て、前記各 表示点 Αと重なる前記各投影面 L上の投影点 Τの色情報 Κ及び存在確率 を、前記 投影面 Lから見て最も近い 2次元画像生成面 LD上の表示点 Aに割り当てる。このと き、前記表示点 Aの色情報 KDは、割り当てられた各投影点 Tの色情報 Kの平均値、 もしくは前記表示点 Aがある 2次元画像生成面 LDから見て最も近い投影面 Lの投影 点 Tの色情報 Kとする。また、輝度分配係数 γに関しては、前記割り当てられた各投 影点 Tの存在確率 ;3の和とする。このとき、ある 2次元画像生成面 LDが最も近い生 成面となる投影面 Lの集合を {L | ]≡ Γ }とおくと、前記 2次元画像生成面 LD上の n 表示点 Aの輝度分配率 γ は、前記各投影面 Lの投影点 Τの存在確率 i3を用いて n n j j
、下記数式 97で与えられる。
[0505] [数 97]
M
Yh 二 ∑ A
ここで、前記投影面 Lと 2次元画像生成面 LD 図 77 (a)に示すような位置関係 n
にある場合を考える。ここで、観察者の視点 Pから見て表示点 A , Aと重なり合う各投 影点 T (j=l，2，3,4,5)の色情報 K及び存在確率 を、前記各投影面から見て最も近 レ、 2次元画像生成面上の表示点 Aに割り当てるとすれば、投影点 Τ , Τ , Tの色情 報及び存在確率は、前記表示点 Aに割り当てられる。このとき、前記表示点 Aの色 情報 KDは、例えば、前記各投影点 T， Τ , Tの色情報 Κ , Κ , Kの平均値でも良 いし、前記表示点 A1からみて最も近い投影点 Tの色情報 Kとしても良レ、。また、前 記表示点 Aの輝度分配係数 γ は、前記数式 91を用い、前記各投影点 Τ， Τ , Τ の存在確率 ， ， の和とする。
[0506] 同様に、前記投影点 Τ , Τの色情報及び存在確率は、 2次元画像生成面 LDに割 り当てられ、表示点 Αの色情報 KDは前記投影点 Τ , Tの色情報 Κ , Kの平均値 もしくは投影点 Tの色情報 Kとする。そして、輝度分配係数 γ に関しては、前記数 式 91を用いて前記各投影点 Τ , Τの存在確率 /3 ， β の和とする。
[0507] また、前記 2次元画像生成面 LDの設置間隔と前記投影面 Lの設定間隔が異なり n J
、 2枚の連続した 2次元画像生成面 LD , LD の間にある投影面 Lの投影点の色情 η Π
報及び存在確率は、前記投影面 Lと各 2次元画像生成面 LD , LD の距離の比に j n n
応じて分配してもよい。このとき、前記 2次元画像生成面 LD , LD の間にある投影 n n
面 Lの集合を {L I ]≡ Γ }とおくと、前記 2次元画像生成面 LD上の表示点 Aの輝 n
度分配率 γ は、前記各投影点 Τの存在確率 を用いて、下記数式 98で与えること n j j ができる c
[0508] [数 98]
1
1
=ゾ " 前記数式 98において、 w は、投影面 Lの 2次元画像生成面 LDに対する寄与の
J'n j n
度合いを表す係数である。
[0509] ここで、例えば、図 77 (b)に示すように、 2枚の 2次元画像生成面 LD , LDの間に
1 2
、投影面 L ， Lが設定されている場合を考える。このとき、投影面 Lと前記各表示面
1 2 1
LD , LDの距離がそれぞれ B ， Bとすると、前記投影面 Lの前記各 2次元画像生
1 2 1 2 1
成面 LD , LDに対する寄与の度合いを w , w は、例えば、下記数式 99で与えら
1 2 1,1 1,2
れる。
[0510] [数 99]
Bつ
Βλ + Β2 Βλ + Β2 同様に、投影面 Lと前記各 2次元画像生成面 LD , LDの距離がそれぞれ B , B
2 1 2 3 4 であれば、前記投影面 Lの前記各 2次元画像生成面 LD , LDに対する寄与の度合
2 1 2
い w , w は、下記数式 100で与えられる。
2,1 2,2
[0511] [数 100]
凡 3
2,1 ¾2
二の結果、前記 2次元画像生成面 LDの表示点 Aの輝度分配率 γ 及び前記表示
1 1 1 面 LDの表示点 Aの輝度分配率 γ はそれぞれ、下記数式 101のようになる。
[0512] [数 101]
Υχ二 Wu βχ + W2>1 y¾， 72 = Wu A + W2j2 β2
このように、前記物体の 3次元形状を取得するときに、前記投影点列上の各投影点 Τの相関度 Qから前記各投影点 Τに物体の表面が存在する確率 (存在確率） βを 与えた形状を取得し、前記 2次元画像生成面 LD上の表示点 Aの輝度分配係数を前 記存在確率 /3で与えると、前記投影点列上の各投影点 Tに特徴的な値の相関度 Q を持つ投影点がなぐ物体表面の距離の推定に対する信頼性が低い場合、その投 影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記 各投影点 Tの存在確率 Pから前記 2次元画像生成面 LD上の点の輝度分配係数 γ を決定すると、前記 2次元画像生成面に生成された 2次元画像を実際の画像表示面 に表示し、物体の 3次元像を提示したときに、距離の推定に対する信頼性が低ぐ複 数の投影点に前記存在確率 i3が分散している投影点列上では、前記物体の表面が 曖昧に表示される。そのため、前記 DFDに表示した 3次元像上のノイズが目立ちにく くなり、観察者の見た目に自然な像を表示することができる。
[0513] 以上説明したように、本実施例 4 - 1の画像生成方法によれば、表示する物体の正 確な 3次元形状を求めなくても、観察者の見た目に自然な 3次元像を表示することが できる。
[0514] また、前記存在確率 /3を求めるときに、投影点列上で物体の表面が存在する確率 の確率密度分布を仮定して、前記相関度 Qから算出した評価基準値 vの統計処理 を行って求めることにより、取得した画像上のノイズによる前記存在確率 /3の信頼性 の低下を低減することができる。
[0515] また、本実施例 4 - 1の画像生成方法では、画像上の点（画素）が赤 (R)，緑 (G)， 青（B)の 3原色を用いた色情報で表現されたカラー画像を取得し、前記物体の 3次 元的な形状をする場合を例に挙げて説明したが、本実施例 4一 1の画像表示方法で は、前記カラー画像に限らず、画像上の各点（画素）が輝度 (Y) ,色差 (U, V)を用 いた表現の白黒画像を取得し、前記物体の 3次元的な形状を取得することもできる。 取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝 度情報 (Y)を用いて、本実施例 4-1で説明したような手順で 3次元形状を取得し、前 記 2次元画像を生成すればょレ、。
(実施例 4一 2)
図 78乃至図 81は、実施例 4一 2の画像生成方法を説明するための模式図であり、 図 78は投影点と対応点の関係を示す図、図 79は投影点の色情報及び存在確率を 決定するステップの一例を示すフロー図、図 80及び図 81は存在確率の求め方を説 明する図である。
[0516] 本実施例 4 - 2の画像生成方法は、基本的な手順の流れは、前記実施例 4 - 1の画 像生成方法と同様であり、前記 DFDで表示する複数枚の 2次元画像を生成するとき には、図 66に示したような、前記ステップ 101からステップ 105の処理を行う。本実施 例 4 - 2の画像生成方法において、前記実施例 4 - 1の画像生成方法と異なる点は、 前記ステップ 101で、視点が異なる複数枚の画像の代わりに、合焦距離が異なる複 数枚の画像を取得し、前記ステップ 103において、前記合焦距離が異なる画像を用 いて、前記物体の 3次元形状を取得する点である。
[0517] 本実施例 4一 2の画像生成方法を用いて、例えば、前記 DFDで物体の 3次元像を表 示するための複数枚の 2次元画像を生成するときには、まず、ある視点から合焦距離 を変えて撮影した複数枚の画像を取得する。このとき、前記複数枚の画像は、例えば 、偏光型二値光学系や可変焦点レンズ等を用いて撮影する。また、取得する画像は 、前記実施例 4-1と同様でカラー画像であっても良いし、白黒画像であっても良い。 次に、前記実施例 4-1で説明したように、観察者の視点を設定 (ステップ 102)した後 、前記物体の 3次元形状を取得するステップ 103の処理を行う。
[0518] 前記ステップ 103の処理では、前記実施例 4_1で説明したように、まず、前記投影 面し（j=l，2，' ，M)及び基準視点 Rを設定する（ステップ 10301，ステップ 10302)。そ j
して続けて、前記投影点列や対応点を設定し、前記投影面の情報を格納する配列（ 領域）を確保する（ステップ 10303，ステップ 10304)。 本実施例 4 - 2の 3次元画像表示方法のように、合焦距離が異なる複数枚の画像を 用いて物体の 3次元像を表示させる場合、前記ステップ 10301で投影面 を設定す るときには、例えば、図 78に示すように、前記カメラの視点 Cからの距離が前記カメラ で撮影した画像の合焦距離 f (ί=1，2，· · ·,Ν)と一致するように設定する。そして、前記ス テツプ 10303では、前記投影点 Τに対応する対応点 Gは、前記カメラの視点じから 前記投影点 Τを見たときに前記投影点 Τと重なる画像 Img上の点とする。なお、投影 点列の設定方法、前記投影点 Tの座標と対応点 Gのディジタル画像座標の対応付 けに関しては、前記実施例 4一 1で説明したのと同様の方法で対応付ければよいので 、詳細な説明は省略する。
[0519] また、前記ステップ 10304の投影面の情報を格納する領域を確保する処理も、前 記実施例 4一 1で説明した処理と同様の処理を行えばよいので、詳細な説明は省略 する。
[0520] 次に、前記取得した複数枚の画像を用いて、前記各投影点 Tの色情報及び存在 確率の情報を決定する（ステップ 10305)。本実施例 4 - 2の 3次元画像表示方法でも 、前記ステップ 10305では、例えば、図 79に示すように、ある投影点列上の各投影 点 Tの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対 して繰り返すという 2重ループの処理を行う。そこでまず、前記投影点列を初期化す る（ステップ 10305a)。そして次に、前記投影点列上の投影点 Tを初期化し、例えば 、j=lとする（ステップ 10305b)。
[0521] 次に、前記投影点 Tの色情報を決定する（ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報の平均値を前 記投影点 Tの色情報 Kに決定する。
[0522] 次に、前記投影点 Tと対応する各対応点 Gに写っている物体上の点の焦点の合つ てレ、る度合レヽ (合焦点度）から、前記投影点 Tの合焦点度 Qを求める (ステップ 1030 )。合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度 により決められる。前記合焦点度の算出方法には、前述した通り、 D印 th from Focus 理論もしくは D印 th from Defocus理論に基づき、様々な方法がある。このとき、前記 合焦点度 Qは、例えば、前記各対応点 Gの局所空間周波数の大きさを比較すること で求められる。
[0523] 前記 D印 th from Focus理論もしくは Depth from Defocus理論は、合焦距離の異 なる複数枚の画像を解析し、前記物体の表面形状を計測する方法である。このとき、 例えば、前記合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画 像の合焦距離に相当する距離に前記物体の表面があると推定できる。そこで、前記 投影点 Tの合焦点度 Qは、例えば、下記数式 102で表されるような局所空間周波数 の評価関数を用いて算出する。
[0524] [数 102]
Figure imgf000124_0001
ここで、 fは画素の濃淡値、 Dは正規化のための定数で評価を行う全ての画素数、 (-Lc, -Lr)-(Lc, Lr)及び（xi， yi)-(xf, yf)はそれぞれ分散評価と平滑化を行うための 小領域である。
[0525] なお、前記数式 102は前記合焦点度 Qの求め方の一例であり、前記数式 102以外
J
の数式を用いて前記合焦点度 Qを求めてもよい。
J
[0526] 前記ステップ 10305jにより、前記合焦点度 Qを求めたら、前記投影点 Tを更新し、
J j
処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及び ステップ 1030¾の処理を行ったか確認する（ステップ 10305e)。ここで、前記ステツ プ 10305c及びステップ 1030¾の処理を行っていない投影点があれば、前記ステツ プ 10305cに戻って前記色情報 K及び合焦点度 Qを求める。
[0527] 処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び合焦 点度 Qを求めると、図 80に示すように、投影点列上の各投影点 Tに対して色情報 K 及び合焦点度 Qが与えられる。このとき、前記各投影点 Tの合焦点度 Qは前記実施 例 4一 1で存在確率 を決定するときに用いた相関度に相当する度合いであり、物体 の形状や表面の模様 (テクスチャ）、あるいは撮影条件等によっては、投影点列上の 各投影点 の合焦点度 Qjを比較したときに、合焦点度が特徴的な小さな値を持つ投 影点がない場合がある。このような場合、前記物体の表面がある 1つの投影点上にあ ると推定しても、その信頼性は低ぐ推定を誤っている場合がある。そして、推定を誤 つている場合、その影響が生成した画像上に大きなノイズとなって現れていた。
[0528] そこで、本発明の 3次元画像表示方法では、次に、図 81に示すように、前記投影点 列上の各投影点 Tに物体の表面が存在する確率（存在確率） /3を決定する。このと き、前記存在確率 は、前記実施例 4一 1で説明したように、取得した画像上のノイズ
J
による信頼性の低下を防ぐために、評価基準値 Vに対する統計処理を行ってから決 定する（ステップ 10305f)。前記ステップ 10305fで評価基準値 Vを算出するときに は、前記評価基準値 V 、前記数式 87及び数式 88を満たす必要がある。そこで、
J
本実施例 4 - 2では、例えば、下記数式 103を用いて、投影点 Tの評価基準値 Vを k ] 決定する。
[0529] [数 103]
Figure imgf000125_0001
なお、前記評価基準値 vは、基本的には前記数式 87及び数式 88の条件を満たし
J
ていればよい。そのため、前記評価基準値 Vは、前記数式 97以外の数式を用いて j
決定してもよい。
[0530] 前記ステップ 10305fで評価基準値 Vを算出したら、次に、前述のような手順でパ j
ラメータフィッティングを行レ、、図 81に示したように、前記各投影点 Tjの存在確率 j を決定する（ステップ 10305g, 10305h)。
[0531] 前記ステップ 10305hにより、前記各投影点 Tの存在確率 を決定したら、前記各 投影点 Tの色情報 K及び存在確率 を、前記ステップ 10304で確保した領域に格 納する c [0532] 記各投影点 の色情報 Kj及び存在確率 β jを格納したら、前記投影点列を更新し、 前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからステツ プ 10305hまでの処理を行ったか確認する（ステップ 10305i)。ここで、前記ステップ 10305cからステップ 10305hまでの処理を行っていない投影点列があれば、前記ス テツプ 10305bに戻って前記ステップ 10305cからステップ 10305hまでの処理を繰 り返す。
[0533] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305hまでの処理を行うと、前記ステップ 10305の処理が終了 し、前記物体の 3次元的な形状が得られる。そして、前記ステップ 103の処理により前 記物体の 3次元的な形状を取得したら、前記実施例 4 - 1と同様の手順で、前記取得 した物体の 3次元形状に基づいて、前記 2次元画像生成面 LD上の表示点 Aの色情 報及び輝度分配係数 T /を決定し、 DFDのような複数の重なり合った画像表示面に表 示する 2次元画像を生成し (ステップ 104)、生成した画像を実際の画像表示面に表 示 (ステップ 105)すれば、前記物体の 3次元像を提示することができる。
[0534] 本実施例 4 - 2の 3次元画像表示方法も、前記実施例 4 - 1の 3次元画像表示方法と 同様に、取得した前記物体の 3次元形状において、前記投影点列上の各投影点 T に特徴的な値の合焦点度 Qを持つ投影点がなぐ物体表面の距離の推定に対する 信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧 に表現される。そして、前記各投影点 Tの存在確率 βから前記 2次元画像生成面 L D上の点の輝度分配係数 γを決定すると、前記 2次元画像生成面に生成された 2次 元画像を実際の画像表示面に表示し、物体の 3次元像を提示したときに、距離の推 定に対する信頼性が低ぐ複数の投影点に前記存在確率 3が分散している投影点 列上では、前記物体の表面が曖昧に表示される。そのため、前記 DFDに表示した 3 次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することが できる。
[0535] 以上説明したように、本実施例 4 - 2の 3次元画像表示方法によれば、前記実施例 4 _1と同様に、物体の正確な 3次元形状を求めなくても、見た目に自然な 3次元形状 を表示すること力 Sできる。 [0536] また、本実施例 4一 2の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (Y)を用いて、本実施例 4-2で説明したような処理を行えばよい。
(実施例 4一 3)
図 82乃至 84は、本発明による実施例 4一 3の任意視点画像生成方法を説明するた めの模式図であり、図 82は全体的な処理手順の一例を示すフロー図、図 83はレン ダリングの原理を説明する図である。図 84 (a)及び図 84 (b)は存在確率を透明度に 変換する処理手順の一例を示すフロー図である。
[0537] 前記実施例 4一 1及び実施例 4一 2では、前記ステップ 103で取得した前記被写体の
3次元形状を用いて、前記 DFDのように複数の画像表示面を有する装置の前記各 画像表示面で表示する 2次元画像を生成する方法を例に挙げたが、前記被写体の 3 次元形状モデルは、これに限らず、任意の視点から見た前記被写体の 2次元画像を 生成するときにも用いることができる。このとき、前記実施例 4一 1及び前記実施例 4一 2と異なるのは、図 82に示したように、前記ステップ 103の後、レンダリング、すなわち 前記被写体の 3次元形状を前記観察者の視点から見た 2次元画像にするステップ 1 06を行う点である。このとき、前記ステップ 101からステップ 103で前記被写体の 3次 元形状を取得する処理は前記実施例 4一 1及び実施例 4一 2で説明しているとおりな ので、詳細な説明は省略する。
[0538] また、本実施例 4一 3の任意視点画像生成方法において、レンダリングをするステツ プ 106は、例えば、図 83に示すように、前記表示する任意視点画像上の各点（画素） の色情報は、前記観察者の視点 Pから見て、前記任意視点画像上の点 Aと重なる投 影点 T (j=l，2，' M)の色情報 Kを混合処理して決定する。透明度ひを用いた色情 報の混合処理については、第 2の実施の形態における実施例 2— 2等で説明した通り である。
[0539] 本実施例 4一 3の任意視点画像の生成方法でも、例えば、図 84 (a)に示すように、 前記存在確率 /3を決定するステップ 10305hの後、前記存在確率 Vを透明度ひに
J J
変換する処理を行う（ステップ 107)。
[0540] 前記存在確率 Vを透明度ひに変換する処理は、例えば、図 84 (b)に示すように、 まず、投影点 Tを初期化して j=Mとする（ステップ 107a)。次に、前記投影点 T の透 j
明度 α を α = β とする（ステップ 107b)。
M
[0541] 次に、変数 jの値を j=j_lに更新する (ステップ 107c)。そして、透明度 α 力^か否か
j+i
を判別する（ステップ 107d)。ここで、透明度ひ がひ ≠ 1であれば、例えば、下記
j+l j+l
数式 104から前記透明度ひを求める（ステップ 107e)。
[0542] [数 104]
Figure imgf000128_0001
また、前記透明度ひ 力^である場合は、例えば、 ひ = 1とする（ステップ 107f)。な
j+i J
お、前記ステップ 107eで前記透明度ひを求めるときには、前記数式 104に限らず、
j
他の数式を用いて求めてもよい。また、詳細な説明は省略する力 前記ステップ 107 eにおいても、実際には、 ひを任意の値にすることができるので、 1以外の値にしても
j
よい。
[0543] 次に、前記ステップ 107dからステップ 107fの処理を変数 j= 1まで行ったか判別す る（ステップ 107g)。ここで、処理がまだ済んでいなければ、前記ステップ 107cに戻 つて、処理を繰り返す。
[0544] 前記ステップ 107dからステップ 107fの処理を変数 j=lまで行ったら、前記観察者視 点 Pから見て画像面上の点 Aと重なる投影点 Tの前記存在確率 Vを透明度 αに変 j J J 換する処理が終了する。その後、前記レンダリングのステップ 104において、前記数 式 62及び数式 63を用いた混合処理を行い、任意視点画像上の点 Aの色情報 D を 求める。そして、この処理を、前記任意視点画像上の全ての点（画素）について行え ば、前記観察者の視点 Pから任意視点画像が得られる。
[0545] また、本実施例 4一 3の画像生成方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (γ)を用いて、前記実施例 4 1で説明したような処理を行って物体の 3次元形 状を取得した後、本実施例 4 3で説明したような手順で仮想視点画像を生成すれば よい。
[0546] (実施例 4一 4)
図 85乃至図 89は、本発明による実施例 4一 4の画像生成装置の概略構成を示す 模式図であり、図 85及び図 86は装置の構成を示すブロック図、図 87乃至図 88は画 像生成装置を用いた画像表示システムの構成例を示す図である。
図 85及び図 86において、 2は 3次元画像生成装置、 201は被写体画像取得手段、 202は観察者視点設定手段、 203は投影面等設定手段、 204はテクスチャ配列確 保手段、 205は色情報 Ζ存在確率決定手段、 206は投影面情報 -表示面情報変換 手段、 207は画像出力手段、 208はレンダリング手段、 3は画像表示手段、 4は被写 体画像撮影手段、 5は視点情報入力手段である。
[0547] 本実施例 4 - 4の画像生成装置 2は、前記実施例 4 - 1及び実施例 4 - 2で説明した ような手順で物体の 3次元的な形状を取得し、 DFDのような複数の重なった画像表示 面を持つ画像表示手段 3の各画像表示面に表示する 2次元画像や、任意の視点か ら見た前記物体の画像を生成する装置である。このとき、前記 DFDで表示する画像 を生成する装置の場合、例えば、図 85に示すように、撮影条件が異なる複数枚の被 写体画像を取得する被写体画像取得手段 201と、生成する画像を見る観察者の視 点を設定する観察者視点設定手段 202と、存在確率を決定するための投影面，投 影点，対応点を設定する投影面等設定手段 203と、投影面上の点 (投影点）の色情 報及び存在確率を格納するテクスチャ配列を確保するテクスチャ配列確保手段 204 と、前記投影点の色情報及び前記投影点に物体の表面が存在する確率 (存在確率） を決定する色情報/存在確率決定手段 205と、前記投影点の色情報及び存在確率 の情報を前記画像表示面に表示する 2次元画像上の点の色情報及び存在確率に 変換する投影面情報 -表示面情報変換手段 206と、画像出力手段 207とを備える。 このとき、前記画像出力手段 207から出力された画像は、例えば、 DFDのように、複 数の重なり合う画像表示面を備える画像表示手段 3で表示される。
[0548] また、実施例 4一 3で説明したように、前記任意の視点から見た前記物体の画像を 生成する装置の場合、図 86に示すように、前記投影面情報 -表示面情報変換手段 2 06の代わりに、レンダリング手段 208を備える。また、図示は省略するが、前記投影 面情報一表示面情報変換手段 206及び前記レンダリング手段 208の両方を備え、観 察者からの命令に応じて、どちらかの手段で指定された画像を生成するような構成に なっていても良い。
[0549] また、前記被写体画像取得手段 201は、被写体画像撮影手段 4で撮影された被写 体 (物体)の画像を取得する。このとき、前記被写体画像撮影手段 4は、例えば、複数 の視点にカメラが設置された撮影手段であってもよいし、 1つの視点から焦点位置の 異なる画像を撮影できる撮影手段であってもよい。またこのとき、前記被写体画像撮 影手段 4で、 1つの視点から焦点位置の異なる画像を撮影する場合は、例えば、偏 光型二値光学系（例えば、文献 12を参照）や、可変焦点レンズ (例えば、文献 13を 参照）を用いればよい。また、その他にも、焦点位置が異なる複数枚のレンズを高速 で切り替えて撮影してもよい。
[0550] また、前記観察者視点設定手段 202は、例えば、観察者が、マウスやキーボード等 の視点情報入力手段 5を用いて入力した情報に基づいて、前記観察者の視点から 前記画像表示手段 3の画像表示面までの距離等を設定する。また、前記視点情報 入力手段 5は、前記観察者の姿勢や視線を検知して、その姿勢や視線に応じた情報 を入力する手段であってもよレ、。
[0551] また、前記投影面等設定手段 203は、前記実施例 4 - 1及び実施例 4 - 2で説明し たように、例えば、互いに平行な投影面 L ,投影点列，対応点等を設定する。
[0552] また、前記テクスチャ配列確保手段 204は、前記実施例 4 - 1及び実施例 4 - 2で説 明したように、投影面上の投影点 Tの色情報及び存在確率 を格納する領域を、例 えば、装置内に設けられたメモリ上に確保する。
[0553] また、前記色情報/存在確率決定手段 205は、前記実施例 4 - 1及び実施例 4 - 2 で説明したように、前記投影点 Tと対応する画像上の対応点 Gから色情報を決定す るとともに、前記投影点 Tに物体の表面が存在する確率 /3を決定する。
J J
[0554] また、前記投影面情報 -表示面情報変換手段 207では、前記実施例 4 - 1で説明し たように、前記投影面の色情報及び存在確率を、前記画像表示手段の各画像表示 面に表示する 2次元画像上の点（表示点）の色情報及び輝度分配率に変換する。ま た、前記投影面情報 -表示面情報変換手段 206の代わりに、前記レンダリング手段 2 08を備える場合、前記実施例 4 3で説明したように、前記数式 59、または数式 62及 び数式 63の関係に基づいて生成する画像上の各点の色情報を決定する。
[0555] 本実施例 4 - 4の画像生成装置 2は、例えば、前記実施例 4 - 1及び実施例 4 - 2で 説明したような手順で前記 DFDに表示する画像を生成する。すなわち、前記 3次元 画像生成装置 2では、従来のような物体の正確な 3次元形状を求める処理を行わなく てよレ、。そのため、高い処理能力がない装置でも、前記 DFDに表示する画像を高速 に、かつ、容易に生成することができる。
[0556] また、本実施例 4一 4の画像生成装置 2は、例えば、コンピュータと前記コンピュータ に実行させるプログラムによっても実現することができる。その場合、前記実施例 4一 1 で説明した処理手順、もしくは前記実施例 4一 2で説明した処理手順に相当する命令 が記述されたプログラムを前記コンピュータに実行させればよい。またこのとき、前記 プログラムは、例えば、磁気的，電気的，光学的な記録媒体に記録して提供してもよ レ、し、インターネット等のネットワークを利用して提供してもよレ、。
[0557] また、本実施例 4 4の画像生成装置 2を用いた画像表示システムは、例えば、図 8 7に示すような構成が考えられる。このとき、前記被写体画像撮影手段 4は、観察者 Userが前記画像表示手段（DFD) 3を観察してレ、る空間に近レ、場所に設置されてレ、 てもよいし、地理的に遠隔な場所に設置されていてもよい。前記被写体画像撮影手 段 4が地理的に遠隔な場所に設置されている場合、撮影した画像は、インターネット 等のネットワークを利用して、前記 3次元画像生成装置 2に転送すればよい。
[0558] また、本実施例 4一 4の画像生成装置 2を用いた画像表示システムは、図 87に示し たように、ある観察者 Userが、ある被写体 Objを観察する場合だけでなぐテレビ電話 やテレビ会議といった双方向の通信システムに適用することもできる。その場合、例 えば、図 88に示すように、各観察者 UserA, UserBがいる空間のそれぞれに、 3次元 画像生成装置 2A, 2B、画像表示手段（DFD) 3A， 3B、被写体画像撮影手段 4A, 4 B、基準視点設定手段 5A, 5Bを設置すればよい。そして、例えば、前記各観察者 UserA, UserBがいる空間に設置された画像生成装置 2A, 2Bを、インターネット等の ネットワーク 6で接続しておけば、観察者 UserAは、被写体画像撮影手段 4Bで撮影 された画像から生成した観察者 UserBの 3次元像を前記画像表示手段 3Aで観察す ること力 Sできる。同様に、観察者 UserBは、被写体画像撮影手段 4Aで撮影された画 像から生成した観察者 UserAの 3次元像を前記画像表示手段 3Bで観察することが できる。
[0559] また、このような双方向の通信システムに適用する場合、前記各画像生成手段 2A , 2B力 図 88に示したような構成になっている必要はなぐ前記画像生成装置 2A, 2Bのどちらかは、図 86に示したような構成手段を備えていない一般的な通信端末で あってもよレ、。また、図 86に示したような各構成手段が、前記画像生成装置 2A, 2B に割り振られていてもよい。
[0560] また、図 88に示したように、ネットワーク 6上に他の画像生成装置 2Cが設けられて いれば、前記観察者 UserA, UserBがいる空間に、前記画像生成装置 2A, 2Bが設 置されていなくても、前記ネットワーク 6上の画像生成装置 2Cを利用して、前記画像 表示手段（DFD) 3A, 3Bで表示する物体の 3次元像を取得することができる。
[0561] また、図 87及び図 88では、前記被写体画像撮影手段 4は、カメラが複数個設けら れているシステムを示している力 前記実施例 4一 2で説明したように、合焦距離が異 なる画像から物体の 3次元的な形状を取得するときは、例えば、図 89に示すように、 表示画像を生成するときには、カメラが 1つであってもよい。
[0562] 以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施 例に限定されるものではなぐその要旨を逸脱しない範囲において、種々変更可能 であることはもちろんである。
[0563] 例えば、前記実施例 4一 1では、視点が異なる画像から物体の 3次元像を表示する 方法について説明し、前記実施例 4一 2では、合焦距離が異なる画像から物体の 3次 元像を表示する方法について説明したが、これらの方法を組み合わせて物体の 3次 元像を表示させてもよい。その場合、ある投影点 Tについて、視点が異なる画像の対 j
応点から相関度を求め、ある視点から焦点位置を変えた画像の対応点から局所空間 周波数を求め、それらを組み合わせて存在確率 j3を求める。こうすると、前記存在確
J
率 βの信頼性が高くなり、観察者の見た目により自然な画像を表示することができる [0564] (第 4の実施の形態の効果）
第 4の実施の形態の画像生成方法では、前記被写体の 3次元形状を取得するとき に、前述のように、複数の投影面を設定し、前記基準視点から見て重なり合う前記各 投影面上の点 (投影点）に対して、前記各投影点上に前記被写体の表面が存在する 確率（存在確率）を与える。すなわち、従来の 3次元形状を取得する方法のように、前 記基準視点から見て重なり合う投影点のうちの 1つの投影点上に物体の表面が存在 すると考えず、前記各投影点上に、ある確率で前記被写体の表面が存在すると考え る。また、前記存在確率を決定するときに、前記各投影点の相関度あるいは合焦点 度から算出した評価基準値を統計処理した後、前記統計処理をした評価基準値から 前記各投影点の存在確率を生成する。このとき、前記統計処理は前記被写体の確 率分布モデルを仮定して、前記各投影点の評価基準値のフィッティング関数を求め 、そこから、前記各投影点の存在確率を決定する。
[0565] このようにすると、前記基準視点からある方向を見たときに、被写体の表面がどの距 離 (投影点）にあるか推定するときの信頼性が低い場合でも、実際に前記被写体の 表面が存在する距離に相当する投影点上に、ある確率で前記被写体の表面が存在 する。そのため、前記手順で取得した被写体の 3次元形状に基づいて、前記観察者 の視点から見た前記被写体の画像を生成することにより、従来の方法で距離の推定 を誤ったときに生じるような不連続なノイズが目立ちに《なる。また、前記評価基準 値の統計処理をして存在確率を決定することで、前記取得した画像のノイズの影響 による前記存在確率の信頼性の低下を低減することができる。
[0566] また、本実施の形態によれば、一般に普及しているパーソナル 'コンピュータのよう に、処理性能が低い装置でも、高速で前記各 2次元画像を生成することが可能にな る。
[0567] [第 5の実施の形態]
次に本発明の第 5の実施の形態について説明する。第 5の実施の形態は、主に請 求項 44一請求項 53に対応する実施の形態である。第 5の実施の形態では、互いに 異なる撮影条件で被写体を撮影した複数枚の画像から前記被写体の 3次元形状を 取得し、取得した前記被写体の 3次元形状に基づいて、 DFDのように複数の表示面 を備えるディスプレイに前記被写体の 3次元像を表示する。なお、第 5の実施の形態 では、第 4の実施の形態で説明したパラメータフィッティングの処理は行っていない。 なお、第 5の実施の形態を説明するための図において、同一機能を有するものは、 同一符号を付ける。
[0568] 前記被写体の 3次元形状を取得するときには、仮想的な 3次元空間上に多層構造 の投影面を設定し、観察者の視点から見て重なり合う複数の投影面上の点 (投影点） について、前記各投影点の色情報または輝度情報、及び前記投影点上に被写体の 表面が存在する確率（存在確率）を決定する。そして、取得した前記被写体の 3次元 形状に基づいて、前記複数の表示面に表示する 2次元画像を生成するときに、前記 投影点の色情報または輝度情報を割り当てる 2次元画像上の点に、前記色情報また は輝度情報、及び存在確率を割り当て、前記画像表示面に表示するときに、 2次元 画像上の各点を前記存在確率の高さに応じた輝度で表示する。こうすることで、前記 被写体の表面の距離に関する推定の信頼性が低い部分を曖昧に表示し、観察者の 見た目に自然な 3次元像を提示する。
[0569] (実施例 5 - 1)
図 90乃至図 100は、本発明による実施例 5 - 1の 3次元画像表示方法を説明するた めの模式図であり、図 90は全体的な処理手順の一例を示すフロー図、図 91及び図 92は投影面の設定方法の一例を示す図、図 93は投影点列の設定方法を説明する 図、図 94は投影点の色情報及び存在確率を決定するステップの処理手順の一例を 示すフロー図、図 95乃至図 97は存在確率の決定方法を説明する図、図 98乃至図 1 00は各画像表示面で表示する 2次元画像の生成方法を説明する図である。
[0570] 本実施例 5— 1の 3次元画像表示方法は、例えば、図 90に示すように、異なる視点 力 物体を撮影した複数枚の画像を取得するステップ 101と、表示する物体の 3次元 像を観察する観察者の視点 (基準視点）を設定するステップ 102と、前記複数枚の画 像から前記物体の 3次元形状を取得するステップ 103と、前記ステップ 103で取得し た前記物体の 3次元形状に基づいて、各画像表示面に表示する 2次元画像を生成 するステップ 104と、前記ステップ 104で生成した各 2次元画像を前記各画像表示面 に表示して前記物体の 3次元像を提示するステップ 105とを有する。
[0571] 本実施例 5 - 1の 3次元画像表示方法を用いて、前記 DFDに物体の 3次元像を表示 するときには、まず、異なる視点から前記物体を撮影した画像を取得する (ステップ 1 01)。このとき、前記取得する画像を撮影する視点は、例えば、直線状に一列に並ん でいても良いし、円弧状または任意の曲線上、あるいは平面または曲面上に 2次元 的に並んでいても良い。またこのとき、取得する画像は、カラー画像であっても、白黒 画像であってもよいが、本実施例 5— 1では、画像上の各点（画素）が赤 (R)，緑 (G)， 青（B)の 3原色を用いた色情報で表現されるカラー画像を取得するとして説明する。
[0572] 前記ステップ 101で画像を取得したら、次に、前記 DFDに表示される物体を観察す る観察者の視点を設定する（ステップ 102)。このとき、前記観察者の視点は、例えば 、前記複数の画像表示面のうちの基準となる画像表示面からの距離等の前記観察 者の視点と前記画像表示面の相対的な位置関係や、視線の方向等を設定する。
[0573] 前記ステップ 102で観察者の視点を設定したら、次に、前記ステップ 101で取得し た複数枚の画像から、前記画像に写っている物体の 3次元形状を取得する（ステップ 103)。前記ステップ 103では、まず、多層構造の投影面 L (】=1，2，· · ·，Μ)を設定する（ ステップ 10301)。そして次に、前記物体の 3次元形状を取得するための基準視点 R を設定する（ステップ 10302)。このとき、前記投影面 Lは、例えば、図 91に示すよう に、仮想的な 3次元空間上の ΧΥ平面と平行な面を複数枚設定する。またこのとき、 前記各投影面 Lは、例えば、図 92に示すように、前記 3次元空間上の Ζ = 0から負の 方向の距離 1に設定する。また、前記基準視点 Rは、前記物体の 3次元形状を取得 するための視点であり、 3次元空間上の任意の点に設定することができる。そこで、前 記基準視点 Rは、前記ステップ 102で設定した観察者の視点とし、例えば、前記 Ζ = 0から最も遠い投影面 Lを、前記 DFDの観察者から見て最も奥にある画像表示面とし
1
て、図 92に示すように、前記投影面 L力 の距離が、前記観察者の視点から前記
1
DFDの最も奥にある画像表示面までの距離 Idとなるように設定する。
[0574] 前記ステップ 10301及びステップ 10302で前記投影面 L及び基準視点 Rを設定し j
たら、次に、前記投影面上の投影点、及び前記各投影点と対応する前記取得した画 像上の点（対応点）等を設定する (ステップ 10303)。このとき、前記投影点は、例え ば、図 93に示すように、前記基準視点 Rから複数の方向に直線を引き、前記各直線 と前記各投影面 Lの交点に設定する。また、前記被写体の表面の距離を推定すると きには、前記同一直線上にある複数の投影点 Tに対して、どの投影点上に存在する か推定するので、図 93に示したように、同一直線上にある投影点 Tを投影点列 Sとし てひとまとめに扱う。
[0575] また、前記対応点は、図 91及び図 92に示したように、前記投影点 Tから前記各カメ ラの視点 Cを見たときに、前記カメラの視点と重なる前記各カメラの画像面上の点 G である。このとき、図 91に示したように、前記各画像面上に 2次元の座標系（xy座標 系）を設定すると、前記投影点 T (X , Υ , Z )と対応する対応点 Gijの 2次元座標 (X，
J J J
y )は、前記投影点 Tを各画像面上の 2次元の点に射影することで求められる。この 射影は、一般的な、 3次元空間上の点 (Χ， Υ, Z)を 2次元平面上の点 (x， y)に射影 する 3行 4列の射影行列を用いて行えばよい。また、仮想的な 3次元空間内での前記 対応点 Gの座標 (X , y )と、前記ディジタル画像座標 (u, V)との関係は他の実施の 形態で説明したものと同様である。
[0576] 前記ステップ 10303では、前記対応点 Gのディジタル画像座標 (u , V )と前記投 影点 Tの 3次元空間座標 (X , Y , Z.)の対応関係を設定する。この対応関係は、全て の（u , V )に対して（X , Υ , Z )の値をテーブルとして設定してもよレ、し、代表的な（u ij ij j j j ij
, v )に対してのみ (X , Y , Z )の値を設定し、その他の点は、例えば、線形補完等の
J
補完処理で求めてもよい。
[0577] また、前記ディジタル画像座標系では (u， v)は離散値をとるが、以下の説明では断 りのない限り連続値をとることとし、前記 2次元配列へアクセスするときに適当な離散 化処理を行うものとする。
[0578] 前記ステップ 10303で前記投影点列、対応点等を決定したら、次に、前記投影面 Lの情報、すなわち前記投影面 Lにテクスチャマッピングする画像を格納する配列を j J
確保する。 （ステップ 10304)。このとき、確保する配列は、前記投影点 Tの位置に対 応するテクスチャ情報として、画素毎に色情報 (R， G， B)及び存在確率の情報を、 例えば、 8ビットずつ持たせる。
[0579] 前記ステップ 10304で前記投影面の情報を格納する配列を確保したら、次に、各 投影点 Tの色情報及び存在確率を決定する（ステップ 10305)。前記ステップ 1030 5では、例えば、図 94に示すように、ある投影点列上の各投影点 Τの色情報及び存 在確率を決定するという処理を、設定した全ての投影点列に対して繰り返すという 2 重ループの処理を行う。そこでまず、前記投影点列を初期化する（ステップ 10305a) 。そして次に、前記投影点列上の投影点 Tを初期化し、例えば、 j=lとする。 （ステップ 10305b)。
[0580] 次に、前記投影点 Tの色情報を決定する（ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報 Kの平均値を 前記投影点 τの色情報 κに決定する。
[0581] 次に、前記投影点 Tと対応する各対応点 G (ie i)に写っている物体上の点の相関 度 Qを求める（ステップ 10305d)。このとき、前記相関度 Qは、例えば、前記投影点
Tの色情報を表すベクトルを K、各対応点 Gの色情報を表すベクトルを Kとおくと、 第 4の実施の形態と同様に、下記数式 105により求める。
[0582] [数 105]
Figure imgf000137_0001
前記数式 105を用いて相関度 Qを求めた場合、前記相関度 Qは、常に正の値をと り、かつ、相関が高いほど値が小さくなる。
[0583] なお、前記数式 105は前記相関度 Qの求め方の一例であり、前記数式 105以外の 数式を用いて前記相関度 Qを求めてもよい。また、前記相関度 Qを求めるときには、 前記投影点 Tと前記対応点 Gの 1点だけでなぐ前記投影点 T及び前記対応点 G の近傍にある複数の点を含めた小領域を考えて求めてもよい。
[0584] 前記ステップ 10305dにより、前記相関度 Qを求めたら、前記投影点 Tを更新し、 処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及び ステップ 10305dの処理を行ったか確認する（ステップ 10305e)。ここで、前記ステツ プ 10305c及びステップ 10305dの処理を行っていない投影点があれば、前記ステ ップ 10305cに戻って前記色情報 Kj及び相関度 Qjを求める。
[0585] 処理の対象としている投影点列上の全ての投影点に対して、前記色情報及び相関 度 Qを求めると、図 95に示すように、投影点列上の各投影点 Tに対して色情報 K及 び相関度 Qが与えられる。このとき、前記各投影点 Tの相関度 Qを比較すると、一般 的には、図 96 (a)に示すように、ある投影点 Tの相関度 Qだけが特徴的な小さな値 をとる。このような場合、その投影点列投上では、前記物体の表面が前記投影点 T 上にあると推定でき、その信頼性も高い。
[0586] し力、しながら、これまでの実施の形態においても説明した通り、物体の形状や表面 の模様 (テクスチャ)、あるいは撮影条件等によっては、投影点列上の各投影点丁の j 相関度 Qを比較したときに、図 96 (b)に示すように、相関度が特徴的な小さな値を持 つ投影点がない場合がある。このような場合、前記物体の表面がある 1つの投影点上 にあると推定しても、その信頼性は低ぐ推定を誤っている場合がある。そして、推定 を誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。
[0587] そこで、本発明の 3次元画像表示方法では、次に、前記投影点列上の各投影点 T に物体の表面が存在する確率（存在確率） βを決定する（ステップ 10305f)。このと き、前記存在確率 は、下記数式 106及び数式 107を満たす必要がある
[0588] [数 106]
[0589] [数 107]
M
さらに、前記投影点 Tに物体の表面が存在する確率が高いほど前記存在確率 β が 1に近い値をとるようにすると、前記投影点列上の各投影点 Tに対して求めた相関 度 Qjに対し、例えば、下記数式 108及び数式 109で表される変換処理を行って前記 存在確率 β (j≡j)を決定すればょレ
[0590] [数 108] ゾ
一- β , =
Q j
[0591] [数 109]
なお、前記存在確率 は、基本的には前記数式 106及び数式 107の条件を満た していればよい。そのため、前記変換処理は、前記数式 108及び数式 109以外の数 式を用いて決定してもよい。
[0592] 前記ステップ 10305fにより、前記各投影点 Tの存在確率 βを決定したら、前記各 投影点 Τの色情報 Κ及び存在確率 を、前記ステップ 10304で確保した領域に格 内する。
[0593] 記各投影点 Tの色情報 K及び存在確率 j3を格納したら、前記投影点列を更新し、 前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからステツ プ 10305fまでの処理を行ったか確認する（ステップ 10305g)。ここで、前記ステップ 10305cからステップ 10305fまでの処理を行っていない投影点列があれば、前記ス テツプ 10305bに戻って前記ステップ 10305cからステップ 10305fまでの処理を繰り 返す。
[0594] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305fまでの処理を行うと、前記ステップ 10305の処理が終了 し、前記物体の 3次元的な形状が得られる。
[0595] 前記ステップ 103の処理を行うと、例えば、図 97に示すように、ある投影点列上の 各投影点 T 0=1,2，· · ·, M)のテクスチャ配列には色情報 K及び存在確率 βが保持さ れている。つまり、本発明の 3次元画像表示方法で取得する物体の 3次元形状は、従 来の方法のように前記投影点列上のある 1つの投影点に物体の表面が存在するの ではなぐ前記各投影点に存在する。本発明の 3次元画像表示方法では、このような 物体の 3次元形状を用いて、前記複数の画像表示面のそれぞれに表示する 2次元 画像を生成する（ステップ 104)。
[0596] 前記ステップ 104で、前記各画像表示面に表示する 2次元画像を生成するときには 、まず、前記仮想的な 3次元空間上に観察者の視点、複数枚の 2次元画像生成面、 前記ステップ 103で取得した前記物体の 3次元形状を設定する。このとき、前記 2次 元画像生成面 LD (n=l，2，〜，N)は、例えば、図 98に示すように、前記観察者の視点
Pから見て奥行き方向に重なるように設定する。また、前記観察者の視点 Pから前記 各 2次元画像生成面 LDnまでの距離 Idは、前記ステップ 102で設定された距離にな るように設定する。またこのとき、前記物体の 3次元形状を表現している投影面 Lの数 及び設定間隔が、前記 2次元画像生成面 LDの数及び設定間隔と一致しているとす れば、前記物体の 3次元形状は、例えば、図 98に示すように、前記投影面 Lと前記 2 次元画像生成面 LDがー致するように設定する。このとき、前記 2次元画像生成面 L
D 、輝度変調型 DFDの各画像表示面に表示する画像を生成する面であるとすれ ば、観察者の視点 Pから見て重なり合う前記 2次元画像生成面 LD上の各点（表示点
)Aに対して、色情報 KD及び存在確率 (輝度分配係数） y を決定する必要がある
。ここで、図 98に示すように、前記物体の 3次元形状を表現している投影面 Lと 2次 元画像生成面 LDがー致しているのであれば、前記各表示点 Aの色情報 KDは、 前記各表示点 Aがある 2次元画像生成面 LDと重なっている投影面 Lの投影点丁の 色情報 Kとする。また、前記各表示点 Αの輝度分配率 γ は、前記各表示点 Αがあ
」
る 2次元画像生成面 LDと重なっている投影面 Lの投影点 Tの存在確率 j3を割り当
J J
てる。このようにして、前記 2次元画像生成面 LD上の各表示点 Aに対して色情報 K
D及び輝度分配係数 γを決定したら、その 2次元画像生成面 LDに生成された画像 を出力し、実際の DFDの画像表示面で表示する (ステップ 105)。
[0597] ただし、前記物体の 3次元形状を表現する投影面 Lの数及び設定間隔は、前記 2 次元画像生成面 LDの数及び設定間隔と一致させる必要はない。そこで次に、投影 面しの数及び設定間隔と前記 2次元画像生成面 LDの数及び設定間隔が一致して レ、なレ、場合の前記 2次元画像の生成方法にっレ、て説明する。
[0598] このとき、前記観察者の視点 Pから見て一番手前の投影面から一番奥の投影面ま での距離と、一番手前の 2次元画像生成面から一番奥の 2次元画像生成面までの距 離がほぼ等しいのであれば、前記物体の 3次元形状を表現する投影面 Lは、例えば
、図 99に示すように、前記観察者の視点 Pから見て一番奥の投影面 Lと 2次元画像 生成面 LDが重なるように設定する。こうすると、前記観察者の視点 Pから見て一番 奥の 2次元画像生成面 LDの各表示点 Aの色情報 KD及び輝度分配係数 γは、前 記観察者の視点 Ρから見て一番奥の投影面 L上の各投影点 Τの色情報 Κ及び存在 確率 βである。
[0599] また、重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、以下のような方法で決定する。
[0600] 前記重なっている投影面がない 2次元画像生成面 LD上の各表示点 Αの色情報 Κ D及び輝度分配係数 γに関しては、例えば、前記観察者の視点 Ρから見て、前記各 表示点 Αと重なる前記各投影面 L上の投影点 Τの色情報 Κ及び存在確率 βを、前記 投影面 Lから見て最も近い 2次元画像生成面 LD上の表示点 Αに割り当てる。このと き、前記表示点 Aの色情報 KDは、割り当てられた各投影点 Tの色情報 Kの平均値、 もしくは前記表示点 Aがある 2次元画像生成面 LDから見て最も近い投影面 Lの投影 点 Tの色情報 Kとする。また、輝度分配係数 γに関しては、前記割り当てられた各投 影点 Τの存在確率 /3の和とする。このとき、ある 2次元画像生成面 LDが最も近い生 成面となる投影面 Lの集合を {L I j≡ Γ }とおくと、前記 2次元画像生成面 LD上の 表示点 Aの輝度分配率 γ は、前記各投影面 Lの投影点 Τの存在確率 /3を用いて
、下記数式 110で与えられる。
[0601] [数 110]
Figure imgf000142_0001
ここで、前記投影面 Lと 2次元画像生成面 LD 、図 100 (a)に示すような位置関係
J n
にある場合を考える。ここで、観察者の視点 Pから見て表示点 A , Aと重なり合う各投
1 2
影点 T (j'=l，2，3,4,5)の色情報 K及び存在確率 を、前記各投影面から見て最も近
J J J
レ、 2次元画像生成面上の表示点 Aに割り当てるとすれば、投影点 T， Τ , Tの色情
1 2 3 報及び存在確率は、前記表示点 Aに割り当てられる。このとき、前記表示点 Aの色
1 1 情報 KDは、例えば、前記各投影点 Τ , Τ , Tの色情報 Κ , Κ , Kの平均値でも良
1 1 2 3 1 2 3 いし、前記表示点 Aからみて最も近い投影点 Tの色情報 Kとしても良い。また、前
1 2 2
記表示点 Aの輝度分配係数 γ は、前記数式 110を用い、前記各投影点 Τ， Τ , Τ
1 1 1 2 3 の存在確率3 , β ， β の和とする。
1 2 3
[0602] 同様に、前記投影点 Τ , Τの色情報及び存在確率は、 2次元画像生成面 LDに割
4 5 2 り当てられ、表示点 Αの色情報 KDは前記投影点 Τ , Tの色情報 Κ , Kの平均値
2 2 4 5 4 5
もしくは投影点 Tの色情報 Kとする。そして、輝度分配係数 γ に関しては、前記数
5 5 2
式 110を用いて前記各投影点 Τ , Τの存在確率 ， β の和とする。
4 5 4 5
[0603] また、前記 2次元画像生成面 LDの設置間隔と前記投影面 Lの設定間隔が異なり n j
、 2枚の連続した 2次元画像生成面 LD， LD の間にある投影面 Lの投影点の色情 n n+1 j
報及び存在確率は、前記投影面 Lと各 2次元画像生成面 LD， LD の距離の比に j n n+1
応じて分配してもよい。このとき、前記 2次元画像生成面 LD， LD の間にある投影 n n+1
面 Lの集合を {L I ]≡ Γ }とおくと、前記 2次元画像生成面 LD上の表示点 Aの輝 j j n n n 度分配率 γ は、前記各投影点 Τの存在確率 を用いて、下記数式 11で与えること n j J
ができる
[0604] [数 111]
Figure imgf000143_0001
前記数式 111において、 w は、投影面 Lの 2次元画像生成面 LDに対する寄与の
J,n j n
度合いを表す係数である。
[0605] ここで、例えば、図 100 (b)に示すように、 2枚の 2次元画像生成面 LD , LDの間
1 2 に、投影面 L , Lが設定されている場合を考える。このとき、投影面 Lと前記各表示
1 2 1
面 LD , LDの距離がそれぞれ B , Bとすると、前記投影面 Lの前記各 2次元画像
1 2 1 2 1
生成面 LD , LDに対する寄与の度合い w , w は、例えば、下記数式 112で与え
1 2 1,1 1,2
られる。
[0606] [数 112]
¼Ί 1 二
Figure imgf000143_0002
同様に、投影面 Lと前記各 2次元画像生成面 LD , LDの距離がそれぞれ B , Bと
2 1 2 3 4 すれば、前記投影面 Lの前記各 2次元画像生成面 LD , LDに対する寄与の度合
2 1 2
い w , w は、下記数式 113で与えられる。
2,1 2,2
[0607] [数 113]
B
W2,l = Ι Τ凡Γ^ 二 B3 + B4
の結果、前記 2次元画像生成面 LDの表示点 Aの輝度分配率 γ 及び前記表示
1 1 1 面 LDの表示点 Aの輝度分配率 γ はそれぞれ、下記数式 114のようになる。
[0608] [数 114]
Υχ = W l A + W2A A， Ϊ2
Figure imgf000144_0001
2 A
このように、前記物体の 3次元形状を取得するときに、前記投影点列上の各投影点 Tの相関度 Qから前記各投影点 Tに物体の表面が存在する確率 (存在確率） βを
J J
与えた形状を取得し、前記 2次元画像生成面 LD上の表示点 Aの輝度分配係数を前 記存在確率 i3で与えると、前記投影点列上の各投影点 Tに特徴的な値の相関度 Q
J J J
を持つ投影点がなぐ物体表面の距離の推定に対する信頼性が低い場合、その投 影点列上では、前記物体の表面が複数の投影面に曖昧に表現される。そして、前記 各投影点 Tの存在確率 βから前記 2次元画像生成面 LD上の点の輝度分配係数 γ を決定すると、前記 2次元画像生成面に生成された 2次元画像を実際の画像表示面 に表示し、物体の 3次元像を提示したときに、距離の推定に対する信頼性が低ぐ複 数の投影点に前記存在確率 i3が分散している投影点列上では、前記物体の表面が 曖昧に表示される。そのため、前記 DFDに表示した 3次元像上のノイズが目立ちにく くなり、観察者の見た目に自然な像を表示することができる。
[0609] 以上説明したように、本実施例 5— 1の 3次元画像表示方法によれば、表示する物 体の正確な 3次元形状を求めなくても、観察者の見た目に自然な 3次元像を表示す ること力 Sできる。
[0610] また、本実施例 5— 1の画像表示方法では、画像上の点（画素）が赤 (R)，緑 (G)， 青（B)の 3原色を用いた色情報で表現されたカラー画像を取得し、前記物体の 3次 元的な形状をする場合を例に挙げて説明したが、本実施例 5— 1の画像表示方法で は、前記カラー画像に限らず、画像上の各点 (画素）が輝度 (Y) ,色差 (U, V)を用 いた表現の白黒画像を取得し、前記物体の 3次元的な形状を取得することもできる。 取得する画像が前記白黒画像の場合、前記色情報に相当する情報として、前記輝 度情報 (Y)を用いて、本実施例 5-1で説明したような手順で 3次元形状を取得し、前 記 2次元画像を生成すればょレ、。
[0611] (実施例 5— 2)
図 101乃至図 104は、本発明による実施例 5— 2の 3次元画像表示方法を説明する ための模式図であり、図 101は投影点と対応点の関係を示す図、図 102は投影点の 色情報及び存在確率を決定するステップの一例を示すフロー図、図 103及び図 104 は存在確率の求め方を説明する図である。
[0612] 本実施例 5 - 2の 3次元画像表示方法は、基本的な手順の流れは、前記実施例 5 - 1の 3次元画像表示方法と同様であり、図 90に示したような、前記ステップ 101からス テツプ 105の処理を行う。本実施例 5 - 2の 3次元画像表示方法において、前記実施 例 5 - 1の 3次元画像表示方法と異なる点は、前記ステップ 101で、視点が異なる複 数枚の画像の代わりに、合焦距離が異なる複数枚の画像を取得し、前記ステップ 10 3において、前記合焦距離が異なる画像を用いて、前記物体の 3次元形状を取得す る点である。
[0613] 本実施例 5 - 2の 3次元画像表示方法を用いて、前記 DFDに物体の 3次元像を表示 するときには、まず、ある視点から合焦距離を変えて撮影した複数枚の画像を取得す る。このとき、前記複数枚の画像は、例えば、偏光型二値光学系や可変焦点レンズ 等を用いて撮影される。また、取得する画像は、前記実施例 5— 1と同様でカラー画像 であっても良いし、白黒画像であっても良い。次に、前記実施例 5— 1で説明したよう に、観察者の視点を設定 (ステップ 102)した後、前記物体の 3次元形状を取得する ステップ 103の処理を行う。
[0614] 前記ステップ 103の処理では、前記実施例 5-1で説明したように、まず、前記投影 面し（j=l，2，' ，M)及び基準視点 Rを設定する（ステップ 10301，ステップ 10302)。そ して続けて、前記投影点列や対応点を設定し、前記投影面の情報を格納する配列（ 領域）を確保する（ステップ 10303，ステップ 10304)。
[0615] 本実施例 5 - 2の 3次元画像表示方法のように、合焦距離が異なる複数枚の画像を 用いて物体の 3次元像を表示させる場合、前記ステップ 10301で投影面 Lを設定す
J
るときには、例えば、図 101に示すように、前記カメラの視点 Cからの距離が前記カメ ラで撮影した画像の合焦距離 f (ί=1，2,· · ·,Ν)と一致するように設定する。そして、前記 ステップ 10303では、前記投影点 ηに対応する対応点 ^は、前記カメラの視点 Cか ら前記投影点 Tを見たときに前記投影点 Tと重なる画像 Img上の点とする。なお、投 影点列の設定方法、前記投影点 Tの座標と対応点 Gのディジタル画像座標の対応 付けに関しては、前記実施例 5— 1で説明したのと同様の方法で対応付ければよいの で、詳細な説明は省略する。
[0616] また、前記ステップ 10304の投影面の情報を格納する領域を確保する処理も、前 記実施例 5_1で説明した処理と同様の処理を行えばょレ、ので、詳細な説明は省略 する。
[0617] 次に、前記取得した複数枚の画像を用いて、前記各投影点 Tの色情報及び存在 確率の情報を決定する（ステップ 10305)。本実施例 5 - 2の 3次元画像表示方法でも 、前記ステップ 10305では、例えば、図 102に示すように、ある投影点列上の各投影 点 Tの色情報及び存在確率を決定するという処理を、設定した全ての投影点列に対 して繰り返すという 2重ループの処理を行う。そこでまず、前記投影点列を初期化す る（ステップ 10305a)。そして次に、前記投影点列上の投影点 Tを初期化し、例えば
、j=lとする。 （ステップ 10305b)。
[0618] 次に、前記投影点 Tの色情報を決定する（ステップ 10305c)。前記ステップ 10305 cでは、例えば、前記ステップ 10303で設定した各対応点 Gの色情報の平均値を前 記投影点 Tの色情報 Kに決定する。
[0619] 次に、前記投影点 Tと対応する各対応点 Gに写っている物体上の点の焦点の合つ ている度合レ、（合焦点度）から、前記投影点 Tの合焦点度 Qを求める（ステップ 1030 5h)。合焦点度は、画像上の点または微小領域での画像のシャープさやボケの程度 により決められる。前記合焦点度の算出方法には、 Depth from Focus理論もしくは Depth from Defocus理論に基づき、様々な方法がある。このとき、前記合焦点度 Qは 、例えば、前記各対応点 Gの局所空間周波数の大きさを比較することで求められる。
[0620] 冃 ij G Depth
from Focus理論もしくは Depth from Defocus理論は、合焦距離の異なる複数枚の 画像を解析し、前記物体の表面形状を計測する方法である。このとき、例えば、前記 合焦距離を変えて撮影した画像のうち、最も局所空間周波数が高い画像の合焦距 離に相当する距離に前記物体の表面があると推定できる。そこで、前記投影点 ηの 合焦点度 Qは、例えば、下記数式 115で表されるような局所空間周波数の評価関数 を用いて算出する c
[0621] [数 115]
Figure imgf000147_0001
ここで、 fは画素の濃淡値、 Dは正規化のための定数で評価を行う全ての画素数、（- Lc, -Lr)-(Lc, Lr)及び（xi， yi)-(xf, yf)はそれぞれ分散評価と平滑化を行うための 小領域である。
[0622] なお、前記数式 115は前記合焦点度 Qの求め方の一例であり、前記数式 115以外 j
の数式を用いて前記合焦点度 Qを求めてもよい。
J
[0623] 前記ステップ 10305hにより、前記合焦点度 Qを求めたら、前記投影点 Tを更新し
J J
、処理の対象となっている投影点列上の全ての投影点で、前記ステップ 10305c及 びステップ 10305hの処理を行ったか確認する（ステップ 10305e)。ここで、前記ス テツプ 10305c及びステップ 10305hの処理を行っていない投影点があれば、前記 ステップ 10305cに戻って前記色情報 K及び合焦点度 Qを求める。
J J
[0624] 処理の対象としてレ、る投影点列上の全ての投影点に対して、前記色情報及び合焦 点度 Qを求めると、図 103に示すように、投影点列上の各投影点 Tに対して色情報 j J
K及び合焦点度 Qが与えられる。このとき、前記各投影点 Tの合焦点度 Qは前記実
J J J J
施例 5— 1で存在確率 を決定するときに用いた相関度に相当する度合いであり、物 体の形状や表面の模様 (テクスチャ）、あるいは撮影条件等によっては、投影点列上 の各投影点 Tの合焦点度 Qを比較したときに、合焦点度が特徴的な小さな値を持つ 投影点がない場合がある。このような場合、前記物体の表面がある 1つの投影点上に あると推定しても、その信頼性は低ぐ推定を誤っている場合がある。そして、推定を 誤っている場合、その影響が生成した画像上に大きなノイズとなって現れていた。 [0625] そこで、本発明の 3次元画像表示方法では、次に、前記投影点列上の各投影点 T に物体の表面が存在する確率（存在確率） を決定する（ステップ 10305f)。このと き、前記存在確率 は、前記数式 106及び数式 107を満たす必要がある。そこで、 本実施例 5 - 2では、例えば、下記数式 1 16を用いて、投影点 Tの存在確率 j3 を決 定する。
[0626] [数 116]
_
M i=l
なお、前記存在確率 j3は、基本的には前記数式 106及び数式 107の条件を満た していればよい。そのため、前記存在確率は、前記数式 1 16以外の数式を用いて決 定してもよい。
[0627] 前記ステップ 10305fにより、図 104に示すように、前記各投影点 Tの存在確率 j3 を決定したら、前記各投影点 Tの色情報 K及び存在確率 /3を、前記ステップ 10304 で確保した領域に格納する。
[0628] 記各投影点 Tの色情報 K及び存在確率 βを格納したら、前記投影点列を更新し、 前記ステップ 10303で決定した全ての投影点列で、前記ステップ 10305cからステツ プ 10305fまでの処理を行ったか確認する（ステップ 10305g)。ここで、前記ステップ 10305cからステップ 10305fまでの処理を行っていない投影点列があれば、前記ス テツプ 10305bに戻って前記ステップ 10305cからステップ 10305fまでの処理を繰り 返す。
[0629] こうして、前記ステップ 10303で決定した全ての投影点列に対して、前記ステップ 1 0305c力らステップ 10305fまでの処理を行うと、前記ステップ 10305の処理が終了 し、前記物体の 3次元的な形状が得られる。そして、前記ステップ 103の処理により前 記物体の 3次元的な形状を取得したら、前記実施例 5 - 1と同様の手順で、前記取得 した物体の 3次元形状に基づいて、前記 2次元画像生成面 LD上の表示点 Aの色情 報及び輝度分配係数 γを決定し、 DFDのような複数の重なり合った画像表示面に表 示する 2次元画像を生成し (ステップ 104)、生成した画像を実際の画像表示面に表 示 (ステップ 105)すれば、前記物体の 3次元像を提示することができる。
[0630] 本実施例 5 - 2の 3次元画像表示方法も、前記実施例 5 - 1の 3次元画像表示方法と 同様に、取得した前記物体の 3次元形状において、前記投影点列上の各投影点 Τ に特徴的な値の合焦点度 Qを持つ投影点がなぐ物体表面の距離の推定に対する 信頼性が低い場合、その投影点列上では、前記物体の表面が複数の投影面に曖昧 に表現される。そして、前記各投影点 Tの存在確率 から前記 2次元画像生成面 L
D上の点の輝度分配係数 γを決定すると、前記 2次元画像生成面に生成された 2次 元画像を実際の画像表示面に表示し、物体の 3次元像を提示したときに、距離の推 定に対する信頼性が低ぐ複数の投影点に前記存在確率 ^が分散している投影点 列上では、前記物体の表面が曖昧に表示される。そのため、前記 DFDに表示した 3 次元像上のノイズが目立ちにくくなり、観察者の見た目に自然な像を表示することが できる。
[0631] 以上説明したように、本実施例 5 - 2の 3次元画像表示方法によれば、前記実施例 5 一 1と同様に、物体の正確な 3次元形状を求めなくても、見た目に自然な 3次元形状 を表示すること力 Sできる。
[0632] また、本実施例 5— 2の画像表示方法の場合も、取得する画像はカラー画像、白黒 画像のどちらでもよぐ白黒画像の場合は、前記色情報に相当する情報として、輝度 情報 (Υ)を用いて、本実施例 5-2で説明したような処理を行えばよい。
[0633] (実施例 5— 3)
本実施の形態においても、第 4の実施の形態における図 85に示した構成と同様の 3次元画像生成装置を構成できる。また、第 4の実施の形態における図 87 89に示 した構成と同様の画像表示システムを構成できる。但し、装置が実行する処理は、実 施例 5— 1、 5_2に対応するものである。
[0634] 以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施 例に限定されるものではなぐその要旨を逸脱しない範囲において、種々変更可能 であることはもちろんである。
[0635] 例えば、前記実施例 5— 1では、視点が異なる画像から物体の 3次元像を表示する 方法について説明し、前記実施例 5— 2では、焦点位置が異なる画像から物体の 3次 元像を表示する方法について説明したが、これらの方法を組み合わせて物体の 3次 元像を表示させてもよい。その場合、ある投影点 Tについて、視点が異なる画像の対 応点から相関度を求め、ある視点から焦点位置を変えた画像の対応点から局所空間 周波数を求め、それらを組み合わせて存在確率 j3を求める。こうすると、前記存在確 率 βの信頼性が高くなり、観察者の見た目により自然な画像を表示することができる
J
[0636] (第 5の実施の形態の効果）
第 5の実施の形態に係る 3次元画像表示方法においても、基準視点からある方向 を見たときに、被写体の表面がどの距離 (投影点）にあるか推定するときの信頼性が 低い場合でも、実際に前記被写体の表面が存在する距離に相当する投影点上に、 ある確率で前記被写体の表面が存在する。そのため、前記画像表示面上の各点を、 前記存在確率の高さに応じた輝度で表示することにより、従来の方法で距離の推定 を誤ったときに生じるような不連続なノイズが目立ちに《なる。また、一般に普及して レ、るパーソナル 'コンピュータのように、処理性能が低い装置でも、高速で前記各 2次 元画像を生成することが可能になる。
[0637] 本発明は、上記の各実施の形態に限定されることなぐ特許請求の範囲内で種々 変更 ·応用が可能である。

Claims

請求の範囲
[1] 複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写 体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をも とに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップ とを有する仮想視点画像生成方法において、
前記仮想視点画像を生成するステップは、
多層構造をもつ投影面を設定するステップ 1と、
前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求める 複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝 度情報を決定するステップ 3と、
空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点 の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点も しくはその近傍領域の相関の度合いに基づいて計算するステップ 4と、
前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体 が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における 各画素の色情報または輝度情報を決定するステップ 5と、
前記仮想視点画像の画素に相当するすべての点について、前記ステップ 1からス テツプ 5までを繰り返し行うステップ 6とを有することを特徴とする仮想視点画像生成 方法。
[2] 前記ステップ 3は、
前記複数の対応点の色情報または輝度情報を混合する、もしくは前記複数の対応 点の色情報または輝度情報の中から 1つの対応点の色情報または輝度情報を選択 することを特徴とする請求項 1に記載の仮想視点画像生成方法。
[3] 前記ステップ 4または前記ステップ 5は、前記被写体が存在する可能性の度合いを 変換して、前記投影面上の各基準点に透過から不透過までの複数の階調を持つ透 明度を設定するステップを有し、
前記ステップ 5は、前記被写体が存在する可能性の度合いの代わりに、前記透明 度に応じた混合処理をすることを特徴とする請求項 1または請求項 2に記載の仮想視 点画像生成方法。
[4] 前記ステップ 5の混合処理は、
前記仮想視点に遠い投影点から近い投影点に向かって逐次的に処理し、 ある投影点までの混合処理で得られる色情報または輝度情報は、その投影点にお ける色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報 または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求 項 3に記載の仮想視点画像生成方法。
[5] 前記ステップ 1は、前記各被写体の画像を撮影したカメラ毎に固有の投影面を設定 し、
前記ステップ 3の前記投影点の色情報または輝度情報は、前記複数のカメラにより 撮影された被写体の画像の対応点の色情報または輝度情報のみを用レ、て決定し、 前記ステップ 4の前記被写体が存在する可能性の度合いは、前記投影点が属する 投影面に固有のカメラの視点を基準視点として計算し、
前記ステップ 5の前記仮想視点の色情報または輝度情報の混合処理は、前記仮想 視点と前記各基準視点との位置関係により補正することを特徴とする請求項 1乃至請 求項 4のいずれか 1項に記載の仮想視点画像生成方法。
[6] 複数のカメラで撮影された複数枚の被写体の画像を取得する被写体画像取得手 段と、前記被写体を見る位置である仮想視点を決定する仮想視点決定手段と、前記 取得した被写体の画像をもとに前記視点から被写体を見たときの画像である仮想視 点画像を生成する画像生成手段とを備える仮想視点画像生成装置において、 前記画像生成手段は、
多層構造をもつ投影面を決定する投影面決定手段と、
基準視点の位置を決定する基準視点決定手段と、
前記投影面に貼り付けるテクスチャ画像の配列を確保するテクスチャ配列確保手 段と、
前記複数枚の被写体の画像間で、前記被写体の同一の領域が撮影されている箇 所の対応付けを行う対応点マッチング処理手段と、 前記複数枚の被写体の画像を混合処理して、前記テクスチャ画像の配列のうちの 色情報または輝度情報を決定する色情報決定手段と、
前記対応点マッチング処理手段の処理結果に基づレ、て、前記テクスチャ画像の配 歹 IJのうちの、前記各投影点の位置に相当する距離に前記被写体が存在する可能性 の度合いである存在確率情報を決定する存在確率情報決定手段と、
前記色情報決定手段で決定した色情報または輝度情報及び前記存在確率情報 決定手段で決定した存在確率情報に基づレ、て、前記仮想視点から見た前記投影面 をレンダリングするレンダリング手段とを備えることを特徴とする仮想視点画像生成装 置。
[7] 前記存在確率情報決定手段は、
前記存在確率情報を変換して、前記投影面上の各基準点に透過から不透過まで の複数の階調を持つ透明度を設定する手段を備え、
前記レンダリング手段は、前記被写体が存在する可能性の度合いの代わりに、前 記透明度を用いてレンダリングすることを特徴とする請求項 6に記載の仮想視点画像
[8] レンダリング手段は、
前記仮想視点に遠い投影点から近い投影点に向かって逐次的に処理する手段を 備え、
ある投影点までの混合処理で得られる色情報または輝度情報は、その投影点にお ける色情報または輝度情報とそれ以前の投影点までの混合処理で得られる色情報 または輝度情報とを、前記透明度に応じた比率で内分して得ることを特徴とする請求 項 7に記載の仮想視点画像生成装置。
[9] 前記投影面決定手段は、前記各被写体の画像を撮影したカメラ毎に固有の投影 面を決定し、
前記色情報決定手段は、前記複数のカメラにより撮影された被写体の画像の対応 点の色情報または輝度情報のみを用いて決定し、
前記存在確率情報決定手段は、前記投影点が属する投影面に固有のカメラの視 点を基準視点として計算し、 前記レンダリング手段は、前記仮想視点と前記各基準視点との位置関係により補 正する手段を備えることを特徴とする請求項 6乃至請求項 8のいずれか 1項に記載の 仮想視点画像生成装置。
[10] コンピュータに、
複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写 体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をも とに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップ とを実行させる仮想視点画像生成プログラムにおいて、
前記仮想視点画像を生成するステップは、
多層構造をもつ投影面を設定するステップ 1と、
前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求める 複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝 度情報を決定するステップ 3と、
空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点 の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点も しくはその近傍領域の相関の度合いに基づいて計算するステップ 4と、
前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体 が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における 各画素の色情報または輝度情報を決定するステップ 5と、
前記仮想視点画像の画素に相当するすべての点について、前記ステップ 1からス テツプ 5までを繰り返し行うステップ 6とを有することを特徴とする仮想視点画像生成
[11] 請求項 10に記載の仮想視点画像生成プログラムを記録したコンピュータ読み取り 可能な記録媒体。
[12] 複数の異なる視点力 被写体を撮影した画像を取得するステップと、前記複数枚の 画像から前記被写体の 3次元形状を取得するステップと、取得した前記被写体の 3次 元形状に基づレ、て、観察者の視点から見た前記被写体の画像を生成- を有する画像生成方法であって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定する ステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基 準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づ いて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステツ プとを有し、
前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視 点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセット に含まれる画像上の対応点から相関度を求めるステップとを有し、
前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の 相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存 在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有するこ とを特徴とする画像生成方法。
[13] 前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出す るステップは、前記カメラセット毎に算出した前記各投影点の相関度から評価基準値 を算出するステップと、前記カメラセット毎に算出した前記各投影点の評価基準値の 統計処理を行って存在確率の分布関数を算出するステップと、前記存在確率の分布 関数に基づいて前記各投影点の存在確率を決定するステップとを有することを特徴 とする請求項 12に記載の画像表示方法。
[14] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さ に応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1枚の 2次元画像を生成することを特徴とする請求項 12または請求項 13に記載の画 像生成方法。
[15] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定す；
、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の 点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前 記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換するステツ プとを有することを特徴とする請求項 12または請求項 13に記載の画像生成方法。
[16] 複数の異なる視点から被写体を撮影した画像を取得する被写体画像取得手段と、 前記複数枚の画像から前記被写体の 3次元形状を取得する 3次元形状取得手段と、 取得した前記被写体の 3次元形状に基づいて、観察者の視点から見た前記被写体 の画像を生成する被写体画像生成手段とを備える画像生成装置であって、
前記 3次元形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前 記投影点と対応する対応点間の相関度を算出する手段と、前記基準視点から見て 重なり合う複数の投影点について、前記各投影点の相関度に基づいて、前記各投 影点に物体の表面が存在する確率である存在確率を決定する手段とを備え、 前記相関度を算出する手段は、前記複数の視点の中から選んだいくつかの視点の 組み合わせであるカメラセットを複数組用意する手段と、前記各カメラセットに含まれ る画像上の対応点から相関度を求める手段とを備え、
前記存在確率を決定する手段は、前記カメラセット毎に求めた前記各投影点の相 関度に基づいた存在確率を算出する手段と、前記カメラセット毎に決定した存在確 率の統合処理をして前記各投影点の存在確率を決定する手段とを備えることを特徴 とする画像生成装置。
[17] 前記カメラセット毎に求めた前記各投影点の相関度に基づいた存在確率を算出す る手段は、前記カメラセット毎に算出した前記各投影点の相関度から評価基準値を 算出する手段と、前記カメラセット毎に算出した前記各投影点の評価基準値の統計 処理を行って存在確率の分布関数を算出する手段と、前記存在確率の分布関数に 基づいて前記各投影点の存在確率を決定する手段とを有することを特徴とする請求 項 16に記載の画像生成装置。
[18] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに 応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1 枚の 2次元画像を生成する手段であることを特徴とする請求項 16または請求項 17に 記載の画像生成装置。
[19] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定する手段と、前記 観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位 置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画 像生成面上の色情報または輝度情報、及び輝度分配係数に変換する手段とを備え ることを特徴とする請求項 16または請求項 17に記載の画像生成装置。
[20] コンピュータに、
複数の異なる視点から被写体を撮影した画像を取得するステップと、前記複数枚の 画像から前記被写体の 3次元形状を取得するステップと、取得した前記被写体の 3次 元形状に基づレ、て、観察者の視点から見た前記被写体の画像を生成するステップと を実行させる画像生成プログラムであって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報を決定する ステップと、前記投影点と対応する対応点間の相関度を算出するステップと、前記基 準視点から見て重なり合う複数の投影点について、前記各投影点の相関度に基づ いて、前記各投影点に物体の表面が存在する確率である存在確率を決定するステツ プとを有し、
前記相関度を算出するステップは、前記複数の視点の中から選んだいくつかの視 点の組み合わせであるカメラセットを複数組用意するステップと、前記各カメラセット に含まれる画像上の対応点から相関度を求めるステップとを有し、 前記存在確率を決定するステップは、前記カメラセット毎に求めた前記各投影点の 相関度に基づいた存在確率を算出するステップと、前記カメラセット毎に決定した存 在確率の統合処理をして前記各投影点の存在確率を決定するステップとを有するこ とを特徴とする画像生成プログラム。
[21] 前記請求項 20に記載の画像生成プログラムを記録したコンピュータ読み取り可能 な記録媒体。
[22] 合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複 数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、 前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、前記取得し た被写体の 3次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生 成するステップとを有する画像生成方法であって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝 度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投 影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投 影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当 する距離に前記被写体の表面が存在する確率である存在確率を決定するステップと を有し、
前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混 合して、生成する画像上の各点の色情報または輝度情報を決定することを特徴とす る画像生成方法。
[23] 前記被写体の 3次元形状を取得するステップ、または前記仮想視点から見た前記 被写体の画像を生成するステップは、前記基準視点または前記仮想視点から見て重 なり合う複数の投影点の存在確率に基づいて、前記各投影点上に透過から不透過 までの複数の階調を持つ透明度を設定するステップを有し、 前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て重なり合う複数の投影点の色情報または輝度情報を、前記存在確率に基づい て設定した前記透明度に応じた割合で混合して、生成する画像上の各点の色情報 または輝度情報を決定することを特徴とする請求項 22に記載の画像生成方法。
[24] 前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て遠い投影点から近い投影点に向かって逐次的に色情報または輝度情報を混 合し、
ある投影点までの色情報または輝度情報は、その投影点における色情報または輝 度情報とそれ以前の投影点までの混合処理で得られる色情報または輝度情報とを、 前記透明度に応じた比率で内分して得ることを特徴とする請求項 23に記載の画像 生成方法。
[25] 合焦距離を変えて被写体を撮影した複数枚の画像を取得する被写体画像取得手 段と、前記複数枚の画像に写っている被写体を見る視点である仮想視点を設定する 仮想視点設定手段と、前記複数枚の画像から前記被写体の 3次元形状を取得する 3 次元形状取得手段と、前記取得した被写体の 3次元形状に基づいて、前記仮想視 点から見た前記被写体の画像を生成するレンダリング手段とを備える画像生成装置 であって、
前記 3次元形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した各画像上の対応点の色 情報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、 前記投影点と対応する対応点の合焦点度から前記投影点の合焦点度を決定する手 段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影点の合 焦点度に基づいて、前記各投影点の位置に相当する距離に前記被写体の表面が 存在する確率である存在確率を決定する手段とを備え、
前記レンダリング手段は、前記仮想視点から見て重なり合う投影点の色情報または 輝度情報を前記存在確率に応じた割合で混合して、生成する画像上の各点の色情 報または輝度情報を決定する手段を備えることを特徴とする画像生成装置。
[26] 前記 3次元形状取得手段、または前記レンダリング手段は、前記基準視点または前 記仮想視点から見て重なり合う複数の投影点の存在確率に基づいて、前記各投影 点上に透過から不透過までの複数の階調を持つ透明度を設定する手段を備え、 前記レンダリング手段は、前記仮想視点から見て重なり合う複数の投影点の色情報 または輝度情報を、前記存在確率に基づいて設定した前記透明度に応じた割合で 混合して、生成する画像上の各点の色情報または輝度情報を決定する手段を備える ことを特徴とする請求項 25に記載の画像生成装置。
[27] 前記レンダリング手段は、前記仮想視点から見て遠い投影点から近い投影点に向 力、つて逐次的に色情報または輝度情報を混合し、ある投影点までの色情報または輝 度情報は、その投影点における色情報または輝度情報とそれ以前の投影点までの 混合処理で得られる色情報または輝度情報とを、前記透明度に応じた比率で内分し て得る手段を備えることを特徴とする請求項 26に記載の画像生成装置。
[28] コンピュータに、
合焦距離を変えて被写体を撮影した複数枚の画像を取得するステップと、前記複 数枚の画像に写っている被写体を見る視点である仮想視点を設定するステップと、 前記複数枚の画像から前記被写体の 3次元形状を取得するステップと、前記取得し た被写体の 3次元形状に基づいて、前記仮想視点から見た前記被写体の画像を生 成するステップとを実行させる画像生成プログラムであって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た各画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝 度情報を決定するステップと、前記投影点と対応する対応点の合焦点度から前記投 影点の合焦点度を決定するステップと、前記基準視点から見て重なり合う複数の投 影点について、前記各投影点の合焦点度に基づいて、前記各投影点の位置に相当 する距離に前記被写体の表面が存在する確率である存在確率を決定するステップと を有し、
前記仮想視点から見た前記被写体の画像を生成するステップは、前記仮想視点か ら見て重なり合う投影点の色情報または輝度情報を前記存在確率に応じた割合で混 合して、生成する画像上の各点の色情報または輝度情報を決定するステップを有す ることを特徴とする画像生成プログラム。
[29] 請求項 28に記載の画像生成プログラムを記録したコンピュータ読み取り可能な記 録媒体。
[30] 異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、前記取得した被写体の 3 次元形状に基づレ、て、前記観察者の視点から見た前記被写体の画像を生成するス テツプとを有する画像生成方法であって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、
前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の 評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うス テツプと、前記統計処理を行った評価基準値に基づレ、て前記各投影点の存在確率 を算出するステップとを有することを特徴とする画像生成方法。
[31] 前記複数枚の画像を取得するステップは、複数の異なる視点から前記被写体を撮 影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点間の相関度を 求めるステップと、前記各投影点の相関度に基づいた評価基準値を算出するステツ プと、前記評価基準値の統計処理を行うステップと、前記統計処理を行った評価基 準値に基づいて前記各投影点の存在確率を算出するステップとを有することを特徴 とする請求項 30に記載の画像生成方法。
[32] 前記複数枚の画像を取得するステップは、 1つの視点から合焦距離を変えて前記 被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点の合焦点度か ら前記投影点の合焦点度を算出するステップと、前記各投影点の合焦点度に基づ いた評価基準値を算出するステップと、前記評価基準値の統計処理を行うステップと 、前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出す るステップとを有することを特徴とする請求項 30に記載の画像生成方法。
[33] 前記複数枚の画像を取得するステップは、複数の視点から前記被写体を撮影した 画像、及び前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写 体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と前記視点の異なる複数枚の画 像上の対応点間の相関度を求めるステップと、前記各投影点の相関度に基づいた 第 1評価基準値を算出するステップと、前記第 1評価基準値の統計処理を行うステツ プと、
ある視点から撮影した前記合焦距離の異なる画像上の対応点の合焦点度から前 記投影点の合焦点度を算出するステップと、前記各投影点の合焦点度に基づいた 第 2評価基準値を算出するステップと、前記第 2評価基準値の統計処理を行うステツ プと、前記統計処理を行った第 1評価基準値及び第 2評価基準値に基づいて前記 各投影点の存在確率を算出するステップとを有することを特徴とする請求項 30に記 載の画像生成方法
[34] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さ に応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1枚の 2次元画像を生成することを特徴とする請求項 30乃至請求項 33のいずれか 1 項に記載の画像生成方法。
[35] 前記観察者の視点から見た前記被写体の画像を生成するステップは、前記観察者 の視点から見て奥行きが異なる位置に、複数枚の画像生成面を設定するステップと 、前記観察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の 点の位置関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前 記各画像生成面上の色情報または輝度情報、及び輝度分配係数に変換- プとを有することを特徴とする請求項 30乃至請求項 33のいずれ力 1項に記載の画像 生成方法。
[36] 異なる条件で被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、 前記複数枚の画像から前記被写体の 3次元形状を取得する被写体形状取得手段と 、前記取得した被写体の 3次元形状に基づいて、前記観察者の視点から見た前記被 写体の画像を生成する被写体画像生成手段とを備える画像生成装置であって、 前記被写体形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前 記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の 表面が存在する確率である存在確率を決定する手段とを備え、
前記存在確率を決定する手段は、前記対応点の画像情報から前記各投影点の評 価基準値を算出する手段と、前記各投影点の評価基準値の統計処理を行う手段と、 前記統計処理を行った評価基準値に基づいて前記各投影点の存在確率を算出す る手段とを備えることを特徴とする画像生成装置。
[37] 前記被写体画像取得手段は、複数の異なる視点から前記被写体を撮影した画像 を取得し、
前記存在確率を決定する手段は、前記投影点と対応する対応点間の相関度を求 める手段と、前記各投影点の相関度に基づいた評価基準値を算出する手段と、前記 評価基準値の統計処理を行う手段と、前記統計処理を行った評価基準値に基づい て前記各投影点の存在確率を算出する手段とを備えることを特徴とする請求項 36に 記載の画像生成装置。
[38] 前記被写体画像取得手段は、 1つの視点から合焦距離を変えて前記被写体を撮 影した画像を取得し、
前記存在確率を決定する手段は、前記投影点と対応する対応点の合焦点度から 前記投影点の合焦点度を算出する手段と、前記各投影点の合焦点度に基づいた評 価基準値を算出する手段と、前記評価基準値の統計処理を行う手段と、前記統計処 理を行った評価基準値に基づいて前記各投影点の存在確率を算出する手段とを備 えることを特徴とする請求項 36に記載の画像生成装置。
[39] 前記被写体画像取得手段は、複数の視点から前記被写体を撮影した画像、及び 前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写体を撮影し た画像を取得し、
前記存在確率を決定する手段は、前記投影点と前記視点の異なる複数枚の画像 上の対応点間の相関度を求める手段と、前記各投影点の相関度に基づレ、た第 1評 価基準値を算出する手段と、前記第 1評価基準値の統計処理を行う手段と、 ある視点から撮影した前記合焦距離の異なる画像上の対応点の合焦点度から前 記投影点の合焦点度を算出する手段と、前記各投影点の合焦点度に基づレ、た第 2 評価基準値を算出する手段と、前記第 2評価基準値の統計処理を行う手段と、前記 統計処理を行った第 1評価基準値及び第 2評価基準値に基づいて前記各投影点の 存在確率を算出する手段とを備えることを特徴とする請求項 36に記載の画像生成装
[40] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て重なり合う各投影点の色情報または輝度情報を前記存在確率の高さに 応じた割合で混合して、生成する画像上の点の色情報または輝度情報を決定し、 1 枚の 2次元画像を生成する手段であることを特徴とする請求項 36乃至請求項 39の いずれか 1項に記載の画像生成装置。
[41] 前記観察者の視点から見た前記被写体の画像を生成する手段は、前記観察者の 視点から見て奥行きが異なる位置に複数枚の画像生成面を設定する手段と、前記観 察者の視点から見て重なり合う前記各投影点及び前記各画像生成面上の点の位置 関係に基づいて、各投影点の色情報または輝度情報、及び存在確率を前記各画像 生成面上の色情報または輝度情報、及び輝度分配係数に変換する手段とを備える ことを特徴とする請求項 36乃至請求項 39のいずれか 1項に記載の画像生成装置。
[42] コンピュータに、
異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、前記取得した被写体の 3 次元形状に基づレ、て、前記観察者の視点から見た前記被写体の画像を生成するス テツプとを実行させる画像生成プログラムであって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、
前記存在確率を決定するステップは、前記対応点の画像情報から前記各投影点の 評価基準値を算出するステップと、前記各投影点の評価基準値の統計処理を行うス テツプと、前記統計処理を行った評価基準値に基づレ、て前記各投影点の存在確率 を算出するステップとを有することを特徴とする画像生成プログラム。
[43] 前記請求項 42に記載の画像生成プログラムを記録したコンピュータ読み取り可能 な記録媒体。
[44] 異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、観察者から見て異なった 奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステ ップと、前記取得した被写体の 3次元形状に基づいて前記各画像表示面に表示する 2次元画像を生成するステップと、前記生成した 2次元画像を前記各表示面に表示 することで前記被写体の 3次元像を提示するステップとを有する 3次元画像表示方法 であって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、
前記 2次元画像を生成するステップは、前記投影点の色情報または輝度情報、及 び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点で ある表示点の色情報または輝度情報、及び存在確率に変換して前記 2次元画像を 生成し、
前記被写体の 3次元像を提示するステップは、前記各表示点の色情報または輝度 情報を、前記存在確率に応じた輝度で表示することを特徴とする 3次元画像表示方 法。
[45] 前記複数枚の画像を取得するステップは、複数の異なる視点から前記被写体を撮 影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点間の相関度を 求めるステップと、前記基準視点から見て重なり合う複数の投影点について、前記各 投影点の相関度の高さに基づいて前記各投影点の存在確率を決定するステップと を有することを特徴とする請求項 44に記載の 3次元画像表示方法。
[46] 前記複数枚の画像を取得するステップは、 1つの視点から合焦距離を変えて前記 被写体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と対応する対応点の合焦点度か ら前記投影点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複 数の投影点について、前記各投影点の合焦点度の高さに基づいて前記各投影点の 存在確率を決定するステップとを有することを特徴とする請求項 44に記載の 3次元 画像表示方法。
[47] 前記複数枚の画像を取得するステップは、複数の視点から前記被写体を撮影した 画像、及び前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写 体を撮影した画像を取得し、
前記存在確率を決定するステップは、前記投影点と前記視点の異なる画像上の対 応点間の相関度を求めるステップと、前記各視点の合焦距離が異なる画像上の対応 点の合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影 点について、前記各投影点の前記相関度の高さ及び前記合焦点度の高さに基づい て前記各投影点の存在確率を決定することを特徴とする請求項 44に記載の 3次元 画像表示方法。
[48] 異なる条件で被写体を撮影した複数枚の画像を取得する被写体画像取得手段と、 前記複数枚の画像から前記被写体の 3次元形状を取得する 3次元形状取得手段と、 観察者から見て異なった奥行き位置にある複数の画像表示面を前記観察者が見る 視点位置を設定する観察者視点設定手段と、前記取得した被写体の 3次元形状に 基づいて、前記各画像表示面に表示する 2次元画像を生成する 2次元画像生成手 段とを備え、前記生成した 2次元画像を前記各表示面に表示させることで前記被写 体の 3次元像を提示させる 3次元画像表示装置であって、
前記 3次元形状取得手段は、仮想的な 3次元空間上に多層構造の投影面を設定 する手段と、前記被写体の 3次元形状を取得するための基準視点を決定する手段と 、前記投影面上の点である投影点と対応する前記取得した画像上の対応点の色情 報または輝度情報から、前記投影点の色情報または輝度情報を決定する手段と、前 記基準視点から見て重なり合う複数の投影点に対して、前記各投影点上に被写体の 表面が存在する確率である存在確率を決定する手段とを備え、
前記 2次元画像生成手段は、前記投影点の色情報または輝度情報、及び存在確 率を、前記投影点が存在する投影面と対応する前記画像表示面上の点である表示 点の色情報または輝度情報、及び存在確率に変換して前記 2次元画像を生成する 手段を備え、
前記各表示点の色情報または輝度情報を、前記存在確率に応じた輝度で表示さ せることを特徴とする 3次元画像表示装置。
[49] 前記被写体画像取得手段は、複数の異なる視点から前記被写体を撮影した画像 を取得する手段であり、
前記存在確率を決定する手段は、前記投影点と対応する対応点間の相関度を求 める手段と、前記基準視点から見て重なり合う複数の投影点について、前記各投影 点の相関度の高さに基づいて前記各投影点の存在確率を決定する手段とを備える ことを特徴とする請求項 48に記載の 3次元画像生成装置。
[50] 前記被写体画像取得手段は、 1つの視点から合焦距離を変えて前記被写体を撮 影した画像を取得する手段であり、
前記存在確率を決定する手段は、前記投影点と対応する対応点の合焦点度から 前記投影点の合焦点度を算出する手段と、前記基準視点から見て重なり合う複数の 投影点について、前記各投影点の合焦点度の高さに基づいて前記各投影点の存在 確率を決定する手段とを備えることを特徴とする請求項 48に記載の 3次元画像生成
[51] 前記被写体画像取得手段は、複数の視点から前記被写体を撮影した画像、及び 前記複数の視点のうち、 1つ以上の視点から合焦距離を変えて前記被写体を撮影し た画像を取得する手段であり、
前記存在確率を決定する手段は、前記投影点と前記視点の異なる画像上の対応 点間の相関度を求める手段と、前記各視点の合焦距離が異なる画像上の対応点の 合焦点度を算出するステップと、前記基準視点から見て重なり合う複数の投影点に ついて、前記各投影点の前記相関度の高さ及び前記合焦点度の高さに基づいて前 記各投影点の存在確率を決定する手段を備えることを特徴とする請求項 48に記載 の 3次元画像生成装置。
[52] コンピュータに、
異なる条件で被写体を撮影した複数枚の画像を取得するステップと、前記複数枚 の画像から前記被写体の 3次元形状を取得するステップと、観察者から見て異なった 奥行き位置にある複数の画像表示面を前記観察者が見る視点位置を設定するステ ップと、前記取得した被写体の 3次元形状に基づいて前記各画像表示面に表示する 2次元画像を生成するステップと、前記生成した 2次元画像を前記各表示面に表示 することで前記被写体の 3次元像を提示するステップとを実行させる 3次元画像表示 プログラムであって、
前記被写体の 3次元形状を取得するステップは、仮想的な 3次元空間上に多層構 造の投影面を設定するステップと、前記被写体の 3次元形状を取得するための基準 視点を決定するステップと、前記投影面上の点である投影点と対応する前記取得し た画像上の対応点の色情報または輝度情報から、前記投影点の色情報または輝度 情報を決定するステップと、前記基準視点から見て重なり合う複数の投影点に対して 、前記各投影点上に被写体の表面が存在する確率である存在確率を決定するステ ップとを有し、
前記 2次元画像を生成するステップは、前記投影点の色情報または輝度情報、及 び存在確率を、前記投影点が存在する投影面と対応する前記画像表示面上の点で ある表示点の色情報または輝度情報、及び存在確率に変換して前記 2次元画像を 生成するステップを有し、
前記被写体の 3次元像を提示するステップは、前記各表示点の色情報または輝度 情報を、前記存在確率に応じた輝度で表示するステップを有することを特徴とする 3 次元画像生成プログラム。
[53] 前記請求項 52に記載の 3次元画像生成プログラムを記録したコンピュータ読み取り 可能な記録媒体。
PCT/JP2004/008638 2003-06-20 2004-06-18 仮想視点画像生成方法及び３次元画像表示方法並びに装置 WO2004114224A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005505046A JP4052331B2 (ja) 2003-06-20 2004-06-18 仮想視点画像生成方法及び３次元画像表示方法並びに装置
US10/561,344 US7538774B2 (en) 2003-06-20 2004-06-18 Virtual visual point image generating method and 3-d image display method and device
EP04746140.5A EP1646012B1 (en) 2003-06-20 2004-06-18 Virtual visual point image generating method and 3-d image display method and device

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2003176778 2003-06-20
JP2003-176778 2003-06-20
JP2004-016559 2004-01-26
JP2004-016831 2004-01-26
JP2004016832 2004-01-26
JP2004016559 2004-01-26
JP2004016551 2004-01-26
JP2004-016832 2004-01-26
JP2004016831 2004-01-26
JP2004-016551 2004-01-26

Publications (1)

Publication Number Publication Date
WO2004114224A1 true WO2004114224A1 (ja) 2004-12-29

Family

ID=33545604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/008638 WO2004114224A1 (ja) 2003-06-20 2004-06-18 仮想視点画像生成方法及び３次元画像表示方法並びに装置

Country Status (5)

Country Link
US (1) US7538774B2 (ja)
EP (1) EP1646012B1 (ja)
JP (1) JP4052331B2 (ja)
KR (1) KR100779634B1 (ja)
WO (1) WO2004114224A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006170993A (ja) * 2004-12-10 2006-06-29 Microsoft Corp 非同期画像部分をマッチングすること
JP2006352539A (ja) * 2005-06-16 2006-12-28 Sharp Corp 広視野映像システム
JP2009025225A (ja) * 2007-07-23 2009-02-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2010039501A (ja) * 2008-07-31 2010-02-18 Kddi Corp ３次元移動の自由視点映像生成方法および記録媒体
JP2010140097A (ja) * 2008-12-09 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
JP2010225092A (ja) * 2009-03-25 2010-10-07 Fujitsu Ltd 画像処理装置、及び画像処理システム
WO2011105297A1 (ja) * 2010-02-23 2011-09-01 日本電信電話株式会社 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
JP2011210246A (ja) * 2010-03-12 2011-10-20 Mitsubishi Electric Research Laboratories Inc ステレオ画像においてオクルージョンをハンドリングするための方法
CN102271271A (zh) * 2011-08-17 2011-12-07 清华大学 生成多视点视频的装置及方法
JP2012173858A (ja) * 2011-02-18 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> 全方位画像生成方法、画像生成装置およびプログラム
JP2012253706A (ja) * 2011-06-07 2012-12-20 Konica Minolta Holdings Inc 画像処理装置、そのプログラム、画像処理システム、および画像処理方法
JP2014155069A (ja) * 2013-02-08 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 画像生成装置、画像生成方法及びプログラム
JP2015087851A (ja) * 2013-10-29 2015-05-07 日本電信電話株式会社 画像処理装置及び画像処理プログラム
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム
JP2018042237A (ja) * 2016-08-31 2018-03-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018514031A (ja) * 2015-05-13 2018-05-31 グーグル エルエルシー ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習
WO2018186279A1 (ja) * 2017-04-04 2018-10-11 シャープ株式会社 画像処理装置、画像処理プログラム、及び記録媒体
KR20190140396A (ko) * 2018-06-11 2019-12-19 캐논 가부시끼가이샤 화상 처리장치, 방법 및 기억매체

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7375854B2 (en) * 2004-03-12 2008-05-20 Vastview Technology, Inc. Method for color correction
EP1607064B1 (en) 2004-06-17 2008-09-03 Cadent Ltd. Method and apparatus for colour imaging a three-dimensional structure
JP4328311B2 (ja) * 2005-04-14 2009-09-09 株式会社東芝 三次元画像表示用多視点画像の作成方法およびプログラム
US8194168B2 (en) * 2005-06-03 2012-06-05 Mediapod Llc Multi-dimensional imaging system and method
JP4488996B2 (ja) * 2005-09-29 2010-06-23 株式会社東芝 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム
KR101195942B1 (ko) * 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US7768527B2 (en) * 2006-05-31 2010-08-03 Beihang University Hardware-in-the-loop simulation system and method for computer vision
KR100811954B1 (ko) * 2006-07-13 2008-03-10 현대자동차주식회사 물체상 표시방법
US7893945B2 (en) * 2006-08-21 2011-02-22 Texas Instruments Incorporated Color mapping techniques for color imaging devices
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
EP2076055B1 (en) * 2007-12-27 2012-10-24 Saab AB Method for displaying a virtual image
JP4694581B2 (ja) * 2008-01-25 2011-06-08 富士フイルム株式会社 ファイル生成装置および方法、３次元形状再生装置および方法並びにプログラム
DE102008020579B4 (de) * 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt
KR100957129B1 (ko) * 2008-06-12 2010-05-11 성영석 영상 변환 방법 및 장치
KR100943218B1 (ko) * 2008-06-30 2010-02-18 한국 한의학 연구원 컬러 교정을 이용한 3차원 모델 생성 방법
WO2010038409A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 再生装置、記録媒体、及び集積回路
US8479015B2 (en) * 2008-10-17 2013-07-02 Oracle International Corporation Virtual image management
KR20100051359A (ko) * 2008-11-07 2010-05-17 삼성전자주식회사 영상 데이터 생성 방법 및 장치
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
US8698799B2 (en) * 2009-01-20 2014-04-15 Adobe Systems Incorporated Method and apparatus for rendering graphics using soft occlusion
JP5249114B2 (ja) * 2009-04-03 2013-07-31 Ｋｄｄｉ株式会社 画像生成装置、方法及びプログラム
FR2945491A1 (fr) * 2009-05-18 2010-11-19 Peugeot Citroen Automobiles Sa Procede et dispositif pour etendre une zone de visibilite
WO2011105337A1 (ja) * 2010-02-24 2011-09-01 日本電信電話株式会社 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
JP4712898B1 (ja) * 2010-03-05 2011-06-29 健治 吉田 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム
US9224240B2 (en) * 2010-11-23 2015-12-29 Siemens Medical Solutions Usa, Inc. Depth-based information layering in medical diagnostic ultrasound
JP5858381B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 多視点画像合成方法及び多視点画像合成システム
JP2012134885A (ja) * 2010-12-22 2012-07-12 Sony Corp 画像処理装置及び画像処理方法
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
KR101789071B1 (ko) * 2011-01-13 2017-10-24 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
JPWO2012147363A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 画像生成装置
CN102271268B (zh) * 2011-08-09 2013-04-10 清华大学 多视点立体视频的深度序列生成方法和装置
JP6021489B2 (ja) * 2011-10-03 2016-11-09 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US9007373B2 (en) 2011-10-12 2015-04-14 Yale University Systems and methods for creating texture exemplars
US9799136B2 (en) 2011-12-21 2017-10-24 Twentieth Century Fox Film Corporation System, method and apparatus for rapid film pre-visualization
AU2012359062A1 (en) * 2011-12-21 2014-07-10 Twentieth Century Fox Film Corporation System, method and apparatus for rapid film pre-visualization
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
US11232626B2 (en) 2011-12-21 2022-01-25 Twenieth Century Fox Film Corporation System, method and apparatus for media pre-visualization
JP5777507B2 (ja) * 2011-12-27 2015-09-09 キヤノン株式会社 情報処理装置、情報処理方法、及びそのプログラム
US8692840B2 (en) * 2012-02-05 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for modeling and estimating rendering errors in virtual images
JP6017795B2 (ja) * 2012-02-10 2016-11-02 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9153062B2 (en) * 2012-02-29 2015-10-06 Yale University Systems and methods for sketching and imaging
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9149309B2 (en) 2012-03-23 2015-10-06 Yale University Systems and methods for sketching designs in context
JP2015511520A (ja) 2012-03-26 2015-04-20 コーニンクレッカ フィリップス エヌ ヴェ Ｘ線焦点スポット運動の直接制御
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
WO2014014928A2 (en) * 2012-07-18 2014-01-23 Yale University Systems and methods for three-dimensional sketching and imaging
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
JP6201379B2 (ja) * 2013-04-02 2017-09-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
JP2014230251A (ja) * 2013-05-27 2014-12-08 ソニー株式会社 画像処理装置、および画像処理方法
KR101980275B1 (ko) 2014-04-14 2019-05-20 삼성전자주식회사 다시점 영상 디스플레이 장치 및 디스플레이 방법
CN103974049B (zh) * 2014-04-28 2015-12-02 京东方科技集团股份有限公司 一种穿戴式投影装置及投影方法
EP3101892A4 (en) 2014-05-21 2017-07-26 Sony Corporation Image processing apparatus and method
JP2016019194A (ja) * 2014-07-09 2016-02-01 株式会社東芝 画像処理装置、画像処理方法、および画像投影装置
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface
US10033992B1 (en) * 2014-09-09 2018-07-24 Google Llc Generating a 3D video of an event using crowd sourced data
JP6528540B2 (ja) * 2015-05-28 2019-06-12 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6597041B2 (ja) * 2015-08-18 2019-10-30 富士ゼロックス株式会社 サーバー装置及び情報処理システム
KR102459850B1 (ko) * 2015-12-03 2022-10-27 삼성전자주식회사 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치
US11222461B2 (en) 2016-03-25 2022-01-11 Outward, Inc. Arbitrary view generation
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US9996914B2 (en) 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10163250B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10559095B2 (en) * 2016-08-31 2020-02-11 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
JP2018036898A (ja) * 2016-08-31 2018-03-08 キヤノン株式会社 画像処理装置及びその制御方法
JP6434947B2 (ja) * 2016-09-30 2018-12-05 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法、及びプログラム
JP6419128B2 (ja) 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR102534875B1 (ko) * 2016-12-08 2023-05-22 한국전자통신연구원 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
KR102139106B1 (ko) * 2016-12-16 2020-07-29 주식회사 케이티 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말
EP3565259A1 (en) * 2016-12-28 2019-11-06 Panasonic Intellectual Property Corporation of America Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device
JP6871801B2 (ja) * 2017-05-11 2021-05-12 キヤノン株式会社 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム
JP2019135617A (ja) * 2018-02-05 2019-08-15 キヤノン株式会社 情報処理装置およびその制御方法、画像処理システム
JP7140517B2 (ja) * 2018-03-09 2022-09-21 キヤノン株式会社 生成装置、生成装置が行う生成方法、及びプログラム
JP7062506B2 (ja) * 2018-05-02 2022-05-06 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020134973A (ja) * 2019-02-12 2020-08-31 キヤノン株式会社 素材生成装置、画像生成装置および画像処理装置
CN111311731B (zh) * 2020-01-23 2023-04-07 深圳市易尚展示股份有限公司 基于数字投影的随机灰度图生成方法、装置和计算机设备
JPWO2021149509A1 (ja) * 2020-01-23 2021-07-29
JP2022102698A (ja) * 2020-12-25 2022-07-07 武漢天馬微電子有限公司 立体画像表示装置
KR102558294B1 (ko) 2020-12-31 2023-07-24 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
CN113096254B (zh) * 2021-04-23 2023-09-22 北京百度网讯科技有限公司 目标物渲染方法及装置、计算机设备和介质
KR102589623B1 (ko) * 2022-01-27 2023-10-16 계명대학교 산학협력단 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3022558B1 (ja) 1998-05-21 2000-03-21 日本電信電話株式会社 三次元表示方法及び装置
JP2000350237A (ja) * 1999-06-08 2000-12-15 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法及び装置
JP2001291116A (ja) * 2000-04-11 2001-10-19 Sony Corp 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
US6466207B1 (en) 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2923063B2 (ja) 1991-02-19 1999-07-26 日本電信電話株式会社 多視点ステレオ画像計測方法
US6014163A (en) 1997-06-09 2000-01-11 Evans & Sutherland Computer Corporation Multi-camera virtual set system employing still store frame buffers for each camera
JPH11351843A (ja) 1998-06-10 1999-12-24 Takeomi Suzuki ３次元画像生成の装置および方法
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP3561446B2 (ja) 1999-08-25 2004-09-02 日本電信電話株式会社 画像生成方法及びその装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US7006085B1 (en) * 2000-10-30 2006-02-28 Magic Earth, Inc. System and method for analyzing and imaging three-dimensional volume data sets
JP2003099800A (ja) 2001-09-25 2003-04-04 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報生成方法および装置、ならびに３次元画像情報生成プログラムとこのプログラムを記録した記録媒体
KR100439756B1 (ko) * 2002-01-09 2004-07-12 주식회사 인피니트테크놀로지 3차원 가상내시경 화면 표시장치 및 그 방법
JP2003163929A (ja) 2002-08-23 2003-06-06 Mitsubishi Electric Corp 映像監視装置
US7800628B2 (en) * 2006-06-16 2010-09-21 Hewlett-Packard Development Company, L.P. System and method for generating scale maps

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466207B1 (en) 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
JP3022558B1 (ja) 1998-05-21 2000-03-21 日本電信電話株式会社 三次元表示方法及び装置
JP2000350237A (ja) * 1999-06-08 2000-12-15 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法及び装置
JP2001291116A (ja) * 2000-04-11 2001-10-19 Sony Corp 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1646012A4 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006170993A (ja) * 2004-12-10 2006-06-29 Microsoft Corp 非同期画像部分をマッチングすること
JP2006352539A (ja) * 2005-06-16 2006-12-28 Sharp Corp 広視野映像システム
JP2009025225A (ja) * 2007-07-23 2009-02-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US8259160B2 (en) 2008-07-31 2012-09-04 Kddi Corporation Method for generating free viewpoint video image in three-dimensional movement and recording medium
JP2010039501A (ja) * 2008-07-31 2010-02-18 Kddi Corp ３次元移動の自由視点映像生成方法および記録媒体
JP2010140097A (ja) * 2008-12-09 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
JP2010225092A (ja) * 2009-03-25 2010-10-07 Fujitsu Ltd 画像処理装置、及び画像処理システム
WO2011105297A1 (ja) * 2010-02-23 2011-09-01 日本電信電話株式会社 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
JP5237500B2 (ja) * 2010-02-23 2013-07-17 日本電信電話株式会社 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
JP2011210246A (ja) * 2010-03-12 2011-10-20 Mitsubishi Electric Research Laboratories Inc ステレオ画像においてオクルージョンをハンドリングするための方法
JP2012173858A (ja) * 2011-02-18 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> 全方位画像生成方法、画像生成装置およびプログラム
JP2012253706A (ja) * 2011-06-07 2012-12-20 Konica Minolta Holdings Inc 画像処理装置、そのプログラム、画像処理システム、および画像処理方法
CN102271271A (zh) * 2011-08-17 2011-12-07 清华大学 生成多视点视频的装置及方法
JP2014155069A (ja) * 2013-02-08 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 画像生成装置、画像生成方法及びプログラム
JP2015087851A (ja) * 2013-10-29 2015-05-07 日本電信電話株式会社 画像処理装置及び画像処理プログラム
JP2016126425A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 自由視点画像生成装置、方法およびプログラム
JP2018514031A (ja) * 2015-05-13 2018-05-31 グーグル エルエルシー ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習
JP2018042237A (ja) * 2016-08-31 2018-03-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2018186279A1 (ja) * 2017-04-04 2018-10-11 シャープ株式会社 画像処理装置、画像処理プログラム、及び記録媒体
KR20190140396A (ko) * 2018-06-11 2019-12-19 캐논 가부시끼가이샤 화상 처리장치, 방법 및 기억매체
US11227429B2 (en) 2018-06-11 2022-01-18 Canon Kabushiki Kaisha Image processing apparatus, method and storage medium for generating a virtual viewpoint with reduced image data
KR102412242B1 (ko) * 2018-06-11 2022-06-23 캐논 가부시끼가이샤 화상 처리장치, 방법 및 기억매체

Also Published As

Publication number Publication date
JP4052331B2 (ja) 2008-02-27
KR20060029140A (ko) 2006-04-04
JPWO2004114224A1 (ja) 2006-07-20
KR100779634B1 (ko) 2007-11-26
EP1646012A1 (en) 2006-04-12
US7538774B2 (en) 2009-05-26
EP1646012B1 (en) 2016-04-13
US20070122027A1 (en) 2007-05-31
EP1646012A4 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
WO2004114224A1 (ja) 仮想視点画像生成方法及び３次元画像表示方法並びに装置
JP4828506B2 (ja) 仮想視点画像生成装置、プログラムおよび記録媒体
US11189043B2 (en) Image reconstruction for virtual 3D
US20130335535A1 (en) Digital 3d camera using periodic illumination
US20170374344A1 (en) Discontinuity-aware reprojection
WO2008029345A1 (en) Method for determining a depth map from images, device for determining a depth map
CN104395931A (zh) 图像的深度图的生成
CN101631257A (zh) 一种实现二维视频码流立体播放的方法及装置
Wei Converting 2d to 3d: A survey
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
CN113763301B (zh) 一种减小错切概率的三维图像合成方法和装置
CN107534731B (zh) 图像处理装置和图像处理方法
CN100573595C (zh) 虚拟视点图像生成方法和三维图像显示方法及装置
US20220222842A1 (en) Image reconstruction for virtual 3d
WO2022063260A1 (zh) 一种渲染方法、装置及设备
AU2004306226A1 (en) Stereoscopic imaging
JP3629243B2 (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
JP2001118074A (ja) ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体
KR100927234B1 (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
JP2018129026A (ja) 決定装置、画像処理装置、決定方法及び決定プログラム
Galabov A real time 2D to 3D image conversion techniques
Lechlek et al. Interactive hdr image-based rendering from unstructured ldr photographs
Jeong et al. Real‐Time Defocus Rendering With Level of Detail and Sub‐Sample Blur
US11615574B2 (en) System and method for rendering 6 degree-of-freedom virtual reality
WO2023109582A1 (zh) 处理光线数据的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2005505046

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004746140

Country of ref document: EP

Ref document number: 2007122027

Country of ref document: US

Ref document number: 2004817333X

Country of ref document: CN

Ref document number: 1020057024444

Country of ref document: KR

Ref document number: 10561344

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020057024444

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004746140

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10561344

Country of ref document: US