WO2014196374A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2014196374A1
WO2014196374A1 PCT/JP2014/063646 JP2014063646W WO2014196374A1 WO 2014196374 A1 WO2014196374 A1 WO 2014196374A1 JP 2014063646 W JP2014063646 W JP 2014063646W WO 2014196374 A1 WO2014196374 A1 WO 2014196374A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
value
image
correlation
pair
Prior art date
Application number
PCT/JP2014/063646
Other languages
English (en)
French (fr)
Inventor
功久 井藤
健吾 早坂
浩典 森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201480030688.6A priority Critical patent/CN105247860B/zh
Priority to US14/893,754 priority patent/US10027947B2/en
Priority to JP2015521384A priority patent/JP6551743B2/ja
Publication of WO2014196374A1 publication Critical patent/WO2014196374A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method capable of generating parallax images of a plurality of viewpoints with high accuracy with a small amount of calculation.
  • the imaging apparatus acquires captured images of a plurality of viewpoints using a plurality of imaging units, generates a captured image of a virtual viewpoint from the captured images (view interpolation), and uses these captured images to perform virtual focusing.
  • a captured image or the like is generated (for example, see Patent Document 1).
  • the virtual viewpoint image generates a parallax image (depth map) corresponding to the captured images of a plurality of viewpoints, and generates a virtual viewpoint captured image from the captured image using the parallax image for each viewpoint. (Image registration) and then synthesized. Therefore, in order to generate a captured image of a virtual viewpoint with high accuracy, it is necessary to generate a parallax image with high accuracy.
  • a parallax image is an image which used the parallax value of each pixel of a captured image as a pixel value, for example.
  • the parallax value is smaller for the image of the subject on the back side, and the parallax value is larger for the image of the subject on the near side.
  • a parallax image is generated from a captured image of a reference viewpoint that is one reference viewpoint, and a parallax image of a viewpoint other than the reference viewpoint is estimated from the parallax image.
  • the parallax value of the occlusion area of the reference viewpoint cannot be accurately estimated, and the parallax images of viewpoints other than the reference viewpoint can be accurately obtained. Cannot be generated.
  • the occlusion area of the reference viewpoint refers to an area that is not visible from the reference viewpoint but is visible from viewpoints other than the reference viewpoint.
  • the present disclosure has been made in view of such a situation, and is capable of generating parallax images of a plurality of viewpoints with high accuracy with a small amount of calculation.
  • the image processing apparatus includes a calculation unit that calculates a correlation value of a plurality of captured images of a pair of viewpoints using captured images of a plurality of viewpoints, and the correlation calculated by the calculation unit. Based on the value, a viewpoint parallax image composed of a parallax value of a reference viewpoint, which is one of the plurality of viewpoints, and an occlusion parallax image composed of a parallax value of an occlusion area are divided into parallaxes of different layers of the reference viewpoint
  • An image processing apparatus includes a generation unit that generates an image.
  • the image processing method according to the first aspect of the present disclosure corresponds to the image processing apparatus according to the first aspect of the present disclosure.
  • correlation values of captured images of a plurality of viewpoint pairs are calculated using captured images of a plurality of viewpoints, and one of the plurality of viewpoints is calculated based on the correlation values.
  • a viewpoint parallax image made up of the parallax values of the reference viewpoint, which is one viewpoint, and an occlusion parallax image made up of the parallax values of the occlusion area are generated as parallax images of different layers of the reference viewpoint.
  • the image processing device includes a calculation unit that calculates correlation values of captured images of a plurality of pairs of viewpoints using captured images of a plurality of viewpoints, and a pattern of the correlation values of each pair. , Based on a table in which a predetermined pair of the plurality of viewpoint pairs is associated with each other, based on a highest correlation parallax value that is a parallax value corresponding to the highest correlation value of the predetermined pair, It is an image processing apparatus provided with the production
  • the image processing method according to the second aspect of the present disclosure corresponds to the image processing apparatus according to the second aspect of the present disclosure.
  • correlation values of captured images of a plurality of viewpoint pairs are calculated using captured images of a plurality of viewpoints, and the correlation value pattern of each pair and the plurality of viewpoints Based on a table in which a predetermined pair of the pair is associated, a highest correlation disparity value corresponding to the highest correlation value of the predetermined pair is used to determine one viewpoint among the plurality of viewpoints.
  • a viewpoint parallax image including a parallax value of a certain reference viewpoint is generated.
  • image processing apparatuses according to the first and second aspects of the present disclosure can also be realized by causing a computer to execute a program.
  • a program to be executed by a computer is provided by being transmitted through a transmission medium or by being recorded on a recording medium. be able to.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an imaging apparatus as an image processing apparatus to which the present disclosure is applied.
  • the imaging apparatus 10 in FIG. 1 includes an imaging array 12 and an image processing unit 13.
  • the imaging apparatus 10 acquires captured images from a plurality of viewpoints, and generates a virtual focus captured image as a refocused image.
  • the imaging array 12 of the imaging apparatus 10 includes a plurality of imaging units including an imaging lens, an imaging element such as a CCD (Charge-Coupled Device) and a CMOS (Complementary Metal-Oxide Semiconductor), an A / D conversion unit, and the like. It is configured by two-dimensional arrangement.
  • an imaging element such as a CCD (Charge-Coupled Device) and a CMOS (Complementary Metal-Oxide Semiconductor), an A / D conversion unit, and the like. It is configured by two-dimensional arrangement.
  • Each imaging unit of the imaging array 12 receives light input from a subject by an imaging element via an imaging lens, and performs A / D conversion by an A / D conversion unit on an analog signal obtained as a result. To obtain a captured image. Thereby, the imaging array 12 acquires captured images of different viewpoints for each imaging unit. The imaging array 12 supplies the acquired captured image of each viewpoint to the image processing unit 13.
  • the image processing unit 13 is configured by, for example, an LSI (Large Scale Integration).
  • the image processing unit 13 includes a detection unit 21, a virtual viewpoint image generation unit 22, and a refocus image generation unit 23.
  • the detection unit 21 calculates the parallax value based not only on the correlation value of the captured image between the reference viewpoint and the viewpoint other than the reference viewpoint supplied from the imaging array 12 but also on the correlation value of the captured image between the viewpoints other than the reference viewpoint. To detect. Thereby, the parallax value of the reference viewpoint and the parallax value of the occlusion area of the reference viewpoint are detected. In the present embodiment, it is assumed that there is only one occlusion area at the reference viewpoint in order to simplify the description.
  • the detection unit 21 sets a parallax image including a parallax value of a reference viewpoint as a parallax image (view parallax image) of the first layer, and a parallax image including a parallax value of an occlusion area of the reference viewpoint as a parallax image of the second layer (occlusion parallax).
  • Image a parallax image of two layers of the reference viewpoint is generated. Then, the detection unit 21 supplies the parallax images of the two layers of the reference viewpoint to the virtual viewpoint image generation unit 22.
  • the virtual viewpoint image generation unit 22 holds the parallax images of the two layers of the reference viewpoint supplied from the detection unit 21.
  • the virtual viewpoint image generation unit 22 generates a parallax image of a viewpoint other than the reference viewpoint using the stored two-level parallax images of the reference viewpoint.
  • the virtual viewpoint image generation unit 22 generates a captured image of a virtual viewpoint other than the viewpoint corresponding to the imaging unit, using the generated parallax image of each viewpoint and the captured image of each viewpoint supplied from the imaging array 12. .
  • the virtual viewpoint image generation unit 22 supplies the captured image of each viewpoint and the captured image of the virtual viewpoint supplied from the imaging array 12 to the refocus image generation unit 23 as a super multi-viewpoint image.
  • the refocus image generation unit 23 functions as a virtual focus image generation unit, and generates a virtual focus captured image as a refocus image using the super multi-viewpoint image supplied from the virtual viewpoint image generation unit 22.
  • the refocus image generation unit 23 outputs the generated refocus image.
  • FIG. 2 is a diagram illustrating a configuration example of the imaging array 12 of FIG. 1, and is a perspective view of the imaging array 12 as viewed from the subject side.
  • each of the imaging units 41-0 to 41-8 has an imaging lens.
  • the viewpoint corresponding to the imaging unit 41-0 is set as the reference viewpoint.
  • angles ⁇ 1 to ⁇ 8 are 45 degrees, 360 degrees, 315 degrees, 90 degrees, 270 degrees, 135 degrees, 180 degrees, and 225 degrees, respectively.
  • distances L1 to L8 are referred to as distances L1 to L8, respectively.
  • FIG. 3 is a block diagram illustrating a configuration example of the detection unit 21 in FIG. 1.
  • the detection unit 21 includes correlation generation units 61-1 to 61-16, high correlation detection units 62-1 to 62-16, a generation unit 63, and a database 64.
  • the correlation generation unit 61-1 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-2. For example, the correlation generation unit 61-1 first sets the upper left pixel area of the captured image at the reference viewpoint as the processing target pixel area, and then sequentially shifts the pixels one by one in the raster scan direction to set the processing target pixel area.
  • the shape of the pixel area can be any shape.
  • the correlation generation unit 61-1 functions as a calculation unit, and performs correlation detection between the processing target pixel area and the reference pixel area of the captured image supplied from the imaging unit 41-2 with respect to the processing target pixel area. As a result, a correlation value is obtained.
  • a correlation detection method for example, there is a method of detecting a correlation value from a phase difference such as a block matching method, a method of combining a processing target pixel area and a reference pixel area, and detecting a correlation value from the contrast of the combination result. .
  • the correlation generation unit 61-1 generates a parallax value based on the distance between the processing target pixel area and the reference pixel area. Then, the correlation generation unit 61-1 supplies correlation value information representing the relationship between the parallax value of the processing target pixel area and the correlation value corresponding to the parallax value to the high correlation detection unit 62-1.
  • the correlation generation unit 61-2 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-1. Then, the correlation generation unit 61-2 performs correlation detection in the same manner as the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-2.
  • the correlation generation unit 61-3 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-4. Then, the correlation generation unit 61-3 performs correlation detection in the same manner as the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-3.
  • the correlation generation unit 61-4 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-6. Then, the correlation generation unit 61-4 performs correlation detection in the same manner as the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-4.
  • the correlation generation unit 61-5 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-7. Then, the correlation generation unit 61-5 performs correlation detection in the same manner as the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-5.
  • the correlation generation unit 61-6 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-8. Then, the correlation generation unit 61-6 performs correlation detection similarly to the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-6.
  • the correlation generation unit 61-7 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-5. Then, the correlation generation unit 61-7 performs correlation detection similarly to the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-7.
  • the correlation generation unit 61-8 acquires the captured image of the reference viewpoint supplied from the imaging unit 41-0 and the captured image supplied from the imaging unit 41-3. Then, the correlation generation unit 61-8 performs correlation detection in the same manner as the correlation generation unit 61-1, and supplies the correlation value information to the high correlation detection unit 62-8.
  • the correlation generation units 61-1 to 61-8 generate correlation value information between a captured image of the reference viewpoint and a captured image of a viewpoint other than the reference viewpoint. Therefore, the parallax value of the reference viewpoint can be detected from this correlation value information.
  • the correlation generation unit 61-9 acquires the captured image supplied from the imaging unit 41-2 and the captured image supplied from the imaging unit 41-1 adjacent to the imaging unit 41-2. Then, the correlation generation unit 61-9 determines the processing target pixel area in the same manner as the correlation generation unit 61-1.
  • the correlation generation unit 61-9 also includes a pixel area corresponding to the processing target pixel area of the captured image from the imaging unit 41-2 and a reference pixel area of the captured image from the imaging unit 41-1 for the processing target pixel area. And a correlation value is obtained as a correlation detection result.
  • the correlation generation unit 61-9 generates a parallax value based on the distance between the pixel area corresponding to the processing target pixel area and the reference pixel area. Then, the correlation generation unit 61-9 supplies the correlation value information to the high correlation detection unit 62-9.
  • the correlation generation unit 61-10 acquires the captured image supplied from the imaging unit 41-1 and the captured image supplied from the imaging unit 41-4 adjacent to the imaging unit 41-1. Then, the correlation generation unit 61-10 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-10.
  • the correlation generation unit 61-11 acquires the captured image supplied from the imaging unit 41-4 and the captured image supplied from the imaging unit 41-6 adjacent to the imaging unit 41-4. Then, the correlation generation unit 61-11 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-11.
  • the correlation generation unit 61-12 acquires the captured image supplied from the imaging unit 41-6 and the captured image supplied from the imaging unit 41-7 adjacent to the imaging unit 41-6. Then, the correlation generation unit 61-12 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-12.
  • the correlation generation unit 61-13 acquires the captured image supplied from the imaging unit 41-7 and the captured image supplied from the imaging unit 41-8 adjacent to the imaging unit 41-7. Then, the correlation generation unit 61-13 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-13.
  • the correlation generation unit 61-14 acquires the captured image supplied from the imaging unit 41-8 and the captured image supplied from the imaging unit 41-5 adjacent to the imaging unit 41-8. Then, the correlation generation unit 61-14 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-14.
  • the correlation generation unit 61-15 acquires the captured image supplied from the imaging unit 41-5 and the captured image supplied from the imaging unit 41-3 adjacent to the imaging unit 41-5. Then, the correlation generation unit 61-15 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-15.
  • the correlation generation unit 61-16 acquires the captured image supplied from the imaging unit 41-3 and the captured image supplied from the imaging unit 41-2 adjacent to the imaging unit 41-3. Then, the correlation generation unit 61-16 performs correlation detection in the same manner as the correlation generation unit 61-9, and supplies the correlation value information to the high correlation detection unit 62-16.
  • the correlation generation units 61-9 to 61-16 generate correlation value information between captured images other than the reference viewpoint. Therefore, the parallax value of the occlusion area at the reference viewpoint can be detected from this correlation value information.
  • the high correlation detection unit 62-1 detects the highest correlation value of the processing target pixel area based on the correlation value information of the processing target pixel area supplied from the correlation generation unit 61-1. When the highest correlation value of the processing target pixel area is equal to or greater than the threshold, the high correlation detection unit 62-1 supplies the generation unit 63 with a parallax value corresponding to the highest correlation value (hereinafter referred to as the highest correlation parallax value). To do.
  • the high correlation detection unit 62-1 supplies the generation unit 63 with invalid information indicating that the parallax value of the processing target pixel area is invalid.
  • the threshold value used here is, for example, the minimum correlation value when correlation detection is performed on the same image.
  • the high correlation detection units 62-2 to 62-16 also have the highest correlation parallax based on the correlation value information supplied from each of the correlation generation units 61-2 to 61-16.
  • the value or invalid information is supplied to the generation unit 63.
  • the generation unit 63 corresponds to the parallax value pattern corresponding to the highest correlation value of the 16 viewpoint pairs corresponding to the correlation generation units 61-1 to 61-16 and the parallax value of each layer from the database 64.
  • a hierarchy table in which a pair is associated is read.
  • the generation unit 63 recognizes a pair of each layer based on the highest correlation parallax value or invalid information of the processing target pixel area supplied from the high correlation detection units 62-1 to 62-16 and the table.
  • the generating unit 63 obtains the average value of the highest correlation parallax values of the recognized pairs for each layer, and holds them as the parallax values of the processing target pixel area. Then, the generation unit 63 generates a parallax image by combining the parallax values of all the pixel areas for each layer, and supplies the parallax image to the virtual viewpoint image generation unit 22.
  • the database 64 stores a hierarchical table.
  • the correlation generation units 61-1 to 61-16 are collectively referred to as the correlation generation unit 61 when it is not necessary to distinguish them.
  • the high correlation detection units 62-1 to 62-16 are collectively referred to as a high correlation detection unit 62.
  • FIG. 4 is a diagram showing 16 viewpoint pairs corresponding to the correlation generators 61-1 to 61-16 in FIG.
  • the imaging device 10 images a background on which alphabets A to Z are written and a soccer ball existing on the near side of the background. This also applies to FIGS. 5 to 9 described later.
  • the correlation generation unit 61-1 corresponds to a pair of reference viewpoints corresponding to the imaging unit 41-0 and viewpoints corresponding to the imaging unit 41-2 (hereinafter referred to as pair # 1).
  • the correlation generation unit 61-2 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-1 (hereinafter referred to as pair # 2).
  • the correlation generation unit 61-3 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-4 (hereinafter referred to as pair # 3).
  • the correlation generation unit 61-4 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-6 (hereinafter referred to as pair # 4).
  • the correlation generation unit 61-5 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-7 (hereinafter referred to as pair # 5).
  • the correlation generation unit 61-6 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-8 (hereinafter referred to as pair # 6).
  • the correlation generation unit 61-7 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-5 (hereinafter referred to as pair # 7).
  • the correlation generation unit 61-8 corresponds to a pair of viewpoints corresponding to the reference viewpoint and the imaging unit 41-3 (hereinafter referred to as pair # 8).
  • the correlation generation unit 61-9 corresponds to a pair of viewpoints corresponding to the imaging unit 41-2 and viewpoints corresponding to the imaging unit 41-1 (hereinafter referred to as pair # 9).
  • the correlation generation unit 61-10 corresponds to a pair of viewpoints corresponding to the imaging unit 41-1 and viewpoints corresponding to the imaging unit 41-4 (hereinafter referred to as pair # 10).
  • the correlation generation unit 61-11 corresponds to a pair of viewpoints corresponding to the imaging unit 41-4 and viewpoints corresponding to the imaging unit 41-6 (hereinafter referred to as pair # 11).
  • the correlation generation unit 61-12 corresponds to a pair of viewpoints corresponding to the imaging unit 41-6 and viewpoints corresponding to the imaging unit 41-7 (hereinafter referred to as pair # 12).
  • the correlation generation unit 61-13 corresponds to a pair of viewpoints corresponding to the imaging unit 41-7 and viewpoints corresponding to the imaging unit 41-8 (hereinafter referred to as pair # 13).
  • the correlation generation unit 61-14 corresponds to a pair of viewpoints corresponding to the imaging unit 41-8 and viewpoints corresponding to the imaging unit 41-5 (hereinafter referred to as pair # 14).
  • the correlation generation unit 61-15 corresponds to a viewpoint pair corresponding to the imaging unit 41-5 and a viewpoint corresponding to the imaging unit 41-3 (hereinafter referred to as pair # 15).
  • the correlation generation unit 61-16 corresponds to a pair of viewpoints corresponding to the imaging unit 41-3 and viewpoints corresponding to the imaging unit 41-2 (hereinafter referred to as pair # 16).
  • FIG. 5 is a diagram for explaining correlation detection by the correlation generation unit 61.
  • the correlation generation unit 61-1 The coordinates (x 1 , y 1 ) of the center of the reference pixel area 81 of the captured image from 41-2 are determined based on the coordinates (x 0 , y 0 ).
  • the correlation generation unit 61-1 uses the coordinates (x 0 , y 0 ) as an initial value, and the minute interval ⁇ d 2 in the direction of the angle ⁇ 2 + 180 degrees corresponding to the imaging unit 41-2, that is, the epipolar line direction. The coordinates shifted by one are determined in order as coordinates (x 1 , y 1 ). Then, the correlation generation unit 61-1 performs correlation detection on the pixel area 80 and the reference pixel area 81.
  • the reference pixel area is set for the processing target pixel area, and the processing target pixel area and the reference pixel area are set. Correlation detection is performed.
  • the correlation generation unit 61-9 determines a pixel area corresponding to the processing target pixel area. Specifically, when the coordinates of the center of the pixel area to be processed are the coordinates (x 0 , y 0 ), the correlation generation unit 61-9 uses the coordinates (x 0 , y 0 ) as an initial value and the imaging unit 41 The coordinates shifted by ⁇ d 2 in the direction of the angle ⁇ 2 + 180 degrees corresponding to ⁇ 2 are sequentially determined as the coordinates of the center of the pixel area corresponding to the processing target pixel area.
  • the correlation generation unit 61-9 uses the coordinates (x 0 , y 0 ) as initial values, and sequentially shifts the coordinates shifted by ⁇ d 1 in the direction of the angle ⁇ 1 + 180 degrees corresponding to the imaging unit 41-1, in the reference pixel area. Determine the coordinates of the center of. Then, the correlation generation unit 61-9 performs correlation detection on the pixel area corresponding to the processing target pixel area and the reference pixel area.
  • the correlation generation units 61-10 to 61-16 perform correlation detection in the same manner as the correlation generation unit 61-9.
  • the pixel area corresponding to the processing target pixel area and the reference pixel area are set for the processing target pixel area. Is done. Then, correlation detection is performed on the pixel area corresponding to the processing target pixel area and the reference pixel area.
  • ⁇ d 1 to ⁇ d 8 are values defined by the following formula (1).
  • FIG. 6 is a diagram illustrating an example of a part of the processing target pixel area in the captured image of the reference viewpoint in FIG.
  • a pixel area 101 including a part of J described in the background a pixel area 102 including a part of K, and L hidden by a soccer ball are displayed.
  • the pixel area 103 including the pixel area is a processing target pixel area.
  • FIG. 7 is a diagram showing correlation value information when the coordinates of the centers of the pixel areas 101 to 103 are the coordinates of the center of the processing target pixel area with respect to the captured image of FIG.
  • the horizontal axis represents the parallax value of the correlation value information
  • the vertical axis represents the correlation value
  • the correlation value information of pair # 1 to pair # 16 when the coordinates of the center of the pixel area 101 are the coordinates of the center of the processing target pixel area the correlation corresponding to the parallax value of the background The value is the largest, and the correlation value is equal to or greater than the threshold value.
  • the highest correlation value in all of the pairs # 1 to # 16 is equal to or greater than the threshold value, and the highest correlation parallax value is the background parallax value.
  • the disparity value of the first layer of the processing target pixel area can be generated using the disparity value.
  • the correlation value corresponding to the background parallax value is the largest, and the correlation value is equal to or greater than the threshold value.
  • the highest correlation value in the pair # 1, the pair # 5 to the pair # 8, and the pair # 13 to the pair # 16 is equal to or greater than the threshold value, and the highest correlation parallax value is the background parallax value.
  • the highest correlation value is smaller than the threshold value
  • the correlation value information of pair # 10 and pair # 11 the parallax of the soccer ball
  • the correlation value corresponding to the value is the largest, and the correlation value is equal to or greater than the threshold value.
  • the background image of the pixel area 102 is hidden by the soccer ball image. Has been. Therefore, the image corresponding to the pixel area 102 of the imaging unit 41-1, the imaging unit 41-4, and the imaging unit 41-6, the imaging unit 41-0, the imaging unit 41-2, the imaging unit 41-3, and the imaging unit Images corresponding to the pixel areas 102 of 41-5, the imaging unit 41-7, and the imaging unit 41-8 are different.
  • the images corresponding to the pixel areas 102 of the imaging unit 41-1, the imaging unit 41-4, and the imaging unit 41-6 are the same and are soccer ball images. Therefore, in pair # 10 and pair # 11 corresponding to any two of imaging unit 41-1, imaging unit 41-4, and imaging unit 41-6, the highest correlation value is equal to or greater than the threshold value, and the highest correlation parallax value Is the parallax value of the soccer ball.
  • the highest correlation parallax value is the background parallax value.
  • the highest correlation parallax value is the parallax value of the soccer ball.
  • the disparity value in the occlusion area of the reference viewpoint Absent. Therefore, processing is performed using the background parallax value that is the highest correlation parallax value of the pair with the reference viewpoint and the highest correlation parallax value of pair # 13 to pair # 16 that uses the background parallax value as the highest correlation parallax value. Only the first level parallax value of the target pixel area can be generated.
  • the soccer ball in the correlation value information of the pairs # 1 to # 13 and the pair # 16 when the coordinates of the center of the pixel area 103 are the coordinates of the center of the processing target pixel area, the soccer ball
  • the correlation value corresponding to the parallax value is the largest, and the correlation value is equal to or greater than the threshold value.
  • the captured image captured by the imaging units 41-0 to 41-2, the imaging unit 41-4, the imaging unit 41-6, and the imaging unit 41-7 corresponds to the pixel area 103.
  • the image to be played is an image of a soccer ball.
  • soccer ball images exist in the captured images of all viewpoints. Therefore, in the image capturing unit 41-0 to 41-2, the image capturing unit 41-4, the image capturing unit 41-6, and the pair # 1 to the pair # 13 and the pair # 16 with the viewpoint corresponding to the image capturing unit 41-7,
  • the high correlation value is equal to or greater than the threshold value, and the highest correlation parallax value is the parallax value of the soccer ball.
  • the correlation value corresponding to the background parallax value is the largest, and the correlation value is equal to or greater than the threshold value.
  • the image corresponding to the pixel area 103 is a background image. Background images exist with each other. Therefore, in pair # 14 and pair # 15, which are viewpoint pairs corresponding to any of imaging unit 41-3, imaging unit 41-5, and imaging unit 41-8, the highest correlation value is equal to or higher than the threshold value, and the highest The correlated parallax value is the background parallax value.
  • the correlation value information of the pairs # 1 to # 13 and the pair # 16 surrounded by the dotted rectangle 141 in FIG. is the parallax value of the soccer ball.
  • the highest correlation parallax value is the background parallax value.
  • the highest correlation parallax value corresponding to all pairs of viewpoints other than the reference viewpoint is not equal to or higher than the highest correlation parallax value corresponding to the pair with the reference viewpoint. That is, occlusion of the reference viewpoint occurs in the processing target pixel area.
  • the parallax value of the second layer of the pixel area to be processed using a parallax value smaller than the highest correlated parallax value corresponding to the pair with the reference viewpoint among the highest correlated parallax values of the pair of viewpoints other than the reference viewpoint. Can be generated.
  • a background parallax value that is the highest correlation parallax value of the pair with the reference viewpoint, and a highest correlation parallax value of pair # 9 to pair # 13 and pair # 16 having the parallax value of the background as the highest correlation parallax value It is possible to generate only the first level parallax value of the processing target pixel area.
  • the parallax value pattern corresponding to the highest correlation value of each pair is associated with the pair corresponding to the parallax value of each hierarchy.
  • FIG. 10 is a diagram illustrating an example of a hierarchy table.
  • Pair # 1 the highest correlation parallax value is the far side parallax value
  • pair # 10 and pair # 11 the highest correlation parallax value is Pairs # 1, # 5 to # 5 corresponding to the far side parallax value as pairs corresponding to the first hierarchy with respect to a pattern having a parallax value on the near side and the highest correlation value in the remaining pairs being smaller than the threshold value Pair # 8 and pairs # 13 to # 16 are associated with each other.
  • the highest correlation disparity value is the far side disparity value
  • the highest correlation A pair corresponding to the far side parallax value is associated as a pair corresponding to the first hierarchy with respect to a pattern in which the parallax value is the near side parallax value and the highest correlation value in the remaining pairs is smaller than the threshold value.
  • pair # 1 to pair # 3 pair # 7 to pair # 10, pair # 15, and pair # 16
  • the highest correlation parallax value is the far side parallax value
  • pair # 12 and pair # 13 For the pattern with the highest correlation disparity value closer to the front and the highest correlation value in the remaining pairs being smaller than the threshold, the pair corresponding to the disparity value on the back side corresponds to the pattern corresponding to the first layer. Attached.
  • the highest correlation parallax value is the far side parallax value in pair # 1 to pair # 4, pair # 8 to pair # 11, and pair # 16, and the highest correlation parallax value is found in pair # 13 and pair # 14.
  • pairs # 1 to # 5 and pairs # 9 to # 12 the highest correlation disparity value is the farther disparity value
  • pairs # 14 and # 15 the highest correlation disparity value is closer to the front.
  • a pair corresponding to the disparity value on the back side is associated with a pattern that is a disparity value and the highest correlation value in the remaining pairs is smaller than the threshold as a pair corresponding to the first hierarchy.
  • pairs # 2 to # 6 and pairs # 10 to # 13 the highest correlation disparity value is the farther disparity value, and in pairs # 15 and pair # 16, the highest correlation disparity value is closer to the near side.
  • a pair corresponding to the disparity value on the back side is associated with a pattern that is a disparity value and the highest correlation value in the remaining pairs is smaller than the threshold as a pair corresponding to the first hierarchy.
  • pairs # 3 to # 7 and pairs # 11 to # 14 the highest correlation disparity value is the farther disparity value
  • pairs # 9 and # 16 the highest correlation disparity value is closer to the near side.
  • a pair corresponding to the disparity value on the back side is associated with a pattern that is a disparity value and the highest correlation value in the remaining pairs is smaller than the threshold as a pair corresponding to the first hierarchy.
  • pairs # 4 to # 8 and pairs # 12 to # 15 the highest correlation disparity value is the farther disparity value
  • pair # 9 and pair # 10 the highest correlation disparity value is closer to the near side.
  • a pair corresponding to the disparity value on the back side is associated with a pattern that is a disparity value and the highest correlation value in the remaining pairs is smaller than the threshold as a pair corresponding to the first hierarchy.
  • the first level parallax value is the highest correlated parallax value of the pair whose highest correlated parallax value is the far side parallax value. Generated using values.
  • the highest correlation parallax value is the nearer side parallax value
  • the highest correlated parallax value is the farther side parallax value.
  • ten pairs of pairs # 1 to # 8, pair # 10, and pair # 11 among the pairs corresponding to the near-side parallax value are associated as pairs corresponding to the first hierarchy.
  • pair # 14 and pair # 15 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • the highest correlation parallax value is the nearer parallax value in pair # 1 to pair # 14 and the highest correlation parallax value is the farther parallax value in pair # 15 and pair # 16
  • pairs corresponding to the first hierarchy ten pairs of pairs # 1 to # 8, pair # 11, and pair # 12 among the pairs corresponding to the disparity value on the near side are associated. Further, pair # 15 and pair # 16 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • pair # 1 to pair # 8 and pair # 10 to pair # 15 the highest correlation parallax value is the nearer side parallax value
  • pair # 9 and pair # 16 the highest correlation parallax value is the farther side parallax value.
  • ten pairs # 1 to # 8, pair # 12, and pair # 13 of pairs corresponding to the near-side parallax values as pairs corresponding to the first layer Pairs are associated.
  • pair # 9 and pair # 16 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • pairs # 1 to # 8 and pairs # 11 to # 16 the highest correlation parallax value is the nearer side parallax value
  • pairs # 9 and # 10 the highest correlation parallax value is the farther side parallax value.
  • ten pairs # 1 to # 8, pair # 13, and pair # 14 of pairs corresponding to the near-side parallax values as pairs corresponding to the first layer Pairs are associated.
  • pair # 9 and pair # 10 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • pairs # 1 to # 9 and pairs # 12 to # 16 the highest correlation parallax value is the nearer side parallax value
  • pairs # 10 and # 11 the highest correlation parallax value is the farther side parallax value.
  • 10 pairs of pairs # 1 to # 8, pair # 14, and pair # 15 of the pairs corresponding to the near-side parallax value as pairs corresponding to the first layer Pairs are associated.
  • pair # 10 and pair # 11 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • pairs # 1 to # 10 and pairs # 13 to # 16 the highest correlation parallax value is the nearer parallax value
  • pairs # 11 and # 12 the highest correlation parallax value is the deeper side parallax value.
  • ten pairs of pairs # 1 to # 8, pair # 15, and pair # 16 of the pairs corresponding to the near-side parallax value as pairs corresponding to the first layer Pairs are associated.
  • pair # 11 and pair # 12 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • pairs # 1 to # 11 and pairs # 14 to # 16 the highest correlation parallax value is the nearer side parallax value
  • pairs # 12 and # 13 the highest correlation parallax value is the farther side parallax value.
  • 10 pairs of pairs # 1 to # 9 and pairs # 16 of the pairs corresponding to the disparity values on the near side are associated with the pattern that is the disparity value as a pair corresponding to the first layer. It is done.
  • pair # 12 and pair # 13 corresponding to the far side parallax value are associated as pairs corresponding to the second hierarchy.
  • pairs # 1 to # 10 among the pairs corresponding to the near-side parallax values are associated with the pattern having the parallax value of the first level. Further, pairs # 13 and # 14 corresponding to the far side parallax values are associated as pairs corresponding to the second hierarchy.
  • the highest correlated parallax value of the pair with the reference viewpoint is the nearer side parallax value
  • the highest correlation parallax of the pair whose first correlated parallax value is the nearer side parallax value.
  • the parallax value of the second layer is generated using the highest correlation parallax value of the pair in which the highest correlation parallax value becomes the far side parallax value.
  • FIG. 11 is a diagram illustrating an example of parallax images in the first layer and the second layer of the captured image at the reference viewpoint in FIG. 4.
  • a parallax image 162 including the parallax value of the reference viewpoint is generated as a parallax image of the first layer of the reference viewpoint.
  • the parallax image 162 is a parallax image in which the parallax value of the area 162A corresponding to the soccer ball in the captured image 161 is large and the parallax value of the area 162B corresponding to the background is small.
  • a parallax image 163 composed of parallax values of the occlusion area of the reference viewpoint is generated as a parallax image of the second layer of the reference viewpoint with respect to the captured image 161 of the reference viewpoint.
  • the parallax image 163 is a parallax image having a background parallax value as a parallax value of a ring-shaped region 163A corresponding to a region inside a predetermined distance from the boundary between the soccer ball and the background in the captured image 161.
  • the parallax value of the region 163B other than the region 163A of the parallax image 163 is a value indicating invalidity.
  • FIG. 12 is a diagram illustrating an example of a parallax image of a viewpoint other than the reference viewpoint generated using the parallax image 162 and the parallax image 163 of FIG. 11.
  • the horizontal axis represents the horizontal position (X-axis direction) of each pixel, and the vertical axis represents the parallax value. The same applies to FIG. 13 described later.
  • the parallax values 162 and parallax image 163 of the area corresponding to the occlusion area in the captured image of the reference viewpoint are the parallax values of both the background and the soccer ball. Become. That is, the parallax image 162 and the parallax image 163 overlap with each other in the area corresponding to the occlusion area.
  • the virtual viewpoint image generation unit 22 accurately selects the parallax image 182 corresponding to the viewpoint captured image 181 of the imaging unit 41-5 and the parallax image 192 corresponding to the viewpoint captured image 191 of the imaging unit 41-4. Can be generated.
  • the virtual viewpoint image generation unit 22 generates the parallax image 182 by shifting the parallax value of the area 162A of the parallax image 162 to the right, but the parallax value corresponding to the parallax value of the occlusion area exists in the parallax image 162. Therefore, it cannot be generated accurately.
  • the virtual viewpoint image generation unit 22 can also use the parallax image 163, it is possible to generate an accurate parallax image 182 by using the parallax value of the parallax image 163 as the parallax value of the occlusion area.
  • the virtual viewpoint image generation unit 22 generates the parallax image 192 by shifting the parallax value of the area 162A of the parallax image 162 to the left. Can be generated accurately.
  • the parallax value of the occlusion area is not generated as shown in the center graph of FIG. Accordingly, since the parallax value of the occlusion area 211A in the parallax image 211 corresponding to the captured image 181 does not exist in the parallax image 162, the parallax value of the occlusion area 211A cannot be generated accurately.
  • the parallax value of the occlusion area 212A in the parallax image 212 corresponding to the captured image 191 does not exist in the parallax image 162, the parallax value of the occlusion area 212A cannot be accurately generated.
  • FIG. 14 is a diagram illustrating an example of a virtual viewpoint.
  • the virtual viewpoint is a viewpoint corresponding to the imaging unit 41-2, the imaging unit 41-3, the imaging unit 41-7, and the virtual imaging unit 231 located at the center of the imaging unit 41-8.
  • the virtual viewpoint image generation unit 22 when generating the virtual viewpoint captured image 250 of FIG. 14, the virtual viewpoint image generation unit 22 captures the captured image 251 of the imaging unit 41-3, the captured image 252 of the imaging unit 41-2, and the captured image.
  • the captured image 253 of the unit 41-8 and the captured image 254 of the imaging unit 41-7 are used.
  • the virtual viewpoint image generation unit 22 also uses parallax images 261 to 264 corresponding to the captured images 251 to 254.
  • the virtual viewpoint image generation unit 22 generates a virtual viewpoint captured image 281 using the captured image 251 and the parallax image 261. Specifically, for example, the virtual viewpoint image generation unit 22 sets each pixel of the captured image 251 to the parallax value of the parallax image 261 of the pixel, the reference viewpoint, the viewpoint of the imaging unit 41-2, and the virtual viewpoint. By shifting by a value based on the positional relationship, a captured image 281 of the virtual viewpoint is generated.
  • the virtual viewpoint image generation unit 22 uses the captured image 252 and the parallax image 262 to generate the captured image 282 of the virtual viewpoint in the same manner as the captured image 281.
  • the virtual viewpoint image generation unit 22 generates a virtual viewpoint captured image 283 using the captured image 253 and the parallax image 263 in the same manner as the captured image 281.
  • the virtual viewpoint image generation unit 22 generates a virtual viewpoint captured image 284 using the captured image 254 and the parallax image 264 in the same manner as the captured image 281.
  • the virtual viewpoint image generation unit 22 synthesizes the virtual viewpoint captured images 281 to 284 to generate a final virtual viewpoint captured image 250, as shown in FIG.
  • FIG. 21 is a flowchart illustrating the imaging process of the imaging apparatus 10 in FIG.
  • step S11 of FIG. 21 the imaging array 12 of the imaging device 10 acquires the captured images of the respective viewpoints of the imaging units 41-0 to 41-8 and supplies them to the detection unit 21.
  • step S12 the correlation generation unit 61 (FIG. 3) of the detection unit 21 sets the pixel area of the captured image at the reference viewpoint as the processing target pixel area.
  • the correlation generation unit 61 sets a pixel area of a predetermined size by shifting the pixel area of a predetermined size in the raster scan direction pixel by pixel from the upper left in the captured image at the reference viewpoint. Then, the correlation generation unit 61 sets the upper left pixel area as the processing target pixel area in the processing of the first step S12, and sets the pixel areas as processing target pixel areas in the raster scan order in the subsequent processing of step S12.
  • step S13 the correlation generation unit 61 performs correlation detection of the captured image for the processing target pixel area, and generates correlation value information.
  • the correlation generation unit 61 supplies the correlation value information to the high correlation detection unit 62.
  • step S14 the high correlation detection unit 62 detects the highest correlation value in the processing target pixel area based on the correlation value information supplied from the correlation generation unit 61.
  • step S15 the high correlation detection unit 62 determines whether or not the highest detected correlation value is greater than or equal to a threshold value.
  • step S15 If it is determined in step S15 that the highest correlation value is greater than or equal to the threshold value, in step S16, the high correlation detection unit 62 outputs the highest correlation parallax value to the generation unit 63, and the process proceeds to step S18.
  • step S15 if it is determined in step S15 that the highest correlation value is not greater than or equal to the threshold value, in step S17, the high correlation detection unit 62 outputs invalid information to the generation unit 63, and the process proceeds to step S18.
  • step S18 the generation unit 63 reads the hierarchy table from the database 64.
  • step S ⁇ b> 19 the generation unit 63 recognizes a pair of each layer based on the layer table and the highest correlation parallax value or invalid information supplied from each of the high correlation detection units 62.
  • step S20 the generation unit 63 obtains the average value of the highest correlation parallax values of the pairs recognized in step S19 for each layer.
  • step S ⁇ b> 21 the generation unit 63 holds the average value of the highest correlation parallax value of each layer obtained in step S ⁇ b> 20 as the parallax value of the processing target pixel area of the parallax image of each layer of the reference viewpoint.
  • step S22 the correlation generation unit 61 determines whether or not all the pixel areas have been processed. If it is determined in step S22 that all the pixel areas have not yet been processed, the process returns to step S12, and the processes in steps S12 to S22 are repeated until all the pixel areas are processed. .
  • step S23 when it is determined in step S22 that all the pixel areas are the processing target pixel areas, in step S23, the generation unit 63 virtually uses the first-level and second-level parallax images of the reference viewpoint that are held. The image is output to the viewpoint image generation unit 22.
  • step S24 the virtual viewpoint image generation unit 22 generates parallax images of viewpoints other than the reference viewpoint, using the parallax images of the first and second layers of the reference viewpoint supplied from the generation unit 63.
  • step S25 the virtual viewpoint image generation unit 22 generates a captured image of the virtual viewpoint using the parallax image of each viewpoint and the captured image of each viewpoint supplied from the imaging array 12.
  • the virtual viewpoint image generation unit 22 supplies the captured image of each viewpoint and the captured image of the virtual viewpoint supplied from the imaging array 12 to the refocus image generation unit 23 as a super multi-viewpoint image.
  • step S26 the refocus image generation unit 23 uses the super multi-viewpoint image supplied from the virtual viewpoint image generation unit 22 to generate a virtual focus captured image as a refocus image.
  • the refocus image generation unit 23 outputs the generated refocus image.
  • the imaging device 10 generates a parallax image including the parallax value of the reference viewpoint as the parallax image of the first hierarchy, and generates the parallax image including the parallax value of the occlusion area of the reference viewpoint as the parallax of the second hierarchy. Generate as an image. Accordingly, it is possible to accurately generate a parallax image of a viewpoint other than the reference viewpoint.
  • the imaging device 10 generates a parallax image of a viewpoint other than the reference viewpoint from the parallax image of the reference viewpoint. Therefore, the amount of calculation required to generate the parallax image for each viewpoint is smaller than when generating the parallax image for each viewpoint from the captured image. Further, since only the reference viewpoint parallax image needs to be held for subsequent processing using the parallax images of each viewpoint, the amount of parallax images held can be reduced. On the other hand, when generating parallax images for each viewpoint from captured images, it is necessary to hold parallax images for all viewpoints.
  • the imaging apparatus 10 stores the parallax image including the parallax value of the reference viewpoint and the parallax image including the parallax value of the occlusion area of the reference viewpoint in a hierarchical manner, the imaging apparatus 10 efficiently uses the parallax value of the reference viewpoint and the parallax value of the occlusion area. Can hold well. Further, the imaging apparatus 10 can easily and accurately select the highest correlation parallax value used for generating the parallax image based on the hierarchy table.
  • FIG. 22 is a diagram showing another configuration example of the imaging array 12 of FIG. 1, and is a perspective view of the imaging array 12 as seen from the subject side.
  • the seven imaging units 301-0 to 301-6 are arranged such that the imaging units 301-1 to 301-6 are located at the vertices of a regular hexagon centered on the imaging unit 301-0. Arranged on the base plane 40.
  • the imaging units 301-1 to 301-6 are regular hexagonal vertices, but the imaging units 301-1 to 301-6 may be hexagonal vertices. That is, the distance between adjacent image pickup units among the image pickup units 301-1 to 301-6 may not be the same.
  • the number and position of the imaging units constituting the imaging array 12 are not limited to the examples of FIGS.
  • the captured image may be an image in which a plurality of subjects are present in front of the background.
  • the number of layers of the parallax image of the reference viewpoint is the number obtained by adding 1 to the number of occlusion regions.
  • the series of processes described above can be executed by hardware as described above, but can also be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 605 is further connected to the bus 604.
  • An imaging unit 606, an input unit 607, an output unit 608, a storage unit 609, a communication unit 610, and a drive 611 are connected to the input / output interface 605.
  • the imaging unit 606 includes the imaging array 12 and the like, and acquires captured images from a plurality of viewpoints.
  • the input unit 607 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 608 includes a display, a speaker, and the like.
  • the storage unit 609 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 610 includes a network interface or the like.
  • the drive 611 drives a removable medium 612 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 601 loads the program stored in the storage unit 609 to the RAM 603 via the input / output interface 605 and the bus 604 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 601) can be provided by being recorded in the removable medium 612 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 609 via the input / output interface 605 by attaching the removable medium 612 to the drive 611.
  • the program can be received by the communication unit 610 via a wired or wireless transmission medium and installed in the storage unit 609.
  • the program can be installed in the ROM 602 or the storage unit 609 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • an image other than the refocus image (for example, an image with different illumination from the captured image) may be generated using the super multi-viewpoint image.
  • the parallax value of the reference viewpoint and the parallax value of the occlusion area of the reference viewpoint are values based on the highest correlation parallax value other than the average value of the highest correlation parallax values of pairs corresponding to each layer (for example, the highest correlation parallax value Maximum value).
  • the imaging device 10 may not store the hierarchy table.
  • the highest correlation parallax value is set as the parallax value of the reference viewpoint.
  • the highest correlation parallax value of the pair with the reference viewpoint is the parallax value of the reference viewpoint
  • the highest correlation parallax value on the back side of the highest correlation parallax value is The parallax value of the occlusion area.
  • the pair of captured images that are subject to correlation detection can be a pair other than the 16 pairs described above.
  • correlation values of three or more captured images may be generated.
  • the present technology can be applied not only to an imaging apparatus that acquires a multi-viewpoint captured image using a plurality of imaging units, but also to an imaging apparatus that acquires a multi-viewpoint captured image using an imaging lens and a microlens array.
  • the present disclosure can have the following configurations.
  • a calculation unit that calculates correlation values of captured images of a plurality of pairs of viewpoints using captured images of a plurality of viewpoints; Based on the correlation value calculated by the calculation unit, a viewpoint parallax image including a parallax value of a reference viewpoint, which is one of the plurality of viewpoints, and an occlusion parallax image including a parallax value of an occlusion area
  • An image processing apparatus comprising: a generation unit configured to generate a parallax image of a hierarchy having different reference viewpoints.
  • the image processing device (2) The image processing device according to (1), wherein the generation unit generates the viewpoint parallax image and the occlusion parallax image based on a highest correlation parallax value that is a parallax value corresponding to the highest correlation value. (3) The generating unit generates the viewpoint parallax image based on a highest correlation parallax value of a first pair of the plurality of viewpoint pairs, and what is the first pair of the plurality of viewpoint pairs? The image processing apparatus according to (2), wherein the occlusion parallax image is generated based on a highest correlation parallax value of different second pairs.
  • the generating unit uses an average value of the highest correlation parallax values of the plurality of first pairs as a parallax value of the viewpoint parallax image, and uses an average value of the highest correlation parallax values of the plurality of second pairs as the occlusion.
  • the image processing apparatus according to (3) wherein a parallax value of a parallax image is used.
  • the generation unit generates the viewpoint parallax image and the occlusion parallax image based on a table in which the correlation value pattern of each pair is associated with the first pair and the second pair.
  • the image processing apparatus according to 3) or (4).
  • (6) (1) to (5) further including a virtual viewpoint image generation unit that generates a captured image of a virtual viewpoint based on the captured images of the plurality of viewpoints and the parallax image of the reference viewpoint generated by the generation unit.
  • a virtual viewpoint image generation unit that generates a captured image of a virtual viewpoint based on the captured images of the plurality of viewpoints and the parallax image of the reference viewpoint generated by the generation unit.
  • the image processing device A calculation step of calculating a correlation value of a plurality of captured images of a pair of viewpoints using captured images of a plurality of viewpoints; Based on the correlation value calculated by the processing in the calculation step, a viewpoint parallax image including a parallax value of a reference viewpoint that is one of the plurality of viewpoints, and an occlusion parallax image including a parallax value of an occlusion area And generating a parallax image of a different hierarchy of the reference viewpoint.
  • a calculation unit that calculates correlation values of captured images of a plurality of pairs of viewpoints using captured images of a plurality of viewpoints; Based on a table in which the correlation value pattern of each pair is associated with a predetermined pair of the plurality of viewpoint pairs, the highest correlation is a disparity value corresponding to the highest correlation value of the predetermined pair
  • An image processing apparatus comprising: a generation unit configured to generate a viewpoint parallax image including a parallax value of a reference viewpoint, which is one of the plurality of viewpoints, from a parallax value.
  • the image processing device A calculation step of calculating a correlation value of a plurality of captured images of a pair of viewpoints using captured images of a plurality of viewpoints; Based on a table in which the correlation value pattern of each pair is associated with a predetermined pair of the plurality of viewpoint pairs, the highest correlation is a disparity value corresponding to the highest correlation value of the predetermined pair
  • An image processing method including: generating a viewpoint parallax image including a parallax value of a reference viewpoint that is one of the plurality of viewpoints from a parallax value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

　本開示は、少ない演算量で複数の視点の視差画像を高精度に生成することができるようにする画像処理装置および画像処理方法に関する。 相関生成部は、複数の視点の撮像画像を用いて複数の視点のペアの撮像画像の相関値を演算する。生成部は、その相関値に基づいて、複数の視点のうちの１つの視点である基準視点の視差値からなる視差画像と、オクルージョン領域の視差値からなる視差画像とを、基準視点の異なる階層の視差画像として生成する。本開示は、例えば、ライトフィールドカメラの画像処理装置等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、少ない演算量で複数の視点の視差画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
　近年、ライトフィールドカメラ等と呼ばれる撮像装置が注目されている。この撮像装置は、複数の撮像部を用いて複数の視点の撮像画像を取得し、撮像画像から仮想視点の撮像画像を生成（ビューインターポレーション）し、これらの撮像画像を用いて仮想フォーカスの撮像画像などを生成する（例えば、特許文献１参照）。
　このような撮像装置において、仮想視点の画像は、複数の視点の撮像画像に対応する視差画像（デプスマップ）を生成し、視点ごとに視差画像を用いて撮像画像から仮想視点の撮像画像を生成（イメージレジストレーション）し、合成することにより生成される。従って、仮想視点の撮像画像を高精度で生成するためには、視差画像を高精度で生成する必要がある。なお、視差画像とは、例えば、撮像画像の各画素の視差値を画素値とした画像である。ここでは、奥側の被写体の画像ほど視差値が小さく、手前側の被写体の画像ほど視差値が大きくなるものとする。
特許第４７０６８８２号公報
　ところで、複数の視点の視差画像を生成する方法としては、基準となる１つの視点である基準視点の撮像画像から視差画像を生成し、その視差画像から基準視点以外の視点の視差画像を推定する方法がある。
　しかしながら、この方法では、例えば、基準視点の撮像画像にオクルージョンが発生する場合、基準視点のオクルージョン領域の視差値を正確に推定することができず、基準視点以外の視点の視差画像を高精度に生成することができない。なお、本明細書では、基準視点のオクルージョン領域とは、基準視点では見えないが、基準視点以外の視点では見える領域のことを指す。
　また、複数の視点の視差画像を生成する方法としては、視点ごとに撮像画像から視差画像を生成する方法もある。この方法では、高精度の視差画像を生成することができるが、膨大な演算量が必要とされる。
　本開示は、このような状況に鑑みてなされたものであり、少ない演算量で複数の視点の視差画像を高精度に生成することができることができるようにするものである。
　本開示の第１の側面の画像処理装置は、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、前記演算部により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成部とを備える画像処理装置である。
　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
　本開示の第１の側面においては、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値が演算され、前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とが、前記基準視点の異なる階層の視差画像として生成される。
　本開示の第２の側面の画像処理装置は、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成部とを備える画像処理装置である。
　本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
　本開示の第２の側面においては、複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値が演算され、各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像が生成される。
　なお、本開示の第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することもできる。
　また、本開示の第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示によれば、少ない演算量で複数の視点の視差画像を高精度に生成することができる。
本開示を適用した画像処理装置としての撮像装置の一実施の形態の構成例を示すブロック図である。 撮像アレイの構成例を示す斜視図である。 検出部の構成例を示すブロック図である。 相関生成部に対応する１６個の視点のペアを示す図である。 相関生成部による相関検出を説明する図である。 処理対象画素エリアの一部の例を示す図である。 相関値情報の例を示す図である。 処理対象画素エリアの最高相関視差値のグループを示す図である。 他の処理対象画素エリアの最高相関視差値のグループを示す図である。 階層テーブルの例を示す図である。 基準視点の第１階層および第２階層の視差画像の例を示す図である。 基準視点以外の視点の視差画像の例を示す図である。 従来の基準視点以外の視点の視差画像の例を示す図である。 仮想視点の例を示す図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 仮想視点の撮像画像の生成について説明する図である。 撮像処理を説明するフローチャートである。 撮像アレイの他の構成例を示す斜視図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　＜一実施の形態＞
　（撮像装置の一実施の形態の構成例）
　図１は、本開示を適用した画像処理装置としての撮像装置の一実施の形態の構成例を示すブロック図である。
　図１の撮像装置１０は、撮像アレイ１２、および画像処理部１３により構成される。撮像装置１０は、複数の視点の撮像画像を取得し、仮想フォーカスの撮像画像をリフォーカス画像として生成する。
　具体的には、撮像装置１０の撮像アレイ１２は、撮像レンズ、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子、A/D変換部などよりなる複数の撮像部が２次元配列されることにより構成される。
　撮像アレイ１２の各撮像部は、被写体から入力された光を、撮像レンズを介して撮像素子により受光し、その結果得られるアナログ信号に対してA/D変換部によるA/D変換等を行って撮像画像を取得する。これにより、撮像アレイ１２は、撮像部ごとに異なる視点の撮像画像を取得する。撮像アレイ１２は、取得された各視点の撮像画像を画像処理部１３に供給する。
　画像処理部１３は、例えばLSI（Large Scale Integration）により構成される。画像処理部１３は、検出部２１、仮想視点画像生成部２２、およびリフォーカス画像生成部２３を備える。
　検出部２１は、撮像アレイ１２から供給される基準視点と基準視点以外の視点との撮像画像の相関値だけでなく、基準視点以外の視点どうしの撮像画像の相関値にも基づいて視差値を検出する。これにより、基準視点の視差値と基準視点のオクルージョン領域の視差値とが検出される。なお、本実施の形態では、説明を簡単にするため、基準視点のオクルージョン領域は１つであるものとする。
　検出部２１は、基準視点の視差値からなる視差画像を第１階層の視差画像（視点視差画像）とし、基準視点のオクルージョン領域の視差値からなる視差画像を第２階層の視差画像（オクルージョン視差画像）とすることにより、基準視点の２つの階層の視差画像を生成する。そして、検出部２１は、基準視点の２つの階層の視差画像を仮想視点画像生成部２２に供給する。
　仮想視点画像生成部２２は、検出部２１から供給される基準視点の２つの階層の視差画像を保持する。仮想視点画像生成部２２は、保持されている基準視点の２つの階層の視差画像を用いて、基準視点以外の視点の視差画像を生成する。
　仮想視点画像生成部２２は、生成された各視点の視差画像と撮像アレイ１２から供給される各視点の撮像画像とを用いて、撮像部に対応する視点以外の仮想視点の撮像画像を生成する。仮想視点画像生成部２２は、撮像アレイ１２から供給される各視点の撮像画像と仮想視点の撮像画像を、超多視点画像としてリフォーカス画像生成部２３に供給する。
　リフォーカス画像生成部２３は、仮想フォーカス画像生成部として機能し、仮想視点画像生成部２２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２３は、生成されたリフォーカス画像を出力する。
　（撮像アレイの構成例）
　図２は、図１の撮像アレイ１２の構成例を示す図であり、撮像アレイ１２を被写体側から見た斜視図である。
　図２の撮像アレイ１２では、９個の撮像部４１－０乃至４１－８が縦方向および横方向に等間隔で３つずつ熱伸縮率の小さい安定した基盤平面４０上に配置される。図２に示すように、撮像部４１－０乃至４１－８のそれぞれは、撮像レンズ４２を有している。なお、本実施の形態では、撮像部４１－０に対応する視点が基準視点とされる。
　また、以下では、基準視点に対応する撮像部４１－０の中心を通る垂直な直線と、撮像部４１－０と撮像部４１－１乃至４１－８のそれぞれの中心を結ぶ直線のなす角を、それぞれ、角度θ１乃至θ８という。角度θ１乃至θ８は、それぞれ、４５度、３６０度、３１５度、９０度、２７０度、１３５度、１８０度、２２５度である。
　また、撮像部４１－０と撮像部４１－１乃至４１－８のそれぞれの中心を結ぶ直線の長さを、それぞれ、距離Ｌ１乃至Ｌ８という。
　（検出部の構成例）
　図３は、図１の検出部２１の構成例を示すブロック図である。
　図３に示すように、検出部２１は、相関生成部６１－１乃至６１－１６、高相関検出部６２－１乃至６２－１６、生成部６３、およびデータベース６４により構成される。
　相関生成部６１－１は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－２から供給される撮像画像を取得する。相関生成部６１－１は、例えば、最初に、基準視点の撮像画像の左上の画素エリアを処理対象画素エリアとし、その後順に１画素ずつラスタスキャン方向にずらして処理対象画素エリアとする。なお、画素エリアの形状は任意の形状にすることができる。
　相関生成部６１－１は、演算部として機能し、処理対象画素エリアと、その処理対象画素エリアに対する撮像部４１－２から供給される撮像画像の参照画素エリアとの相関検出を行い、相関検出結果として相関値を得る。相関検出の方法としては、例えば、ブロックマッチング法等の位相差から相関値を検出する方法、処理対象画素エリアと参照画素エリアを合成し、合成結果のコントラストから相関値を検出する方法などがある。
　また、相関生成部６１－１は、処理対象画素エリアと参照画素エリアの距離に基づいて視差値を生成する。そして、相関生成部６１－１は、処理対象画素エリアの視差値とその視差値に対応する相関値との関係を表す相関値情報を高相関検出部６２－１に供給する。
　相関生成部６１－２は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－１から供給される撮像画像を取得する。そして、相関生成部６１－２は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－２に供給する。
　相関生成部６１－３は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－４から供給される撮像画像を取得する。そして、相関生成部６１－３は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－３に供給する。
　相関生成部６１－４は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－６から供給される撮像画像を取得する。そして、相関生成部６１－４は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－４に供給する。
　相関生成部６１－５は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－７から供給される撮像画像を取得する。そして、相関生成部６１－５は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－５に供給する。
　相関生成部６１－６は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－８から供給される撮像画像を取得する。そして、相関生成部６１－６は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－６に供給する。
　相関生成部６１－７は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－５から供給される撮像画像を取得する。そして、相関生成部６１－７は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－７に供給する。
　相関生成部６１－８は、撮像部４１－０から供給される基準視点の撮像画像と、撮像部４１－３から供給される撮像画像を取得する。そして、相関生成部６１－８は、相関生成部６１－１と同様に相関検出を行い、相関値情報を高相関検出部６２－８に供給する。
　以上のように、相関生成部６１－１乃至６１－８は、基準視点の撮像画像と基準視点以外の視点の撮像画像の相関値情報を生成する。従って、この相関値情報から基準視点の視差値を検出することができる。
　相関生成部６１－９は、撮像部４１－２から供給される撮像画像と、撮像部４１－２に隣接する撮像部４１－１から供給される撮像画像を取得する。そして、相関生成部６１－９は、相関生成部６１－１と同様に処理対象画素エリアを決定する。
　また、相関生成部６１－９は、撮像部４１－２からの撮像画像の処理対象画素エリアに対応する画素エリアと、その処理対象画素エリアに対する撮像部４１－１からの撮像画像の参照画素エリアとの相関検出を行い、相関検出結果として相関値を得る。相関生成部６１－９は、処理対象画素エリアに対応する画素エリアと参照画素エリアの距離に基づいて視差値を生成する。そして、相関生成部６１－９は、相関値情報を高相関検出部６２－９に供給する。
　相関生成部６１－１０は、撮像部４１－１から供給される撮像画像と、撮像部４１－１に隣接する撮像部４１－４から供給される撮像画像を取得する。そして、相関生成部６１－１０は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１０に供給する。
　相関生成部６１－１１は、撮像部４１－４から供給される撮像画像と、撮像部４１－４に隣接する撮像部４１－６から供給される撮像画像を取得する。そして、相関生成部６１－１１は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１１に供給する。
　相関生成部６１－１２は、撮像部４１－６から供給される撮像画像と、撮像部４１－６に隣接する撮像部４１－７から供給される撮像画像を取得する。そして、相関生成部６１－１２は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１２に供給する。
　相関生成部６１－１３は、撮像部４１－７から供給される撮像画像と、撮像部４１－７に隣接する撮像部４１－８から供給される撮像画像を取得する。そして、相関生成部６１－１３は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１３に供給する。
　相関生成部６１－１４は、撮像部４１－８から供給される撮像画像と、撮像部４１－８に隣接する撮像部４１－５から供給される撮像画像を取得する。そして、相関生成部６１－１４は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１４に供給する。
　相関生成部６１－１５は、撮像部４１－５から供給される撮像画像と、撮像部４１－５に隣接する撮像部４１－３から供給される撮像画像を取得する。そして、相関生成部６１－１５は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１５に供給する。
　相関生成部６１－１６は、撮像部４１－３から供給される撮像画像と、撮像部４１－３に隣接する撮像部４１－２から供給される撮像画像を取得する。そして、相関生成部６１－１６は、相関生成部６１－９と同様に相関検出を行い、相関値情報を高相関検出部６２－１６に供給する。
　以上のように、相関生成部６１－９乃至６１－１６は、基準視点以外の撮像画像どうしの相関値情報を生成する。従って、この相関値情報から基準視点のオクルージョン領域の視差値を検出することができる。
　高相関検出部６２－１は、相関生成部６１－１から供給される処理対象画素エリアの相関値情報に基づいて処理対象画素エリアの最も高い相関値を検出する。高相関検出部６２－１は、処理対象画素エリアの最も高い相関値が閾値以上である場合、その最も高い相関値に対応する視差値（以下、最高相関視差値という）を生成部６３に供給する。
　一方、最も高い相関値が閾値より小さい場合、高相関検出部６２－１は、処理対象画素エリアの視差値が無効であることを示す無効情報を生成部６３に供給する。なお、ここで用いられる閾値は、例えば、同一の画像に対して相関検出を行ったときの相関値の最小値である。
　高相関検出部６２－２乃至６２－１６も、高相関検出部６２－１と同様に、相関生成部６１－２乃至６１－１６のそれぞれから供給される相関値情報に基づいて、最高相関視差値または無効情報を生成部６３に供給する。
　生成部６３は、データベース６４から、相関生成部６１－１乃至６１－１６に対応する１６個の視点のペアの最も高い相関値に対応する視差値のパターンと、各階層の視差値に対応するペアとを対応付けた階層テーブルを読み出す。生成部６３は、高相関検出部６２－１乃至６２－１６から供給される処理対象画素エリアの最高相関視差値または無効情報と、テーブルとに基づいて、各階層のペアを認識する。
　生成部６３は、階層ごとに、認識されたペアの最高相関視差値の平均値を求め、処理対象画素エリアの視差値として保持する。そして、生成部６３は、階層ごとに全ての画素エリアの視差値を合成して視差画像を生成し、仮想視点画像生成部２２に供給する。
　データベース６４は、階層テーブルを記憶する。
　なお、以下では、相関生成部６１－１乃至６１－１６を特に区別する必要がない場合、それらをまとめて相関生成部６１という。同様に、高相関検出部６２－１乃至６２－１６をまとめて高相関検出部６２という。
　（相関生成部に対応する視点のペアの説明）
　図４は、図３の相関生成部６１－１乃至６１－１６に対応する１６個の視点のペアを示す図である。
　なお、図４の例では、撮像装置１０は、Ａ乃至Ｚのアルファベットが記載された背景と背景の手前側に存在するサッカーボールを撮像している。このことは、後述する図５乃至図９においても同様である。
　図４に示すように、相関生成部６１－１は、撮像部４１－０に対応する基準視点と撮像部４１－２に対応する視点のペア（以下、ペア＃１という）に対応する。相関生成部６１－２は、基準視点と撮像部４１－１に対応する視点のペア（以下、ペア＃２という）に対応する。相関生成部６１－３は、基準視点と撮像部４１－４に対応する視点のペア（以下、ペア＃３という）に対応する。
　相関生成部６１－４は、基準視点と撮像部４１－６に対応する視点のペア（以下、ペア＃４という）に対応する。相関生成部６１－５は、基準視点と撮像部４１－７に対応する視点のペア（以下、ペア＃５という）に対応する。相関生成部６１－６は、基準視点と撮像部４１－８に対応する視点のペア（以下、ペア＃６という）に対応する。
　相関生成部６１－７は、基準視点と撮像部４１－５に対応する視点のペア（以下、ペア＃７という）に対応する。相関生成部６１－８は、基準視点と撮像部４１－３に対応する視点のペア（以下、ペア＃８という）に対応する。
　相関生成部６１－９は、撮像部４１－２に対応する視点と撮像部４１－１に対応する視点のペア（以下、ペア＃９という）に対応する。相関生成部６１－１０は、撮像部４１－１に対応する視点と撮像部４１－４に対応する視点のペア（以下、ペア＃１０という）に対応する。相関生成部６１－１１は、撮像部４１－４に対応する視点と撮像部４１－６に対応する視点のペア（以下、ペア＃１１という）に対応する。
　相関生成部６１－１２は、撮像部４１－６に対応する視点と撮像部４１－７に対応する視点のペア（以下、ペア＃１２という）に対応する。相関生成部６１－１３は、撮像部４１－７に対応する視点と撮像部４１－８に対応する視点のペア（以下、ペア＃１３という）に対応する。相関生成部６１－１４は、撮像部４１－８に対応する視点と撮像部４１－５に対応する視点のペア（以下、ペア＃１４という）に対応する。
　相関生成部６１－１５は、撮像部４１－５に対応する視点と撮像部４１－３に対応する視点のペア（以下、ペア＃１５という）に対応する。相関生成部６１－１６は、撮像部４１－３に対応する視点と撮像部４１－２に対応する視点のペア（以下、ペア＃１６という）に対応する。
　(相関検出の説明)
　図５は、相関生成部６１による相関検出を説明する図である。
　図５に示すように、例えば基準視点の撮像画像の座標（x０,y０）を中心とした微小の画素エリア８０が処理対象画素エリアであるとき、相関生成部６１－１は、撮像部４１－２からの撮像画像の参照画素エリア８１の中心の座標（x１,y１）を、座標（x０,y０）に基づいて決定する。
　具体的には、相関生成部６１－１は、座標（x０,y０）を初期値として、撮像部４１－２に対応する角度θ２＋180度の方向、即ちエピポーラ線の方向に微小間隔Δd２ずつずらした座標を、順に座標（x１,y１）に決定する。そして、相関生成部６１－１は、画素エリア８０と参照画素エリア８１に対して相関検出を行う。
　相関生成部６１－２乃至６１－８は、相関生成部６１－１と同様に相関検出を行う。即ち、相関生成部６１－ｉ（i=2,3,4,5,6,7,8）は、参照画素エリア８ｉの中心の座標（xｉ,yｉ）を、座標（x０,y０）を初期値として角度θｊ+180度（j=1,4,6,7,8,5,3）の方向に微小間隔Δdｊだけずらすことにより決定する。そして、相関生成部６１－ｉは、それぞれ、画素エリア８０と参照画素エリア８ｉに対して相関検出を行う。
　以上のように、基準視点とのペアに対応する相関生成部６１－１乃至６１－８では、処理対象画素エリアに対して参照画素エリアが設定され、処理対象画素エリアと参照画素エリアとに対して相関検出が行われる。
　一方、相関生成部６１－９は、処理対象画素エリアに対応する画素エリアを決定する。具体的には、相関生成部６１－９は、処理対象画素エリアの中心の座標が座標（x０,y０）であるとき、座標（x０,y０）を初期値として、撮像部４１－２に対応する角度θ２＋180度の方向に△d２ずつずらした座標を、順に処理対象画素エリアに対応する画素エリアの中心の座標に決定する。
　また、相関生成部６１－９は、座標（x０,y０）を初期値として、撮像部４１－１に対応する角度θ１＋180度の方向に△d１ずつずらした座標を、順に参照画素エリアの中心の座標に決定する。そして、相関生成部６１－９は、処理対象画素エリアに対応する画素エリアと参照画素エリアに対して相関検出を行う。相関生成部６１－１０乃至６１－１６は、相関生成部６１－９と同様に相関検出を行う。
　以上のように、基準視点以外の視点どうしのペアに対応する相関生成部６１－９乃至６１－１６では、処理対象画素エリアに対して処理対象画素エリアに対応する画素エリアと参照画素エリアが設定される。そして、処理対象画素エリアに対応する画素エリアと参照画素エリアとに対して相関検出が行われる。
　なお、Δd１乃至Δd８は、以下の式（１）で定義される値である。
Figure JPOXMLDOC01-appb-M000001
　（階層テーブルの説明）
　図６は、図５の基準視点の撮像画像内の処理対象画素エリアの一部の例を示す図である。
　図６に示すように、図５の基準視点の撮像画像では、背景に記載されたＪの一部を含む画素エリア１０１、Ｋの一部を含む画素エリア１０２、サッカーボールで隠されたＬを含む画素エリア１０３などが処理対象画素エリアとされる。
　図７は、図５の撮像画像に対して画素エリア１０１乃至１０３の中心の座標を処理対象画素エリアの中心の座標としたときの相関値情報を示す図である。
　なお、図７において、横軸は、相関値情報の視差値を表し、縦軸は、相関値を表す。
　図７の左側に示すように、画素エリア１０１の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１乃至ペア＃１６の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
　即ち、図５の撮像画像では、全ての視点において画素エリア１０１の背景の画像が存在する。従って、ペア＃１乃至ペア＃１６の全てにおいて最も高い相関値は閾値以上となり、最高相関視差値は、背景の視差値となる。
　このように、ペア＃１乃至ペア＃１６の全てにおいて最高相関視差値が背景の視差値となる場合、その視差値を用いて処理対象画素エリアの第１階層の視差値を生成することができる。
　また、図７の中央に示すように、画素エリア１０２の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
　即ち、図５の撮像画像では、撮像部４１－０、撮像部４１－２、撮像部４１－３、撮像部４１－５、撮像部４１－７、および撮像部４１－８により撮像された撮像画像において画素エリア１０２の背景の画像が存在する。従って、ペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６において最も高い相関値は閾値以上となり、最高相関視差値は背景の視差値となる。
　一方、ペア＃２乃至ペア＃４、ペア＃９、およびペア＃１２の相関値情報では、最も高い相関値が閾値より小さく、ペア＃１０およびペア＃１１の相関値情報では、サッカーボールの視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
　即ち、図５の撮像画像では、撮像部４１－１、撮像部４１－４、および撮像部４１－６により撮像された撮像画像において、画素エリア１０２の背景の画像は、サッカーボールの画像により隠されている。従って、撮像部４１－１、撮像部４１－４、および撮像部４１－６の画素エリア１０２に対応する画像と、撮像部４１－０、撮像部４１－２、撮像部４１－３、撮像部４１－５、撮像部４１－７、および撮像部４１－８の画素エリア１０２に対応する画像は異なる。
　よって、撮像部４１－１、撮像部４１－４、および撮像部４１－６のいずれかと、撮像部４１－０、撮像部４１－２、撮像部４１－３、撮像部４１－５、撮像部４１－７、および撮像部４１－８のいずれかに対応するペア＃２乃至ペア＃４、ペア＃９、およびペア＃１２において、最も高い相関値は閾値より小さくなる。
　これに対して、撮像部４１－１、撮像部４１－４、および撮像部４１－６の画素エリア１０２に対応する画像は同一であり、サッカーボールの画像である。従って、撮像部４１－１、撮像部４１－４、および撮像部４１－６のいずれか２つに対応するペア＃１０およびペア＃１１において、最も高い相関値は閾値以上となり、最高相関視差値はサッカーボールの視差値となる。
　以上のように、画素エリア１０２の中心の座標を処理対象画素エリアの中心の座標としたとき図８の点線の矩形１２１で囲われたペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６の相関値情報では、最高相関視差値が背景の視差値となる。また、点線の矩形１２２で囲われたペア＃１０およびペア＃１１の相関値情報では、最高相関視差値がサッカーボールの視差値となる。
　このような場合、基準視点以外の視点どうしの全てのペアに対応する最高相関視差値は、基準視点とのペアに対応する最高相関視差値以上であるため、基準視点のオクルージョン領域の視差値ではない。従って、基準視点とのペアの最高相関視差値である背景の視差値と、その背景の視差値を最高相関視差値とするペア＃１３乃至ペア＃１６の最高相関視差値とを用いて、処理対象画素エリアの第１階層の視差値のみを生成することができる。
　また、図７の右側に示すように、画素エリア１０３の中心の座標を処理対象画素エリアの中心の座標としたときのペア＃１乃至ペア＃１３およびペア＃１６の相関値情報では、サッカーボールの視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
　即ち、図５の撮像画像では、撮像部４１－０乃至４１－２、撮像部４１－４、撮像部４１－６、および撮像部４１－７により撮像された撮像画像において、画素エリア１０３に対応する画像はサッカーボールの画像である。また、全ての視点の撮像画像には、サッカーボールの画像が存在する。従って、撮像部４１－０乃至４１－２、撮像部４１－４、撮像部４１－６、および撮像部４１－７に対応する視点とのペア＃１乃至ペア＃１３およびペア＃１６において、最も高い相関値は閾値以上となり、最高相関視差値は、サッカーボールの視差値となる。
　一方、ペア＃１４およびペア＃１５の相関値情報では、背景の視差値に対応する相関値が最も大きく、その相関値は閾値以上となる。
　即ち、図５の撮像画像では、撮像部４１－３、撮像部４１－５、および撮像部４１－８により撮像された撮像画像において、画素エリア１０３に対応する画像は背景の画像であり、その背景の画像が互いに存在する。従って、撮像部４１－３、撮像部４１－５、および撮像部４１－８のいずれかに対応する視点のペアであるペア＃１４およびペア＃１５において、最も高い相関値は閾値以上となり、最高相関視差値は背景の視差値となる。
　以上のように、画素エリア１０３の中心の座標を処理対象画素エリアの中心の座標としたとき図９の点線の矩形１４１で囲われたペア＃１乃至ペア＃１３およびペア＃１６の相関値情報では、最高相関視差値がサッカーボールの視差値となる。また、点線の矩形１４２で囲われたペア＃１４およびペア＃１５の相関値情報では、最高相関視差値が背景の視差値となる。
　このような場合、基準視点以外の視点どうしの全てのペアに対応する最高相関視差値は、基準視点とのペアに対応する最高相関視差値以上ではない。即ち、処理対象画素エリアにおいて基準視点のオクルージョンが発生する。
　従って、基準視点以外の視点どうしのペアの最高相関視差値のうちの、基準視点とのペアに対応する最高相関視差値より小さい視差値を用いて、処理対象画素エリアの第２階層の視差値を生成することができる。
　また、基準視点とのペアの最高相関視差値である背景の視差値と、その背景の視差値を最高相関視差値とするペア＃９乃至ペア＃１３およびペア＃１６の最高相関視差値とを用いて、処理対象画素エリアの第１階層の視差値のみを生成することができる。
　図７乃至図９で説明したように、各ペアの最も高い相関値に対応する視差値のパターンに応じて、処理対象画素エリアにおいて基準視点のオクルージョンが発生するかどうかを判定し、処理対象画素エリアの視差値の階層数、および、各階層の視差値の生成に用いられる視差値を決定することができる。従って、階層テーブルでは、各ペアの最も高い相関値に対応する視差値のパターンと、各階層の視差値に対応するペアとが対応付けられる。
　図１０は、階層テーブルの例を示す図である。
　図１０に示すように、階層テーブルでは、ペア＃１乃至ペア＃１６の全ての最高相関視差値の最小値と最大値の範囲が所定の範囲内であるパターンと、第１階層の視差値に対応するペアとしてのペア＃１乃至ペア＃１６とが対応付けられる。これにより、全てのペアの最高相関視差値の最小値と最大値の範囲が所定の範囲内である場合、即ち全てのペアの最高相関視差値が１種類の視差値である場合、第１階層の視差値が全てのペアの最高相関視差値を用いて生成される。
　また、ペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１０およびペア＃１１において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペア＃１、ペア＃５乃至ペア＃８、およびペア＃１３乃至ペア＃１６が対応付けられる。
　同様に、ペア＃１、ペア＃２、ペア＃６乃至９、およびペア＃１４乃至ペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１１およびペア＃１２において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　同様に、ペア＃１乃至ペア＃３、ペア＃７乃至ペア＃１０、ペア＃１５、およびペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１２およびペア＃１３において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　同様に、ペア＃１乃至ペア＃４、ペア＃８乃至ペア＃１１、およびペア＃１６において最高相関視差値がより奥側の視差値であり、ペア＃１３およびペア＃１４において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　同様に、ペア＃１乃至ペア＃５およびペア＃９乃至ペア＃１２において最高相関視差値がより奥側の視差値であり、ペア＃１４およびペア＃１５において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　同様に、ペア＃２乃至ペア＃６およびペア＃１０乃至ペア＃１３において最高相関視差値がより奥側の視差値であり、ペア＃１５およびペア＃１６において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　同様に、ペア＃３乃至ペア＃７およびペア＃１１乃至ペア＃１４において最高相関視差値がより奥側の視差値であり、ペア＃９およびペア＃１６において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　同様に、ペア＃４乃至ペア＃８およびペア＃１２乃至ペア＃１５において最高相関視差値がより奥側の視差値であり、ペア＃９およびペア＃１０において最高相関視差値がより手前側の視差値であり、残りのペアにおける最も高い相関値が閾値より小さいパターンに対して、第１階層に対応するペアとして奥側の視差値に対応するペアが対応付けられる。
　以上により、基準視点とのペアの最高相関視差値がより奥側の視差値である場合、第１階層の視差値が、最高相関視差値がより奥側の視差値となるペアの最高相関視差値を用いて生成される。
　また、ペア＃１乃至ペア＃１３およびペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１４およびペア＃１５において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１０、およびペア＃１１の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１４およびペア＃１５が対応付けられる。
　同様に、ペア＃１乃至ペア＃１４において最高相関視差値がより手前側の視差値であり、ペア＃１５およびペア＃１６において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１１、およびペア＃１２の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１５およびペア＃１６が対応付けられる。
　同様に、ペア＃１乃至ペア＃８およびペア＃１０乃至ペア＃１５において最高相関視差値がより手前側の視差値であり、ペア＃９およびペア＃１６において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１２、およびペア＃１３の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃９およびペア＃１６が対応付けられる。
　同様に、ペア＃１乃至ペア＃８およびペア＃１１乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃９およびペア＃１０において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１３、およびペア＃１４の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃９およびペア＃１０が対応付けられる。
　同様に、ペア＃１乃至ペア＃９およびペア＃１２乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１０およびペア＃１１において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１４、およびペア＃１５の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１０およびペア＃１１が対応付けられる。
　同様に、ペア＃１乃至ペア＃１０およびペア＃１３乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１１およびペア＃１２において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃８、ペア＃１５、およびペア＃１６の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１１およびペア＃１２が対応付けられる。
　同様に、ペア＃１乃至ペア＃１１およびペア＃１４乃至ペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１２およびペア＃１３において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃９、およびペア＃１６の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１２およびペア＃１３が対応付けられる。
　同様に、ペア＃１乃至ペア＃１２、ペア＃１５、およびペア＃１６において最高相関視差値がより手前側の視差値であり、ペア＃１３およびペア＃１４において最高相関視差値がより奥側の視差値であるパターンに対して、第１階層に対応するペアとしてより手前側の視差値に対応するペアのうちのペア＃１乃至ペア＃１０の１０個のペアが対応付けられる。また、第２階層に対応するペアとしてより奥側の視差値に対応するペア＃１３およびペア＃１４が対応付けられている。
　以上により、基準視点とのペアの最高相関視差値がより手前側の視差値である場合、第１階層の視差値が、最高相関視差値がより手前側の視差値となるペアの最高相関視差値を用いて生成される。また、第２階層の視差値が、最高相関視差値がより奥側の視差値となるペアの最高相関視差値を用いて生成される。
　なお、図１０の例では、最高相関視差値がより手前側の視差値となるペアのうちの１０個のペアのみが第１階層と対応付けられたが、最高相関視差値がより手前側の視差値となるペアの全てが第１階層と対応付けられるようにしてもよい。
　（基準視点の第１階層および第２階層の視差画像の例）
　図１１は、図４の基準視点の撮像画像の第１階層および第２階層の視差画像の例を示す図である。
　図１１に示すように、基準視点の撮像画像１６１に対して、基準視点の視差値からなる視差画像１６２が、基準視点の第１の階層の視差画像として生成される。視差画像１６２は、撮像画像１６１内のサッカーボールに対応する領域１６２Ａの視差値が大きく、背景に対応する領域１６２Ｂの視差値が小さい視差画像である。
　また、図１１に示すように、基準視点の撮像画像１６１に対して、基準視点のオクルージョン領域の視差値からなる視差画像１６３が、基準視点の第２の階層の視差画像として生成される。視差画像１６３は、撮像画像１６１内のサッカーボールと背景の境界から所定の距離だけ内側の領域に対応する輪形状の領域１６３Ａの視差値として背景の視差値を有する視差画像である。なお、視差画像１６３の領域１６３Ａ以外の領域１６３Ｂの視差値は、無効を表す値である。
　（基準視点以外の視点の視差画像の例）
　図１２は、図１１の視差画像１６２と視差画像１６３を用いて生成される基準視点以外の視点の視差画像の例を示す図である。
　図１２の例では、基準視点に対応する撮像部４１－０の被写体に向かって左側に位置する撮像部４１－５の視点の視差画像と、右側に位置する撮像部４１－４の視点の視差画像のみを示すが、他の基準視点以外の視点についても同様である。また、図１２のグラフにおいて、横軸は、各画素の水平方向（Ｘ軸方向）の位置を表し、縦軸は、視差値を表している。このことは、後述する図１３においても同様である。
　図１２の中央のグラフで表すように、基準視点の撮像画像内のオクルージョン領域に対応する領域の視差画像１６２と視差画像１６３により表される視差値は、背景とサッカーボールの視差値の両方となる。即ち、視差画像１６２と視差画像１６３は、オクルージョン領域に対応する領域において重複して視差値を有する。
　これにより、仮想視点画像生成部２２は、撮像部４１－５の視点の撮像画像１８１に対応する視差画像１８２と、撮像部４１－４の視点の撮像画像１９１に対応する視差画像１９２を正確に生成することができる。
　即ち、仮想視点画像生成部２２は、視差画像１６２の領域１６２Ａの視差値を右方向にずらすことにより視差画像１８２を生成するが、オクルージョン領域の視差値は対応する視差値が視差画像１６２に存在しないため、正確に生成することができない。
　しかしながら、仮想視点画像生成部２２は、視差画像１６３も用いることができるため、オクルージョン領域の視差値として視差画像１６３の視差値を用いることにより、正確な視差画像１８２を生成することができる。
　同様に、仮想視点画像生成部２２は、視差画像１６２の領域１６２Ａの視差値を左方向にずらすことにより視差画像１９２を生成するが、オクルージョン領域の視差値を、視差画像１６３の視差値を用いて正確に生成することができる。
　これに対して、視差画像１６２のみが生成される場合、図１３の中央のグラフに示すように、オクルージョン領域の視差値は生成されない。従って、撮像画像１８１に対応する視差画像２１１におけるオクルージョン領域２１１Ａの視差値が視差画像１６２には存在しないため、オクルージョン領域２１１Ａの視差値を正確に生成することができない。
　同様に、撮像画像１９１に対応する視差画像２１２におけるオクルージョン領域２１２Ａの視差値が視差画像１６２には存在しないため、オクルージョン領域２１２Ａの視差値を正確に生成することができない。
　（仮想視点の例）
　図１４は、仮想視点の例を示す図である。
　図１４の例では、仮想視点は、撮像部４１－２、撮像部４１－３、撮像部４１－７、および撮像部４１－８の中央に位置する仮想撮像部２３１に対応する視点である。
　（仮想視点の撮像画像の生成方法の説明）
　図１５乃至図２０は、図１４の仮想視点の撮像画像の生成について説明する図である。
　図１５に示すように、仮想視点画像生成部２２は、図１４の仮想視点の撮像画像２５０を生成する際、撮像部４１－３の撮像画像２５１、撮像部４１－２の撮像画像２５２、撮像部４１－８の撮像画像２５３、および撮像部４１－７の撮像画像２５４を用いる。また、仮想視点画像生成部２２は、撮像画像２５１乃至２５４に対応する視差画像２６１乃至２６４も用いる。
　具体的には、まず、図１６に示すように、仮想視点画像生成部２２は、撮像画像２５１と視差画像２６１を用いて、仮想視点の撮像画像２８１を生成する。具体的には、例えば、仮想視点画像生成部２２は、撮像画像２５１の各画素を、その画素の視差画像２６１の視差値、並びに、基準視点、撮像部４１－２の視点、および仮想視点の位置関係に基づく値だけずらすことにより、仮想視点の撮像画像２８１を生成する。
　次に、図１７に示すように、仮想視点画像生成部２２は、撮像画像２５２と視差画像２６２を用いて、撮像画像２８１と同様に仮想視点の撮像画像２８２を生成する。また、図１８に示すように、仮想視点画像生成部２２は、撮像画像２５３と視差画像２６３を用いて撮像画像２８１と同様に仮想視点の撮像画像２８３を生成する。また、図１９に示すように、仮想視点画像生成部２２は、撮像画像２５４と視差画像２６４を用いて撮像画像２８１と同様に仮想視点の撮像画像２８４を生成する。
　そして、仮想視点画像生成部２２は、図２０に示すように、仮想視点の撮像画像２８１乃至２８４を合成し、最終的な仮想視点の撮像画像２５０を生成する。
　（撮像装置の処理の説明）
　図２１は、図１の撮像装置１０の撮像処理を説明するフローチャートである。
　図２１のステップＳ１１において、撮像装置１０の撮像アレイ１２は、撮像部４１－０乃至４１－８の各視点の撮像画像を取得し、検出部２１に供給する。ステップＳ１２において、検出部２１の相関生成部６１（図３）は、基準視点の撮像画像の画素エリアを処理対象画素エリアに設定する。
　具体的には、相関生成部６１は、基準視点の撮像画像において、所定のサイズの画素エリアを左上から１画素ずつラスタスキャン方向にずらすことにより、所定のサイズの画素エリアを設定する。そして、相関生成部６１は、最初のステップＳ１２の処理において左上の画素エリアを処理対象画素エリアとし、以降のステップＳ１２の処理では、ラスタスキャン順に画素エリアを処理対象画素エリアとする。
　ステップＳ１３において、相関生成部６１は、処理対象画素エリアについて撮像画像の相関検出を行い、相関値情報を生成する。相関生成部６１は、相関値情報を高相関検出部６２に供給する。
　ステップＳ１４において、高相関検出部６２は、相関生成部６１から供給される相関値情報に基づいて、処理対象画素エリアの最も高い相関値を検出する。ステップＳ１５において、高相関検出部６２は、検出された最も高い相関値が閾値以上であるかどうかを判定する。
　ステップＳ１５で最も高い相関値が閾値以上であると判定された場合、ステップＳ１６において、高相関検出部６２は、最高相関視差値を生成部６３に出力し、処理をステップＳ１８に進める。
　一方、ステップＳ１５で最も高い相関値が閾値以上ではないと判定された場合、ステップＳ１７において、高相関検出部６２は、無効情報を生成部６３に出力し、処理をステップＳ１８に進める。
　ステップＳ１８において、生成部６３は、データベース６４から階層テーブルを読み出す。ステップＳ１９において、生成部６３は、階層テーブルと、高相関検出部６２のそれぞれから供給される最高相関視差値または無効情報とに基づいて、各階層のペアを認識する。
　ステップＳ２０において、生成部６３は、階層ごとにステップＳ１９で認識されたペアの最高相関視差値の平均値を求める。ステップＳ２１において、生成部６３は、ステップＳ２０で求められた各階層の最高相関視差値の平均値を、基準視点の各階層の視差画像の処理対象画素エリアの視差値として保持する。
　ステップＳ２２において、相関生成部６１は、全ての画素エリアを処理対象画素エリアとしたかどうかを判定する。ステップＳ２２でまだ全ての画素エリアを処理対象画素エリアとしていないと判定された場合、処理はステップＳ１２に戻り、全ての画素エリアを処理対象画素エリアとするまで、ステップＳ１２乃至Ｓ２２の処理が繰り返される。
　一方、ステップＳ２２で全ての画素エリアを処理対象画素エリアとしたと判定された場合、ステップＳ２３において、生成部６３は、保持されている基準視点の第１階層および第２階層の視差画像を仮想視点画像生成部２２に出力する。
　ステップＳ２４において、仮想視点画像生成部２２は、生成部６３から供給される基準視点の第１階層および第２階層の視差画像を用いて、基準視点以外の視点の視差画像を生成する。
　ステップＳ２５において、仮想視点画像生成部２２は、各視点の視差画像と撮像アレイ１２から供給される各視点の撮像画像とを用いて、仮想視点の撮像画像を生成する。仮想視点画像生成部２２は、撮像アレイ１２から供給される各視点の撮像画像と仮想視点の撮像画像を、超多視点画像としてリフォーカス画像生成部２３に供給する。
　ステップＳ２６において、リフォーカス画像生成部２３は、仮想視点画像生成部２２から供給される超多視点画像を用いて、仮想フォーカスの撮像画像をリフォーカス画像として生成する。リフォーカス画像生成部２３は、生成されたリフォーカス画像を出力する。
　以上のように、撮像装置１０は、基準視点の視差値からなる視差画像を第１の階層の視差画像として生成し、基準視点のオクルージョン領域の視差値からなる視差画像を第２の階層の視差画像として生成する。従って、基準視点以外の視点の視差画像を正確に生成することができる。
　また、撮像装置１０は、基準視点以外の視点の視差画像を基準視点の視差画像から生成する。従って、各視点の視差画像を撮像画像から生成する場合に比べて、各視点の視差画像を生成するために必要な演算量は少ない。また、各視点の視差画像を用いる後段の処理のために、基準視点の視差画像のみを保持すれば良いため、視差画像の保持量が少なくて済む。これに対して、各視点の視差画像を撮像画像から生成する場合、全ての視点の視差画像を保持する必要がある。
　さらに、撮像装置１０は、基準視点の視差値からなる視差画像と基準視点のオクルージョン領域の視差値からなる視差画像を階層化して保持するため、基準視点の視差値とオクルージョン領域の視差値を効率良く保持することができる。また、撮像装置１０は、階層テーブルに基づいて、視差画像の生成に用いる最高相関視差値を容易かつ正確に選択することができる。
　（撮像アレイの他の構成例）
　図２２は、図１の撮像アレイ１２の他の構成例を示す図であり、撮像アレイ１２を被写体側から見た斜視図である。
　図２２の撮像アレイ１２では、撮像部３０１－１乃至３０１－６が撮像部３０１－０を中心とした正六角形の頂点に位置するように、７個の撮像部３０１－０乃至３０１－６が基盤平面４０上に配置される。
　なお、図２２の例では、撮像部３０１－１乃至３０１－６が正六角形の頂点になっているが、撮像部３０１－１乃至３０１－６は六角形の頂点になっていてもよい。即ち、撮像部３０１－１乃至３０１－６のうちの隣り合う撮像部どうしの距離は同一でなくてもよい。
　また、撮像アレイ１２を構成する撮像部の数や位置は、図２や図２２の例に限定されない。
　なお、本実施の形態では、説明を簡単にするため、基準視点のオクルージョン領域が１つであるものとしたが、複数であってもよい。即ち、撮像画像は、複数の被写体が背景の手前に存在する画像であってもよい。この場合、基準視点の視差画像の階層数は、オクルージョン領域の数に１を加算した数となる。
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、上述したようにハードウエアにより実行することができるが、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
　バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、撮像部６０６、入力部６０７、出力部６０８、記憶部６０９、通信部６１０、及びドライブ６１１が接続されている。
　撮像部６０６は、撮像アレイ１２などよりなり、複数の視点の撮像画像を取得する。入力部６０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０８は、ディスプレイ、スピーカなどよりなる。記憶部６０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部６１０は、ネットワークインタフェースなどよりなる。ドライブ６１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１２を駆動する。
　以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０９に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア６１２をドライブ６１１に装着することにより、入出力インタフェース６０５を介して、記憶部６０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６１０で受信し、記憶部６０９にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０９に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、超多視点画像を用いてリフォーカス画像以外の画像（例えば、撮像画像と照明の異なる画像など）が生成されるようにしてもよい。
　また、基準視点の視差値および基準視点のオクルージョン領域の視差値は、各階層に対応するペアの最高相関視差値の平均値以外の、最高相関視差値に基づく値(例えば、最高相関視差値の最大値など)にすることができる。
　さらに、撮像装置１０は、階層テーブルを記憶しなくてもよい。この場合、最高相関視差値の種類が１種類である場合、その最高相関視差値が基準視点の視差値とされる。一方、最高相関視差値の種類が複数種類である場合、基準視点とのペアの最高相関視差値が基準視点の視差値とされ、その最高相関視差値より奥側の最高相関視差値が基準視点のオクルージョン領域の視差値とされる。
　また、相関検出対象とされる撮像画像のペアは、上述した１６個のペア以外のペアにすることもできる。相関検出の方法としてコントラストから相関値を検出する方法が採用される場合には、３つ以上の撮像画像の相関値を生成するようにしてもよい。
　さらに、本技術は、複数の撮像部により多視点の撮像画像を取得する撮像装置だけでなく、撮像レンズとマイクロレンズアレイにより多視点の撮像画像を取得する撮像装置にも適用することができる。
　また、本開示は、以下のような構成もとることができる。
　（１）
　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
　前記演算部により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成部と
　を備える画像処理装置。
　（２）
　前記生成部は、最も高い前記相関値に対応する視差値である最高相関視差値に基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
　前記（１）に記載の画像処理装置。
　（３）
　前記生成部は、前記複数の視点のペアのうちの第１のペアの最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの最高相関視差値に基づいて前記オクルージョン視差画像を生成する
　前記（２）に記載の画像処理装置。
　（４）
　前記生成部は、複数の前記第１のペアの前記最高相関視差値の平均値を前記視点視差画像の視差値とし、複数の前記第２のペアの前記最高相関視差値の平均値を前記オクルージョン視差画像の視差値とする
　前記（３）に記載の画像処理装置。
　（５）
　前記生成部は、各ペアの前記相関値のパターンと、前記第１のペアおよび前記第２のペアとを対応付けたテーブルに基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
　前記（３）または（４）に記載の画像処理装置。
　（６）
　前記複数の視点の撮像画像と前記生成部により生成された前記基準視点の視差画像とに基づいて、仮想視点の撮像画像を生成する仮想視点画像生成部
　をさらに備える
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）
　前記仮想視点画像生成部により生成された前記仮想視点の撮像画像と前記複数の視点の撮像画像を用いて、仮想フォーカスの撮像画像を生成する仮想フォーカス画像生成部
　をさらに備える
　前記（６）に記載の画像処理装置。
　（８）
　画像処理装置が、
　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
　前記演算ステップの処理により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成ステップと
　を含む画像処理方法。
　（９）
　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
　各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成部と
　を備える画像処理装置。
　（１０）
　画像処理装置が、
　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
　各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成ステップと
　を含む画像処理方法。
　１０　撮像装置，　１３　画像処理部，　２１　検出部，　２２　仮想視点画像生成部，　２３　リフォーカス画像生成部，　６１－１乃至６１－１６　相関生成部，　６３　生成部

Claims (10)

  1. 　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
    　前記演算部により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成部と
    　を備える画像処理装置。
  2. 　前記生成部は、最も高い前記相関値に対応する視差値である最高相関視差値に基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記生成部は、前記複数の視点のペアのうちの第１のペアの最高相関視差値に基づいて前記視点視差画像を生成し、前記複数の視点のペアのうちの前記第１のペアとは異なる第２のペアの最高相関視差値に基づいて前記オクルージョン視差画像を生成する
    　請求項２に記載の画像処理装置。
  4. 　前記生成部は、複数の前記第１のペアの前記最高相関視差値の平均値を前記視点視差画像の視差値とし、複数の前記第２のペアの前記最高相関視差値の平均値を前記オクルージョン視差画像の視差値とする
    　請求項３に記載の画像処理装置。
  5. 　前記生成部は、各ペアの前記相関値のパターンと、前記第１のペアおよび前記第２のペアとを対応付けたテーブルに基づいて、前記視点視差画像と前記オクルージョン視差画像を生成する
    　請求項３に記載の画像処理装置。
  6. 　前記複数の視点の撮像画像と前記生成部により生成された前記基準視点の視差画像とに基づいて、仮想視点の撮像画像を生成する仮想視点画像生成部
    　をさらに備える
    　請求項１に記載の画像処理装置。
  7. 　前記仮想視点画像生成部により生成された前記仮想視点の撮像画像と前記複数の視点の撮像画像を用いて、仮想フォーカスの撮像画像を生成する仮想フォーカス画像生成部
    　をさらに備える
    　請求項６に記載の画像処理装置。
  8. 　画像処理装置が、
    　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
    　前記演算ステップの処理により演算された前記相関値に基づいて、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像と、オクルージョン領域の視差値からなるオクルージョン視差画像とを、前記基準視点の異なる階層の視差画像として生成する生成ステップと
    　を含む画像処理方法。
  9. 　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算部と、
    　各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成部と
    　を備える画像処理装置。
  10. 　画像処理装置が、
    　複数の視点の撮像画像を用いて複数の前記視点のペアの撮像画像の相関値を演算する演算ステップと、
    　各ペアの前記相関値のパターンと、前記複数の視点のペアのうちの所定のペアとを対応付けたテーブルに基づいて、前記所定のペアの最も高い相関値に対応する視差値である最高相関視差値から、前記複数の視点のうちの１つの視点である基準視点の視差値からなる視点視差画像を生成する生成ステップと
    　を含む画像処理方法。
PCT/JP2014/063646 2013-06-05 2014-05-23 画像処理装置および画像処理方法 WO2014196374A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480030688.6A CN105247860B (zh) 2013-06-05 2014-05-23 图像处理设备及图像处理方法
US14/893,754 US10027947B2 (en) 2013-06-05 2014-05-23 Image processing apparatus and image processing method
JP2015521384A JP6551743B2 (ja) 2013-06-05 2014-05-23 画像処理装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-118852 2013-06-05
JP2013118852 2013-06-05

Publications (1)

Publication Number Publication Date
WO2014196374A1 true WO2014196374A1 (ja) 2014-12-11

Family

ID=52008025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/063646 WO2014196374A1 (ja) 2013-06-05 2014-05-23 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10027947B2 (ja)
JP (1) JP6551743B2 (ja)
CN (1) CN105247860B (ja)
WO (1) WO2014196374A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158138A (ja) * 2015-02-25 2016-09-01 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP2017017581A (ja) * 2015-07-02 2017-01-19 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP2021531581A (ja) * 2018-07-19 2021-11-18 インターデジタル シーイー パテント ホールディングス，エスアーエス 画素の深度を推定するための方法、対応するデバイス、およびコンピュータプログラム製品

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016048402A2 (en) * 2014-09-26 2016-03-31 Reald Multiscopic image capture system
AU2017250112B2 (en) 2016-04-12 2020-09-17 Quidient, Llc Quotidian scene reconstruction engine
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
EP3485312A4 (en) 2016-07-15 2020-04-22 Light Field Lab, Inc. ENERGY DISTRIBUTION AND TRANSVERSAL ANDERSON LOCALIZATION WITH TWO-DIMENSIONAL, LIGHT FIELD AND HOLOGRAFIC RELAYS
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
KR20200116942A (ko) 2018-01-14 2020-10-13 라이트 필드 랩 인코포레이티드 3d 환경에서 데이터를 렌더링하는 시스템 및 방법
WO2019140346A2 (en) 2018-01-14 2019-07-18 Light Field Lab, Inc. Four dimensional energy-field package assembly
CN112470191A (zh) 2018-05-02 2021-03-09 奎蒂安特有限公司 用于处理具有几乎无限细节的场景的编解码器
JP2023034160A (ja) * 2021-08-30 2023-03-13 キヤノン株式会社 精度推定装置、撮像装置、精度推定方法、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215311A (ja) * 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2011501496A (ja) * 2007-10-11 2011-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップを処理する方法及び装置
JP2013030848A (ja) * 2011-07-26 2013-02-07 Canon Inc 画像処理装置および画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7171698A (en) * 1997-05-05 1998-11-27 Shell Oil Company Visual recognition method
JP2006173038A (ja) * 2004-12-20 2006-06-29 Hitachi High-Technologies Corp 荷電粒子線装置、試料像表示方法及びイメージシフト感度計測方法
KR100946790B1 (ko) * 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
JP5234586B2 (ja) * 2006-01-05 2013-07-10 日本電信電話株式会社 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4999854B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
CN101516040B (zh) * 2008-02-20 2011-07-06 华为终端有限公司 视频匹配方法、装置及系统
CN100576934C (zh) * 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
ES2390253T3 (es) * 2008-09-25 2012-11-08 Koninklijke Philips Electronics N.V. Procesamiento de datos de imagen tridimensional
JP4706882B2 (ja) 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
KR101940023B1 (ko) * 2009-02-19 2019-01-21 톰슨 라이센싱 3d 비디오 포맷
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
JP5287702B2 (ja) * 2009-12-25 2013-09-11 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5504881B2 (ja) 2009-12-25 2014-05-28 ソニー株式会社 演算装置、演算方法、演算プログラム及び顕微鏡
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
GB2478157A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
CN101808251B (zh) * 2010-04-06 2011-07-20 浙江大学 立体图像对中遮挡信息的提取方法
TW201200959A (en) * 2010-06-29 2012-01-01 Fujifilm Corp One-eyed stereo photographic device
EP2636993A4 (en) * 2010-11-05 2016-01-20 Panasonic Ip Man Co Ltd STEREOSCOPIC IMAGE PROCESSING DEVICE AND STEREOSCOPIC IMAGE PROCESSING METHOD
US20120113235A1 (en) * 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012086173A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JPWO2012114975A1 (ja) * 2011-02-24 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法
WO2012157210A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
JP2013026826A (ja) * 2011-07-21 2013-02-04 Sony Corp 画像処理方法、画像処理装置及び表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215311A (ja) * 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2011501496A (ja) * 2007-10-11 2011-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップを処理する方法及び装置
JP2013030848A (ja) * 2011-07-26 2013-02-07 Canon Inc 画像処理装置および画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016158138A (ja) * 2015-02-25 2016-09-01 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP2017017581A (ja) * 2015-07-02 2017-01-19 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP2021531581A (ja) * 2018-07-19 2021-11-18 インターデジタル シーイー パテント ホールディングス，エスアーエス 画素の深度を推定するための方法、対応するデバイス、およびコンピュータプログラム製品
JP7423595B2 (ja) 2018-07-19 2024-01-29 インターデジタル シーイー パテント ホールディングス，エスアーエス 画素の深度を推定するための方法、対応するデバイス、およびコンピュータプログラム製品

Also Published As

Publication number Publication date
US10027947B2 (en) 2018-07-17
CN105247860A (zh) 2016-01-13
JPWO2014196374A1 (ja) 2017-02-23
CN105247860B (zh) 2017-12-19
JP6551743B2 (ja) 2019-07-31
US20160105660A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
JP6551743B2 (ja) 画像処理装置および画像処理方法
JP6271609B2 (ja) 立体カメラのためのオートフォーカス
JP4673202B2 (ja) 画像入力装置
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
CN101680756A (zh) 复眼摄像装置、测距装置、视差算出方法以及测距方法
JP2012123296A (ja) 電子機器
JP2009529824A (ja) ３次元映像獲得用ｃｍｏｓステレオカメラ
JP6087947B2 (ja) 非同期センサに依存するシーンの３ｄ再構成の方法
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
JP2014153890A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP2012182731A (ja) 撮像装置
JP2013176073A (ja) 撮像装置、画像表示方法、及びプログラム
US8908012B2 (en) Electronic device and method for creating three-dimensional image
JP2004069583A (ja) 画像処理装置
JP6114229B2 (ja) 画像生成装置及び画像生成プログラム
JP2007181184A (ja) 撮像装置および撮像方法、並びに撮像装置の設計方法
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JP4922234B2 (ja) 立体情報生成装置および立体情報生成プログラム
JP5090857B2 (ja) 画像処理装置及び画像処理方法並びにプログラム
JP4843640B2 (ja) 立体情報生成装置および立体情報生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14806885

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015521384

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14893754

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14806885

Country of ref document: EP

Kind code of ref document: A1