WO2017217241A1 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
WO2017217241A1
WO2017217241A1 PCT/JP2017/020396 JP2017020396W WO2017217241A1 WO 2017217241 A1 WO2017217241 A1 WO 2017217241A1 JP 2017020396 W JP2017020396 W JP 2017020396W WO 2017217241 A1 WO2017217241 A1 WO 2017217241A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pair
image generation
parallax
viewpoint
Prior art date
Application number
PCT/JP2017/020396
Other languages
English (en)
French (fr)
Inventor
夏紀 加納
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/307,046 priority Critical patent/US20190230334A1/en
Priority to JP2018523643A priority patent/JP6881450B2/ja
Publication of WO2017217241A1 publication Critical patent/WO2017217241A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Definitions

  • the present disclosure relates to an image generation device and an image generation method, and more particularly, to an image generation device and an image generation method capable of generating a highly accurate parallax image.
  • an image processing technique for example, a technique for generating a single panoramic image using a photographed image obtained by photographing a wide range while moving a viewpoint with a monocular camera, or a photographed with a compound eye camera.
  • a technique for restoring three-dimensional information using a photographed image for example, a technique for generating a single panoramic image using a photographed image obtained by photographing a wide range while moving a viewpoint with a monocular camera, or a photographed with a compound eye camera.
  • the present disclosure has been made in view of such a situation, and is capable of generating a highly accurate parallax image.
  • the image generation method according to one aspect of the present disclosure corresponds to the image generation apparatus according to one aspect of the present disclosure.
  • the parallax image representing the parallax between the two viewpoint pairs is generated.
  • the image generation apparatus can be realized by causing a computer to execute a program.
  • a program to be executed by a computer can be provided by being transmitted via a transmission medium or by being recorded on a recording medium.
  • a highly accurate parallax image can be generated.
  • FIG. 2 is a block diagram illustrating a configuration example of the display device in FIG. 1. It is a figure which shows the range of the pixel value of the HDR spherical image of each display viewpoint. It is a figure which shows the range of the pixel value of a display image. 13 is a flowchart for explaining display processing of the display device in FIG. 12. It is a block diagram which shows the structural example of the image process part in 2nd Embodiment of the image display system to which this indication is applied. It is a figure which shows the example of a mask. It is a block diagram which shows the structural example of the hardware of a computer.
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image display system to which the present disclosure is applied.
  • the imaging device 11 of the image display system 10 is configured such that camera modules that capture multiple exposed pair images of each pair of two viewpoints are arranged to spread 360 degrees horizontally and 180 degrees vertically. Consists of.
  • an image with the same exposure is referred to as an identical exposure pair image
  • an image with the same viewpoint is referred to as an identical viewpoint image, and it is necessary to particularly distinguish each image of the multiple exposure pair image. If there is no image, the image is simply called an image.
  • the imaging device 11 calibrates each image of the multi-exposure pair image of each pair of two viewpoints captured by each camera module.
  • the imaging device 11 includes a plurality of exposed pair images of each pair of two viewpoints, and camera parameters including positions, postures, focal lengths, aberrations, and the like of a camera that captures the images, which are estimated by calibration of each image.
  • the image is supplied to the image generation device 12.
  • the exposure values (EV) of the multiple exposure pair images are +1.0 and -1.0.
  • the camera module 30 of the imaging device 11 in FIG. 2 has two cameras arranged in the horizontal direction, the camera 31-1 and the camera 31-2 that captures images of two viewpoints arranged in the horizontal direction at an exposure value +1.0.
  • the camera 32-1 and the camera 32-2 capture a pair of images with an exposure value of ⁇ 1.0.
  • the camera 31-1 and the camera 32-1, and the camera 31-2 and the camera 31-2 are arranged side by side in the vertical direction.
  • FIG. 3 is a diagram illustrating a second configuration example of the camera module of the photographing apparatus 11 of FIG.
  • the exposure values of the multiple exposure pair images are +1.0 and ⁇ 1.0, but the camera module 50 of the imaging device 11 of FIG. Only the camera 51-1 and the camera 51-2 are provided. That is, the camera module 50 is provided for each viewpoint, and includes a camera 51-1 and a camera 51-2 (imaging device) arranged in 2 (horizontal direction) ⁇ 1 (vertical direction). In the following, when it is not necessary to distinguish the camera 51-1 and the camera 51-2 from each other, they are collectively referred to as the camera 51.
  • the camera module 50 is suitable for shooting a still image or a time-lapse image as a multi-exposure pair image because it cannot simultaneously capture a multi-exposure pair image.
  • the number of cameras 51 constituting the camera module 50 does not change depending on the type of exposure value of the multiple exposure pair image. For example, even when there are five types of exposure values of the multiple exposure pair images, ie, +2.0, ⁇ 1.0, 0.0, +1.0, and +2.0, the number of cameras 51 is two. Similarly to the case of FIG. 2, the two-viewpoint pair cameras 51 do not necessarily have to be arranged in parallel.
  • FIG. 4 is a diagram illustrating a configuration example of the image generation apparatus 12 of FIG.
  • an image acquisition unit 71 includes an image acquisition unit 71, a parameter acquisition unit 72, an image processing unit 73, an HDR image generation unit 74, a storage unit 75, a reception unit 76, and a transmission unit 77.
  • the image acquisition unit 71 of the image generation device 12 acquires the multiple exposure pair images of each pair of two viewpoints supplied from the imaging device 11 and supplies them to the image processing unit 73.
  • the parameter acquisition unit 72 acquires camera parameters of each image supplied from the imaging device 11 and supplies the camera parameters to the image processing unit 73.
  • the HDR image generation unit 74 uses the parallax image of each two viewpoints pair supplied from the image processing unit 73 and the same exposure pair image of the optimal exposure value among each of the multiple exposure pair images to perform three-dimensional reconstruction. To generate an HDR spherical image of each display viewpoint.
  • the HDR image generation unit 74 supplies the HDR omnidirectional image of each display viewpoint to the storage unit 75 and stores it.
  • the HDR image generation unit 74 reads out the HDR celestial sphere image of the display viewpoint indicated by the display viewpoint information supplied from the receiving unit 76 from the storage unit 75 and supplies it to the transmission unit 77.
  • the storage unit 75 stores the HDR celestial sphere of each display viewpoint supplied from the HDR image generation unit 74.
  • the receiving unit 76 receives the display viewpoint information transmitted from the display device 13 of FIG. 1 and supplies it to the HDR image generating unit 74.
  • the transmission unit 77 converts the number of bits of the HDR omnidirectional image supplied from the HDR image generation unit 74 into the number of bits for transmission, and transmission data including the HDR omnidirectional image having the number of bits for transmission and restoration data. Is generated.
  • the restoration data is metadata used when returning the HDR omnidirectional image having the number of bits for transmission to the HDR omnidirectional image having the number of bits before conversion.
  • the HDR image generation unit 74 transmits the transmission data to the display device 13 of FIG.
  • FIG. 5 is a block diagram illustrating a configuration example of the image processing unit 73 in FIG.
  • 5 includes a correction unit 90, a whiteout region detection unit 91, a blackout region detection unit 92, and a parallax image generation unit 93.
  • the correction unit 90 corrects the image based on the aberration among the camera parameters of each image of the multiple exposure pair image.
  • the correction unit 90 supplies the same exposure pair image having an exposure value of 0 or more among the corrected multiple exposure pair images to the overexposure region detection unit 91 and the parallax image generation unit 93 as a + EV pair image. Further, the correction unit 90 supplies the same exposure pair image having a negative exposure value EV among the corrected multiple exposure pair images to the whiteout region detection unit 91 and the parallax image generation unit 93 as a -EV pair image. To do.
  • the whiteout area detection unit 91 detects a whiteout area of each image of the + EV pair image supplied from the correction unit 90. Specifically, the whiteout area detection unit 91 divides each image into blocks of a predetermined size, and generates a histogram of pixel values of each block. Then, based on the histogram of each block, the whiteout area detection unit 91 detects a block having a larger pixel value than the whiteout area determination threshold as a whiteout area. The whiteout area detection unit 91 generates a whiteout mask that masks the whiteout area for each image, and supplies the whiteout mask to the parallax image generation unit 93.
  • the parallax image generation unit 93 uses a plurality of exposed pair images in which a whiteout area or a blackout area is excluded by, for example, a plane sweep (Plane Sweep) method. Parallax is detected and a parallax image is generated.
  • Plane Sweep Plane Sweep
  • the parallax image generation unit 93 corresponds to each parallax that is a candidate within a predetermined range, with respect to a certain reference viewpoint, the same exposed pair image in which a whiteout area or a blackout area is excluded. Projective transformation to the position d in the depth direction to be performed, and an image of the reference viewpoint when the subject exists at each position d is generated.
  • the parallax image generation unit 93 performs block matching between the images of the reference viewpoint for each position d by the following equation (1), and calculates the matching cost of each block.
  • the candidate parallax range is determined based on the camera position and orientation and the focal length in the camera parameters.
  • the block is composed of one or more pixels.
  • the matching cost Sub_Cost (x, y, d) is an absolute error between the block I 0 (x, y, d) and the block I 1 (x, y, d). Note that the matching cost Sub_Cost (x, y, d) is not calculated when an exclusion region is included in one of the block I 0 (x, y, d) and the block I 1 (x, y, d).
  • the matching cost Sub_Cost (x, y, d) may be a square error between the block I 0 (x, y, d) and the block I 1 (x, y, d).
  • Cost (x, y, d) is an average value of the matching costs Sub_Cost (x, y, d), and N is the number of calculated matching costs Sub_Cost (x, y, d).
  • the parallax image generation unit 93 detects the position d when the average value Cost (x, y, d) is the smallest for each block as the parallax, and generates a parallax image of the reference viewpoint.
  • the parallax image generation unit 93 supplies the parallax image of the reference viewpoint of each pair of two viewpoints to the HDR image generation unit 74 of FIG.
  • FIG. 6 is a diagram illustrating an example of a whiteout mask and a blackout mask.
  • the subject is a person, a tree, and the sun, and the person exists in front of the sun.
  • the sun is blown out.
  • the ⁇ EV pair image is captured with the appropriate exposure value for the sun, the person is blacked out.
  • the whiteout area detection unit 91 detects the sun area in the + EV pair image as a whiteout area. Therefore, the whiteout area detection unit 91 sets the sun area in each image of the + EV pair image as an exclusion area (black area in the figure) and sets the area other than the sun as an effective area (white area in the figure). A binary whiteout mask is generated.
  • the blackout area detection unit 92 detects a person area in the -EV pair image as a blackout area. Therefore, the blackout area detection unit 92 sets the person area in each image of the -EV pair image as the exclusion area (black area in the figure) and the area other than the person as the effective area (white area in the figure). A binary blackout mask is generated.
  • the block of the position (x, y) of the images of the two reference viewpoints generated from the + EV pair image and the two reference viewpoints generated from the -EV pair image is as shown by a solid line in A of FIG. That is, the average value Cost (x, y, d) is an average value of the matching cost Sub_Cost (x, y, d) generated from each of the + EV pair image and the ⁇ EV pair image.
  • the + EV pair image and the -EV pair image in FIG. 8 are the same as those in FIG. In the example of FIG. 8, the multiple exposure pair image is composed of one + EV pair image and one -EV pair image.
  • the parallax image generation unit 93 can accurately detect the parallax of a block that is at least one whiteout region of the + EV pair image using only the -EV pair image. Furthermore, the parallax image generation unit 93 can accurately detect the parallax of a block that is at least one blackened area of the ⁇ EV pair image using only the + EV pair image. As a result, as shown in FIG. 8A, it is possible to generate a parallax image whose accuracy does not deteriorate even in a whiteout region or a blackout region.
  • FIG. 9 is a diagram for explaining transmission data.
  • the horizontal axis represents the position of the display viewpoint
  • the vertical axis represents holding bits that are used bits of the HDR spherical image at each display viewpoint held in the storage unit 75 or transmission data.
  • the number of bits for holding the HDR image of the display viewpoint is generally the number of bits for transmission.
  • the transmission bit of the HDR spherical image of the display viewpoint V3 in which the holding bits are in the range from 192 bits to 256 bits is from 6 bits as shown in FIG. 9B.
  • the range is up to 8 bits.
  • the transmission unit 77 subtracts the minimum value of the pixel value from each pixel value of the HDR omnidirectional image of the display viewpoint having the number of bits for holding, and the number of bits of the difference obtained as a result is transmitted.
  • the number of bits for holding the HDR spherical image of the display viewpoint is converted to the number of bits for transmission.
  • the transmission unit 77 converts not the pixel value itself of the HDR spherical image but the bit number of the difference from the minimum pixel value into the bit number for transmission. Therefore, if the number of bits held in the HDR celestial sphere image is smaller than the number of bits held, the reduction in gradation due to transmission is suppressed compared to the case where the number of bits of the HDR celestial sphere image itself is converted. Can do.
  • FIG. 10 is a flowchart for explaining HDR celestial sphere image generation processing of the image generation apparatus 12 of FIG.
  • the HDR omnidirectional image generation processing is started when, for example, a plurality of exposed pair images of two viewpoints and camera parameters of each image are supplied from the imaging device 11 of FIG.
  • step S11 of FIG. 10 the image acquisition unit 71 of the image generation device 12 acquires a multiple exposure pair image of each pair of two viewpoints supplied from the imaging device 11.
  • the image acquisition unit 71 supplies the acquired multi-exposure pair image to the image processing unit 73 and also supplies it to the HDR image generation unit 74 via the image processing unit 73.
  • step S ⁇ b> 12 the parameter acquisition unit 72 acquires camera parameters of each image supplied from the imaging device 11 and supplies them to the image processing unit 73.
  • step S ⁇ b> 13 the correction unit 90 of the image processing unit 73 determines each image of the multiple-exposure pair image supplied from the image acquisition unit 71 based on the aberration among the camera parameters of each image supplied from the parameter acquisition unit 72. Correct.
  • the correction unit 90 supplies the + EV pair image of the corrected multiple exposure pair images to the whiteout region detection unit 91 and the parallax image generation unit 93, and converts the -EV pair image into the whiteout region detection unit 91 and the parallax image. This is supplied to the generation unit 93.
  • step S24 the parallax image generation unit 93 increments the integration number N by 1, and advances the process to step S25.
  • step S21 when it is determined in step S21 that the block at the position (x, y) of the image of at least one reference viewpoint is an excluded area, the processes in steps S22 to S24 are skipped, and the process proceeds to step S25. That is, in this case, the matching cost Sub_Cost (x, y, d) is not calculated, and the matching cost Sub_Cost (x, y, d) is not integrated.
  • step S27 the parallax image generation unit 93 divides the integrated value of the matching cost Sub_Cost (x, y, d) by the integrated number N, and calculates the average value Cost (x, y) of the matching cost Sub_Cost (x, y, d). , d).
  • the image generation device 12 can generate a high-accuracy HDR omnidirectional image using a high-precision parallax image.
  • step S52 the transmission unit 112 transmits the display viewpoint information supplied from the designation unit 111 to the image generation device 12 in FIG.
  • step S53 the reception unit 113 determines whether transmission data has been transmitted from the image generation device 12 according to the display viewpoint information. If it is determined in step S53 that transmission data has not yet been transmitted, the reception unit 113 waits until transmission data is transmitted.
  • step S57 the display image generation unit 114 supplies the HDR omnidirectional image whose pixel value has been changed to the display unit 115 as a display image, and causes the display unit 115 to display the display image. Then, the process ends.
  • the configuration of the image processing unit 130 in FIG. 16 is that a region detection unit 131 is provided instead of the whiteout region detection unit 91 and the blackout region detection unit 92, and a parallax image generation unit 132 is used instead of the parallax image generation unit 93. Is different from the configuration of the image processing unit 73 in FIG.
  • the image processing unit 130 generates a multi-value mask instead of the binary whiteout mask or blackout mask.
  • the parallax image generation unit 132 applies the same exposure pair image in which the weight is set for each block with respect to a certain reference viewpoint to the depth direction corresponding to each parallax that is a candidate within a predetermined range. Projective transformation is performed to the position d, and an image of the reference viewpoint when the subject exists at each position d is generated. Then, the parallax image generation unit 132 obtains the matching cost Sub_Cost (x, y, d) of each block by the above-described equation (1) for each position d, similarly to the parallax image generation unit 93 of FIG. However, the matching cost Sub_Cost (x, y, d) is calculated for all blocks.
  • the parallax image generation unit 132 detects the position d when the average value Cost (x, y, d) ′ is the smallest for each block as the parallax, and generates a parallax image of the reference viewpoint.
  • the parallax image generation unit 132 supplies the parallax image of the reference viewpoint of each pair of two viewpoints to the HDR image generation unit 74 of FIG.
  • the image processing unit 130 generates a multi-value mask based on the degree of the excluded area of each image. Therefore, based on the degree of the excluded area of each image, the degree of influence of the image on the parallax image can be set more finely. As a result, a highly accurate parallax image can be generated.
  • both the whiteout area and the blackout area are excluded areas, but either one may be an excluded area.
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the two-viewpoint pair is obtained by using an area excluding an excluded area, which is at least one of a whiteout area and a blackout area, in a multiple-exposure pair image photographed at a plurality of exposure values for each pair of two viewpoints.
  • An image generation apparatus comprising: a parallax image generation unit that generates a parallax image representing a parallax of (2) A high dynamic range image generation unit that generates a high dynamic range image of a predetermined viewpoint using the parallax image generated by the parallax image generation unit and the multiple exposure pair image; A value obtained by subtracting the minimum value of the pixel value from each pixel value of the high dynamic range image generated by the high dynamic range image generation unit, and converting the resulting number of bits into a predetermined number of bits,
  • the image generation apparatus further including: a transmission unit configured to transmit each pixel value of the high dynamic range image.
  • the image generation device according to any one of (1) to (4), wherein the multiple exposure pair images are photographed by a photographing device provided for each viewpoint and for each exposure value.
  • the multiple-exposure pair images are taken by a photographing device provided for each viewpoint,
  • the image generation device according to any one of (1) to (4), wherein the imaging devices for each pair of two viewpoints are configured to capture the multiple exposure pair images by sequentially changing exposure values. .
  • the image generation apparatus according to any one of (1) to (6), further including: an area detection unit that detects the exclusion area of the multiple exposure pair image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本開示は、高精度の視差画像を生成することができるようにする画像生成装置および画像生成方法に関する。 視差画像生成部は、２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、２視点のペアの視差を表す視差画像を生成する。本開示は、例えば、HDR全天球画像を生成する画像生成装置等に適用することができる。

Description

画像生成装置および画像生成方法
　本開示は、画像生成装置および画像生成方法に関し、特に、高精度の視差画像を生成することができるようにした画像生成装置および画像生成方法に関する。
　近年、複数視点の画像を入力とした画像処理技術の研究が進んでいる。このような画像処理技術としては、例えば、単眼カメラで視点を動かしながら広い範囲を撮影することにより得られた撮影画像を用いて１枚のパノラマ画像を生成する技術や、複眼カメラで撮影された撮影画像を用いて３次元情報の復元を行う技術などがある。
　また、１台の複眼カメラで複数の露出値で撮影された複数視点の撮影画像から、視差を用いて所定の視点のHDR(High Dynamic Range)画像を生成する技術もある(例えば、特許文献１参照)。特許文献１に記載されている技術では、複数の露出値で撮影が行われるが、視差は、同一の露出値で撮影された複数視点の撮影画像を用いたマッチングにより検出される。
特開2015-207862公報
　従って、視差の検出に用いられる撮影画像の露出値が適切ではなく、撮影画像に白飛び領域や黒潰れ領域が発生する場合、マッチング精度が劣化し、高精度で視差を検出することができない。
　本開示は、このような状況に鑑みてなされたものであり、高精度の視差画像を生成することができるようにするものである。
　本開示の一側面の画像生成装置は、２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成部を備える画像生成装置である。
　本開示の一側面の画像生成方法は、本開示の一側面の画像生成装置に対応する。
　本開示の一側面においては、２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像が生成される。
　なお、本開示の一側面の画像生成装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、本開示の一の側面の画像生成装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の一側面によれば、高精度の視差画像を生成することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 図１の撮影装置のカメラモジュールの第１の構成例を示す図である。 図１の撮影装置のカメラモジュールの第２の構成例を示す図である。 図１の画像生成装置の構成例を示す図である。 図４の画像処理部の構成例を示すブロック図である。 白飛びマスクと黒潰れマスクの例を示す図である。 平均値Cost(x,y,d)の例を示す図である。 第１実施の形態における効果を説明する図である。 伝送データを説明する図である。 図１の画像生成装置のHDR全天球画像生成処理を説明するフローチャートである。 図１０の視差画像生成処理を説明するフローチャートである。 図１の表示装置の構成例を示すブロック図である。 各表示視点のHDR全天球画像の画素値の範囲を示す図である。 表示画像の画素値の範囲を示す図である。 図１２の表示装置の表示処理を説明するフローチャートである。 本開示を適用した画像表示システムの第２実施の形態における画像処理部の構成例を示すブロック図である。 マスクの例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：画像表示システム（図１乃至図１５）
　２．第２実施の形態：画像表示システム（図１６および図１７）
　３．第３実施の形態：コンピュータ（図１８）
　＜第１実施の形態＞
　（画像表示システムの第１実施の形態の構成例）
　図１は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
　画像表示システム１０は、撮影装置１１、画像生成装置１２、表示装置１３により構成される。画像表示システム１０は、２視点のペアごとに複数の露出値で撮影された静止画像である複数露出ペア画像を用いて、ハイダイナミックレンジの全天球画像(以下、HDR全天球画像という)を生成し、表示する。
　具体的には、画像表示システム１０の撮影装置１１は、各２視点のペアの複数露出ペア画像を撮影するカメラモジュールが、水平方向に360度、垂直方向に180度広がるように配置されることにより構成される。以下では、複数露出ペア画像のうちの、露出が同一である画像を同一露出ペア画像といい、視点が同一である画像を同一視点画像といい、複数露出ペア画像の各画像を特に区別する必要がない場合、その画像を単に画像という。
　撮影装置１１は、各カメラモジュールにより撮影された各２視点のペアの複数露出ペア画像の各画像に対してキャリブレーションを行う。撮影装置１１は、各２視点のペアの複数露出ペア画像と、各画像のキャリブレーションにより推定された、その画像を撮影するカメラの位置や姿勢、焦点距離、収差などを含むカメラパラメータとを、画像生成装置１２に供給する。
　画像生成装置１２は、撮影装置１１から供給される複数露出ペア画像の各画像の白飛び領域および黒潰れ領域等のマッチング精度が劣化する領域を、視差の検出に用いない除外領域として検出する。画像生成装置１２は、２視点のペアごとに、複数露出ペア画像の除外領域以外の領域を用いて、２視点のペアの視差を表す視差画像（被写体の奥行き方向の位置を表す奥行き情報）を生成する。このとき、画像生成装置１２は、必要に応じて、カメラパラメータを参照する。
　画像生成装置１２は、各２視点のペアの視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて３次元再構成を行うことにより、水平方向に360度、垂直方向に180度広がる各表示視点のHDR画像をHDR全天球画像として生成し、記憶する。画像生成装置１２は、表示装置１３から送信されてくる、表示対象とするHDR全天球画像の表示視点を示す表示視点情報に基づいて、その表示視点のHDR全天球画像を読み出す。画像生成装置１２は、読み出されたHDR全天球画像に基づいて、そのHDR全天球画像の伝送データを生成し、表示装置１３に送信する。
　表示装置１３は、画像生成装置１２から送信されてくる伝送データに基づいてHDR全天球画像を表示する。また、表示装置１３は、視聴者からの入力などに応じて、表示対象とするHDR全天球画像の表示視点を決定し、表示視点情報を画像生成装置１２に送信する。
　（カメラモジュールの第１の構成例）
　図２は、図１の撮影装置１１のカメラモジュールの第１の構成例を示す図である。
　図２の例では、複数露出ペア画像の露出値（EV）が+1.0と-1.0である。従って、図２の撮影装置１１のカメラモジュール３０は、水平方向に並ぶ２視点のペアの画像を露出値+1.0で撮影するカメラ３１－１およびカメラ３１－２と、水平方向に並ぶ２視点のペアの画像を露出値-1.0で撮影するカメラ３２－１およびカメラ３２－２とにより構成される。また、図２の例では、カメラ３１－１とカメラ３２－１、カメラ３１－２とカメラ３１－２は、それぞれ、垂直方向に並んで配置される。
　即ち、カメラモジュール３０は、視点ごと、かつ、露出値ごとに設けられ、２（水平方向）×２(垂直方向)で配列されたカメラ３１－１、カメラ３１－２、カメラ３２－１、およびカメラ３２－２（撮影装置）により構成される。なお、以下では、カメラ３１－１、カメラ３１－２、カメラ３２－１、およびカメラ３２－２を特に区別する必要がない場合、それらをまとめてカメラ３１（３２）という。
　以上のように、図２のカメラモジュール３０では、カメラ３１（３２）が、視点ごと、かつ、露出値ごとに設けられるため、複数露出ペア画像の全てを同時に撮影することが可能である。従って、カメラモジュール３０は、複数露出ペア画像として、静止画像だけでなく、一定間隔で連写するタイムラプス画像や動画像を撮影する場合にも適している。
　なお、図２の例では、複数露出ペア画像の露出値の種類が２種類であるため、カメラモジュール３０を構成するカメラ３１（３２）の数は４台であったが、カメラ３１（３２）の数は露出値の種類数によって異なる。例えば、複数露出ペア画像の露出値の種類が+2.0,-1.0,0.0,+1.0,+2.0の５種類である場合、カメラ３１（３２）の数は、１０台である。複数露出ペア画像の露出値の種類が多いほど、HDR全天球画像のダイナミックレンジを高めることができる。
　また、２視点のペアのカメラ３１（３２）どうしは、必ずしも平行に配置される必要はない。但し、２視点のペアのカメラ３１（３２）どうしが平行に配置される方が、各視点の画像間で重複する領域が広くなる。後述するように、視差は、２視点のペアの複数露出ペア画像を用いたブロックマッチングにより検出されるため、２視点のペアのカメラ３１（３２）どうしが平行に配置される方が、高精度で視差検出可能な範囲が広くなる。
　（カメラモジュールの第２の構成例）
　図３は、図１の撮影装置１１のカメラモジュールの第２の構成例を示す図である。
　図３の例では、図２の場合と同様に、複数露出ペア画像の露出値が+1.0と-1.0であるが、図３の撮影装置１１のカメラモジュール５０には、水平方向に並ぶ２つのカメラ５１－１とカメラ５１－２のみが設けられる。即ち、カメラモジュール５０は、視点ごとに設けられ、２（水平方向）×１(垂直方向)で配列されたカメラ５１－１とカメラ５１－２（撮影装置）により構成される。なお、以下では、カメラ５１－１とカメラ５１－２を特に区別する必要がない場合、それらをまとめてカメラ５１という。
　図３０のカメラモジュール５０では、各カメラ５１は、露出値を+1.0と-1.0に順に変更して撮影を行う（AE(Automatic Exposure)ブラケット撮影を行う）ことにより、露出値が+1.0と-1.0である複数露出ペア画像を撮影し、この複数露出ペア画像の撮影時刻を同時刻とする。即ち、複数露出ペア画像のうちの、露出値が+1.0である同一露出ペア画像の撮影時刻と、露出値が-1.0である同一露出ペア画像の撮影時刻は実際には連続する異なる時刻であるが、同一の時刻とされる。
　カメラモジュール５０は、複数露出ペア画像を同時に撮影することができないため、複数露出ペア画像として静止画像やタイムラプス画像を撮影する場合に適している。
　なお、図３０のカメラモジュール５０では、カメラ５１が視点ごとに設けられるため、複数露出ペア画像の露出値の種類によってカメラモジュール５０を構成するカメラ５１の数は変化しない。例えば、複数露出ペア画像の露出値の種類が+2.0,-1.0,0.0,+1.0,+2.0の５種類である場合であっても、カメラ５１の数は２台である。また、図２の場合と同様に、２視点のペアのカメラ５１どうしは、必ずしも平行に配置される必要はない。
　（画像生成装置の構成例）
　図４は、図１の画像生成装置１２の構成例を示す図である。
　図４の画像生成装置１２は、画像取得部７１、パラメータ取得部７２、画像処理部７３、HDR画像生成部７４、記憶部７５、受け取り部７６、および伝送部７７により構成される。
　画像生成装置１２の画像取得部７１は、撮影装置１１から供給される各２視点のペアの複数露出ペア画像を取得し、画像処理部７３に供給する。パラメータ取得部７２は、撮影装置１１から供給される各画像のカメラパラメータを取得し、画像処理部７３に供給する。
　画像処理部７３は、パラメータ取得部７２から供給される各画像のカメラパラメータのうちの収差に基づいて、画像取得部７１から供給される複数露出ペア画像の各画像を補正する。画像処理部７３は、補正後の各画像の白飛び領域および黒潰れ領域を除外領域として検出する。画像処理部７３は、２視点のペアごとに、カメラパラメータのうちのカメラの位置および姿勢並びに焦点距離と、補正後の複数露出ペア画像の除外領域以外の領域とを用いて、２視点のペアの視差画像を生成する。画像処理部７３は、各２視点のペアの視差画像と各複数露出ペア画像をHDR画像生成部７４に供給する。
　HDR画像生成部７４は、画像処理部７３から供給される、各２視点のペアの視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて３次元再構成を行うことにより、各表示視点のHDR全天球画像を生成する。HDR画像生成部７４は、各表示視点のHDR全天球画像を記憶部７５に供給し、記憶させる。
　また、HDR画像生成部７４は、受け取り部７６から供給される表示視点情報が示す表示視点のHDR全天球画像を記憶部７５から読み出し、伝送部７７に供給する。
　記憶部７５は、HDR画像生成部７４から供給される各表示視点のHDR全天球を記憶する。受け取り部７６は、図１の表示装置１３から送信されてくる表示視点情報を受け取り、HDR画像生成部７４に供給する。
　伝送部７７は、HDR画像生成部７４から供給されるHDR全天球像のビット数を伝送用のビット数に変換し、伝送用のビット数のHDR全天球画像と復元データを含む伝送データを生成する。復元データとは、伝送用のビット数のHDR全天球画像を変換前のビット数のHDR全天球画像に戻す際に用いられるメタデータである。HDR画像生成部７４は、伝送データを図１の表示装置１３に伝送する。
　（画像処理部の構成例）
　図５は、図４の画像処理部７３の構成例を示すブロック図である。
　図５の画像処理部７３は、補正部９０、白飛び領域検出部９１、黒潰れ領域検出部９２、および視差画像生成部９３により構成される。
　図４の画像取得部７１から入力される各２視点のペアの複数露出ペア画像は、補正部９０に入力されるとともに、図４のHDR画像生成部７４に出力される。また、パラメータ取得部７２から入力される各画像のカメラパラメータは、補正部９０と視差画像生成部９３に供給される。
　補正部９０は、複数露出ペア画像の各画像のカメラパラメータのうちの収差に基づいて、その画像を補正する。補正部９０は、補正後の複数露出ペア画像のうちの、露出値が０以上である同一露出ペア画像を、+EVペア画像として白飛び領域検出部９１と視差画像生成部９３に供給する。また、補正部９０は、補正後の複数露出ペア画像のうちの、露出値EVが負である同一露出ペア画像を、-EVペア画像として白飛び領域検出部９１と視差画像生成部９３に供給する。
　白飛び領域検出部９１は、補正部９０から供給される+EVペア画像の各画像の白飛び領域を検出する。具体的には、白飛び領域検出部９１は、各画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、白飛び領域検出部９１は、各ブロックのヒストグラムに基づいて、白飛び領域判定用の閾値より大きい画素値が多いブロックを白飛び領域として検出する。白飛び領域検出部９１は、画像ごとに、白飛び領域をマスクする白飛びマスクを生成し、視差画像生成部９３に供給する。
　黒潰れ領域検出部９２は、補正部９０から供給される-EVペア画像の各画像の黒潰れ領域を検出する。具体的には、黒潰れ領域検出部９２は、各画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、黒潰れ領域検出部９２は、各ブロックのヒストグラムに基づいて、黒潰れ領域判定用の閾値より小さい画素値が多いブロックを黒潰れ領域として検出する。黒潰れ領域検出部９２は、画像ごとに、黒潰れ領域をマスクする黒潰れマスクを生成し、視差画像生成部９３に供給する。
　視差画像生成部９３は、補正部９０から供給される+EVペア画像の各画像に対して、その画像の白飛びマスクを用いることにより、各画像の白飛び領域を除外領域とする。また、視差画像生成部９３は、補正部９０から供給される-EVペア画像の各画像に対して、その画像の黒潰れマスクを用いることにより、各画像の黒潰れ領域を除外領域とする。
　視差画像生成部９３は、２視点のペアごとに、例えばプレーンスイープ（Plane Sweep）法により、白飛び領域または黒潰れ領域が除外領域とされた複数露出ペア画像を用いて、２視点のペアの視差を検出し、視差画像を生成する。
　具体的には、視差画像生成部９３は、ある基準視点に対して、白飛び領域または黒潰れ領域が除外領域とされた同一露出ペア画像を、所定の範囲内の候補となる各視差に対応する奥行き方向の位置ｄに射影変換し、被写体が各位置ｄに存在する場合の基準視点の画像を生成する。
　そして、視差画像生成部９３は、位置ｄごとに、以下の式（１）により、基準視点の画像どうしのブロックマッチングを行い、各ブロックのマッチングコストを算出する。なお、候補となる視差の範囲は、カメラパラメータのうちのカメラの位置および姿勢並びに焦点距離に基づいて決定される。また、ブロックは、１以上の画素からなる。
Figure JPOXMLDOC01-appb-M000001
　なお、Sub_Cost(x,y,d)は、被写体が位置ｄに存在する場合の基準視点の画像内の位置（x,y）のブロックのマッチングコストである。I0（x,y,d）は、２視点のペアのうちの一方に対応する、被写体が位置ｄに存在する場合の基準視点の画像内の位置（x,y）のブロック（の各画素値）である。また、I1（x,y,d）は、２視点のペアのうちの他方に対応する、被写体が位置ｄに存在する場合の基準視点の画像内の位置（x,y）のブロック（の各画素値）である。
　式（１）によれば、マッチングコストSub_Cost(x,y,d)は、ブロックI0（x,y,d）とブロックI1（x,y,d）の絶対誤差である。なお、マッチングコストSub_Cost(x,y,d)は、ブロックI0（x,y,d）とブロックI1（x,y,d）のいずれか一方に除外領域が含まれる場合算出されない。また、マッチングコストSub_Cost(x,y,d)は、ブロックI0（x,y,d）とブロックI1（x,y,d）の二乗誤差などであってもよい。
　視差画像生成部９３は、２視点のペアごとに、以下の式（２）により、算出された全ての露出値のマッチングコストSub_Cost(x,y,d)を平均化する。
Figure JPOXMLDOC01-appb-M000002
　Cost(x,y,d)は、マッチングコストSub_Cost(x,y,d)の平均値であり、Ｎは、算出されたマッチングコストSub_Cost(x,y,d)の数である。
　視差画像生成部９３は、ブロックごとに平均値Cost(x,y,d)が最も小さい場合の位置ｄを視差として検出し、基準視点の視差画像を生成する。視差画像生成部９３は、各２視点のペアの基準視点の視差画像を、図４のHDR画像生成部７４に供給する。
　（白飛びマスクと黒潰れマスクの例）
　図６は、白飛びマスクと黒潰れマスクの例を示す図である。
　図６の例では、被写体が、人物、木、太陽であり、人物は、太陽の手前に存在する。そして、人物に適切な露出値で+EVペア画像が撮影されると太陽が白飛びし、太陽に適切な露出値で-EVペア画像が撮影されると人物が黒潰れする。
　この場合、白飛び領域検出部９１は、+EVペア画像内の太陽の領域を白飛び領域として検出する。従って、白飛び領域検出部９１は、+EVペア画像の各画像内の太陽の領域を除外領域（図中黒色の領域）とし、太陽以外の領域を有効領域（図中白色の領域）とする２値の白飛びマスクを生成する。
　また、黒潰れ領域検出部９２は、-EVペア画像内の人物の領域を黒潰れ領域として検出する。従って、黒潰れ領域検出部９２は、-EVペア画像の各画像内の人物の領域を除外領域（図中黒色の領域）とし、人物以外の領域を有効領域（図中白色の領域）とする２値の黒潰れマスクを生成する。
　（平均値Cost(x,y,d)の例）
　図７は、平均値Cost(x,y,d)の例を示す図である。
　図７のグラフにおいて、横軸は奥行き方向の位置ｄを表し、縦軸はマッチングコストの平均値Cost(x,y,d)を表す。また、図７の例では、複数露出ペア画像が１つの+EVペア画像と１つの-EVペア画像により構成される。
　この場合、図７のＡに示すように、+EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックと、-EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックの全てが除外領域ではない場合、平均値Cost(x,y,d)は、図７のＡ中実線で示すようになる。即ち、平均値Cost(x,y,d)は、+EVペア画像と-EVペア画像のそれぞれから生成されたマッチングコストSub_Cost(x,y,d)の平均値である。
　これに対して、図７のＢに示すように、+EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックの少なくとも一方が白飛び領域である場合、+EVペア画像からマッチングコストSub_Cost(x,y,d)は生成されない。従って、平均値Cost(x,y,d)は、図７のＢ中実線で示す、-EVペア画像から生成されたマッチングコストSub_Cost(x,y,d)になる。
　また、図７のＣに示すように、-EVペア画像から生成された２つの基準視点の画像の位置(x,y)のブロックの少なくとも一方が黒潰れ領域である場合、-EVペア画像からマッチングコストSub_Cost(x,y,d)は生成されない。従って、平均値Cost(x,y,d)は、図７のＣ中実線で示す、+EVペア画像から生成されたマッチングコストSub_Cost(x,y,d)になる。
　以上のように、平均値Cost(x,y,d)は、白飛び領域または黒潰れ領域以外の領域のマッチングコストSub_Cost(x,y,d)を用いて生成される。
　従って、視差画像生成部９３は、+EVペア画像と－EVペア画像の両方の除外領域以外の領域であるブロックの視差を、+EVペア画像と-EVペア画像の両方を用いて精度良く検出することができる。また、視差画像生成部９３は、+EVペア画像の少なくとも一方の白飛び領域であるブロックの視差を-EVペア画像のみを用いて精度良く検出することができる。さらに、視差画像生成部９３は、－EVペア画像の少なくとも一方の黒潰れ領域であるブロックの視差を+EVペア画像のみを用いて精度良く検出することができる。
　（効果の説明）
　図８は、第１実施の形態における効果を説明する図である。
　図８の+EVペア画像と-EVペア画像は、図６と同一である。また、図８の例では、複数露出ペア画像が１つの+EVペア画像と１つの-EVペア画像により構成される。
　図８のＡに示すように、視差画像生成部９３は、+EVペア画像と-EVペア画像の除外領域以外の領域を用いて視差画像を生成する。従って、視差画像生成部９３は、+EVペア画像と－EVペア画像の両方の除外領域以外の領域であるブロックの視差を、+EVペア画像と-EVペア画像の両方を用いて精度良く検出することができる。
　また、視差画像生成部９３は、+EVペア画像の少なくとも一方の白飛び領域であるブロックの視差を-EVペア画像のみを用いて精度良く検出することができる。さらに、視差画像生成部９３は、－EVペア画像の少なくとも一方の黒潰れ領域であるブロックの視差を+EVペア画像のみを用いて精度良く検出することができる。その結果、図８のＡに示すように、白飛び領域や黒潰れ領域においても精度が劣化しない視差画像を生成することができる。
　これに対して、図８のＢの左側に示すように、+EVペア画像のみから視差画像が生成される場合、基準視点の画像内の白飛び領域である太陽の領域のマッチングの精度が劣化するため、太陽の領域の視差画像の精度が劣化する。また、図８のＢの右側に示すように、-EVペア画像のみから視差画像が生成される場合、基準視点の画像内の黒潰れ領域である人物の領域のマッチングの精度が劣化するため、人物の領域の視差画像の精度が劣化する。
　（伝送データの説明）
　図９は、伝送データを説明する図である。
　図９のグラフにおいて、横軸は、表示視点の位置を表し、縦軸は、記憶部７５に保持されている各表示視点のHDR全天球画像の使用ビットである保持ビット、または、伝送データに含まれる各表示視点のHDR全天球画像の使用ビットでる伝送ビットを表す。
　また、図９の例では、記憶部７５に保持されている各表示視点のHDR全天球画像の保持用のビット数は２５６ビットであり、伝送データに含まれる各表示視点のHDR全天球画像の伝送用のビット数は８ビットである。
　表示視点のHDR全天球画像の保持用のビット数を伝送用のビット数に変換する場合、一般的には、表示視点のHDR全天球画像の保持用のビット数が、伝送用のビット数/保持用のビット数倍（図９の例では8/256(=1/32)倍）される。
　これにより、例えば、図９のＡに示すように、保持ビットが０ビットから２５６ビットまでの範囲である表示視点Ｖ１のHDR全天球画像の伝送ビットは、図９のＢに示すように、０ビットから８ビットまでの範囲になる。また、図９のＡに示すように、保持ビットが０ビットから６４ビットまでの範囲である表示視点Ｖ２のHDR全天球画像の伝送ビットは、図９のＢに示すように、０ビットから２ビットまでの範囲になる。
　さらに、図９のＡに示すように、保持ビットが１９２ビットから２５６ビットまでの範囲である表示視点Ｖ３のHDR全天球画像の伝送ビットは、図９のＢに示すように、６ビットから８ビットまでの範囲になる。
　これに対して、伝送部７７は、保持用のビット数の表示視点のHDR全天球画像の各画素値から画素値の最小値を減算し、その結果得られる差分のビット数を伝送用のビット数に変換することにより、表示視点のHDR全天球画像の保持用のビット数を伝送用のビット数に変換する。
　例えば、伝送部７７は、図９のＡに示すように、保持ビットが０ビットから２５６ビットまでの範囲である表示視点Ｖ１のHDR全天球画像の各画素値から画素値の最小値である０を減算する。そして、伝送部７７は、図９のＣに示すように、その結果得られる２５６ビットの差分のビット数を8/256(=1/32)倍して８ビットにした値を、伝送用のビット数の表示視点Ｖ１のHDR全天球画像の画素値とする。
　また、伝送部７７は、図９のＡに示すように、保持ビットが０ビットから６４ビットまでの範囲である表示視点Ｖ２のHDR全天球画像の各画素値から画素値の最小値である０を減算する。そして、伝送部７７は、図９のＣに示すように、その結果得られる６４ビットの差分のビット数を64/256(=1/8)倍して８ビットにした値を、伝送用のビット数の表示視点Ｖ２のHDR全天球画像の画素値とする。
　さらに、伝送部７７は、図９のＡに示すように、保持ビットが１９２ビットから２５６ビットまでの範囲である表示視点Ｖ３のHDR全天球画像の各画素値から画素値の最小値である２192-１を減算する。そして、伝送部７７は、図９のＣに示すように、その結果得られる６４ビットの差分のビット数を64/256(=1/8)倍して８ビットにした値を、伝送用のビット数の表示視点Ｖ３のHDR全天球画像の画素値とする。
　以上のように、伝送部７７は、HDR全天球画像の画素値そのものではなく、画素値の最小値との差分のビット数を伝送用のビット数に変換する。従って、HDR全天球画像の保持ビットが保持用のビット数より小さい場合、HDR全天球画像の画素値そのもののビット数を変換する場合に比べて、伝送による階調の減少を抑制することができる。即ち、表示視点Ｖ２や表示視点Ｖ３では、HDR全天球画像の画素値そのもののビット数を変換する場合階調は1/32倍になるが、画素値の最小値との差分のビット数を伝送用のビット数に変換する場合、階調は1/8倍になる。
　また、以上のようにして生成された８ビットのHDR全天球画像のビット数を元の２５６ビットに戻すためには、ビット数変換前のHDR全天球画像の画素値の範囲が必要である。従って、伝送部７７は、８ビットのHDR全天球画像とともに、ビット数変換前のHDR全天球画像の画素値の範囲を復元データとして含めて伝送データを生成し、表示装置１３に伝送する。
　なお、復元データは、ビット数変換前のHDR全天球画像の画素値の範囲を示す情報であれば、範囲そのものでなくてもよい。例えば、保持用のビット数を何分割したときの下から何分割目（例えば、表示視点Ｖ２の場合４分割したときの下から１分割目）であることを示す情報であってもよい。また、HDR全天球画像の画素値から減算される画素値の最小値は、そのHDR全天球画像を含む所定の範囲の表示視点のHDR全天球画像の画素値の最小値であってもよい。この場合、復元データは、所定の範囲の表示視点のHDR全天球画像の伝送ごとに伝送されてもよい。
　（画像生成装置の処理の説明）
　図１０は、図１の画像生成装置１２のHDR全天球画像生成処理を説明するフローチャートである。このHDR全天球画像生成処理は、例えば、図１の撮影装置１１から各２視点のペアの複数露出ペア画像と各画像のカメラパラメータが供給されたとき、開始される。
　図１０のステップＳ１１において、画像生成装置１２の画像取得部７１は、撮影装置１１から供給される各２視点のペアの複数露出ペア画像を取得する。画像取得部７１は、取得された複数露出ペア画像を画像処理部７３に供給するとともに、画像処理部７３を介してHDR画像生成部７４に供給する。ステップＳ１２において、パラメータ取得部７２は、撮影装置１１から供給される各画像のカメラパラメータを取得し、画像処理部７３に供給する。
　ステップＳ１３において、画像処理部７３の補正部９０は、パラメータ取得部７２から供給される各画像のカメラパラメータのうちの収差に基づいて、画像取得部７１から供給される複数露出ペア画像の各画像を補正する。補正部９０は、補正後の複数露出ペア画像のうちの+EVペア画像を白飛び領域検出部９１と視差画像生成部９３に供給し、-EVペア画像を白飛び領域検出部９１と視差画像生成部９３に供給する。
　ステップＳ１４において、白飛び領域検出部９１は、補正部９０から供給される+EVペア画像の各画像の白飛び領域を検出して白飛びマスクを生成し、視差画像生成部９３に供給する。ステップＳ１５において、黒潰れ領域検出部９２は、補正部９０から供給される-EVペア画像の各画像の黒潰れ領域を検出して黒潰れマスクを生成し、視差画像生成部９３に供給する。
　ステップＳ１６において、視差画像生成部９３は、補正部９０から供給される+EVペア画像の各画像に対して、その画像の白飛びマスクを用いることにより、各画像の白飛び領域を除外領域とする。ステップＳ１７において、視差画像生成部９３は、補正部９０から供給される-EVペア画像の各画像に対して、その画像の黒潰れマスクを用いることにより、各画像の黒潰れ領域を除外領域とする。
　ステップＳ１８において、視差画像生成部９３は、各２視点のペアの基準視点の視差画像を生成する視差画像生成処理を行う。この視差画像生成処理の詳細は、後述する図１１を参照して説明する。
　ステップＳ１９において、HDR画像生成部７４は、画像処理部７３から供給される、各２視点のペアの基準視点の視差画像と各複数露出ペア画像のうちの最適な露出値の同一露出ペア画像とを用いて３次元再構成を行うことにより、各表示視点のHDR全天球画像を生成する。HDR画像生成部７４は、各表示視点のHDR全天球画像を記憶部７５に供給し、記憶させる。
　図１１は、図１０のステップＳ１８の視差画像生成処理を説明するフローチャートである。
　図１１のステップＳ２０において、視差画像生成部９３は、まだ処理対象として設定されていない２視点のペアを処理対象とし、マッチングコストSub_Cost(x,y,d)の積算数Ｎを０に設定する。また、視差画像生成部９３は、奥行き方向の位置ｄを、候補とする視差の範囲に対応する位置ｄの範囲の最小値ｄｍｉｎに設定し、基準視点の画像上のブロックの位置（x,y）を、まだ設定されていない位置に設定する。さらに、視差画像生成部９３は、露出値の種類が、処理対象の２視点のペアの複数露出ペア画像の露出値の種類のうちの何番目の種類であるかを示すｅを１に設定する。
　ステップＳ２１において、視差画像生成部９３は、ある基準視点に対して、処理対象の２視点のペアのｅ番目の露出値の同一露出ペア画像の各画像を奥行き方向の位置ｄに射影変換して得られる基準視点の画像の位置（x,y）のブロックの少なくとも一方が除外領域であるかどうかを判定する。
　ステップＳ２１で両方の基準視点の画像の位置（x,y）のブロックが除外領域ではないと判定された場合、処理はステップＳ２２に進む。ステップＳ２２において、視差画像生成部９３は、上述した式（１）により、基準視点の画像の位置（x,y）のブロックからマッチングコストSub_Cost(x,y,d)を算出する。
　ステップＳ２３において、視差画像生成部９３は、ステップＳ２１で算出されたマッチングコストSub_Cost(x,y,d)を、保持しているマッチングコストSub_Cost(x,y,d)の積算値に積算し、その結果得られる積算値を保持する。なお、マッチングコストSub_Cost(x,y,d)の積算値がまだ保持されていない場合には、ステップＳ２１で算出されたマッチングコストSub_Cost(x,y,d)をそのまま保持する。
　ステップＳ２４において、視差画像生成部９３は、積算数Ｎを１だけインクリメントし、処理をステップＳ２５に進める。
　一方、ステップＳ２１で少なくとも一方の基準視点の画像の位置（x,y）のブロックが除外領域であると判定された場合、ステップＳ２２乃至Ｓ２４の処理はスキップされ、処理はステップＳ２５に進む。即ち、この場合、マッチングコストSub_Cost(x,y,d)は算出されず、マッチングコストSub_Cost(x,y,d)の積算は行われない。
　ステップＳ２５において、ｅが、処理対象の２視点のペアの複数露出ペア画像の露出値の種類数Ｅ以上であるかどうかを判定する。ステップＳ２５でｅが種類数Ｅ以上ではないと判定された場合、ステップＳ２６において、視差画像生成部９３は、ｅを１だけインクリメントする。そして、処理はステップＳ２１に戻り、ｅが種類数Ｅ以上となるまで、ステップＳ２１乃至Ｓ２６の処理が繰り返される。
　一方、ステップＳ２６でｅが種類数Ｅ以上であると判定された場合、即ち、両方の基準視点の画像の位置（x,y）のブロックが除外領域とならない全ての露出値のマッチングコストSub_Cost(x,y,d)が積算された場合、処理はステップＳ２７に進む。
　ステップＳ２７において、視差画像生成部９３は、マッチングコストSub_Cost(x,y,d)の積算値を積算数Ｎで除算し、マッチングコストSub_Cost(x,y,d)の平均値Cost(x,y,d)を算出する。
　ステップＳ２８において、視差画像生成部９３は、奥行き方向の位置ｄが、候補とする視差の範囲に対応する位置ｄの範囲の最大値ｄｍａｘ以上であるかどうかを判定する。ステップＳ２８で位置ｄが最大値ｄｍａｘ以上ではないと判定された場合、処理はステップＳ２９に進む。
　ステップＳ２９において、視差画像生成部９３は、奥行き方向の位置ｄを１だけインクリメントし、処理をステップＳ２１に戻す。そして、奥行き方向の位置ｄが最大値ｄｍａｘになるまで、ステップＳ２１乃至Ｓ２９の処理が繰り返される。
　一方、ステップＳ２８で位置ｄが最大値ｄｍａｘ以上であると判定された場合、処理はステップＳ３０に進む。ステップＳ３０において、視差画像生成部９３は、各位置ｄの位置(x,y)のブロックの平均値Cost(x,y,d)のうちの、平均値Cost(x,y,d)が最小となる位置ｄを、位置(x,y)の視差として検出する。
　ステップＳ３１において、視差画像生成部９３は、基準視点の画像内の全てのブロックの位置を位置（x,y）に設定したかどうかを判定する。ステップＳ３１でまだ基準視点の画像内の全てのブロックの位置を位置（x,y）に設定していないと判定された場合、処理はステップＳ２０に戻る。そして、基準視点の画像内の全てのブロックの位置を位置（x,y）に設定するまで、ステップＳ２０乃至Ｓ３１の処理が繰り返される。
　ステップＳ３１で基準視点の画像内の全てのブロックの位置を位置（x,y）に設定したと判定された場合、処理はステップＳ３２に進む。
　ステップＳ３２において、視差画像生成部９３は、全ての２視点のペアの視差画像を生成したかどうかを判定する。ステップＳ３２で全ての２視点のペアの視差画像を生成していないと判定された場合、処理はステップＳ２０に戻り、全ての２視点のペアの視差画像が生成されるまで、ステップＳ２０乃至Ｓ３２の処理が繰り返される。
　一方、ステップＳ３２で全ての２視点のペアの視差画像を生成したと判定された場合、処理は図１０のステップＳ１８に戻り、ステップＳ１９に進む。
　以上のように、画像生成装置１２は、複数露出ペア画像の除外領域を除外した領域を用いて視差画像を生成する。従って、画像生成装置１２は、+EVペア画像と-EVペア画像の除外領域以外の領域では、+EVペア画像と-EVペア画像の両方を用いて視差画像を生成することができる。よって、+EVペア画像と-EVペア画像のいずれか一方を用いて視差画像を生成する場合に比べて、視差画像の精度を向上させることができる。
　また、画像生成装置１２は、+EVペア画像の少なくとも一方の白飛び領域では、-EVペア画像のみを用いて高精度の視差画像を生成することができる。さらに、画像生成装置１２は、－EVペア画像の少なくとも一方の黒潰れ領域では、+EVペア画像のみを用いて高精度の視差画像を生成することができる。第１実施の形態のように、撮影装置１１が、水平方向に360度、垂直方向に180度広がる視点の画像を撮影する場合、いずれかの視点の画像が光源を含むため、白飛び領域などにおいても高精度の視差画像を生成可能にすることは、特に有用である。
　さらに、画像生成装置１２は、高精度の視差画像を用いて高精度のHDR全天球画像を生成することができる。
　（表示装置の構成例）
　図１２は、図１の表示装置１３の構成例を示すブロック図である。
　撮影装置１１の表示装置１３は、指定部１１１、伝送部１１２、受け取り部１１３、表示画像生成部１１４、および表示部１１５により構成される。
　表示装置１３の指定部１１１は、視聴者による表示視点の変更の指令（最初の表示視点の指定も含む）を受け付け、その表示視点の表示視点情報を生成する。指定部１１１は、表示視点情報を伝送部１１２と表示画像生成部１１４に供給する。伝送部１１２は、指定部１１１から供給される表示視点情報を図１の画像生成装置１２に送信する。受け取り部１１３は、図１の画像生成装置１２から送信されてくる伝送データを受け取り、表示画像生成部１１４に供給する。
　表示画像生成部１１４は、受け取り部１１３から供給される伝送データに含まれる復元データに基づいて、HDR全天球画像の伝送用のビット数を保持用のビット数に変換する。表示画像生成部１１４は、指定部１１１から供給される表示視点情報が示す変更後の表示視点のビット数変換後のHDR全天球画像の画素値の範囲が、変更前の表示視点のビット数変換後のHDR全天球画像の画素値の範囲から段階的に移行するように、変更後の表示視点のビット数変換後のHDR全天球画像の画素値を変更する。表示画像生成部１１４は、画素値が変更されたHDR全天球画像を表示画像として表示部１１５に供給する。
　表示部１１５は、表示画像生成部１１４から供給される表示画像を表示する。
　なお、図１２の例では、表示部１１５が表示可能な画像のビット数が保持用のビット数であるため、表示画像生成部１１４は、HDR全天球画像の伝送用のビット数を保持用のビット数に変換したが、表示部１１５が表示可能な画像のビット数が伝送用のビット数である場合、表示画像生成部１１４は、変換を行わない。
　（表示画像の説明）
　図１３は、表示画像生成部１１４によるビット数変換後の各表示視点のHDR全天球画像の画素値の範囲を示す図であり、図１４は、図１３が画素値の範囲を示す各表示視点のHDR全天球画像から生成された表示画像の画素値の範囲を示す図である。
　図１３の上段は、下段のグラフの横軸が表す各表示視点のビット数変換後のHDR全天球画像を示している。図１３の下段は、ビット数変換後の各表示視点のHDR全天球画像の画素値の範囲を示すグラフである。図１３の下段のグラフにおいて、横軸は表示視点を表し、縦軸は各表示視点のHDR全天球画像の画素値を表す。また、図１４のグラフにおいて、横軸は表示時刻を表し、縦軸は、各表示時刻の表示画像の画素値を表す。
　図１３の例では、ビット数変換後の表示視点Ｖ１１のHDR全天球画像の画素値の最小値と最大値の範囲は、範囲Ｄ１である。また、ビット数変換後の表示視点Ｖ１２のHDR全天球画像の画素値の最小値と最大値の範囲は、範囲Ｄ２である。
　この場合、図１４に示すように、表示時刻ｔ２において、表示視点情報が示す表示視点が表示視点Ｖ１１から表示視点Ｖ１２に変更されるとき、表示時刻ｔ２の表示画像は、ビット数変換後の表示視点Ｖ１２のHDR全天球画像から生成されるが、画素値の最小値と最大値の範囲は、ビット数変換後の表示視点Ｖ１１のHDR全天球画像の範囲Ｄ１にされる。そして、表示時刻ｔ２から表示時刻ｔ３までの間に、表示画像の画素値の最小値と最大値の範囲は、ビット数変換後の表示視点Ｖ１１のHDR全天球画像の範囲Ｄ１から、ビット数変換後の表示視点Ｖ１２のHDR全天球画像の範囲Ｄ２へ段階的に移行される。
　従って、表示時刻ｔ２において、表示画像の画素値の最小値と最大値の範囲が、範囲Ｄ１から範囲Ｄ２に急激に変化する場合に比べて、視聴者は、眼を徐々に範囲Ｄ２に順応させることができる。表示画像が全天球画像である場合、表示視点によって画素値の最小値と最大値の範囲が大きく異なる場合があるため、このことは特に有用である。
　表示画像の画素値の最小値と最大値の範囲の移行時間は、視聴者により設定されてもよいし、予め設定されていてもよい。また、表示視点の変更前と変更後で画素値の範囲の変更が大きい場合にのみ、表示画像の画素値の範囲を段階的に移行させるようにしてもよい。
　（表示装置の処理の説明）
　図１５は、図１２の表示装置１３の表示処理を説明するフローチャートである。この表示処理は、例えば、視聴者により表示視点の変更の指令が行われたとき、開始される。
　図１５のステップＳ５１において、表示装置１３の指定部１１１は、視聴者による表示視点の変更の指令を受け付け、その表示視点の表示視点情報を生成する。指定部１１１は、表示視点情報を伝送部１１２と表示画像生成部１１４に供給する。
　ステップＳ５２において、伝送部１１２は、指定部１１１から供給される表示視点情報を図１の画像生成装置１２に送信する。ステップＳ５３において、受け取り部１１３は、表示視点情報に応じて画像生成装置１２から伝送データが送信されてきたかどうかを判定する。ステップＳ５３でまだ伝送データが送信されてきていないと判定された場合、受け取り部１１３は、伝送データが送信されてくるまで待機する。
　一方、ステップＳ５３で伝送データが送信されてきたと判定された場合、受け取り部１１３は、送信されてきた伝送データを受け取り、表示画像生成部１１４に供給する。ステップＳ５５において、表示画像生成部１１４は、受け取り部１１３から供給される伝送データに含まれる復元データに基づいて、HDR全天球画像の伝送用のビット数を保持用のビット数に変換する。
　ステップＳ５６において、表示画像生成部１１４は、指定部１１１から供給される表示視点情報が示す変更後の表示視点のビット数変換後のHDR全天球画像の画素値の範囲が、変更前の表示視点のHDR全天球画像の画素値の範囲から段階的に移行するように、変更後の表示視点のビット数変換後のHDR全天球画像の画素値を変更する。
　ステップＳ５７において、表示画像生成部１１４は、画素値が変更されたHDR全天球画像を表示画像として表示部１１５に供給し、表示画像を表示部１１５に表示させる。そして、処理は終了する。
　＜第２実施の形態＞
　（画像表示システムの第２実施の形態における画像処理部の構成例）
　本開示を適用した画像表示システムの第２実施の形態の構成は、画像処理部を除いて、図１の画像表示システム１０の構成と同様である。従って、以下では、画像処理部についてのみ説明する。
　図１６は、本開示を適用した画像表示システムの第２実施の形態における画像処理部の構成例を示すブロック図である。
　図１６に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１６の画像処理部１３０の構成は、白飛び領域検出部９１と黒潰れ領域検出部９２の代わりに領域検出部１３１が設けられる点、および視差画像生成部９３の代わりに視差画像生成部１３２が設けられる点が、図５の画像処理部７３の構成と異なる。画像処理部１３０は、２値の白飛びマスクまたは黒潰れマスクの代わりに、多値のマスクを生成する。
　具体的には、画像処理部１３０の領域検出部１３１には、補正部９０から+EVペア画像と-EVペア画像の両方が供給される。領域検出部１３１は、+EVペア画像と-EVペア画像の各画像の各ブロックの除外領域の度合を表す値を算出する。
　より詳細には、領域検出部１３１は、画像を所定のサイズのブロックに分割し、各ブロックの画素値のヒストグラムを生成する。そして、領域検出部１３１は、ブロックごとに、ヒストグラムに基づいて、例えば、白飛び領域判定用の閾値より大きい画素値、または、黒潰れ領域判定用の閾値より小さい画素値が多いほど大きくなるように、除外領域の度合を表す値を算出する。領域検出部１３１は、各ブロックの除外領域の度合を表す値をマスク値とするマスクを生成する。マスク値は、０から１までの範囲の多値であり、除外領域の度合が大きいほど大きい。
　視差画像生成部１３２は、領域検出部１３１から供給される+EVペア画像と-EVペア画像の各画像に対して、その画像のマスクを用いることにより、以下の式（３）により各画像の各ブロックに対して重みweightを設定する。
Figure JPOXMLDOC01-appb-M000003
　M(x,y)は、画像内の位置（x,y）のブロックのマスク値である。式（３）によれば、重みは、必ず、１より大きい値となる。
　視差画像生成部１３２は、２視点のペアごとに、例えばプレーンスイープ法により、複数露出ペア画像の各ブロックを、そのブロックに対して設定された重みで用いて、２視点のペアの視差を検出し、視差画像を生成する。
　具体的には、視差画像生成部１３２は、ある基準視点に対して、各ブロックに対して重みが設定された同一露出ペア画像を、所定の範囲内の候補となる各視差に対応する奥行き方向の位置ｄに射影変換し、被写体が各位置ｄに存在する場合の基準視点の画像を生成する。そして、視差画像生成部１３２は、図５の視差画像生成部９３と同様に、位置ｄごとに、上述した式（１）により、各ブロックのマッチングコストSub_Cost(x,y,d)を得る。但し、マッチングコストSub_Cost(x,y,d)は、全てのブロックについて算出される。
　視差画像生成部１３２は、２視点のペアごとに、以下の式（３）により、算出された全ての露出値のマッチングコストSub_Cost(x,y,d)を重み付け加算し、重み付け加算値の平均値Cost(x,y,d)´を求める。
Figure JPOXMLDOC01-appb-M000004
　Ｌは、複数露出ペア画像の露出値の種類数である。また、weight´は、マッチングコストSub_Cost(x,y,d)の算出に用いられたブロックI0（x,y,d）とブロックI1（x,y,d）の射影変換前のブロックの重みに基づいて決定される重みである。
　視差画像生成部１３２は、ブロックごとに平均値Cost(x,y,d)´が最も小さい場合の位置ｄを視差として検出し、基準視点の視差画像を生成する。視差画像生成部１３２は、各２視点のペアの基準視点の視差画像を、図４のHDR画像生成部７４に供給する。
　（マスクの例）
　図１７は、図１６の領域検出部１３１により生成されるマスクの例を示す図である。
　図１７の例では、被写体が、人物、木、太陽であり、人物は、太陽の手前に存在する。そして、太陽に適切な露出値で-EVペア画像が撮影されると人物が黒潰れする。この場合、例えば、-EVペア画像のうちの１つの画像内の人物の内側の領域、人物の外側の領域、木の領域、その他の領域の除外領域の度合は、順に小さくなる。従って、領域検出部１３１は、-EVペア画像のうちの１つの画像内の人物の内側の領域、人物の外側の領域、木の領域、その他の領域のマスク値が順に小さくなるマスクを生成する。なお、図１７では、マスク値を色の濃淡で表しており、色が濃いほどマスク値は大きい。
　図１６の画像処理部１３０のHDR全天球画像生成処理は、白飛びマスクと黒潰れマスクがマスクに代わる点、および、視差画像生成処理を除いて、図１０のHDR全天球画像生成処理と同一である。
　また、画像処理部１３０の視差画像生成処理は、除外領域であるかどうかの判定が行われない点、および、平均値Cost(x,y,d)の代わりに平均値Cost(x,y,d)´が算出される点を除いて、図１１の視差画像処理と同一である。
　以上のように、画像処理部１３０は、各画像の除外領域の度合に基づいて多値のマスクを生成する。従って、各画像の除外領域の度合に基づいて、その画像の視差画像への影響度合をより細かく設定することができる。その結果、高精度の視差画像を生成することができる。
　なお、第１および第２実施の形態では、白飛び領域と黒潰れ領域の両方を除外領域としたが、いずれか一方を除外領域とするようにしてもよい。
　また、第１および第２実施の形態では、カメラモジュールが水平方向に360度、垂直方向に180度広がるように配置されるようにしたが、水平方向にのみ360度広がるように（円周状に並べて）配置されるようにしてもよい。この場合、視差画像と複数露出ペア画像を用いて、水平方向に360度広がる全天周画像が生成される。
　さらに、第１および第２実施の形態では、各表示視点のHDR全天球画像が予め記憶されず、表示視点情報が受け取られたときに、その表示視点情報が示す表示視点のHDR全天球画像のみが生成されるようにしてもよい。
　また、複数露出ペア画像は動画像であってもよい。各同一露出ペア画像に対応する２視点のペアの位置は異なっていてもよい。
　さらに、第１および第２実施の形態では、表示装置１３が表示画像を生成したが、画像生成装置１２が表示画像を生成し、表示装置１３に送信するようにしてもよい。
　＜第３実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成部
　を備える画像生成装置。
　（２）
　前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部と、
　前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の各画素値から前記画素値の最小値を減算し、その結果得られる差分のビット数を所定のビット数に変換した値を、前記ハイダイナミックレンジ画像の各画素値として伝送する伝送部と
　をさらに備える
　前記（１）に記載の画像生成装置。
　（３）
　前記伝送部は、前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の画素値の範囲を示す情報を伝送する
　ように構成された
　前記（２）に記載の画像生成装置。
　（４）
　前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部
　をさらに備え、
　前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像を表示する表示装置は、表示する前記ハイダイナミックレンジ画像の視点を変更する場合、変更後の視点の前記ハイダイナミックレンジ画像の画素値の範囲を、変更前の視点の前記ハイダイナミックレンジ画像の画素値の範囲から段階的に移行する
　ように構成された
　前記（１）に記載の画像生成装置。
　（５）
　前記複数露出ペア画像は、前記視点ごと、かつ、露出値ごとに設けられた撮影装置により撮影される
　ように構成された
　前記（１）乃至（４）のいずれかに記載の画像生成装置。
　（６）
　前記複数露出ペア画像は、前記視点ごとに設けられた撮影装置により撮影され、
　各２視点のペアの前記撮影装置は、露出値を順に変更することにより、前記複数露出ペア画像を撮影する
　ように構成された
　前記（１）乃至（４）のいずれかに記載の画像生成装置。
　（７）
　前記複数露出ペア画像の前記除外領域を検出する領域検出部
　をさらに備える
　前記（１）乃至（６）のいずれかに記載の画像生成装置。
　（８）
　前記視差画像生成部は、前記複数露出ペア画像の各領域を、その領域が除外領域である度合に応じた重みで用いて、前記視差画像を生成する
　ように構成された
　前記（１）乃至（７）のいずれかに記載の画像生成装置。
　（９）
　画像生成装置が、
　２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成ステップと
　を含む画像生成方法。
　１２　画像生成装置，　１３　表示装置，　３１－１，３１－２，３２－１，３２－２，５１－１，５１－２　カメラ，　７４　HDR画像生成部，　７７　伝送部，　９１　白飛び領域検出部，　９２　黒潰れ領域検出部，　９３　視差画像生成部，　１３１　領域検出部，　１３２　視差画像生成部

Claims (9)

  1. 　２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成部
    　を備える画像生成装置。
  2. 　前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部と、
    　前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の各画素値から前記画素値の最小値を減算し、その結果得られる差分のビット数を所定のビット数に変換した値を、前記ハイダイナミックレンジ画像の各画素値として伝送する伝送部と
    　をさらに備える
    　請求項１に記載の画像生成装置。
  3. 　前記伝送部は、前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像の画素値の範囲を示す情報を伝送する
    　ように構成された
    　請求項２に記載の画像生成装置。
  4. 　前記視差画像生成部により生成された前記視差画像と前記複数露出ペア画像とを用いて、所定の視点のハイダイナミックレンジ画像を生成するハイダイナミックレンジ画像生成部
    　をさらに備え、
    　前記ハイダイナミックレンジ画像生成部により生成された前記ハイダイナミックレンジ画像を表示する表示装置は、表示する前記ハイダイナミックレンジ画像の視点を変更する場合、変更後の視点の前記ハイダイナミックレンジ画像の画素値の範囲を、変更前の視点の前記ハイダイナミックレンジ画像の画素値の範囲から段階的に移行する
    　ように構成された
    　請求項１に記載の画像生成装置。
  5. 　前記複数露出ペア画像は、前記視点ごと、かつ、露出値ごとに設けられた撮影装置により撮影される
    　ように構成された
    　請求項１に記載の画像生成装置。
  6. 　前記複数露出ペア画像は、前記視点ごとに設けられた撮影装置により撮影され、
    　各２視点のペアの前記撮影装置は、露出値を順に変更することにより、前記複数露出ペア画像を撮影する
    　ように構成された
    　請求項１に記載の画像生成装置。
  7. 　前記複数露出ペア画像の前記除外領域を検出する領域検出部
    　をさらに備える
    　請求項１に記載の画像生成装置。
  8. 　前記視差画像生成部は、前記複数露出ペア画像の各領域を、その領域が除外領域である度合に応じた重みで用いて、前記視差画像を生成する
    　ように構成された
    　請求項１に記載の画像生成装置。
  9. 　画像生成装置が、
    　２視点のペアごとに複数の露出値で撮影された複数露出ペア画像内の、白飛び領域または黒潰れ領域の少なくとも一方の領域である除外領域を除外した領域を用いて、前記２視点のペアの視差を表す視差画像を生成する視差画像生成ステップと
    　を含む画像生成方法。
PCT/JP2017/020396 2016-06-15 2017-06-01 画像生成装置および画像生成方法 WO2017217241A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/307,046 US20190230334A1 (en) 2016-06-15 2017-06-01 Image producing apparatus and image producing method
JP2018523643A JP6881450B2 (ja) 2016-06-15 2017-06-01 画像生成装置および画像生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016118578 2016-06-15
JP2016-118578 2016-06-15

Publications (1)

Publication Number Publication Date
WO2017217241A1 true WO2017217241A1 (ja) 2017-12-21

Family

ID=60664471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020396 WO2017217241A1 (ja) 2016-06-15 2017-06-01 画像生成装置および画像生成方法

Country Status (3)

Country Link
US (1) US20190230334A1 (ja)
JP (1) JP6881450B2 (ja)
WO (1) WO2017217241A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042727A (ja) * 2018-09-13 2020-03-19 キヤノン株式会社 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP2020197989A (ja) * 2019-06-04 2020-12-10 キヤノン株式会社 画像処理システム、情報処理装置、画像処理方法、およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037778A1 (ja) * 2016-08-26 2018-03-01 オリンパス株式会社 計測処理装置
US11257237B2 (en) 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
WO2021120107A1 (en) * 2019-12-19 2021-06-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating captured image and electrical device
CN117897724A (zh) * 2021-09-18 2024-04-16 上海西门子医疗器械有限公司 X射线图像的显示方法、系统、x射线机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214735A (ja) * 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
JP2008113070A (ja) * 2006-10-27 2008-05-15 Sony Corp 撮像装置および撮像方法
JP2011254170A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 撮像装置および撮像方法
JP2016008847A (ja) * 2014-06-23 2016-01-18 株式会社日本自動車部品総合研究所 測距補正装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP6555863B2 (ja) * 2013-12-25 2019-08-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9598011B2 (en) * 2014-01-09 2017-03-21 Northrop Grumman Systems Corporation Artificial vision system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006214735A (ja) * 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
JP2008113070A (ja) * 2006-10-27 2008-05-15 Sony Corp 撮像装置および撮像方法
JP2011254170A (ja) * 2010-05-31 2011-12-15 Panasonic Corp 撮像装置および撮像方法
JP2016008847A (ja) * 2014-06-23 2016-01-18 株式会社日本自動車部品総合研究所 測距補正装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042727A (ja) * 2018-09-13 2020-03-19 キヤノン株式会社 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP7241492B2 (ja) 2018-09-13 2023-03-17 キヤノン株式会社 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP2020197989A (ja) * 2019-06-04 2020-12-10 キヤノン株式会社 画像処理システム、情報処理装置、画像処理方法、およびプログラム
JP7391542B2 (ja) 2019-06-04 2023-12-05 キヤノン株式会社 画像処理システム、画像処理方法、およびプログラム
US11838674B2 (en) 2019-06-04 2023-12-05 Canon Kabushiki Kaisha Image processing system, image processing method and storage medium

Also Published As

Publication number Publication date
JP6881450B2 (ja) 2021-06-02
JPWO2017217241A1 (ja) 2019-04-11
US20190230334A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
WO2017217241A1 (ja) 画像生成装置および画像生成方法
US8508619B2 (en) High dynamic range image generating apparatus and method
JP6116272B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US8817121B2 (en) Image apparatus and imaging method
EP2988488B1 (en) Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method
JP2022501982A (ja) ニューラルネットワークを使用した写真の露出不足補正
US9699387B2 (en) Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program
KR20090087638A (ko) 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
US20190204073A1 (en) Distance information processing apparatus, imaging apparatus, distance information processing method and program
TW201312472A (zh) 用於提供一影像之估計之信號雜訊比平均值之方法及攝影機
WO2011132416A1 (ja) 撮像装置及び画像復元方法
KR101667798B1 (ko) 영상 처리 장치 및 이의 영상 처리 방법
JP2018195079A (ja) 画像処理装置および画像処理方法
JP2017011327A (ja) 画像処理装置、画像処理方法及びプログラム
JP6867645B2 (ja) 画像処理装置、方法、及びプログラム
KR101519622B1 (ko) 영상 정합 장치 및 영상 정합 방법
JPWO2018216500A1 (ja) 画像処理装置および方法
JP2013128212A (ja) 画像処理装置および撮像装置並びにその方法
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017085337A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
CN112565588B (zh) 图像处理设备、图像处理方法和存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018523643

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813143

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17813143

Country of ref document: EP

Kind code of ref document: A1