WO2018159076A1 - 画像処理装置及び撮像装置 - Google Patents

画像処理装置及び撮像装置 Download PDF

Info

Publication number
WO2018159076A1
WO2018159076A1 PCT/JP2017/045616 JP2017045616W WO2018159076A1 WO 2018159076 A1 WO2018159076 A1 WO 2018159076A1 JP 2017045616 W JP2017045616 W JP 2017045616W WO 2018159076 A1 WO2018159076 A1 WO 2018159076A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gradation
unit
chroma signal
signal
Prior art date
Application number
PCT/JP2017/045616
Other languages
English (en)
French (fr)
Inventor
昌俊 横川
隆浩 永野
真史 内田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780087389.XA priority Critical patent/CN110326288B/zh
Priority to JP2019502472A priority patent/JP7136077B2/ja
Priority to DE112017007165.8T priority patent/DE112017007165T5/de
Priority to US16/483,551 priority patent/US10827155B2/en
Publication of WO2018159076A1 publication Critical patent/WO2018159076A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Definitions

  • the present disclosure relates to an image processing device and an imaging device.
  • a technique for creating an HDR image from a plurality of digital images there is a technique for capturing the same subject by changing the sensitivity (exposure) of the camera and synthesizing the obtained plurality of images to create an HDR image.
  • Patent Document 1 a plurality of images obtained by imaging a target with a compound eye camera that includes a plurality of imaging systems corresponding to a plurality of optical blocks and has different sensitivity to luminance for each imaging system.
  • a technique for synthesizing images to create an HDR image is disclosed.
  • the gradation may be deteriorated in a low-sensitivity camera.
  • a camera that shoots a color image has low sensitivity, there is a problem that the image quality of the HDR image is deteriorated due to deterioration of gradation.
  • a luminance signal of a black and white image and a chroma signal of a color image obtained by imaging the same subject as the black and white image are acquired, and the gradation of the chroma signal is obtained based on the luminance signal.
  • An image processing apparatus including a gradation control unit to be controlled is provided.
  • a first image sensor that captures a monochrome image of a subject
  • a second image sensor that captures a color image of the subject
  • a luminance signal of the monochrome image and a chroma of the color image.
  • an image processing device that controls a gradation of the chroma signal based on the luminance signal.
  • FIG. 1 It is a schematic diagram which shows the principle of this embodiment. It is a schematic diagram which shows the image processing apparatus which concerns on the 1st structural example of this embodiment, and its periphery structure. It is a schematic diagram which shows the image processing apparatus which concerns on the 2nd structural example of this embodiment, and its periphery structure. It is a schematic diagram which shows the structure of a HDR synthetic
  • FIG. 6 is a characteristic diagram showing a map defining the relationship between gradation deterioration and ⁇ value. It is a schematic diagram which shows the structure of the gradation restoration part of FIG. It is a schematic diagram which shows the example which switches the filter coefficient of a low-pass filter based on map value (alpha). It is a schematic diagram which shows the table used when a filter coefficient switching part switches the filter coefficient of a low-pass filter. It is a schematic diagram which shows another structural example of a gradation control part. It is a schematic diagram which shows the structure of a classification
  • FIG. 3 is a flowchart showing processing according to the first configuration example shown in FIG. 2. It is a flowchart which shows the process which concerns on the 2nd structural example shown in FIG. It is a flowchart which shows the process by the gradation control part shown in FIG. It is a flowchart which shows the process by the gradation control part shown in FIG. It is a flowchart which shows the process by the gradation decompression
  • IR infrared
  • the present embodiment relates to processing for performing HDR (High Dynamic Range) composition using a color image sensor (Bayer IS) and a monochrome image sensor (B / WIS). Using the high-sensitivity performance that is characteristic of the monochrome image sensor, HDR synthesis is performed for the purpose of reducing the blur of the moving subject portion.
  • HDR High Dynamic Range
  • FIG. 1 is a schematic diagram showing the principle of this embodiment.
  • FIG. 1 shows a case where a monochrome image pickup device 1100 and a color image pickup device 1200 are used and images are taken at the same time and the same exposure time.
  • the pixels of the monochrome image pickup device 1100 correspond to long-time exposure pixels (long live image (2)).
  • the pixels of the image sensor 1200 for color images correspond to short-time exposure pixels (short image (1)).
  • the black-and-white image pickup device 1100 has four times the sensitivity of the color image pickup device 1200, HDR exposure difference photography is possible with an exposure difference of four times.
  • HDR synthesis without blurring is possible even for a moving subject.
  • a camera imaging device
  • a high sensitivity camera is assigned to the long livestock image. Therefore, an image corresponding to the long livestock image is picked up by the monochrome image pickup element 1100, and an image equivalent to the short livestock image is picked up by the color image pickup element 1200. Since both the black and white image pickup device 1100 and the color image pickup device 1200 are used, the parallax between the two images is detected during alignment.
  • a specific configuration of the present embodiment will be described.
  • FIG. 2 is a schematic diagram illustrating an image processing apparatus 1000 according to the first configuration example of the present embodiment and the surrounding configuration.
  • the configuration shown in FIG. 2 performs HDR synthesis only with luminance, and therefore has high calculation efficiency.
  • the image processing apparatus 1000 includes a conversion unit 100, a parallax correction unit 110, an HDR synthesis unit 120, and a gradation / gradation control unit 130.
  • a black and white image pickup device 1100 and a color image pickup device 1200 capture an image by the method shown in FIG.
  • a monochrome image signal (brightness signal) obtained by imaging the subject with the monochrome image pickup element 1100 is sent to the parallax correction unit 110.
  • the RGB image signal of the color image obtained by imaging the subject by the color image imaging device 1200 is sent to the conversion unit 100.
  • the conversion unit 100 converts the RGB signal of the color image into a YUV signal.
  • the YUV signal is sent to the parallax correction unit 110.
  • the parallax correction unit 110 detects the parallax from the luminance signal of the black and white image and the YUV signal obtained from the color image, and corrects the positional deviation between the luminance signal of the black and white image and the luminance signal of the color image.
  • the luminance signal of the black and white image and the luminance signal of the color image with the positional deviation corrected are sent to the HDR synthesizing unit 120.
  • the chroma signal (UV signal) of the color image in which the positional deviation is corrected is sent to the gradation control unit 130.
  • the HDR synthesizing unit 120 HDR synthesizes both the input luminance signal of the black and white image as the long image and the luminance signal of the input color image as the short image. As a result, a luminance signal with an expanded dynamic range is output. As described above, in the configuration shown in FIG. 2, since HDR synthesis is performed on the luminance, the calculation efficiency can be improved.
  • the gradation control unit 130 receives a luminance signal with an expanded dynamic range.
  • the gradation control unit 130 adjusts the gradation of the chroma signal using the luminance signal as guide information.
  • the luminance signal may be blacked out.
  • Black crushing can be eliminated.
  • a YUV signal with an expanded dynamic range is obtained together with the luminance signal output from the HDR synthesis unit 120. Can do.
  • FIG. 3 is a schematic diagram illustrating an image processing device 1000 according to the second configuration example of the present embodiment and the surrounding configuration.
  • the configuration shown in FIG. 3 performs HDR synthesis using both a luminance signal and a chroma signal. However, since the chroma signal is generated only from the signal obtained from the image pickup device 1200 side of the color image, there is no meaning in HDR synthesis.
  • the configuration shown in FIG. 3 has the advantage of reusing existing HDR synthesis processing blocks.
  • the processes of the conversion unit 100 and the parallax correction unit 110 are the same as those in FIG.
  • the luminance signal of the black and white image whose positional deviation has been corrected by the parallax correction unit 110 is sent to the gradation control unit 130.
  • the chroma signal obtained by the conversion of the conversion unit 100 is sent to the gradation control unit 130.
  • the gradation control unit 130 adjusts the gradation of the chroma signal using the luminance signal of the monochrome image as a guide signal. As a result, the chroma signal becomes a long color image together with the luminance signal of the black and white image, and is input to the HDR synthesizing unit 120.
  • the YUV signal output from the conversion unit 100 is input to the HDR synthesizing unit 120 as a short color image.
  • the HDR synthesizing unit 120 performs HDR synthesis by a normal method using the input color long image and short image.
  • the imaging apparatus includes the image processing apparatus 1000 according to the first or second configuration example, and imaging elements 1100 and 1200.
  • FIG. 4 is a schematic diagram illustrating a configuration of the HDR synthesis unit 120.
  • the HDR synthesizing unit 120 performs HDR synthesis using a general method.
  • Z1, Z2, Z3,... Zn indicate pixel values, and n is the number of cameras.
  • Each pixel value is processed by the camera response function 122 to return the non-linear image signal to linear. If the input is a linear signal, processing by the camera response function 122 is unnecessary.
  • the normalization unit 124 performs processing for normalizing the brightness level.
  • FIG. 5 is a schematic diagram illustrating processing performed by the normalization unit 124.
  • three types of exposure are performed: standard exposure, +1 EV exposure, and -1 EV exposure.
  • the vertical axis in FIG. 5 indicates the brightness level. If the dynamic range of the sensor is 48 dB, the standard exposure is 0 to 48 dB brightness (10 bits, 1024 times brightness). Is done. With a long livestock image of +1 EV, since the exposure time is long, it is possible to take a darker place. In addition, in a short image of -1 EV, since the exposure time is short, it is possible to take a brighter place.
  • the dynamic range is expanded downward in the exposure of + 1EV exposure, and the dynamic range is increased in the exposure of -1EV.
  • the dynamic range can be expanded by synthesizing the standard exposure, +1 EV exposure, and -1 EV exposure images.
  • the synthesis unit 126 performs a process of adding the normalized brightness levels E1, E2,..., En according to the following equation (1).
  • n is the number of cameras (number of shots).
  • FIG. 6 is a schematic diagram illustrating a configuration example of the gradation control unit 130.
  • the gradation control unit 130 restores the gradation of the chroma signal by applying the gradation restoration filter 132 to the chroma signal using the luminance signal of the monochrome image as a guide.
  • the gradation restoration filter 132 a joint bilateral filter as shown below can be used.
  • f is an input image of a chroma signal
  • f ′ is a guide image (brightness value of a monochrome image)
  • g is an output image after filtering
  • i and j are center pixel positions
  • m and n are filter taps
  • ⁇ represents an intensity parameter.
  • w space (x, y) indicates a filter coefficient of the weight for the spatial domain, and the filter coefficient becomes smaller as the pixel is farther from the filter center.
  • w color (x, y) indicates a filter coefficient of a weight with respect to the color range, and the filter coefficient becomes smaller as the color (brightness) differs from the filter center.
  • X and y represent the positions of pixels in the tap with the filter center as the origin.
  • FIG. 7 is a schematic diagram showing the function of the guide signal.
  • the luminance signal (B / W) of a monochrome image is a step edge and the chroma signal is a step edge
  • no filter is applied.
  • the luminance signal (B / W) of the black-and-white image is gradation and the chroma signal is a step edge
  • a filter is applied and the chroma signal becomes gradation. Therefore, the gradation of the chroma signal can be adjusted using the luminance signal of the monochrome image as a guide.
  • FIG. 8 is a schematic diagram showing another configuration example of the gradation control unit 130.
  • the gradation control unit 130 includes a differentiation unit 134a, a differentiation unit 134b, a difference calculation unit 136, a map creation unit 138, and a gradation restoration unit 139.
  • the differential values (differential images) of the luminance signal of the monochrome image and the chroma signal of the color image are calculated by the differentiating unit 134a and the differentiating unit 134b, and the difference value diff between the two is obtained by the difference calculating unit 136.
  • the map creation unit 138 creates the map shown in FIG. 9 using the difference value.
  • This map is a map that indicates that the difference value is larger as the ⁇ value on the vertical axis is closer to 1, and gradation deterioration is occurring. For this reason, the gradation restoration unit 139 restores the chroma signal based on the map.
  • the map can be expressed by the mathematical formula shown in FIG.
  • FIG. 10 is a schematic diagram showing the configuration of the gradation restoration unit 139 of FIG.
  • the tone restoration unit 139 includes a low-pass filter 139a and a blend unit 139b.
  • a chroma image (Img1) to which the low-pass filter 139a is applied in order to remove gradation degradation is prepared, and the blend unit 139b uses the map value ⁇ in FIG. 9 and the low-pass filter 139a based on the following equation (2).
  • the unapplied chroma image (Img2) and the chroma image (Img1) to which the low-pass filter 139a is applied are blended.
  • FIG. 11 is a schematic diagram showing another configuration of the gradation restoration unit 139 in FIG. 8, and is a schematic diagram showing an example of switching the filter coefficient of the low-pass filter based on the map value ⁇ .
  • the filter coefficient switching unit 139c switches the filter coefficient of the low-pass filter 139d.
  • FIG. 12 is a schematic diagram illustrating a table used when the filter coefficient switching unit 139c switches the filter coefficient of the low-pass filter 139d. As shown in FIG.
  • Equation (3) x and y indicate the position of the filter tap to be calculated, and ⁇ indicates the intensity parameter.
  • the value of the intensity parameter ⁇ increases as the value of ⁇ increases ( ⁇ 1 ⁇ 2 ⁇ 3 ⁇ 4).
  • FIG. 13 is a schematic diagram showing another configuration example of the gradation control unit 130.
  • gradation restoration is performed using a learning framework.
  • a learning framework By using a learning framework, optimal control and design of prediction coefficients are facilitated as compared to the model-based configuration shown in FIGS.
  • the relationship between the map values ⁇ and ⁇ is determined in advance.
  • these relationships are determined according to learning. The relationship can be determined flexibly.
  • the configuration of the online process of the gradation control unit 130 includes a classification unit 300, a learning database 302, and a prediction unit 304.
  • the classification unit 300 classifies the waveform pattern (gradation deterioration level) of the input signal, and determines the coefficient number of the filter used for the prediction unit 304.
  • the prediction unit 304 acquires a filter coefficient from the learning database 302 according to the coefficient number, and performs a filtering process.
  • the configuration of the offline process of the gradation control unit 130 includes a first camera simulation unit 310, a second camera simulation unit 312 and a learning unit 314.
  • the first camera simulation unit 310 is a component that simulates the first camera corresponding to the long-lived image.
  • the first camera simulation unit 310 performs a simulation corresponding to the monochrome image pickup device 1100.
  • the second camera simulation unit 312 is a component that simulates the second camera corresponding to the short-lived image.
  • the second camera simulation unit 312 performs a simulation corresponding to the color image pickup device 1200.
  • the first camera simulation unit 310 and the second camera simulation unit 312 receive an ideal image that has been subjected to HDR synthesis.
  • the first camera simulation unit 310 and the second camera simulation unit 312 each capture an ideal image and send the result to the learning unit 314.
  • the image data from the first camera simulation unit 310 corresponds to guide information
  • the image data from the second camera simulation unit 312 corresponds to a deteriorated image with degraded gradation.
  • the learning image is also sent to the learning unit 314.
  • the learning unit 314 performs learning by comparing the ideal image with images captured by the first camera simulation unit 310 and the second camera simulation unit 312. In learning, a filter coefficient for obtaining an ideal image is calculated based on the guide information by the first camera simulation unit 310 and the degraded image by the second camera simulation unit 312.
  • the learning result is sent to the learning database 302.
  • the learning database 302 stores the degree of deteriorated image (classification number shown in FIG. 15) and the filter coefficient in association with each other.
  • FIG. 14 is a schematic diagram illustrating the configuration of the classification unit 300.
  • the classification unit 300 is configured similarly to the gradation control unit 130 illustrated in FIG. 8, and includes a differentiation unit 134 a, a differentiation unit 134 b, a difference calculation unit 136, and a map creation unit 138.
  • the classification unit 300 obtains the map value ⁇ by the same method as in FIG. 8, and acquires the classification number corresponding to the map value ⁇ from the table shown in FIG.
  • the table shown in FIG. 15 is an example, and the relationship between the map value ⁇ and the classification number may be defined in more stages.
  • the prediction unit 304 acquires a filter coefficient corresponding to the classification number from the learning database 302 and performs a filtering process.
  • the prediction unit 304 performs a filtering process on the inputs x (i, j) and n from the following equation (4) to obtain an output X (i, j).
  • W (i, j) n is a filter coefficient obtained from the database 302 in accordance with the classification number in FIG.
  • a plurality of surrounding pixels (n) are set for the center pixel on which the filtering process is performed, and the center pixel, the surrounding pixel values, and the center Based on the filter coefficient corresponding to the pixel and the filter coefficients of the surrounding pixels, an output X (i, j) obtained by performing the filtering process on the center pixel is obtained. Thereby, the value of the guide according to deterioration accumulated by learning can be used.
  • the filter coefficient that defines the relationship between the guide information, the deteriorated image, and the ideal image is accumulated, so that the optimum image for obtaining the ideal image according to the deterioration is stored. It is possible to use filter coefficients.
  • FIG. 17 is a flowchart showing processing according to the first configuration example shown in FIG. First, in step S10, a color image is picked up by the image pickup device 1200, and a chroma signal is acquired. In step S12, development processing (such as demosaic processing) is performed on the signal obtained by imaging. In step S14, in parallel with step S10, a black and white image is picked up by the image pickup device 1100, and a luminance signal of the black and white image is acquired.
  • step S10 a color image is picked up by the image pickup device 1200, and a chroma signal is acquired.
  • development processing such as demosaic processing
  • step S14 in parallel with step S10, a black and white image is picked up by the image pickup device 1100, and a luminance signal of the black and white image is acquired.
  • step S16 parallax vectors at the processing target positions of the black and white image and color image are obtained
  • step S18 pixel values are obtained from the reference image based on the parallax vectors at the processing target positions. Extraction processing (motion compensation) is performed. At this time, if the vector represents the accuracy below the pixel, the pixel value is extracted after interpolation using surrounding pixels.
  • FIG. 23B shows an example of bilinear interpolation, and shows an example in which interpolation pixels are generated by blending the surrounding four pixels by the distance weight between the interpolation position and each pixel.
  • each square indicates a pixel.
  • the HDR synthesizing unit 120 HDR synthesizes both the black and white image luminance signal as the long image and the color image luminance signal as the short image.
  • the gradation control unit 130 adjusts the gradation of the chroma signal. After step S22, the process ends.
  • FIG. 18 is a flowchart showing processing according to the second configuration example shown in FIG.
  • the processing up to step S18 is the same as in FIG.
  • the gradation control unit 130 adjusts the gradation of the chroma signal using the luminance signal of the monochrome image as a guide signal.
  • the HDR synthesizing unit 120 performs HDR synthesis using the input color long image and short image.
  • FIG. 19 is a flowchart showing processing by the gradation control unit 130 shown in FIG.
  • step S30 a luminance signal of a black and white image is input.
  • step S32 the Wcolor value of the joint bilateral filter described above is calculated, and in step S34, the Wspace value is calculated.
  • step S36 the chroma signal is input, and in the next step S38, a filtering process is performed using the joint bilateral filter described above.
  • FIG. 20 is a flowchart showing processing by the gradation control unit 130 shown in FIG.
  • step S40 the chroma signal is input to the differentiating unit 134b
  • step S42 the chroma signal is differentiated by the differentiating unit 134b.
  • step S44 the black and white image signal is input to the differentiating unit 134a in step S44
  • step S46 the black and white image signal is differentiated by the differentiating unit 134a in step S46.
  • step S50 the difference calculation unit 136 obtains the difference value between the chroma signal and the monochrome image signal.
  • the map creation unit 138 creates the map shown in FIG. 9.
  • step S52 the chroma signal is input to the gradation restoration unit 139.
  • step S54 the chroma signal is processed by the low-pass filter 139a. Processing is performed.
  • step S56 the blending unit 139b blends the chroma image (Img2) to which the low-pass filter 139a is not applied and the chroma image (Img1) to which the low-pass filter 139a is applied. After step S56, the process ends.
  • FIG. 21 is a flowchart showing processing by the gradation restoration unit 139 of FIG.
  • the processing up to step S50 is the same as in FIG.
  • the filter coefficient switching unit 139c switches the filter coefficient of the low-pass filter 139a.
  • step S60 a filtering process is performed based on the filter coefficient switched in step S58. After step S60, the process ends.
  • FIG. 22 is a flowchart showing processing in the case where gradation restoration is performed using the learning framework shown in FIG.
  • an ideal image is prepared in step S70.
  • the simulation by the first camera simulation unit 310 is performed, and in the next step S74, the simulation by the second camera simulation unit 312 is performed.
  • the teacher pixel is obtained, and in the next step S78, the student pixels 1 and 2 are obtained.
  • signal classification is performed, and in the next step S82, learning (calculation of a minimum error coefficient) is performed.
  • step S82 the process ends.
  • a chroma signal is input to the prediction unit 304 in step S90, and a monochrome image signal is input to the classification unit 300 in step S92.
  • step S94 pixel values of the chroma signal and the monochrome image signal are acquired.
  • step S96 the signal is classified by the classification unit 300, and in step S98, the coefficient is acquired from the learning database 302 by the prediction unit 304.
  • step S100 filtering is performed by the coefficient acquired in step S98. After step S100, the process ends.
  • an exposure pattern can be increased by taking an image having an exposure difference corresponding to a long image and a short image with each of a plurality of cameras.
  • an image sensor 1100 for monochrome images and an image sensor 1200 for color images are used, and two exposure times are used for each of the image sensor 1100 and the image sensor 1200.
  • the image becomes brighter in the order of exposure (1) ⁇ exposure (2) ⁇ exposure (3) ⁇ exposure (4), and an exposure difference can be provided.
  • blur subject blurring
  • a difference in exposure time may be provided in order to produce a more HDR effect.
  • FIG. 25 an example is shown in which the exposure time for imaging by the imaging element 1100 for a black and white image corresponding to a long-lived image is longer than that in FIG. 1.
  • blur occurs depending on the exposure time difference.
  • the exposure time difference is reduced by the difference in sensitivity compared to the case of using one color image pickup device 1200 and performing HDR composition by sequentially performing short exposure and long exposure at different times and different exposure times. Therefore, a blur reduction effect can be obtained.
  • FIG. 26 is a schematic diagram showing an example in which the beam splitter 1300 is used.
  • the subject image incident from the lens 1400 is separated by the beam splitter 1300 and captured by the monochrome image pickup device 110 and the color image pickup device 1200.
  • the monochrome image pickup device 110 When a plurality of cameras are arranged side by side, parallax occurs as described above.
  • FIG. 27 is a schematic diagram showing an example in which an IR (infrared) cut filter is not used in order to further increase the sensitivity of a black-and-white image.
  • an IR (infrared) cut filter is not used in order to further increase the sensitivity of a black-and-white image.
  • the light in the blocking region shown in FIG. 27 is blocked using an IR cut filter.
  • By not mounting the IR cut filter more light can be taken into the image sensor 1100, and higher sensitivity can be realized.
  • it may be used in a passive state where no IR flash or projector is used, a brighter image can be taken by using an IR flash or projector and not using an IR (infrared) cut filter.
  • An image processing apparatus comprising a tone control unit.
  • the gradation control unit includes a gradation restoration filter that restores the gradation of the chroma signal using the luminance signal as guide information.
  • the gradation restoration filter is configured by a non-linear filter that uses a black and white image as a guide.
  • the gradation control unit A difference calculating unit for calculating a difference between the luminance signal and the chroma signal; A gradation restoration unit that restores the gradation of the chroma signal based on the difference;
  • the image processing apparatus according to (1) including: (5) The image processing device according to (4), wherein the gradation restoration unit restores the gradation so that the frequency of the chroma signal becomes lower as the difference is larger.
  • the gradation restoration unit A low-pass filter that passes low-frequency components of the chroma signal; A blending unit that blends the chroma signal and a low frequency component of the chroma signal; The image processing apparatus according to (4), wherein the blending unit increases the ratio of the low frequency component and blends the chroma signal and the low frequency component of the chroma signal as the difference increases.
  • the gradation restoration unit A low-pass filter that passes low-frequency components of the chroma signal; A filter strength switching unit that increases the strength of the low-pass filter as the difference increases,
  • the image processing apparatus including: (8) The gradation control unit A difference calculating unit for calculating a difference between the luminance signal and the chroma signal; A filter processing unit that obtains a filter coefficient according to the difference from a database, and performs a filtering process according to the filter coefficient on the chroma signal; Have The database obtains the ideal image based on guide information obtained by converting an ideal image into a black and white image, a degraded image obtained by converting the ideal image into a color image, and the guide information and the degraded image.
  • the image processing apparatus wherein the filter coefficients for storing are accumulated by learning.
  • An image processing apparatus according to claim 1.
  • the image processing device wherein the gradation control unit restores the gradation of the chroma signal based on a luminance signal with an expanded dynamic range obtained by the HDR synthesis.
  • the luminance signal of the black and white image and the chroma signal whose gradation is controlled by the gradation control unit, and the luminance signal and chroma signal of the color image captured with lower sensitivity than the black and white image The image processing apparatus according to any one of (1) to (8), further including an HDR synthesizing unit that performs HDR synthesis. (12) The image processing apparatus according to any one of (1) to (11), further including a conversion unit that converts an RGB signal of the color image into a luminance signal and a chroma signal.
  • a first image sensor that captures a monochrome image of a subject
  • a second image sensor that captures a color image of the subject
  • An image processing device that acquires a luminance signal of the monochrome image and a chroma signal of the color image, and controls a gradation of the chroma signal based on the luminance signal
  • An imaging apparatus comprising: (16) The imaging apparatus according to (15), wherein an infrared light cut filter is not provided in the first imaging element and the second imaging element.

Abstract

【課題】同一の被写体について白黒画像とカラー画像を撮像することで感度の異なる画像を得る場合に、カラー画像の階調劣化を軽減する。 【解決手段】白黒画像を表す輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像を表すクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備える、画像処理装置が提供される。この構成により、同一の被写体について白黒画像とカラー画像を撮像することで感度の異なる画像を得る場合に、カラー画像の階調劣化を最小限に抑えることができる。

Description

画像処理装置及び撮像装置
　本開示は、画像処理装置及び撮像装置に関する。
　複数のデジタル画像からＨＤＲ画像を作成する技術として、カメラの感度（露出）を変えて同一被写体を撮像し、得られた複数の画像を合成してＨＤＲ画像を作成する技術がある。例えば下記の特許文献１には、複数の光学ブロックに対応する複数の撮像系を備え、撮像系ごとに輝度に対する感度をそれぞれ異ならせた複眼カメラによって対象物を撮像し、得られた複数の画像を合成して、ＨＤＲ画像を作成する技術が開示されている。
特開２００２－１７１４３０号公報
　しかし、上記特許文献１に記載されている技術では、低い感度のカメラにおいて階調が劣化する場合がある。特にカラー画像を撮影するカメラが低感度であると、階調が劣化することによりＨＤＲ画像の画質が低下する問題がある。
　そこで、同一の被写体について白黒画像とカラー画像を撮像することで感度の異なる画像を得る場合に、カラー画像の階調劣化を低減することが求められていた。
　本開示によれば、白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備える、画像処理装置が提供される。
　また、本開示によれば、被写体の白黒画像を撮像する第１の撮像素子と、前記被写体のカラー画像を撮像する第２の撮像素子と、前記白黒画像の輝度信号と、前記カラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する画像処理装置と、を備える、撮像装置が提供される。
　以上説明したように本開示によれば、同一の被写体について白黒画像とカラー画像を撮像することで感度の異なる画像を得る場合に、カラー画像の階調劣化を低減することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態の原理を示す模式図である。 本実施形態の第１の構成例に係る画像処理装置とその周辺の構成を示す模式図である。 本実施形態の第２の構成例に係る画像処理装置とその周辺の構成を示す模式図である。 ＨＤＲ合成部の構成を示す模式図である。 正規化部で行われる処理を示す模式図である。 階調制御部の構成例を示す模式図である。 ガイド信号の機能を示す模式図である。 階調制御部の別の構成例を示す模式図である。 階調劣化とα値との関係を規定したマップを示す特性図である。 図９の階調復元部の構成を示す模式図である。 マップ値αに基づいてローパスフィルタのフィルタ係数を切り換える例を示す模式図である。 フィルタ係数切換部がローパスフィルタのフィルタ係数を切り換える際に使用するテーブルを示す模式図である。 階調制御部の別の構成例を示す模式図である。 分類部の構成を示す模式図である。 マップ値αに対応する分類番号を規定したテーブルを示す模式図である。 フィルタリング処理を示す模式図である。 図２に示した第１の構成例に係る処理を示すフローチャートである。 図３に示した第２の構成例に係る処理を示すフローチャートである。 図６に示した階調制御部による処理を示すフローチャートである。 図８に示した階調制御部による処理を示すフローチャートである。 図８の階調復元部による処理を示すフローチャートである。 図１３に示した学習のフレームワークを使用して階調復元を行う場合の処理を示すフローチャートである。 図１７のステップＳ１８の処理を説明するための模式図である。 図２３Ａにおいて、バイリニア補間を行った場合を示す模式図である。 複数台のカメラのそれぞれで長畜画像、短畜画像に相当する露光差を有する撮像をすることで露光パターンを増やした例を示す模式図である。 長畜画像に相当する白黒画像の撮像素子による撮像の露光時間を図１よりも長くした例を示す模式図である。 ビームスプリッタを使用した例を示す模式図である。 白黒画像の更なる高感度化を図るためにＩＲ（赤外線）カットフィルタを用いない例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本実施形態の原理
　２．第１の構成例に係る画像処理装置
　３．第２の構成例に係る画像処理装置
　４．ＨＤＲ合成部の構成例
　５．階調制御部の構成例
　６．本実施形態で行われる処理について
　７．本実施形態による効果
　８．本実施形態のバリエーションについて
　１．本実施形態の原理
　本実施形態は、カラーのイメージセンサ(Ｂａｙｅｒ　ＩＳ)と白黒画像のイメージセンサ（Ｂ／Ｗ　ＩＳ）のを使ってＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成をする処理に関する。白黒イメージセンサの特徴である高感度性能を利用して、動被写体部のブレ軽減を目的としたＨＤＲ合成を行う。
　図１は、本実施形態の原理を示す模式図である。図１は、白黒画像の撮像素子１１００とカラー画像の撮像素子１２００を用い、同一時刻で同一露光時間の撮像を行う場合を示す。この場合、白黒画像の撮像素子１１００の方がカラー画像の撮像素子１２００よりも感度が高いため、白黒画像の撮像素子１１００の画素は長時間露光画素（長畜画像（２））に相当し、カラー画像の撮像素子１２００の画素は短時間露光画素（短畜画像（１））に相当する。例えば、白黒画像の撮像素子１１００がカラー画像の撮像素子１２００に対して４倍の感度を有していれば、露光差４倍でＨＤＲ用の露光差撮影が可能である。これにより、同じ時間帯で撮影された長畜画像と短畜画像を合成することが可能となり、特に動きのある被写体（動被写体）を撮像した際に、ブレの発生を抑えることが可能となる。
　一方、カラー画像の撮像素子１２００を１つ用い、異なる時刻、異なる露光時間で短時間露光と長時間露光を順次に行った場合、短畜画像と長畜画像は撮像された時刻が異なるため、特に動被写体を撮像した際に、ブレが生じてしまう。
　従って、図１に示す本実施形態の手法によれば、動被写体であってもブレの無いＨＤＲ合成が可能となる。長畜画像、短畜画像に相当するカメラ（撮像素子）の割り当てとしては、高感度カメラを長畜画像に割り当てる。従って、白黒画像の撮像素子１１００で長畜画像相当の画像を撮像し、カラー画像の撮像素子１２００で短畜画像相当の画像を撮像する。なお、白黒画像の撮像素子１１００とカラー画像の撮像素子１２００の双方を使用するため、合成に際しては、両画像の視差を検出して位置合わせを行う。以下、本実施形態の具体的な構成について説明する。
　２．第１の構成例に係る画像処理装置
　図２は、本実施形態の第１の構成例に係る画像処理装置１０００とその周辺の構成を示す模式図である。図２に示す構成は、輝度のみでＨＤＲ合成を行うものであり、このため、演算効率が高いものとされている。画像処理装置１０００は、変換部１００、視差補正部１１０、ＨＤＲ合成部１２０、階調階調制御部１３０を有して構成されている。
　図２において、白黒画像の撮像素子１１００とカラー画像の撮像素子１２００は、図１に示した手法により撮像を行う。白黒画像の撮像素子１１００が被写体を撮像して得られた白黒画像の信号（輝度信号）は、視差補正部１１０に送られる。また、カラー画像の撮像素子１２００が被写体を撮像して得られたカラー画像のＲＧＢ信号は、変換部１００に送られる。変換部１００は、カラー画像のＲＧＢ信号をＹＵＶ信号に変換する。ＹＵＶ信号は、視差補正部１１０に送られる。
　視差補正部１１０は、白黒画像の輝度信号と、カラー画像から得られたＹＵＶ信号とから視差を検出し、白黒画像の輝度信号とカラー画像の輝度信号との間の位置ズレを補正する。位置ズレが補正された白黒画像の輝度信号とカラー画像の輝度信号は、ＨＤＲ合成部１２０に送られる。また、位置ズレが補正されたカラー画像のクロマ信号（ＵＶ信号）は、階調制御部１３０に送られる。
　ＨＤＲ合成部１２０は、入力された白黒画像の輝度信号を長畜画像とし、入力されたカラー画像の輝度信号を短畜画像として、両者をＨＤＲ合成する。これにより、ダイナミックレンジの拡大された輝度信号が出力される。このように、図２に示す構成では、輝度についてＨＤＲ合成を行うため、演算効率を高めることができる。
　階調制御部１３０には、ダイナミックレンジの拡大された輝度信号が入力される。階調制御部１３０は、この輝度信号をガイド情報として、クロマ信号の階調を調整する。カラー画像の撮像素子１２００の露光時間が短い場合、カラー画像に黒潰れ等が生じる可能性があるが、ダイナミックレンジの拡大された輝度信号をガイド情報として、クロマ信号の階調を調整することで、黒潰れ等を解消することができる。以上のようにして階調制御部１３０から階調が調整されたクロマ信号が出力されると、ＨＤＲ合成部１２０から出力された輝度信号と併せて、ダイナミックレンジが拡大されたＹＵＶ信号を得ることができる。
　３．第２の構成例に係る画像処理装置
　図３は、本実施形態の第２の構成例に係る画像処理装置１０００とその周辺の構成を示す模式図である。図３に示す構成は、輝度信号とクロマ信号の両方でＨＤＲ合成を行うものである。但し、クロマ信号はカラー画像の撮像素子１２００側から得られた信号のみで生成されるため、ＨＤＲ合成をする意味はない。図３に示す構成では、既存のＨＤＲ合成処理ブロックを使いまわせる利点がある。
　図３において、変換部１００、視差補正部１１０の処理は図２と同様である。視差補正部１１０により位置ズレが補正された白黒画像の輝度信号は、階調制御部１３０に送られる。また、階調制御部１３０には、変換部１００の変換で得られたクロマ信号が送られる。階調制御部１３０は、白黒画像の輝度信号をガイド信号としてクロマ信号の階調を調整する。これにより、クロマ信号が白黒画像の輝度信号とともにカラーの長畜画像となり、ＨＤＲ合成部１２０に入力される。
　一方、変換部１００から出力されたＹＵＶ信号は、カラーの短畜画像としてＨＤＲ合成部１２０に入力される。ＨＤＲ合成部１２０は、入力されたカラーの長畜画像と短畜画像を用いて、通常の手法によりＨＤＲ合成を行う。
　なお、本実施形態に係る撮像装置は、第１又は第２の構成例に係る画像処理装置１０００と、撮像素子１１００，１２００を有して構成される。
　４．ＨＤＲ合成部の構成例
　図４は、ＨＤＲ合成部１２０の構成を示す模式図である。ＨＤＲ合成部１２０では、一般的な手法を用いてＨＤＲ合成を行う。図４において、Ｚ１，Ｚ２，Ｚ３，・・・Ｚｎは画素値を示しており、ｎはカメラの台数である。各画素値は、カメラ応答関数１２２により非線形の画像信号を線形に戻すための処理が行われる。なお、入力が線形信号であればカメラ応答関数１２２による処理は不要である。
　正規化部１２４は、明るさレベルを正規化する処理を行う。図５は、正規化部１２４で行われる処理を示す模式図である。図５では、標準露光、＋１ＥＶの露光、－１ＥＶの露光の３種類を行うものとする。図５の縦軸は明るさのレベルを示しており、センサのダイナミックレンジが４８ｄＢであるとすると、標準露光では０～４８ｄＢの明るさ（１０ビット分、１０２４倍の明るさ）の範囲で撮像が行われる。＋１ＥＶの長畜画像では、露光時間が長いため、より暗い所まで撮ることができる。また、－１ＥＶの短畜画像では、露光時間が短いため、より明るい所まで撮ることができる。
　明るさレベルの正規化では、明るさを任意の基準（ここでは、標準露光に相当）に合わせる処理が行われる。正規化を行うことで、標準露光、＋１ＥＶの露光、－１ＥＶの露光の明るさレベルが揃えられ、＋１ＥＶの露光の露光ではダイナミックレンジが下側に拡張され、－１ＥＶの露光ではダイナミックレンジが上側に拡張される。これにより、標準露光、＋１ＥＶの露光、－１ＥＶの露光の各画像を合成することで、ダイナミックレンジを拡大することができる。
　図４に戻り、合成部１２６では、正規化された明るさレベルＥ１，Ｅ２，・・・，Ｅｎを以下の式（１）により加算する処理を行う。なお、式（１）において、ｎはカメラ台数（撮影枚数）である。
Figure JPOXMLDOC01-appb-M000001
　５．階調制御部の構成例
　図６は、階調制御部１３０の構成例を示す模式図である。階調制御部１３０は、白黒画像の輝度信号をガイドとして、クロマ信号に階調復元フィルタ１３２を適用することでクロマ信号の階調を復元する。階調復元フィルタ１３２として、以下に示すようなジョイントバイラテラル型のフィルタを使用することができる。
Figure JPOXMLDOC01-appb-M000002
　上式において、ｆはクロマ信号の入力画像、ｆ’はガイド画像（白黒画像の輝度値）、ｇはフィルタ処理後の出力画像、ｉ，ｊは中心画素位置、ｍ，ｎはフィルタタップ、ｗはフィルタ係数、σは強度パラメータを示している。また、ｗｓｐａｃｅ（ｘ，ｙ）は空間ドメインに対する重みのフィルタ係数を示しており、フィルタ中心から遠い画素ほどフィルタ係数が小さくなる。また、ｗｃｏｌｏｒ（ｘ，ｙ）は色レンジに対する重みのフィルタ係数を示しており、フィルタ中心と色(輝度)が異なるほど、フィルタ係数が小さくなる。また、ｘ，ｙは、フィルタ中心を原点としたタップ内の画素の位置を表す。
　図７は、ガイド信号の機能を示す模式図である。図７に示すように、白黒画像の輝度信号（Ｂ／Ｗ）がステップエッジであり、クロマ信号がステップエッジである場合、フィルタの適用は無い。一方、白黒画像の輝度信号（Ｂ／Ｗ）がグラデーションであり、クロマ信号がステップエッジである場合、フィルタが適用されてクロマ信号がグラデーションとなる。従って、白黒画像の輝度信号をガイドとしてクロマ信号の階調を調整できる。
　図８は、階調制御部１３０の別の構成例を示す模式図である。図８に示すように、階調制御部１３０は、微分部１３４ａ、微分部１３４ｂ、差分算出部１３６、マップ作成部１３８、階調復元部１３９を有して構成される。この構成では、微分部１３４ａ、微分部１３４ｂにより白黒画像の輝度信号とカラー画像のクロマ信号のそれぞれの微分値（微分画）を算出し、差分算出部１３６により両者の差分値ｄｉｆｆを求める。そして、マップ作成部１３８は、差分値を使って図９に示すマップを作成する。このマップは、縦軸のα値が１に近いほど差分値が大きく、階調劣化が起きていることを示すマップである。このため、階調復元部１３９は、マップに基づいてクロマ信号を復元する。一例として、マップは図９中に示した数式で表すことができる。
　図１０は、図８の階調復元部１３９の構成を示す模式図である。階調復元部１３９は、ローパスフィルタ１３９ａとブレンド部１３９ｂを有して構成される。階調劣化を除去するためにローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）を用意し、ブレンド部１３９ｂは、図９のマップ値αを用い、以下の式（２）に基づき、ローパスフィルタ１３９ａを適用していないクロマ画像（Ｉｍｇ２）とローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）をブレンドする。
Figure JPOXMLDOC01-appb-M000003
　αの値が０に近いほど階調劣化の可能性が低いため、ローパスフィルタ１３９ａを適用していないクロマ画像（Ｉｍｇ２）を多用する。一方、αの値が１に近いほど、階調劣化の可能性が高いのでローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）を多用する。これにより、階調劣化の可能性が高いほどクロマ画像を鈍らせることができ、クロマ画像の階調を高めることができる。
　また、図１１は、図８の階調復元部１３９の別の構成を示す模式図であって、マップ値αに基づいてローパスフィルタのフィルタ係数を切り換える例を示す模式図である。図１１に示すように、フィルタ係数切換部１３９ｃがローパスフィルタ１３９ｄのフィルタ係数を切り換える。図１２は、フィルタ係数切換部１３９ｃがローパスフィルタ１３９ｄのフィルタ係数を切り換える際に使用するテーブルを示す模式図である。図１２に示すように、マップ値αが大きい程、すなわち白黒画像の輝度値とクロマ信号の差分が大きいほど、ローパスフィルタ１３９ａの強度を大きくするため強いフィルタ係数を用い、クロマ信号を鈍らせる。フィルタ係数ｗ（ｉ，ｊ）は、以下の式（３）から求まる。式（３）において、ｘ，ｙは計算対象のフィルタタップの位置を示しており、σは強度パラメータを示している。図１２に示すように、αの値が大きいほど強度パラメータσの値が大きくなる（σ１＜σ２＜σ３＜σ４）。これにより、階調劣化の可能性が高いほど強いフィルタ係数を用いてクロマ画像を鈍らせることができ、クロマ画像の階調を高めることができる。
Figure JPOXMLDOC01-appb-M000004
　図１３は、階調制御部１３０の別の構成例を示す模式図である。図１３に示す構成では、学習のフレームワークを使用して階調復元を行う。学習のフレームワークを用いることにより、図６、図８に示したモデルベースの構成に比べて、最適な制御、予測係数の設計が容易になる。
　より具体的には、図６、図８に示したモデルベースの構成では、マップ値αとσの関係を予め定めていたが、学習のフレームワークを使用する場合は、学習に応じてこれらの関係性を柔軟に定めることができる。
　図１３に示すように、階調制御部１３０のオンラインプロセスの構成には、分類部３００、学習データベース３０２、予測部３０４が含まれる。分類部３００は、入力信号の波形パターン（階調劣化の度合い）を分類し、予測部３０４に使用するフィルタの係数番号を決定する。予測部３０４は、係数番号に従って学習データベース３０２からフィルタ係数を取得して、フィルタリング処理を行う。
　一方、階調制御部１３０のオフラインプロセスの構成には、第１のカメラシミュレーション部３１０、第２のカメラシミュレーション部３１２、学習部３１４が含まれる。第１のカメラシミュレーション部３１０は、長畜画像に相当する第１のカメラをシミュレーションする構成要素であって、一例として白黒画像の撮像素子１１００に相当するシミュレーションを行う。また、第２のカメラシミュレーション部３１２は、短畜画像に相当する第２のカメラをシミュレーションする構成要素であって、一例としてカラー画像の撮像素子１２００に相当するシミュレーションを行う。第１のカメラシミュレーション部３１０及び第２のカメラシミュレーション部３１２には、ＨＤＲ合成がなされた理想画像が入力される。第１のカメラシミュレーション部３１０及び第２のカメラシミュレーション部３１２は、それぞれ理想画像の撮像を行い、結果を学習部３１４に送る。第１のカメラシミュレーション部３１０による画像データはガイド情報に相当し、第２のカメラシミュレーション部３１２による画像データは階調が劣化した劣化画像に相当する。また、学習部３１４には理像画像も送られる。学習部３１４は、理想画像と、第１のカメラシミュレーション部３１０、第２のカメラシミュレーション部３１２のそれぞれが撮像した画像とを比較し、学習を行う。学習では、第１のカメラシミュレーション部３１０によるガイド情報と、第２のカメラシミュレーション部３１２による劣化画像と、に基づいて理想画像を得るためのフィルタ係数を算出する。学習結果は学習データベース３０２に送られる。学習データベース３０２には、劣化画像の度合い（図１５に示す分類番号）とフィルタ係数が紐付けられて格納される。
　図１４は、分類部３００の構成を示す模式図である。分類部３００は、図８に示した階調制御部１３０と同様に構成され、微分部１３４ａ、微分部１３４ｂ、差分算出部１３６、マップ作成部１３８を有している。分類部３００は、図８と同様の手法でマップ値αを求め、図１５に示すテーブルからマップ値αに対応する分類番号を取得する。なお、図１５に示すテーブルは一例であって、マップ値αと分類番号の関係はより多段階に規定しても良い。予測部３０４は、分類番号に該当するフィルタ係数を学習データベース３０２から取得し、フィルタリング処理を行う。予測部３０４は、以下の式（４）から入力ｘ（ｉ，ｊ），ｎに対してフィルタリング処理を行い、出力Ｘ（ｉ，ｊ）を得る。式（４）において、Ｗ（ｉ，ｊ），ｎは、図１５の分類番号に応じてデータベース３０２から得られるフィルタ係数である。
Figure JPOXMLDOC01-appb-M000005
　式（４）によるフィルタリング処理では、図１６に示すように、フィルタリング処理を行う中心画素に対して、周囲の複数の画素（ｎ個）を設定し、中心画素とその周囲の画素値と、中心画素に対応するフィルタ係数とその周囲の画素のフィルタ係数に基づいて、中心画素に対してフィルタリング処理を行った出力Ｘ（ｉ，ｊ）を得る。これにより、学習で蓄積された、劣化に応じたガイドの値を使うことができる。
　以上のように、図１４に示す構成例によれば、ガイド情報、劣化画像、及び理想画像との関係を規定するフィルタ係数を蓄積することで、劣化に応じて理想画像を得るための最適なフィルタ係数を使用することが可能となる。
　６．本実施形態で行われる処理について
　次に、本実施形態で行われる各処理について説明する。図１７は、図２に示した第１の構成例に係る処理を示すフローチャートである。先ず、ステップＳ１０では、カラー画像の撮像素子１２００による撮像を行い、クロマ信号を取得する。ステップＳ１２では、撮像により得られた信号に現像処理（デモザイク処理など）を行う。また、ステップＳ１４では、ステップＳ１０と並行して、白黒画像の撮像素子１１００による撮像を行い、白黒画像の輝度信号を取得する。ステップＳ１２，Ｓ１４の後はステップＳ１６，Ｓ１８へ進み、視差補正部１１０により白黒画像とカラー画像の位置ズレを補正し、両画像の視差を合わせるワープ処理を行う。具体的に、ステップＳ１６では、白黒画像とカラー画像の処理対象位置の視差ベクトルを求め、ステップＳ１８では、図２３Ａに示すように、処理対象位置の視差ベクトルに基づいて、参照画像から画素値を抽出する処理（ｍｏｔｉｏｎ　ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。この際、ベクトルが画素以下の精度を表す場合は、周囲の画素を使って補間した上で画素値を抽出する。補間方法は、バイリニア、バイキュービック、ランチョスなどを使用することができる。図２３Ｂは、バイリニア補間の例を示しており、周囲４点の画素を、補間位置と各画素との距離重みによりブレンドすることで、補間画素を生成する例を示している。なお、図２３Ａ、図２３Ｂにおいて、各正方形は画素を示している。
　次のステップＳ２０では、ＨＤＲ合成部１２０が、白黒画像の輝度信号を長畜画像とし、カラー画像の輝度信号を短畜画像として、両者をＨＤＲ合成する。次のステップＳ２２では、階調制御部１３０が、クロマ信号の階調を調整する。ステップＳ２２の後は処理を終了する。
　図１８は、図３に示した第２の構成例に係る処理を示すフローチャートである。ステップＳ１８までの処理は図１７と同様である。ステップＳ１８の後、ステップＳ２４では、階調制御部１３０が、白黒画像の輝度信号をガイド信号としてクロマ信号の階調を調整する。次のステップＳ２６では、ＨＤＲ合成部１２０が、入力されたカラーの長畜画像と短畜画像を用いて、ＨＤＲ合成を行う。
　図１９は、図６に示した階調制御部１３０による処理を示すフローチャートである。先ず、ステップＳ３０では、白黒画像の輝度信号が入力される。ステップＳ３２では上述したジョイントバイラテラル型のフィルタのＷｃｏｌｏｒ値を計算し、ステップＳ３４ではＷｓｐａｃｅ値を計算する。次のステップＳ３６ではクロマ信号が入力され、次のステップＳ３８では上述したジョイントバイラテラル型のフィルタ等を用いてフィルタリング処理が行われる。
　図２０は、図８に示した階調制御部１３０による処理を示すフローチャートである。先ず、ステップＳ４０では微分部１３４ｂにクロマ信号が入力され、ステップＳ４２では微分部１３４ｂによりクロマ信号の微分が行われる。また、ステップＳ４０，Ｓ４２と並行して、ステップＳ４４では微分部１３４ａに白黒画像の信号が入力され、ステップＳ４６では微分部１３４ａにより白黒画像の信号の微分が行われる。
　ステップＳ４２，Ｓ４６の後はステップＳ４８へ進み、差分算出部１３６によりクロマ信号と白黒画像の信号の差分値を求める。次のステップＳ５０では、マップ作成部１３８が図９に示すマップを作成する、次のステップＳ５２では階調復元部１３９にクロマ信号が入力され、ステップＳ５４では、クロマ信号に対してローパスフィルタ１３９ａによる処理が行われる。次のステップＳ５６では、ブレンド部１３９ｂにより、ローパスフィルタ１３９ａを適用していないクロマ画像（Ｉｍｇ２）とローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）がブレンドされる。ステップＳ５６の後は処理を終了する。
　図２１は、図８の階調復元部１３９による処理を示すフローチャートである。ステップＳ５０までの処理は図２０と同様である。ステップＳ５８では、フィルタ係数切換部１３９ｃがローパスフィルタ１３９ａのフィルタ係数を切り換える。ステップＳ６０では、ステップＳ５８で切り換えたフィルタ係数に基づいてフィルタリング処理を行う。ステップＳ６０の後は処理を終了する。
　図２２は、図１３に示した学習のフレームワークを使用して階調復元を行う場合の処理を示すフローチャートである。オフラインプロセスでは、ステップＳ７０において、理想画像が準備される。次のステップＳ７２では第１のカメラシミュレーション部３１０によるシミュレーションが行われ、次のステップＳ７４では第２のカメラシミュレーション部３１２によるシミュレーションが行われる。次のステップＳ７６では教師となる画素が取得され、次のステップＳ７８では生徒となる画素１，２が取得される。次のステップＳ８０では信号の分類が行われ、次のステップＳ８２では学習（誤差最小係数の算出）が行われる。ステップＳ８２の後は処理を終了する。
　オンライプロセスでは、ステップＳ９０においてクロマ信号が予測部３０４に入力され、ステップＳ９２において白黒画像の信号が分類部３００に入力される。これにより、ステップＳ９４において、クロマ信号、白黒画像の信号の画素値が取得される。ステップＳ９６では分類部３００によって信号が分類され、ステップＳ９８では予測部３０４によって学習データベース３０２から係数が取得される。次のステップＳ１００では、ステップＳ９８で取得した係数によりフィルタリングが行われる。ステップＳ１００の後は処理を終了する。
　８．本実施形態のバリエーションについて
　以下では、本実施形態のバリエーションについて説明する。上述した例では、白黒画像を撮像するカメラ（撮像素子１１００に対応）とカラー画像を撮像するカメラ（撮像素子１２００に対応）の２台を用いた例を示したが、３台以上のカメラを用いても良い。例えば、３台のカメラＡ、カメラＢ、カメラＣを用い、カメラＡ＜カメラＢ＜カメラＣの順で感度が良くなるものであっても良い。
　また、連写型のＨＤＲ合成との組み合わせを行っても良い。図２４に示すように、複数台のカメラのそれぞれで長畜画像、短畜画像に相当する露光差を有する撮像をすることで露光パターンを増やすことができる。図２４に示す例では、図１と同様に白黒画像の撮像素子１１００とカラー画像の撮像素子１２００の２つを用い、撮像素子１１００と撮像素子１２００のそれぞれで２通りの露光時間を用いた例を示している。図２４では、露光（１）＜露光（２）＜露光（３）＜露光（４）の順で画像が明るくなり、露光差を持たせることができる。この場合、露光時間差によってはボケ（被写体ブレ）が出るが、従来のＨＤＲよりも感度差の分だけ露光時間差を短縮することができるため、ボケの軽減効果を得ることが可能である。
　ボケをなくすためには、複数のカメラ間で露光時間差をつけない方が良いが、よりＨＤＲ効果を出すために露光時間差をつけても良い。図２５に示す例では、長畜画像に相当する白黒画像の撮像素子１１００による撮像の露光時間を図１よりも長くした例を示している。この場合、露光時間差によってはボケが生じる。しかし、カラー画像の撮像素子１２００を１つ用い、異なる時刻、異なる露光時間で短時間露光と長時間露光を順次に行ってＨＤＲ合成をする場合と比較すると、感度差の分だけ露光時間差を短縮することができるため、ボケの軽減効果を得ることができる。
　図２６は、ビームスプリッタ１３００を使用した例を示す模式図である。レンズ１４００から入射した被写体像はビームスプリッタ１３００で分離され、白黒画像の撮像素子１１０とカラー画像の撮像素子１２００で撮像される。複数のカメラを並べて配置した場合、上述のように視差が生じることになるが、ビームスプリッタ１３００のような、白黒画像とカラー画像の光軸を合わせる装置を使用しても良い。これにより、視差補正部１１０が不要となり、画像処理装置１０００の構成をより簡素にすることができる。
　図２７は、白黒画像の更なる高感度化を図るためにＩＲ（赤外線）カットフィルタを用いない例を示す模式図である。通常は赤外領域を遮断して使用するため、ＩＲカットフィルタを用いて図２７に示す遮断領域の光を遮断する。ＩＲカットフィルタを装着しないことで、より多くの光を撮像素子１１００に取り込むことができ、更なる高感度化を実現できる。ＩＲフラッシュまたは投光器を使用しないパッシブの状態で用いても良いが、ＩＲフラッシュまたは投光器を使用するアクティブでＩＲ（赤外線）カットフィルタを用いないことで、より明るい画像を撮影することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備える、画像処理装置。
（２）　前記階調制御部は、前記輝度信号をガイド情報として前記クロマ信号の階調を復元する階調復元フィルタから構成される、前記（１）に記載の画像処理装置。
（３）　前記階調復元フィルタは、白黒画像をガイドとして使用する非線形型のフィルタから構成される、前記（２）に記載の画像処理装置。
（４）　前記階調制御部は、
　前記輝度信号と前記クロマ信号の差分を算出する差分算出部と、
　前記差分に基づいて前記クロマ信号の階調を復元する階調復元部と、
　を有する、前記（１）に記載の画像処理装置。
（５）　前記階調復元部は、前記差分が大きい程、前記クロマ信号の周波数が低域となるように前記階調を復元する、前記（４）に記載の画像処理装置。
（６）　前記階調復元部は、
　前記クロマ信号の低周波成分を通過させるローパスフィルタと、
　前記クロマ信号と前記クロマ信号の低周波成分をブレンドするブレンド部を有し、
　前記ブレンド部は、前記差分が大きいほど前記低周波成分の比率を高めて前記クロマ信号と前記クロマ信号の低周波成分をブレンドする、前記（４）に記載の画像処理装置。
（７）　前記階調復元部は、
　前記クロマ信号の低周波成分を通過させるローパスフィルタと、
　前記差分が大きいほど前記ローパスフィルタの強度を高めるフィルタ強度切換部と、
　を有する、前記（４）に記載の画像処理装置。
（８）　前記階調制御部は、
　前記輝度信号と前記クロマ信号の差分を算出する差分算出部と、
　前記差分に応じたフィルタ係数をデータベースから取得し、前記フィルタ係数に応じたフィルタリング処理を前記クロマ信号に施すフィルタリング処理部と、
　を有し、
　前記データベースには、理想画像を白黒画像に変換して得られるガイド情報と、理想画像をカラー画像に変換して得られる劣化画像と、前記ガイド情報と前記劣化画像に基づいて前記理想画像を得るための前記フィルタ係数が学習により蓄積される、前記（１）に記載の画像処理装置。
（９）　前記白黒画像の前記輝度信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号とをＨＤＲ合成するＨＤＲ合成部を備える、前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）　前記階調制御部は、前記ＨＤＲ合成により得られたダイナミックレンジが拡大された輝度信号に基づいて前記クロマ信号の階調を復元する、前記（９）に記載の画像処理装置。
（１１）　前記白黒画像の前記輝度信号及び前記階調制御部により階調が制御された前記クロマ信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号及び前記クロマ信号とをＨＤＲ合成するＨＤＲ合成部を備える、前記（１）～（８）のいずれかに記載の画像処理装置。
（１２）　前記カラー画像のＲＧＢ信号を輝度信号及び前記クロマ信号に変換する変換部を備える、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）　前記白黒画像と前記カラー画像はそれぞれ別体の撮像素子で同時に撮像され、前記白黒画像と前記カラー画像の視差を補正する視差補正部を備える、前記（１）～（１２）のいずれかに記載の画像処理装置。
（１４）　前記白黒画像と前記カラー画像は、時間差を設けて前記被写体を撮像することにより得られる、前記（１）～（１２）のいずれかに記載の画像処理装置。
（１５）　被写体の白黒画像を撮像する第１の撮像素子と、
　前記被写体のカラー画像を撮像する第２の撮像素子と、
　前記白黒画像の輝度信号と、前記カラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する画像処理装置と、
　を備える、撮像装置。
（１６）　前記第１の撮像素子及び前記第２の撮像素子には赤外光カットフィルタが設けられていない、前記（１５）に記載の撮像装置。
　１００　　変換部
　１１０　　視差補正部
　１２０　　ＨＤＲ合成部
　１３０　　階調制御部
　１３２　　階調復元フィルタ
　１３６　　差分算出部
　１３９　　階調復元部
　１３９ａ　ローパスフィルタ
　１３９ｂ　ブレンド部
　１３９ｃ　フィルタ係数切換部
　１３９ｄ　ローパスフィルタ
　３０２　　学習ＤＢ
　３０４　　予測部
　１０００　画像処理装置
　１１００，１２００　　撮像素子

Claims (16)

  1. 　白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備える、画像処理装置。
  2. 　前記階調制御部は、前記輝度信号をガイド情報として前記クロマ信号の階調を復元する階調復元フィルタから構成される、請求項１に記載の画像処理装置。
  3. 　前記階調復元フィルタは、白黒画像をガイドとして使用する非線形型のフィルタから構成される、請求項２に記載の画像処理装置。
  4. 　前記階調制御部は、
    　前記輝度信号と前記クロマ信号の差分に基づいて前記クロマ信号の階調を復元する階調復元部と、
    　を有する、請求項１に記載の画像処理装置。
  5. 　前記階調復元部は、前記差分が大きい程、前記クロマ信号の周波数が低域となるように前記階調を復元する、請求項４に記載の画像処理装置。
  6. 　前記階調復元部は、
    　前記クロマ信号の低周波成分を通過させるローパスフィルタと、
    　前記クロマ信号と前記クロマ信号の低周波成分をブレンドするブレンド部を有し、
    　前記ブレンド部は、前記差分が大きいほど前記低周波成分の比率を高めて前記クロマ信号と前記クロマ信号の低周波成分をブレンドする、請求項４に記載の画像処理装置。
  7. 　前記階調復元部は、
    　前記クロマ信号の低周波成分を通過させるローパスフィルタと、
    　前記差分が大きいほど前記ローパスフィルタの強度を高めるフィルタ強度切換部と、
    　を有する、請求項４に記載の画像処理装置。
  8. 　前記階調制御部は、
    　前記輝度信号と前記クロマ信号の差分を算出する差分算出部と、
    　前記差分に応じたフィルタ係数をデータベースから取得し、前記フィルタ係数に応じたフィルタリング処理を前記クロマ信号に施すフィルタリング処理部と、
    　を有し、
    　前記データベースには、理想画像を白黒画像に変換して得られるガイド情報と、理想画像をカラー画像に変換して得られる劣化画像と、前記ガイド情報と前記劣化画像に基づいて前記理想画像を得るための前記フィルタ係数が学習により蓄積される、請求項１に記載の画像処理装置。
  9. 　前記白黒画像の前記輝度信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号とをＨＤＲ合成するＨＤＲ合成部を備える、請求項１に記載の画像処理装置。
  10. 　前記階調制御部は、前記ＨＤＲ合成により得られたダイナミックレンジが拡大された輝度信号に基づいて前記クロマ信号の階調を復元する、請求項９に記載の画像処理装置。
  11. 　前記白黒画像の前記輝度信号及び前記階調制御部により階調が制御された前記クロマ信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号及び前記クロマ信号とをＨＤＲ合成するＨＤＲ合成部を備える、請求項１に記載の画像処理装置。
  12. 　前記カラー画像のＲＧＢ信号を輝度信号及び前記クロマ信号に変換する変換部を備える、請求項１に記載の画像処理装置。
  13. 　前記白黒画像と前記カラー画像はそれぞれ別体の撮像素子で同時に撮像され、前記白黒画像と前記カラー画像の視差を補正する視差補正部を備える、請求項１に記載の画像処理装置。
  14. 　前記白黒画像と前記カラー画像は、時間差を設けて前記被写体を撮像することにより得られる、請求項１に記載の画像処理装置。
  15. 　被写体の白黒画像を撮像する第１の撮像素子と、
    　前記被写体のカラー画像を撮像する第２の撮像素子と、
    　前記白黒画像の輝度信号と、前記カラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する画像処理装置と、
    　を備える、撮像装置。
  16. 　前記第１の撮像素子及び前記第２の撮像素子には赤外光カットフィルタが設けられていない、請求項１５に記載の撮像装置。
PCT/JP2017/045616 2017-03-02 2017-12-20 画像処理装置及び撮像装置 WO2018159076A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780087389.XA CN110326288B (zh) 2017-03-02 2017-12-20 图像处理设备以及成像设备
JP2019502472A JP7136077B2 (ja) 2017-03-02 2017-12-20 画像処理装置及び撮像装置
DE112017007165.8T DE112017007165T5 (de) 2017-03-02 2017-12-20 Bildverarbeitungsvorrichtung und abbildungsvorrichtung
US16/483,551 US10827155B2 (en) 2017-03-02 2017-12-20 Image processing apparatus and imaging apparatus for restoring a gradation of a chroma signal using a brightness signal as guide information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-039265 2017-03-02
JP2017039265 2017-03-02

Publications (1)

Publication Number Publication Date
WO2018159076A1 true WO2018159076A1 (ja) 2018-09-07

Family

ID=63369907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045616 WO2018159076A1 (ja) 2017-03-02 2017-12-20 画像処理装置及び撮像装置

Country Status (5)

Country Link
US (1) US10827155B2 (ja)
JP (1) JP7136077B2 (ja)
CN (1) CN110326288B (ja)
DE (1) DE112017007165T5 (ja)
WO (1) WO2018159076A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102412591B1 (ko) * 2017-12-21 2022-06-24 삼성전자주식회사 다른 노출값을 갖는 복수의 영상들을 이용하여 합성 영상을 생성하는 방법 및 이를 지원하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328534A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 画像形成方法、画像処理装置及び画像記録装置
JP2009065691A (ja) * 2008-10-09 2009-03-26 Olympus Corp 画像処理装置、記録媒体及び画像処理プログラム
JP2012005057A (ja) * 2010-06-21 2012-01-05 Olympus Corp 撮像装置
JP2012147052A (ja) * 2011-01-06 2012-08-02 Olympus Corp 画像処理装置、画像処理プログラム、及び、画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
JP2002171430A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
JP2003101867A (ja) 2001-09-19 2003-04-04 Olympus Optical Co Ltd 撮像装置
JP2007266955A (ja) * 2006-03-28 2007-10-11 Sony Corp 撮像装置、映像信号処理回路、映像信号処理方法、並びにコンピュータプログラム
JP2009210817A (ja) 2008-03-04 2009-09-17 Panasonic Corp 撮像装置
JP2009022044A (ja) * 2008-10-09 2009-01-29 Olympus Corp 画像処理装置及び画像処理プログラム
JP5655335B2 (ja) 2010-03-25 2015-01-21 株式会社ニコン 画像処理装置、画像表示装置およびプログラム
CN101860655B (zh) * 2010-07-02 2012-04-25 上海交通大学 基于双边滤波器的黑白图像彩色化方法
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
US9443335B2 (en) * 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
JP2015154153A (ja) 2014-02-12 2015-08-24 リコーイメージング株式会社 撮像装置を備えたカメラ
CN105578063B (zh) * 2015-07-14 2018-04-10 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法和终端
CN105827990B (zh) * 2016-01-22 2018-12-04 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106447641A (zh) * 2016-08-29 2017-02-22 努比亚技术有限公司 图像生成装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328534A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 画像形成方法、画像処理装置及び画像記録装置
JP2009065691A (ja) * 2008-10-09 2009-03-26 Olympus Corp 画像処理装置、記録媒体及び画像処理プログラム
JP2012005057A (ja) * 2010-06-21 2012-01-05 Olympus Corp 撮像装置
JP2012147052A (ja) * 2011-01-06 2012-08-02 Olympus Corp 画像処理装置、画像処理プログラム、及び、画像処理方法

Also Published As

Publication number Publication date
JPWO2018159076A1 (ja) 2019-12-19
US10827155B2 (en) 2020-11-03
DE112017007165T5 (de) 2019-11-14
CN110326288B (zh) 2021-07-06
JP7136077B2 (ja) 2022-09-13
CN110326288A (zh) 2019-10-11
US20200029060A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
RU2338330C2 (ru) Устройство обработки изображения, способ обработки изображения и компьютерная программа
KR101263888B1 (ko) 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
KR101549529B1 (ko) 촬상장치, 그 제어 방법, 및 기록 매체
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
US9350905B2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
WO2007058126A1 (ja) 画像処理システム、画像処理プログラム
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
JP5468930B2 (ja) 画像処理装置及び画像処理プログラム
JP2011041056A (ja) 撮像装置及び撮像方法
US9860456B1 (en) Bayer-clear image fusion for dual camera
US8390693B2 (en) Image processing apparatus
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
WO2018159076A1 (ja) 画像処理装置及び撮像装置
JP2001238129A (ja) 画像処理装置、記録媒体
EP4167134A1 (en) System and method for maximizing inference accuracy using recaptured datasets
JP2007336386A (ja) 撮像装置及び撮像方法
CN107979715B (zh) 摄像装置
JP2012134745A (ja) 画像信号処理装置
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP2009065691A (ja) 画像処理装置、記録媒体及び画像処理プログラム
JP2020136928A (ja) 画像処理装置、画像処理方法、およびプログラム
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6994119B2 (ja) 撮像装置および焦点制御方法
CN110166716B (zh) 图像处理设备和图像处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898455

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502472

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17898455

Country of ref document: EP

Kind code of ref document: A1