WO2020050289A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2020050289A1
WO2020050289A1 PCT/JP2019/034673 JP2019034673W WO2020050289A1 WO 2020050289 A1 WO2020050289 A1 WO 2020050289A1 JP 2019034673 W JP2019034673 W JP 2019034673W WO 2020050289 A1 WO2020050289 A1 WO 2020050289A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
signal
image signal
pixels
Prior art date
Application number
PCT/JP2019/034673
Other languages
English (en)
French (fr)
Inventor
健太郎 岡村
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/250,744 priority Critical patent/US11847759B2/en
Publication of WO2020050289A1 publication Critical patent/WO2020050289A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing program.
  • An image sensor used in an image pickup apparatus such as a digital camera has a configuration in which color filters of, for example, R (red), G (green), and B (blue) are mounted, and light of a specific wavelength enters each pixel. Has become.
  • color filters for example, R (red), G (green), and B (blue) are mounted, and light of a specific wavelength enters each pixel.
  • two G color filters and one R color filter and one B color filter are arranged in an array of 2 ⁇ 2 pixels such that filters of the same color are not adjacent to each other. Bayer arrangements are often used.
  • a color filter array different from the Bayer array has been proposed.
  • a color filter array different from the Bayer array a color filter array in which each pixel of the Bayer array is divided into four pixels of 2 ⁇ 2 pixels is known (for example, Patent Document 1). This arrangement is referred to as a four-way Bayer type RGB arrangement.
  • the signal processing circuit of the image pickup apparatus is premised on a picked-up image of a pixel array in a Bayer array. Therefore, when the arrangement of the color filters mounted on the image sensor is different from the Bayer array, the pixel array of the image output from the image sensor is converted into a pixel array based on the Bayer array and input to the signal processing circuit. Can be applied to a pixel array different from the Bayer array. The process of converting a pixel array of a captured image into a different pixel array in this manner is called re-mosaic processing.
  • the existing re-mosaic process interpolates the pixel values of the pixels of G color (hereinafter, G pixels) along each direction to create an entire G image signal that is regarded as an entire G pixel.
  • G pixels the pixel value of the entire G image signal is used as it is.
  • the conversion destination pixel is other than the G pixel, for example, the R pixel, the pixel value of the R pixel is estimated based on the pixel value of the entire G image signal and the pixel value of the R pixel. The same applies to the case where the conversion destination pixel is a B pixel.
  • a micro lens OCL: On Chip Lense
  • OCL On Chip Lense
  • a phase shift between pixel signals of the plurality of pixels and a position shift of the microlens due to one light beam being incident on the plurality of pixels is included in the pixel signal of the G pixel.
  • the pixel values of the R pixel and the B pixel are calculated using the pixel values of the G pixel, the pixel values of the R pixel and the B pixel also include these phase shifts and sensitivity differences. Will be. For this reason, an image signal obtained by re-mosaicing a pixel signal based on the four-segment Bayer RGB array may have an artifact due to a phase difference or a sensitivity difference.
  • the present disclosure has an object to provide an image processing device, an image processing method, and an image processing program capable of executing a process of converting a pixel array into a different pixel array with high quality.
  • an image processing device includes an image signal processing unit that performs signal processing on a pixel signal in an input image, and the image signal processing unit uses one lens as an input image.
  • a mosaic image in which pixel blocks composed of a plurality of same-color pixels are arranged is input, and interpolation processing is performed on the entire input image based on pixel signals of pixels of a predetermined color included in the input image.
  • a first image signal based on the input image including a difference based on the relative position of the pixel of interest with respect to the lens, and generating a second image signal having a lower resolution than the first image signal; Based on a component obtained by subtracting the second image signal from the image signal of (i), a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
  • FIG. 1 is a diagram illustrating a basic configuration of an image processing apparatus according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of an array of pixels applicable to the embodiment. It is a figure showing the example of a Bayer arrangement.
  • FIG. 3 is a diagram illustrating an example of mounting a microlens on an image sensor according to the embodiment.
  • FIG. 4 is a diagram schematically illustrating an example in which a phase difference occurs in a plurality of pixels sharing a microlens.
  • FIG. 3 is a diagram schematically illustrating a state in which the center of a microlens is shifted from the center of a pixel block.
  • FIG. 2 is a block diagram illustrating a hardware configuration of an example of an imaging apparatus applicable to the embodiment.
  • FIG. 1 is a diagram illustrating a basic configuration of an image processing apparatus according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of an array of pixels applicable to the embodiment. It is a figure showing the example of
  • FIG. 2 is a diagram illustrating a configuration of an example of an imaging unit applicable to the embodiment.
  • FIG. 2 is a functional block diagram illustrating an example of a function of an imaging device serving as an image processing device according to the embodiment;
  • FIG. 3 is a functional block diagram for explaining functions of an image signal processing unit according to the embodiment.
  • FIG. 9 is a diagram for explaining detection of a gradient between pixels of the same color.
  • FIG. 4 is a diagram for describing detection of a gradient between pixels of different colors.
  • FIG. 3 is a diagram schematically illustrating a state in which pixel values of R pixels and B pixels of an input image signal are replaced according to a gain.
  • FIG. 7 is a diagram illustrating an example of a gradient calculation direction applicable to the embodiment.
  • FIG. 7 is a diagram illustrating an example of a gradient calculation direction applicable to the embodiment. It is a figure showing an example of a gradient calculation processing of a horizontal direction (H). It is a figure which shows the example of a gradient calculation process of the upper right 45 degree direction (A). It is a figure which shows the example of the gradient calculation process of the upper right 22.5 degree direction (A2). It is a figure which shows the example of a gradient calculation process of the upper right 67.5 degree direction (A3). It is a figure showing an example which performs interpolation processing along a horizontal direction (H).
  • FIG. 6 is a diagram for describing interpolation processing in a direction along a horizontal direction (H) according to the embodiment.
  • FIG. 4 is a diagram for describing processing by a first LPF.
  • FIG. 4 is a diagram for describing a filter applied to a first LPF.
  • 6 is a flowchart illustrating an example of a re-mosaic process according to the embodiment.
  • FIG. 11 is a functional block diagram illustrating an example of a function of an image signal processing unit according to a first modification of the embodiment.
  • FIG. 11 is a diagram illustrating an example of a basic configuration of an imaging device according to a second modification of the embodiment.
  • FIG. 14 is a diagram illustrating an example of a basic configuration of an imaging device according to a third modification of the embodiment.
  • FIG. 3 is a diagram illustrating an example of a pixel block in which 3 pixels ⁇ 3 pixels are arranged in a grid.
  • FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
  • FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
  • FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
  • FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
  • FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
  • FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid. It is a figure showing an example of the schematic structure of an endoscope operation system.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of a camera head and a CCU. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a diagram illustrating a basic configuration of the image processing apparatus according to the embodiment.
  • an imaging apparatus 1 as an image processing apparatus according to an embodiment performs re-mosaic processing 11 on an image signal obtained by performing imaging by an imaging system 10, and performs processing on an image signal on which re-mosaic processing 11 has been performed.
  • the imaging system 10 includes an image sensor in which a plurality of pixels for converting received light into electric signals are arranged in an array, an AD (Analog to Digital) conversion and a noise removal for an image signal output from the image sensor. And a signal processing circuit that performs gain adjustment and the like.
  • the image sensor is provided with a color filter and a micro lens for each pixel.
  • FIG. 2 is a diagram illustrating an example of an array of pixels applicable to the embodiment.
  • the pixel array is shown as an array of a red color filter 21R, a green color filter 21G, and a blue color filter 21B.
  • the pixels on which the color filters 21R, 21G, and 21B are mounted are referred to as R pixels, G pixels, and B pixels, respectively.
  • the pixel array according to the embodiment is a unit of a pixel block in which 2 ⁇ 2 pixels of the same color are arranged in a lattice, and each pixel block of R, G, and B pixels. Are arranged in a pixel array 20 according to a Bayer array.
  • a pixel array 20 is referred to as a four-segment Bayer type RGB array unless otherwise specified.
  • each pixel block including R pixels, G pixels, and B pixels has a ratio of 1: 2: 1 of the number of R pixels, G pixels, and B pixels, and Pixel blocks of the same color are arranged in a 2 ⁇ 2 lattice so that they are not adjacent to each other.
  • a pixel block of G pixels is arranged on the right and below the pixel block of R pixels
  • a pixel block of B pixels is arranged on the diagonal of the pixel block of R pixels.
  • the peri-mosaic processing 11 converts the pixel signal array based on the four-divided Bayer type RGB array into the Bayer array illustrated in FIG. 3 and generates a mosaic image based on the Bayer array.
  • FIG. 3 is a diagram illustrating an example of a Bayer array.
  • the Bayer array 30 includes two G pixels, one R pixel and one B pixel, and these four pixels are arranged in a 2 ⁇ 2 pixel grid so that the G pixels are not adjacent to each other. It is arranged and arranged.
  • the image signal converted into the Bayer array 30 by the peri-mosaic processing 11 is subjected to, for example, demosaic processing by the output processing 12, and the luminance information of each of the R, G, and B colors is included in each pixel position.
  • FIG. 4 is a diagram illustrating an example of mounting a microlens on an image sensor according to the embodiment.
  • one microlens 40 is mounted on a pixel block of 2 ⁇ 2 pixels in a four-segment Bayer type RGB array.
  • one micro lens 40 is commonly arranged for four pixels included in the pixel block.
  • the micro lens 40 is formed as an on-chip lens (OCL), and improves the light collection efficiency when the light incident on the pixel is collected on the light receiving element.
  • OCL on-chip lens
  • FIG. 5 is a diagram schematically illustrating an example in which a phase difference occurs in a plurality of pixels sharing the microlens 40.
  • FIG. FIG. 5 shows a cross section of the pixel block parallel to the light incident direction. Light incident on the pixel via the micro lens 40 is applied to each light receiving element 22 via the color filter 21.
  • the focal point 23a of the microlens 40 is at the boundary between the light receiving elements 22, and the light receiving surface of each light receiving element 22 is on the same plane as the focal point 23a.
  • a phase difference is generated based on the difference between the positions of the light receiving positions 23b and 23c where each light receiving element 22 receives light from the microlens 40.
  • the microlenses 40 may be displaced from an ideal position due to the influence of a manufacturing error or the like. In this case, a difference occurs in the amount of light received by a plurality of pixels included in the pixel block, and this difference appears as a sensitivity difference within the same color.
  • FIG. 6 is a diagram schematically illustrating a state in which the center of the micro lens 40 is shifted from the center of the pixel block.
  • the microlenses 40 are arranged to be shifted to the right with respect to each light receiving element 22, and the focal point 23a of the microlenses 40 is also shifted to the right.
  • the light receiving position 23b 'of the left light receiving element 22 in FIG. 6 with the light receiving position 23c' of the right light receiving element 22, the light receiving position 23c 'has a larger amount of received light than the light receiving position 23b'.
  • the difference in the amount of received light due to the displacement of the microlens 40 is the difference in sensitivity between the two light receiving elements 22.
  • FIG. 7 is a block diagram illustrating a hardware configuration of an example of an imaging device applicable to the embodiment.
  • an imaging apparatus 1 includes a CPU (Central Processing Unit) 1000, a ROM (Read Only Memory) 1001, a RAM (Random Access Memory) 1002, an imaging unit 1003, 1004, a data I / F 1005, an operation unit 1006, and a display control unit 1007.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an imaging unit 1003, 1004 a data I / F 1005, an operation unit 1006, and a display control unit 1007.
  • the CPU 1000 controls the entire operation of the imaging apparatus 1 using the RAM 1002 as a work memory according to a program stored in the ROM 1001 in advance.
  • the imaging unit 1003 corresponds to the imaging system 10 in FIG. 1, performs imaging, and outputs an image signal based on a captured image.
  • the image signal output from the imaging unit 1003 is stored in the RAM 1002.
  • the storage 1004 is, for example, a flash memory, and can transfer, store, and accumulate an image signal based on a captured image stored in the RAM 1002. Further, the storage 1004 can also store a program for operating the CPU 1000. Furthermore, the storage 1004 is not limited to the configuration built in the imaging device 1, and may be configured to be detachable from the imaging device 1.
  • the data I / F 1005 is an interface through which the imaging device 1 transmits and receives data to and from an external device.
  • USB Universal Serial Bus
  • the data I / F 1005 an interface for performing short-range wireless communication such as Bluetooth (registered trademark) can be applied.
  • the operation unit 1006 accepts a user operation on the imaging device 1.
  • the operation unit 1006 includes operators such as dials and buttons as input devices for receiving user input.
  • the operation unit 1006 may include, as an input device, a touch panel that outputs a signal corresponding to a contact position.
  • the display control unit 1007 generates a display signal that can be displayed on the display 1008 based on the display control signal passed by the CPU 1000.
  • the display 1008 uses, for example, an LCD (Liquid Crystal Display) as a display device, and displays a screen according to a display signal generated by the display control unit 1007.
  • LCD Liquid Crystal Display
  • FIG. 8 is a diagram illustrating a configuration of an example of the imaging unit 1003 applicable to the embodiment.
  • the imaging unit 1003 includes an optical system 1010, an imaging element 1011, a signal processing unit 1012, and a driving unit 1013.
  • the optical system 1010 includes one or more lenses, an autofocus mechanism, an aperture mechanism, and the like.
  • the imaging element 1011 is configured by arranging pixels including a light receiving element 22, a color filter 21, and a microlens 40 in an array.
  • the array of the color filters 21 is a pixel array 20 of a four-segment Bayer type RGB array in which a pixel block in which pixels of the same color are arranged in a lattice of 2 ⁇ 2 pixels as a unit.
  • the signal processing unit 1012 performs signal processing such as AD conversion, noise removal, gain adjustment, and white balance processing on the signal output from the image sensor 1011, and outputs an image signal based on the output of the image sensor 1011.
  • the drive unit 1013 drives the optical system 1010 (autofocus mechanism, aperture mechanism, etc.), the image sensor 1011 and the signal processing unit 1012 according to an instruction from the CPU 1000, for example.
  • FIG. 9 is a functional block diagram illustrating an example of a function of the imaging apparatus 1 as an image processing apparatus according to the embodiment.
  • the imaging device 1 includes an imaging unit 100, an image processing unit 101, and an output unit 102.
  • the image processing unit 101 includes an image signal processing unit 110 and an RGB signal processing unit 111.
  • the imaging unit 100 corresponds to the imaging unit 1003 described above, performs imaging with the imaging element 1011, and outputs an image signal based on a captured image obtained by imaging.
  • the image processing unit 101 performs re-mosaic processing 11 on the image signal of the 4-split Bayer type RGB array output from the imaging unit 100 by the image signal processing unit 110 to convert the pixel array into the Bayer array 30.
  • the RGB signal processing unit 111 performs demosaic processing on the image signal whose pixel array has been converted into the Bayer array 30 by the image signal processing unit 110, and each pixel has luminance information of each of the R, G, and B colors. Convert to image signal.
  • the output unit 102 outputs, for example, the image signal output by the image processing unit 101 as image data in a predetermined format.
  • the image data output from the output unit 102 is stored in the storage 1004, for example.
  • FIG. 10 is a functional block diagram for explaining functions of the image signal processing unit 110 according to the embodiment.
  • an image signal processing unit 110 includes an LCB (Local Color Balance) unit 200, a direction determination unit 201, a G interpolation unit 202, a first LPF (Low Pass Filter) 203, a second LPF 204, and a color conversion process.
  • Unit 205 The LCB unit 200, the direction determination unit 201, the G interpolation unit 202, the first LPF 203, the second LPF 204, and the color conversion processing unit 205 are realized by, for example, executing an image processing program according to the embodiment on the CPU 1000.
  • the LCB unit 200, the direction determination unit 201, the G interpolation unit 202, the first LPF 203, the second LPF 204, and the color conversion processing unit 205 may be configured to operate, for example, a part or all of the CPU 1000 in cooperation with each other. It may be constituted by a circuit.
  • a program for realizing each function according to the embodiment in the imaging apparatus 1 is a file in an installable format or an executable format in a CD (Compact @ Disk), a flexible disk (FD), and a DVD. (Digital Versatile Disk) and provided on a computer-readable recording medium.
  • the program may be stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.
  • the program has a module configuration including an LCB unit 200, a direction determination unit 201, a G interpolation unit 202, a first LPF 203, a second LPF 204, and a color conversion processing unit 205.
  • the CPU 1000 reads out the program from a storage medium such as the ROM 1001 or the storage 1004 and executes the program to thereby execute the above-described units (the LCB unit 200, the direction determination unit 201, the G interpolation unit 202, the first LPF 203, The 2LPF 204 and the color conversion processing unit 205) are generated on the main storage device.
  • the image signal having the pixel array of the four-segment Bayer type RGB array output from the imaging unit 100 is input to the image signal processing unit 110 as an input image signal.
  • the input image signal is input to the LCB unit 200, the G interpolation unit 202, and the second LPF 204, respectively.
  • the LCB unit 200 calculates the color balance of each pixel included in the local region of the input image signal.
  • the local region has a size similar to the size (5 pixels ⁇ 5 pixels, 6 pixels ⁇ 6 pixels, 7 pixels ⁇ 7 pixels, etc.) for obtaining a gradient (gradient) of pixel values in a direction determination unit 201 described later.
  • it is a region.
  • the LCB unit 200 performs color balance adjustment (for example, white balance adjustment) based on the pixel values of the R, G, and B pixels included in the local region, and obtains an R color gain lbc_gain_r for the G color, a B color gain lbc_gain_b, Ask for.
  • the LCB unit 200 passes the input image signal and the gains lbc_gain_r and lbc_gain_b of the R and B colors to the direction determination unit 201.
  • the direction determination unit 201 determines a direction used by a G interpolation unit 202 described later based on the input image signal (details will be described later). The direction determination unit 201 passes the input image signal and information indicating the determined direction to the G interpolation unit 202.
  • the G interpolation unit 202 performs an interpolation process over the entire surface of the input image signal along the direction passed from the direction determination unit 201 based on the G pixels included in the input image signal (referred to as an overall G interpolation process as appropriate). I do. That is, the image signal output from the G interpolation unit 202 (referred to as an entire G image signal) is a high-resolution image signal including a phase difference and a sensitivity difference in an image block of a G image.
  • the G interpolation unit 202 passes the entire G image signal subjected to the entire G interpolation process to the first LPF 203 and the color conversion processing unit 205.
  • the first LPF 203 applies a low-pass filter to pixels at positions corresponding to pixel positions (R pixels and B pixels) other than G pixels in the input image signal, which are included in the entire G image signal passed from the G interpolation unit 202. Processing (referred to as first low-pass filter processing) is performed (details will be described later).
  • the image signal output from the first LPF 203 is a low-resolution image signal having a lower resolution than the entire G image signal and including a phase difference and a sensitivity difference in an image block based on the G image.
  • the image signal output from the first LPF 203 is called a low-resolution image signal mG_xtalk.
  • the low-resolution image signal mG_xtalk obtained by performing the first low-pass filtering on the entire G image signal in the first LPF 203 is passed to the color conversion processing unit 205.
  • the second LPF 204 performs a low-pass filter process (referred to as a second low-pass filter process) on the input image signal for each pixel of each of R, G, and B to form a low-resolution image by each of the R pixel, the B pixel, and the G pixel. Generate.
  • the image signals on which the R, G, and B pixels have been subjected to the second low-pass filtering by the second LPF 204 are referred to as low-resolution image signals mR, mG, and mB, respectively.
  • the low-resolution image signals mR, mG, and mB are passed to the color conversion processing unit 205, respectively.
  • the color conversion processing unit 205 converts the entire G image signal passed from the G interpolation unit 202, the low resolution image signal mG_xtalk passed from the first LPF 203, and the low resolution image signals mR, mG, and mB passed from the second LPF 204. And a color correlation interpolation process is performed to generate pixel values R out , G out, and B out at the positions of the R, G, and B pixels in the Bayer array 30 (details will be described later). The color conversion processing unit 205 passes the generated pixel values R out , G out, and B out to the RGB signal processing unit 111.
  • the direction determination unit 201 detects the inclination (gradient) of the pixel value at the position of the target pixel in each direction, and determines the direction in which the detected gradient is the smallest.
  • the direction determination unit 201 includes a gradient between pixels of the same color (a gradient between same colors) as shown in FIG. 11, a gradient between pixels of different colors (a gradient between different colors) as shown in FIG. Is detected.
  • the horizontal direction of the drawing is the x direction
  • the vertical direction is the y direction
  • the pixel at the origin is the R pixel at the coordinates (0, 0) and is described as pixel (0, 0).
  • the G pixels (0, 2) and (1, 2), the G pixels (4, 2) and (5, 2), and the G pixel (0, 3) are arranged along the x direction. ) And (1, 3), and gradients are detected for each set of G pixels (4, 3) and (5, 3) of the same color. Further, for the B pixels, gradients are detected for the B pixels (2, 2) and (3, 2) and for each set of the same colors of the B pixels (2, 3) and (3, 3).
  • the detection of the same color gradient is the calculation of the gradient between pixels having the same sensitivity.
  • the detection of the gradient between different colors is a gradient calculation between pixels having different sensitivities, and a gradient depending on the sensitivity difference for each color of the pixel is calculated.
  • the direction determination unit 201 multiplies the pixel value of the R pixel included in the input image signal by the gain lbc_gain_r of the R color detected by the LCB unit 200 as shown in Expression (1), and obtains a gradient.
  • the pixel value R ′ used for the calculation is calculated.
  • the direction determination unit 201 multiplies the pixel value of the B pixel included in the input image signal by the gain lbc_gain_b of the B color detected by the LCB unit 200 as shown in Expression (2), The pixel value B ′ used for the gradient calculation is calculated.
  • FIG. 13 is a diagram schematically illustrating a state in which the pixel values of the R pixel and the B pixel of the input image signal are replaced with pixel values R ′ and B ′ calculated according to Expressions (1) and (2). It can be seen that the pixel values of the R pixel and the B pixel are replaced with the pixel value R 'and the pixel value B', respectively, and the sensitivity difference between the R pixel and the B pixel and the G pixel is suppressed. As described above, by adjusting the sensitivities of the R pixels and the B pixels to the sensitivities of the G pixels, the accuracy of calculating the gradient between different colors can be improved.
  • the direction determining process of the direction determining unit 201 applicable to the embodiment will be described in more detail.
  • the direction determination unit 201 calculates gradients in a plurality of directions in the local region.
  • 14 and 15 are diagrams illustrating examples of gradient calculation directions applicable to the embodiment.
  • the size of the local region is 6 pixels ⁇ 6 pixels.
  • the direction determination unit 201 calculates gradients along four directions: a horizontal direction (H), a vertical direction (V), an upper right 45 ° direction (A), and a lower right 45 ° direction (D). I do. Further, as illustrated in FIG. 15, the direction determination unit 201 determines the upper right 22.5 ° direction (A2), the upper right 67.5 ° direction (A3), the lower right 22.5 ° direction (D2), and the lower right 67 Gradient calculation is performed along four directions of the 5 ° direction (D3). That is, in the embodiment, the direction determination unit 201 performs the gradient calculation along eight directions having different angles by 22.5 °.
  • FIG. 16 is a diagram illustrating an example of the horizontal direction (H) gradient calculation processing corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
  • I (x, y) is a pixel value at the position of the coordinates (x, y).
  • abs () indicates an absolute value.
  • the gradient in the horizontal direction (H) is calculated based on the following values.
  • the values a H , b H and c H are weighting factors defined in advance.
  • the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors described above it is desirable to a H> b H.
  • a wrong direction is determined near 1 / 2Nq (Nyquist frequency)
  • c H is set in order to sufficiently suppress erroneous determination in this region.
  • the gradient in the vertical direction (V) is calculated based on the following values.
  • the gradient in the vertical direction (V) corresponding to the coordinate position (2, 2) of 6 pixels ⁇ 6 pixels shown in FIG. 16, that is, gradV (2, 2) is the coordinates in the above-described equation (3).
  • the position is calculated by an equation changed corresponding to the vertical direction.
  • FIG. 17 is a diagram illustrating an example of a gradient calculation process in the upper right 45 ° direction (A) corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
  • the gradient in the upper right 45 ° direction (A) is calculated based on the following values.
  • -Gradient in the upper right 45 ° direction (A) of the middle frequency component gradA_mid -Gradient in the upper right 45 ° direction (A) of the low frequency component: gradA_low -High-frequency component gradient in the upper right 45 ° direction (A): gradA_high
  • the gradient in the upper right 45 ° direction (A) corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 17, that is, gradA (2, 2) is calculated according to the following equation (4).
  • the values a A , b A, and c A are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors in Equation (4) is a A, it is preferable that the b A> c A.
  • the gradient in the lower right 45 ° direction (D) corresponding to the coordinate position (2, 2) of 6 pixels ⁇ 6 pixels shown in FIG. 17, that is, gradD (2, 2) is obtained by the above equation (4). Is calculated by an equation in which each coordinate position in is changed corresponding to the lower right 45 ° direction.
  • FIG. 18 is a diagram illustrating an example of a gradient calculation process in the upper right 22.5 ° direction (A2) corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
  • the gradient in the upper right 22.5 ° direction (A2) is calculated based on the following values.
  • a gradient in the upper right 22.5 ° direction (A2) corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 18, that is, gradA2 (2, 2) is calculated according to the following equation (5). .
  • the values a A2 and b A2 are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors in Equation (5) is preferably set to a A2> b A2.
  • FIG. 19 is a diagram illustrating an example of a gradient calculation process in the upper right 67.5 ° direction (A3) corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
  • the gradient in the upper right 67.5 ° direction (A3) is calculated based on the following values.
  • the gradient in the upper right 67.5 ° direction (A3) corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 19, that is, gradA3 (2, 2) is calculated according to the following equation (6). .
  • the values a A3 and b A3 are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors in Equation (6) is preferably set to a A3> b A3.
  • Each coordinate position in 6) is calculated by a formula changed corresponding to the lower right direction of 67.5 °.
  • the direction determination unit 201 determines the direction in which the minimum gradient is calculated among the gradients calculated for the eight directions as described above, and outputs information indicating the determined direction to the input image signal that is the determination target. To the G interpolation unit 202.
  • the G interpolation unit 202 performs an entire G interpolation process on the input image signal along the direction passed from the direction determination unit 201 based on the pixel value of the G pixel. At this time, the G interpolation unit 202 performs an interpolation process on the pixel block including the R pixels and the pixel block including the B pixels so that the phase difference between the pixels included in the pixel block remains.
  • FIG. 20 is a diagram illustrating an example in which interpolation processing is performed along the horizontal direction (H) using the pixel values of G pixels for each phase in the pixel block of B pixels.
  • the G pixel interpolation for the four phases (pixels B 0 , B 1 , B 2, and B 3 ) in the pixel block of B pixels is performed using the target pixel position and the G pixels (G 10 to G 13 , G 20 to G) used for the interpolation.
  • the following equations (7) to (10) are used.
  • B 0 (2 ⁇ G 11 + 1 ⁇ G 20 ) / 3 (7)
  • B 1 (2 ⁇ G 20 + 1 ⁇ G 11 ) / 3 (8)
  • B 2 (2 ⁇ G 13 + 1 ⁇ G 22 ) / 3 (9)
  • B 3 (2 ⁇ G 22 + 1 ⁇ G 13 ) / 3 (10)
  • FIG. 21 is a diagram for describing interpolation processing in a direction along the horizontal direction (H) according to the embodiment.
  • H indicates a high (High) pixel value
  • L indicates a low (Low) pixel value with respect to the pixel of (H).
  • pixel G 10 and G 12 and a high pixel value of the pixel G 20 and G 22 (H)
  • pixels G 11 and G 13 and has a low pixel value of the pixel G 21 and G 23 (L).
  • the level of these pixel values is caused, for example, by the sensitivity difference / phase difference of each pixel in the pixel block.
  • the pixel value of the pixel in the left column is high and the pixel value of the pixel in the right column is low. This is because, in each pixel block of G pixels, the sensitivity of the pixels in the left column is higher than the sensitivity of the pixels in the right column, or a phase difference occurs between the pixels in the left column and the pixels in the right column.
  • the sensitivity difference / phase difference between the pixels B 0 and B 1 is obtained by the following equations (11) and (12).
  • B 0 (2 ⁇ G 11 (L) + 1 ⁇ G 20 (H)) / 3
  • B 1 (2 ⁇ G 20 (H) + 1 ⁇ G 11 (L)) / 3
  • the sensitivity difference / phase difference can be obtained by applying the above-described equations (11) and (12) in the same manner.
  • FIG. 22 is a diagram for describing the interpolation processing along the vertical direction (V) according to the embodiment. In FIG. 22, it is assumed that the pixels G 30 to G 33 and G 40 to G 43 of the G pixel block above and below the B pixel block have a sensitivity difference / phase difference in the row direction.
  • the sensitivity difference / phase difference between the pixels B 0 and B 1 is obtained by the following equations (13) and (14).
  • B 0 (2 ⁇ G 32 (L) + 1 ⁇ G 40 (H)) / 3 (13)
  • B 1 (2 ⁇ G 33 (H) + 1 ⁇ G 41 (L)) / 3 (14)
  • the sensitivity difference / phase difference can be obtained by applying the above-described equations (13) and (14) in the same manner.
  • the G pixel interpolated over the entire surface of the input image signal as described above has a sensitivity difference / phase difference that tends to be different for each phase in the pixel block. Further, the tendency depends on the direction of interpolation by the G pixels.
  • the G interpolation unit 202 performs the interpolation process for generating the entire G image signal according to the directions determined by the direction determination unit 201 from eight directions.
  • FIG. 23 is a diagram illustrating an example of interpolation processing along each direction. In FIG. 23, attention is paid to the position of the B pixel at the coordinates (2, 2).
  • the direction determined by the direction determination unit 201 is the H (horizontal) direction or the V (vertical) direction
  • the process is the same as that in FIG. 21 or FIG. 22 described above.
  • the determined direction is the direction A (upper right 45 °)
  • the interpolation processing is performed in the direction connecting the coordinates (3, 1), (2, 2), and (1, 3).
  • the direction D (lower right 45 °), the direction A2 (upper right 22.5 °), the direction D2 (lower right 22.5 °), the direction A3 (upper right 67.5 °), and the direction D3 (lower right 67.5 °).
  • the direction ()) there is no neighboring G pixel aligned on a straight line with respect to the B pixel at the coordinates (2, 2). Therefore, two sets of G pixels satisfying the angle condition are selected, an interpolation value at a position corresponding to the target position is calculated for each of the two sets, and the target position is determined based on the two calculated interpolation values. Is further calculated.
  • the pixel of interest pixel B 0 if the entire surface G interpolation processing direction is the same to be performed, the four pixel blocks by R pixels, R pixels located in the pixel B 0 within the pixel block corresponding ( Pixels R 10 , R 20 , R 30 and R 40 ) will contain the same sensitivity difference / phase difference as pixel B 0 . Therefore, a low-pass filter process is performed by the first LPF 203 using, for example, a filter as shown in FIG. 25 on the entire G image signal subjected to the full G interpolation process along the same direction as the pixel B 0 .
  • Filter shown in FIG. 25 is directed to a region including the pixel B 0, R 10, R 20 , R 30 and R 40, pixel B 0, R 10, R 20 , corresponding to the pixels other than R 30 and R 40
  • the filter is a filter in which a predetermined weighting coefficient is set for the pixel B 0 , and R 10 , R 20 , R 30, and R 40 respectively.
  • a low-resolution image signal mG_xtalk including a sensitivity difference / phase difference having the same tendency as that of the pixel B 0 can be generated. Therefore, the low-resolution image signal mG_xtalk corresponding to the entire G image signal is generated by applying the filter of FIG. 25 to each position corresponding to the R pixel and the B pixel of the entire G image signal. Can be.
  • the whole G image signal which is a high-resolution image signal generated by the G interpolation unit 202, includes a phase difference and a sensitivity difference in an image block by G pixels. Therefore, as shown in the following equation (15), by subtracting the above-described low-resolution image signal mG_xtalk from the entire G image signal, it is possible to generate an image signal G hpf with a high-frequency component in which the sensitivity difference / phase difference has been canceled.
  • G hpf G-mG_xtalk
  • the second LPF 204 performs the second low-pass filter processing on the input image signal to generate low-resolution image signals mR, mG, and mB.
  • the second LPF 204 adds the pixel values of the pixels included in the pixel block to the pixel block of the same color, and then performs the second low-pass filter processing over the entire image based on the input image signal. Even with the second low-pass filter processing, a low-resolution image signal having a lower resolution than the entire-surface G image signal can be generated for each of the R, G, and B colors.
  • the unit of 2 pixels ⁇ 2 pixels constituting the pixel block includes the sensitivity difference / phase difference.
  • the sensitivity difference / phase difference can be canceled by adding pixel values in units of 2 pixels ⁇ 2 pixels.
  • the second LPF 204 uses such a tendency to generate low-resolution image signals mR, mG, and mB in which the sensitivity difference / phase difference has been canceled.
  • the color conversion processing unit 205 converts the entire G image signal passed from the G interpolation unit 202, the low resolution image signal mG_xtalk passed from the first LPF 203, and the low resolution image signals mR, mG, and mB passed from the second LPF 204. , A pixel value generation process is performed according to the color of the pixel position of the conversion destination.
  • the color conversion processing unit 205 performs the color correlation interpolation processing shown in the following equations (16), (17), and (18) to calculate the pixels at the positions of the R pixel, the G pixel, and the B pixel in the Bayer array 30. Generate the values R out , G out and B out .
  • the pixel values R out , G out, and B out obtained as described above are obtained by removing the sensitivity difference / phase while realizing high resolution in the entire G image signal which is a high resolution image signal based on G pixels.
  • the re-mosaic processing 11 can be performed with higher quality.
  • FIG. 26 is an example flowchart illustrating the re-mosaic processing 11 according to the embodiment.
  • the image signal processing unit 110 acquires a pixel signal of one pixel from an input image signal based on the four-segment Bayer type RGB array, and determines whether the acquired pixel signal is a pixel signal of a G pixel. . If the image signal processing unit 110 determines that the acquired pixel signal is not the pixel signal of the G pixel (step S100, “No”), the process proceeds to step S101.
  • the pixel acquired in step S100 is a B pixel.
  • step S101 the image signal processing unit 110 uses the LCB unit 200 to perform a color balance process on a local region of the input image signal centered on the pixel acquired in step S100, and obtain a gain of R color for G color. lcb_gain_r and gain lbc_gain_b of B color are obtained.
  • the image signal processing unit 110 uses the direction determining unit 201 to determine the direction in which interpolation for generating the entire G image signal is performed for the local region of the input image signal.
  • step S103 the image signal processing unit 110 performs an interpolation process on the local region of the input image signal in accordance with the direction determined in step S102 by the G interpolation unit 202, and obtains a whole G image signal.
  • the image signal processing unit 110 uses the first LPF 203 to calculate the pixel value corresponding to the pixel position of the B pixel acquired in step S100 of the whole G image signal generated by the G interpolation unit 202 in step S103. , A pixel value of a low-resolution image signal mG_xtalk having the same sensitivity difference / phase difference as that of the B pixel, based on a pixel value corresponding to the position of the corresponding B pixel in the pixel block of the neighboring R pixel. Generate In the next step S105, the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mG using G pixels based on the input image signal.
  • step S106 the image signal processing unit 110 determines whether or not the pixel position of the pixel (B pixel in this example) acquired in step S100 can be estimated to be the position of the G pixel in the Bayer array.
  • step S106 “No”
  • the process proceeds to step S107.
  • the image signal processing unit 110 further estimates which of the R pixel and the B pixel the pixel position is.
  • the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mR based on R pixels or a low-resolution image signal mB based on B pixels based on the input image signal according to the estimated pixel position (this example). In this case, the low-resolution image signal is mB).
  • the image signal processing unit 110 determines, based on the pixel position estimated by the color conversion processing unit 205, the pixel value at the pixel position of the entire G image signal generated in step S103 and the low resolution generated in step S104.
  • the pixel value at the pixel position in the image signal mG_xtalk and the pixel value at the pixel position in one of the low-resolution image signals mR and mB (the low-resolution image signal mB in this example) generated by the second LPF 204 are obtained. I do.
  • the color conversion processing unit 205 calculates any one of the above-described formulas (16) and (17) based on the obtained pixel values, and calculates any one of the pixel values R out and B out (in this example, the pixel Estimate the value B out ).
  • step S106 determines in step S106 that the pixel position is the position of the G pixel (step S106, “Yes”)
  • the process proceeds to step S108.
  • step S108 the color conversion processing unit 205 determines, based on the estimated pixel position, the pixel value of the pixel position of the entire G image signal generated in step S103 and the low-resolution image signal mG_xtalk generated in step S104. And the pixel value at the pixel position of the low-resolution image signal mG generated in step S105.
  • the color conversion processing unit 205 calculates the above equation (18) based on these acquired pixel values, and estimates the pixel value G out .
  • step S107 After the processing of step S107 or step S108, the process proceeds to step S120.
  • step S110 the image signal processing unit 110 calculates a pixel value of the G pixel and a pixel value corresponding to a position in the pixel block corresponding to the G pixel in a pixel block of the G pixel in the vicinity of the G pixel. Then, a pixel value based on the low-resolution image signal mG_xtalk having the same sensitivity difference / phase difference as that of the G pixel is generated.
  • step S111 the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mG using G pixels based on the input image signal.
  • step S112 the image signal processing unit 110 determines whether or not the pixel position of the pixel (B pixel in this example) acquired in step S100 can be estimated to be the position of the G pixel in the Bayer array.
  • the color conversion processing unit 205 estimates that the pixel position is not the position of the G pixel (step S112, “No”), the process proceeds to step S113.
  • the image signal processing unit 110 further estimates whether the pixel position is an R pixel or a B pixel.
  • the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mR based on R pixels or a low-resolution image signal mB based on B pixels based on the input image signal according to the estimated pixel position (this example). In this case, the low-resolution image signal is mB).
  • the image signal processing unit 110 determines the pixel value of the G pixel acquired in step S100 and the pixel in the low-resolution image signal mG_xtalk generated in step S110 according to the pixel position estimated by the color conversion processing unit 205.
  • the pixel value of the position and the pixel value of the pixel position of one of the low-resolution image signals mR and mB (for example, the low-resolution image signal mB) generated by the second LPF 204 are obtained. Based on these acquired pixel values, the color conversion processing unit 205 performs one of the above-described equations (16) and (17), and calculates any one of the pixel values R out and B out (for example, the pixel value B out). out ).
  • step S112 determines in step S112 that the pixel position is the position of the G pixel (step S112, “Yes”), the process proceeds to step S114.
  • step S114 the color conversion processing unit 205 determines, based on the estimated pixel position, the pixel value of the G pixel acquired in step S100 and the pixel of the pixel position in the low-resolution image signal mG_xtalk generated in step S110. The value and the pixel value of the corresponding pixel position of the low-resolution image signal mG generated in step S111 are obtained.
  • the color conversion processing unit 205 calculates the above equation (18) based on these acquired pixel values, and estimates the pixel value G out .
  • step S113 or S114 After the processing in step S113 or S114, the process proceeds to step S120.
  • step S120 the image signal processing unit 110 selects the pixel value R out , G out, or B out estimated in any of steps S107, S108, S113, and S114 as a pixel value to be output.
  • the selected pixel value is passed to the RGB signal processing unit 111 as the pixel value of the pixel position in the Bayer array corresponding to the pixel position of the pixel acquired in step S100.
  • step S121 the image signal processing unit 110 determines whether or not the processing has been completed for all pixels included in the input image signal.
  • the image signal processing unit 110 determines that the processing has not been completed for all pixels (step S121, “No”), the processing returns to step S100, and the pixel signal of the next one pixel included in the input image signal To get.
  • step S121, “Yes” the image signal processing unit 110 ends a series of processing in the flowchart of FIG.
  • FIG. 27 is a functional block diagram illustrating an example of a function of an image signal processing unit 110 ′ according to a first modification of the embodiment.
  • the image signal output from the imaging unit 100 and input to the image signal processing unit 110 ' is passed to the direction determination unit 201, the G interpolation unit 202, and the second LPF 204.
  • the processing in the G interpolation unit 202 and the second LPF 204 is the same as the processing described in the above embodiment.
  • the image processing unit 1012 included in the imaging unit 1003 subjects the image signal input directly from the imaging unit 100 to the direction determination unit 201 to white balance processing on the entire image signal.
  • the image signal processing unit 110 ′ according to the first modification of the embodiment corrects the pixel values of the R pixel and the B pixel using the gains lbc_gain_r and lbc_gain_b of the R and B colors detected by the LCB unit 200 in the embodiment. The correction by the white balance processing is used instead.
  • the correction of the pixel values of the R pixel and the B pixel by the gains lbc_gain_r and lbc_gain_b is omitted.
  • the configuration can be simplified with respect to the image signal processing unit 110 according to the embodiment. It is possible to reduce costs.
  • FIG. 28 is a diagram illustrating an example of a basic configuration of an imaging device according to a second modification of the embodiment. 28, an imaging device 1a as an image processing device according to a second modified example of the embodiment is different from the configuration of the imaging device 1 described with reference to FIG. , A sensitivity difference correction unit 13 is added.
  • an image signal obtained by performing imaging with the imaging system 10 is input to the sensitivity difference correction unit 13.
  • the sensitivity difference correction unit 13 corrects an output difference for each pixel (each light receiving element 22), that is, a sensitivity difference, which is known in the imaging element 1011. For example, at the time of manufacturing or shipping of the image sensor 1011, the output value of each light receiving element 22 is measured, and a coefficient for suppressing the variation of the output value is obtained for each light receiving element 22.
  • the sensitivity difference correction unit 13 includes a table (calibration table) in which coefficients for each light receiving element 22 are stored in advance, and converts each coefficient stored in the calibration table for an image signal input from the imaging system 10. Apply. Thereby, the sensitivity difference of each pixel is corrected.
  • the image signal input by the imaging system 10 may include a sensitivity difference for each pixel that cannot be completely corrected by the calibration table.
  • This sensitivity difference or the like that cannot be completely corrected by the sensitivity difference correction unit 13 can be removed by the re-mosaic processing 11 described in the embodiment.
  • the sensitivity difference correction unit 13 corrects the sensitivity difference for each pixel that exists in the image sensor 1011 in advance, and further performs the sensitivity difference and the re-mosaic processing 11 according to the embodiment.
  • the phase difference has been removed. Therefore, by applying the configuration of the imaging device 1a according to the second modification of this embodiment, it is possible to more accurately suppress the sensitivity difference for each pixel and obtain a higher quality output image. Becomes
  • FIG. 29 is a diagram illustrating an example of a basic configuration of an imaging device according to a third modification of the embodiment.
  • the re-mosaic processing 11 ′ is performed on the image signal output from the imaging system 10 on which noise is superimposed with a known specific frequency pattern.
  • the configuration of the filter used for the low-pass filter processing by the first LPF 203 and described with reference to FIG. 25 is modified so as to be applied to a known specific frequency pattern.
  • the low-resolution image signal mG_xtalk is generated by the first LPF 203 using this filter.
  • an image signal based on a high-frequency component in which the sensitivity difference / phase difference and the noise of the specific frequency pattern have been cancelled. Can be generated. Therefore, it is possible to obtain a high-quality output image in which noise of the specific frequency pattern has been canceled.
  • the pixel block is described as having a configuration in which 2 pixels ⁇ 2 pixels of the same color are arranged in a lattice, but this is not limited to this example. That is, the pixel block may be a block in which n pixels ⁇ n pixels (n is an integer of 2 or more) of the same color are arranged in a lattice.
  • FIG. 30 is a diagram showing an example of the pixel block 24 in which 3 pixels ⁇ 3 pixels are arranged in a grid pattern.
  • FIGS. 31A to 31E are diagrams showing examples of pixel blocks 25a to 25e in which 4 ⁇ 4 pixels are arranged in a lattice.
  • the pixel block 24 and the pixel blocks 25a to 25e are assumed to have pixels (R pixels) on which the red color filter 21R is mounted. It is shown.
  • the microlenses 40 are arranged in units of 2 pixels ⁇ 2 pixels.
  • a microlens corresponding to the size of one pixel is arranged for each pixel not covered by the microlens 40.
  • FIG. 30 shows an example in which the microlenses 40 are arranged so as to occupy a part of the pixel block 24 of 3 ⁇ 3 pixels.
  • FIGS. 31A and 31B show an example in which one microlens 40 is arranged at a corner or a center of pixel blocks 25a and 25b of 4 ⁇ 4 pixels.
  • FIG. 31C shows an example in which one microlens 40 is arranged at each diagonal of a pixel block 25c of 4 ⁇ 4 pixels.
  • FIGS. 31D and 31E show examples in which three and four microlenses 40 are arranged in pixel blocks 25d and 25e of 4 ⁇ 4 pixels, respectively.
  • the number and position of the microlenses 40 are changed as appropriate.
  • the first LPF 203 generates a low-resolution image signal mG_xtalk using this filter.
  • the microlenses 40 corresponding to 2 pixels ⁇ 2 pixels are appropriately arranged in a pixel block in which n pixels ⁇ n pixels of the same color are arranged in a grid pattern, the sensitivity difference of each pixel is obtained. / It is possible to obtain a higher quality output image in which the phase difference has been canceled.
  • the microlens 40 shared by a plurality of pixels is not limited to a size corresponding to 2 pixels ⁇ 2 pixels, but may be any size that can fit in a pixel block, such as 4 pixels ⁇ 4 pixels or 3 pixels ⁇ 3 pixels. It may be the size.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 32 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (the present technology) according to the present disclosure may be applied.
  • FIG. 32 shows a state in which an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an insufflation tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 having a predetermined length from the distal end inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • the endoscope 11100 which is configured as a so-called rigid endoscope having a hard lens barrel 11101 is illustrated.
  • the endoscope 11100 may be configured as a so-called flexible endoscope having a soft lens barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the distal end of the lens barrel by a light guide that extends inside the lens barrel 11101, and the objective The light is radiated toward the observation target in the body cavity of the patient 11132 via the lens.
  • the endoscope 11100 may be a direct view scope, a perspective view scope, or a side view scope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as raw data to a camera control unit (CCU: ⁇ Camera ⁇ Control ⁇ Unit) 11201.
  • the $ CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operations of the endoscope 11100 and the display device 11202 overall. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as a development process (demosaicing process).
  • a development process demosaicing process
  • the display device 11202 displays an image based on an image signal on which image processing has been performed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 includes a light source such as an LED (Light Emitting Diode), for example, and supplies the endoscope 11100 with irradiation light when imaging an operation part or the like.
  • a light source such as an LED (Light Emitting Diode), for example, and supplies the endoscope 11100 with irradiation light when imaging an operation part or the like.
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction or the like to change imaging conditions (type of irradiation light, magnification, focal length, and the like) by the endoscope 11100.
  • the treatment instrument control device 11205 controls the driving of the energy treatment instrument 11112 for cauterizing, incising a tissue, sealing a blood vessel, and the like.
  • the insufflation device 11206 is used to inflate the body cavity of the patient 11132 for the purpose of securing the visual field by the endoscope 11100 and securing the working space of the operator.
  • the recorder 11207 is a device that can record various types of information related to surgery.
  • the printer 11208 is a device capable of printing various types of information on surgery in various formats such as text, images, and graphs.
  • the light source device 11203 that supplies the endoscope 11100 with irradiation light at the time of imaging the operation site can be configured by, for example, a white light source including an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of the RGB laser light sources
  • the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy, so that the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is radiated to the observation target in a time-division manner, and the driving of the image pickup device of the camera head 11102 is controlled in synchronization with the irradiation timing. It is also possible to capture the image obtained in a time-division manner. According to this method, a color image can be obtained without providing a color filter in the image sensor.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of output light at predetermined time intervals.
  • the driving of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity, an image is acquired in a time-division manner, and the image is synthesized, so that a high dynamic image without so-called blackout and whiteout is obtained. An image of the range can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of the absorption of light in the body tissue, by irradiating light in a narrower band than the irradiation light (ie, white light) during normal observation, the surface of the mucous membrane A so-called narrow-band light observation (Narrow / Band / Imaging) for photographing a predetermined tissue such as a blood vessel with high contrast is performed.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating excitation light may be performed.
  • body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and Irradiation with excitation light corresponding to the fluorescence wavelength of the reagent can be performed to obtain a fluorescence image.
  • the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 33 is a block diagram showing an example of a functional configuration of the camera head 11102 and the CCU 11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are communicably connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102, and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging unit 11402 includes an imaging element.
  • the number of imaging elements constituting the imaging unit 11402 may be one (so-called single-panel type) or plural (so-called multi-panel type).
  • an image signal corresponding to each of RGB may be generated by each imaging element, and a color image may be obtained by combining the image signals.
  • the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (Dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the operative part.
  • a plurality of lens units 11401 may be provided for each imaging element.
  • the imaging unit 11402 does not necessarily have to be provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405.
  • the magnification and the focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information indicating that the frame rate of the captured image is specified, information that specifies the exposure value at the time of imaging, and / or information that specifies the magnification and focus of the captured image. Contains information about the condition.
  • the above-described imaging conditions such as the frame rate, the exposure value, the magnification, and the focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
  • the endoscope 11100 has a so-called AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function.
  • the camera head control unit 11405 controls the driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electric communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on an image signal that is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various kinds of control related to imaging of the operation section and the like by the endoscope 11100 and display of a captured image obtained by imaging the operation section and the like. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a captured image showing the operative part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects a shape, a color, or the like of an edge of an object included in the captured image, and thereby detects a surgical tool such as forceps, a specific living body site, bleeding, a mist when using the energy treatment tool 11112, and the like. Can be recognized.
  • the control unit 11413 may use the recognition result to superimpose and display various types of surgery support information on the image of the operative site.
  • the burden on the operator 11131 can be reduced, and the operator 11131 can reliably perform the operation.
  • the transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the technology according to the present disclosure can be applied to, for example, the endoscope 11100 and the imaging unit 11402 of the camera head 11102 among the configurations described above.
  • a four-segment Bayer type RGB array is adopted as the pixel array of the image sensor forming the image capturing unit 11402, and the re-mosaic processing 11 according to the present disclosure is performed by the image processing unit 11412.
  • the imaging unit 11402 By applying the technology according to the present disclosure to the imaging unit 11402, a clearer operation part image can be obtained, so that the operator can surely confirm the operation part.
  • the endoscopic surgery system has been described as an example, but the technology according to the present disclosure may be applied to, for example, a microscopic surgery system or the like.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving object such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 34 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an inside information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio / video output unit 12052, and a vehicle-mounted network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generating device for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting driving force to wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism for adjusting and a braking device for generating a braking force of the vehicle.
  • the body control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a blinker, and a fog lamp.
  • a radio wave or various switch signals transmitted from a portable device replacing the key may be input to the body control unit 12020.
  • the body control unit 12020 receives the input of these radio waves or signals and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • Out-of-vehicle information detection unit 12030 detects information external to the vehicle on which vehicle control system 12000 is mounted.
  • an imaging unit 12031 is connected to the outside-of-vehicle information detection unit 12030.
  • the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
  • the out-of-vehicle information detection unit 12030 may perform an object detection process or a distance detection process of a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output an electric signal as an image or can output the information as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information in the vehicle.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver status detection unit 12041 that detects the status of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. The calculation may be performed, or it may be determined whether the driver has fallen asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 implements functions of ADAS (Advanced Driver Assistance System) including vehicle collision avoidance or impact mitigation, following running based on the following distance, vehicle speed maintaining running, vehicle collision warning, vehicle lane departure warning, and the like. Cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the information about the surroundings of the vehicle obtained by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver 120 It is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp in accordance with the position of the preceding vehicle or the oncoming vehicle detected by the outside-of-vehicle information detection unit 12030, and performs cooperative control for the purpose of preventing glare such as switching a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits at least one of a sound signal and an image signal to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 35 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like.
  • FIG. 35 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates 14 shows an imaging range of an imaging unit 12104 provided in a rear bumper or a back door.
  • a bird's-eye view image of the vehicle 12100 viewed from above is obtained by superimposing image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements or an imaging element having pixels for detecting a phase difference.
  • the microcomputer 12051 calculates a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change of the distance (relative speed with respect to the vehicle 12100). , It is possible to extract, as a preceding vehicle, a three-dimensional object that travels at a predetermined speed (for example, 0 km / h or more) in a direction substantially the same as that of the vehicle 12100, which is the closest three-dimensional object on the traveling path of the vehicle 12100. it can.
  • a predetermined speed for example, 0 km / h or more
  • microcomputer 12051 can set an inter-vehicle distance to be secured before the preceding vehicle and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a motorcycle, a normal vehicle, a large vehicle, a pedestrian, a telephone pole, and the like based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating a risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver through forced driving and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared light.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian exists in the captured images of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed by, for example, extracting a feature point in an image captured by the imaging units 12101 to 12104 as an infrared camera, and performing a pattern matching process on a series of feature points indicating the outline of the object to determine whether the object is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular contour for emphasis to the recognized pedestrian.
  • the display unit 12062 is controlled so that is superimposed.
  • the sound image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above. Specifically, for example, a four-segment Bayer type RGB array is adopted as a pixel array of an image sensor constituting the image capturing unit 12031, and a re-mosaic process 11 according to the present disclosure is performed on a captured image acquired by the image sensor.
  • the technology according to the present disclosure to the imaging unit 12031, for example, the object detection processing and the distance detection processing by the outside-of-vehicle information detection unit 12030 can be performed with higher accuracy.
  • An image signal processing unit that performs signal processing on a pixel signal in the input image
  • the image signal processing unit As the input image, a mosaic image in which a pixel block composed of a plurality of same-color pixels in which one lens is arranged in common is input, A first image signal is generated by performing an interpolation process on the entire surface of the input image based on a pixel signal of a pixel of a predetermined color included in the input image, Based on the input image, including a difference based on the relative position of the pixel of interest with respect to the lens, and generates a second image signal having a lower resolution than the first image signal, Based on a component obtained by subtracting the second image signal from the first image signal, a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
  • Image processing device (2) The image signal processing unit, A low-pass filter process is performed by collectively using pixel signals of a plurality of pixels included in the pixel block to further generate a third image signal having a lower resolution than the first image signal, When the output color of the target pixel is the predetermined color, a pixel signal obtained by adding the third image signal to the component is estimated to be the pixel signal of the converted pixel (1).
  • An image processing apparatus according to claim 1.
  • the image signal processing unit When the output color of the target pixel is a color other than the predetermined color, The image processing according to (2), wherein a pixel signal of the converted pixel is estimated by a correlation process based on the component and the third image signal generated based on a pixel signal of a pixel other than the predetermined color. apparatus. (5) The image signal processing unit, A color balance is calculated based on a pixel signal of a pixel in a local area including the target pixel in the input image, and a pixel signal of a pixel included in the local area is normalized based on the calculated color balance.
  • the image processing apparatus according to any one of (1) to (4), wherein a direction in which the interpolation process is performed is determined using the pixel signal thus obtained.
  • the image signal processing unit The image processing device according to any one of (1) to (4), wherein a direction in which the interpolation process is performed is determined using a pixel signal of the input image whose color balance has been adjusted in advance.
  • the image signal processing unit The image processing apparatus according to any one of (1) to (6), wherein the first image signal is generated by performing an interpolation process on the entire surface of the input image along a direction obtained based on the input image.
  • the image signal processing unit A sensitivity correction process is performed on each pixel signal in the input image based on a known sensitivity correction value, and the signal processing is performed on each pixel signal that has been subjected to the sensitivity correction process.
  • the image processing device according to any one of the above.
  • (9) The image according to any one of (1) to (8), wherein the pixel block has four same-color pixels arranged in a grid pattern, and one lens is commonly arranged for the four same-color pixels. Processing equipment.
  • the input image is Pixel blocks in which pixels of the same color are arranged in a grid of n pixels ⁇ n pixels (n is an integer of 2 or more) are arranged according to a pattern in which the pixel blocks of the same color pixels are not adjacent to each other, Any of the above (1) to (8), wherein one lens is commonly arranged for a grid-like arrangement of m pixels ⁇ m pixels (m is an integer of n or more and 2 or more) included in the pixel block.
  • An image processing device according to any one of the above.
  • An image processing apparatus including an image signal processing unit that performs signal processing on a pixel signal in an input image, As the input image, a mosaic image in which pixel blocks each composed of a plurality of same color pixels in which one lens is commonly arranged is input, A first image signal is generated by performing an interpolation process on the entire surface of the input image based on a pixel signal of a pixel of a predetermined color included in the input image, Based on the input image, including a difference based on the relative position of the pixel of interest with respect to the lens, and generates a second image signal having a lower resolution than the first image signal, Based on a component obtained by subtracting the second image signal from the first image signal, a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
  • Image processing method (12) The image processing device, A low-pass filter process is performed by collectively using pixel signals of a plurality of pixels included in the pixel block to further generate a third image signal having a lower resolution than the first image signal, When the color of the output at the target pixel is the predetermined color, the pixel signal obtained by adding the third image signal to the component is estimated to be the pixel signal of the converted pixel (11).
  • the image processing method according to 1.
  • the image processing device The method according to (11) or (12), wherein the conversion pixel is generated based on the component for any of the pixel of the output color of the target pixel and the pixel of a color other than the predetermined color. Image processing method.
  • the image processing device When the output color of the target pixel is a color other than the predetermined color, The image processing according to (12), wherein a pixel signal of the converted pixel is estimated by a correlation process based on the component and the third image signal generated based on a pixel signal of a pixel other than the predetermined color. Method. (15) The image processing device, A color balance is calculated based on a pixel signal of a pixel in a local area including the target pixel in the input image, and a pixel signal of a pixel included in the local area is normalized based on the calculated color balance. The image processing method according to any one of (11) to (14), wherein a direction in which the interpolation process is performed is determined using the pixel signal thus obtained.
  • the image signal processing unit The image processing method according to any one of (11) to (14), wherein a direction in which the interpolation processing is performed is determined using a pixel signal of the input image whose color balance has been adjusted in advance.
  • the image processing device The image processing method according to any one of (11) to (16), wherein the first image signal is generated by performing an interpolation process on the entire surface of the input image along a direction obtained based on the input image.
  • the image signal processing unit, A sensitivity correction process is performed on each pixel signal in the input image based on a known sensitivity correction value, and the signal processing is performed on each pixel signal that has been subjected to the sensitivity correction process.
  • the image processing method according to any one of the above.
  • An image processing apparatus including an image signal processing unit that performs signal processing on a pixel signal in an input image, As the input image, a mosaic image in which pixel blocks each composed of a plurality of same color pixels in which one lens is commonly arranged is input, A first image signal is generated by performing an interpolation process on the entire surface of the input image based on a pixel signal of a pixel of a predetermined color included in the input image, Based on the input image, including a difference based on the relative position of the pixel of interest with respect to the lens, and generates a second image signal having a lower resolution than the first image signal, Based on a component obtained by subtracting the second image signal from the first image signal, a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
  • a low-pass filter process is performed by collectively using pixel signals of a plurality of pixels included in the pixel block to further generate a third image signal having a lower resolution than the first image signal,
  • a process of estimating a pixel signal obtained by adding the third image signal to the component as the pixel signal of the converted pixel is further performed.
  • a color balance is calculated based on a pixel signal of a pixel in a local area including the target pixel in the input image, and a pixel signal of a pixel included in the local area is normalized based on the calculated color balance.
  • the image processing program according to any one of (19) to (22).
  • the image processing program for further executing a process of obtaining the direction using a pixel signal of the input image whose color balance has been adjusted in advance, The image processing program according to any one of (19) to (22).
  • Imaging device 10 Imaging system 11, 11 'Remosaic processing 13 Sensitivity difference correction units 21, 21R, 21B, 21G Color filter 22
  • Light receiving element 40

Abstract

画像信号処理部（１１０）は、入力画像として、それぞれ１のレンズ（４０）が共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像が入力される。画像信号処理部は、入力画像に含まれる所定色の画素の画素信号に基づき、入力画像の全面に補間処理を行って第１の画像信号を生成する。画像信号処理部は、入力画像に基づき、注目画素のレンズに対する相対位置に基づく差分を含み、且つ、第１の画像信号より解像度の低い第２の画像信号を生成する。画像信号処理部は、第１の画像信号から第２の画像信号を減じた成分に基づき、変換後の位置が注目画素の位置に対応する変換画素を生成する。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本開示は、画像処理装置、画像処理方法および画像処理プログラムに関する。
　ディジタルカメラなどの撮像装置に利用される撮像素子は、例えばＲ（赤色）、Ｇ（緑色）およびＢ（青色）の各色のカラーフィルタが装着され、各画素に特定波長の光を入射する構成となっている。このカラーフィルタの配列としては、２つのＧ色のカラーフィルタと、それぞれ１つのＲ色およびＢ色のカラーフィルタとを、同色のフィルタが隣接しないように、２画素×２画素の配列に配置したベイヤ（Ｂａｙｅｒ）配列が多く利用されている。
　これに対して、ベイヤ配列と異なるカラーフィルタ配列も提案されている。このベイヤ配列と異なるカラーフィルタ配列の一つとして、ベイヤ配列の各画素を、２画素×２画素からなる４画素に分割したカラーフィルタ配列が知られている（例えば特許文献１）。この配列を、４分割ベイヤ型ＲＧＢ配列と呼ぶ。
　ところで、一般的には、撮像装置の信号処理回路は、ベイヤ配列による画素配列の撮像画像を前提としている。そのため、撮像素子に装着されるカラーフィルタの配列がベイヤ配列と異なる場合、撮像素子から出力される画像の画素配列を、ベイヤ配列による画素配列に変換して信号処理回路に入力することで、既存の信号処理回路をベイヤ配列と異なる画素配列に適用することが可能となる。このように、撮像画像の画素配列を異なる画素配列に変換する処理を、リモザイク処理と呼ぶ。
　既存のリモザイク処理は、Ｇ色の画素（以下、Ｇ画素）の画素値を各方向に沿って補間し、全面がＧ画素であると見做す全面Ｇ画像信号を作成する。変換先の画素がＧ画素の場合、全面Ｇ画像信号の画素値をそのまま用いる。一方、変換先の画素がＧ画素以外、例えばＲ画素の場合、全面Ｇ画像信号の画素値と、Ｒ画素の画素値とに基づきＲ画素の画素値を推測する。変換先の画素がＢ画素の場合も同様である。
特開２０１３－６６１４６号公報
　画素においては、入射された光を画素に集光させるために、カラーフィルタ上にマイクロレンズ（ＯＣＬ：On　Chip　Lense）が設けられる。上述した４分割ベイヤ型ＲＧＢ配列においては、２画素×２画素からなる同一色の４画素に対して１つのマイクロレンズを設ける構造が考えられる。
　しかしながら、複数の画素に１つのマイクロレンズを設けた場合、１つの光束が複数の画素に入射されることによる、複数画素の画素信号間での位相のズレや、マイクロレンズの位置ズレに起因する、複数画素間での感度差が、Ｇ画素の画素信号に含まれることになる。また、上述したように、Ｒ画素およびＢ画素の画素値は、Ｇ画素の画素値を用いて算出されるため、Ｒ画素およびＢ画素の画素値にも、これら位相ズレおよび感度差が含まれることになる。そのため、４分割ベイヤ型ＲＧＢ配列による画素信号をリモザイクした画像信号には、位相差や感度差に起因するアーティフィクトが生じるおそれがある。
　本開示は、画素配列を異なる画素配列に変換する処理を高品質に実行可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　上記目的を達成するために、本開示の画像処理装置は、入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、画像信号処理部は、入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、入力画像に含まれる所定色の画素の画素信号に基づき、入力画像の全面に補間処理を行って第１の画像信号を生成し、入力画像に基づき、注目画素のレンズに対する相対位置に基づく差分を含み、且つ、第１の画像信号より解像度の低い第２の画像信号を生成し、第１の画像信号から第２の画像信号を減じた成分に基づき、変換後の位置が注目画素の位置に対応する変換画素を生成する。
実施形態に係る画像処理装置の基本的な構成を示す図である。 実施形態に適用可能な画素の配列の例を示す図である。 ベイヤ配列の例を示す図である。 実施形態に係る、撮像素子に対するマイクロレンズの装着の例を示す図である。 マイクロレンズを共有する複数の画素において位相差が発生する場合の例を模式的に示す図である。 マイクロレンズの中心が画素ブロックの中心からずれている様子を模式的に示す図である。 実施形態に適用可能な撮像装置の一例のハードウェア構成を示すブロック図である。 実施形態に適用可能な撮像部の一例の構成を示す図である。 実施形態に係る画像処理装置としての撮像装置の機能を説明するための一例の機能ブロック図である。 実施形態に係る画像信号処理部の機能を説明するための機能ブロック図である。 同一色の画素間のグラジエントの検出を説明するための図である。 異なる色の画素間のグラジエントの検出を説明するための図である。 入力画像信号のＲ画素およびＢ画素の画素値をゲインに応じて置き換えた様子を模式的に示す図である。 実施形態に適用可能なグラジエント算出の方向の例を示す図である。 実施形態に適用可能なグラジエント算出の方向の例を示す図である。 水平方向（Ｈ）のグラジエント算出処理の例を示す図である。 右上４５°方向（Ａ）のグラジエント算出処理の例を示す図である。 右上２２．５°方向（Ａ２）のグラジエント算出処理の例を示す図である。 右上６７．５°方向（Ａ３）のグラジエント算出処理の例を示す図である。 水平方向（Ｈ）に沿って補間処理を行う例を示す図である。 実施形態に係る、水平方向（Ｈ）に沿った方向の補間処理を説明するための図である。 実施形態に係る、垂直方向（Ｖ）に沿った補間処理を説明するための図である。 各方向に沿った補間処理の例を示す図である。 第１ＬＰＦによる処理について説明するための図である。 第１ＬＰＦに適用するフィルタを説明するための図である。 実施形態に係るリモザイク処理を示す一例のフローチャートである。 実施形態の第１の変形例に係る画像信号処理部の機能を説明するための一例の機能ブロック図である。 実施形態の第２の変形例に係る撮像装置の基本的な構成の例を示す図である。 実施形態の第３の変形例に係る撮像装置の基本的な構成の例を示す図である。 ３画素×３画素が格子状に配列された画素ブロックの例を示す図である。 ４画素×４画素が格子状に配列された画素ブロックの例を示す図である。 ４画素×４画素が格子状に配列された画素ブロックの例を示す図である。 ４画素×４画素が格子状に配列された画素ブロックの例を示す図である。 ４画素×４画素が格子状に配列された画素ブロックの例を示す図である。 ４画素×４画素が格子状に配列された画素ブロックの例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
［実施形態］
　図１は、実施形態に係る画像処理装置の基本的な構成を示す図である。図１において、実施形態に係る画像処理装置としての撮像装置１は、撮像系１０により撮像を行い得られた画像信号に対してリモザイク処理１１を施し、リモザイク処理１１が施された画像信号に対して出力処理１２を行い出力する。
　撮像系１０は、それぞれ受光した光を電気信号に変換する複数の画素がアレイ状に配列された撮像素子と、撮像素子から出力された撮像信号に対してＡＤ(Analog　to　Digital)変換、ノイズ除去、ゲイン調整などを行う信号処理回路と、を含む。撮像素子は、各画素に対してカラーフィルタおよびマイクロレンズが装着される。
　図２は、実施形態に適用可能な画素の配列の例を示す図である。図２では、画素の配列を、赤色のカラーフィルタ２１Ｒ、緑色のカラーフィルタ２１Ｇ、および、青色のカラーフィルタ２１Ｂの配列として示している。以降、特に記載の無い限り、カラーフィルタ２１Ｒ、２１Ｇおよび２１Ｂが装着された画素を、それぞれＲ画素、Ｇ画素およびＢ画素と呼ぶ。
　実施形態に係る画素の配列は、図２に示されるように、同一色による２画素×２画素が格子状に配列された画素ブロックを単位とし、Ｒ画素、Ｇ画素およびＢ画素による各画素ブロックが、ベイヤ(Bayer)配列に準じた画素配列２０にて配置されて構成されている。以下では、特に記載の無い限り、このような画素配列２０を、４分割ベイヤ型ＲＧＢ配列と呼ぶ。
　より具体的には、４分割ベイヤ型ＲＧＢ配列は、Ｒ画素、Ｇ画素およびＢ画素による各画素ブロックが、Ｒ画素、Ｇ画素およびＢ画素の数が１：２：１の割合となり、且つ、同一色の画素による画素ブロックが隣接しないように、２×２の格子状に配列される。図２の例では、Ｒ画素による画素ブロックの右および下にＧ画素による画素ブロックが配置され、Ｒ画素による画素ブロックの対角に、Ｂ画素による画素ブロックが配置されている。
　リモザイク処理１１は、この４分割ベイヤ型ＲＧＢ配列による画素信号の配列を、図３に示すベイヤ配列に変換し、ベイヤ配列によるモザイク画像を生成する。図３は、ベイヤ配列の例を示す図である。図３において、ベイヤ配列３０は、２つのＧ画素と、それぞれ１つのＲ画素およびＢ画素とを含み、これら４つの画素が、Ｇ画素が隣接しないように、２画素×２画素の格子状に配列されて構成される。
　リモザイク処理１１によりベイヤ配列３０に変換された画像信号は、出力処理１２により例えばデモザイク処理され、各画素位置にＲ色、Ｇ色およびＢ色それぞれの輝度情報が含められる。
　図４は、実施形態に係る、撮像素子に対するマイクロレンズの装着の例を示す図である。図４に示されるように、４分割ベイヤ型ＲＧＢ配列による２画素×２画素の画素ブロックに対して１つのマイクロレンズ４０を装着する。換言すれば、１つのマイクロレンズ４０が画素ブロックに含まれる４つの画素に共通に配置される。マイクロレンズ４０は、オンチップレンズ（ＯＣＬ）として形成され、画素に入射した光が受光素子上に集光される際の集光効率を向上させている。
　このように、画素ブロックに含まれる複数画素に対して１つのマイクロレンズ４０が配置される構造において、像が受光素子の受光面上に暈けて集光される場合、すなわち、マイクロレンズ４０の焦点が受光面と同一面上にある場合について考える。この場合、１つの光束による光が、画素ブロックに含まれる４つの画素で分離して光電変換され、位相差が発生する。
　図５は、マイクロレンズ４０を共有する複数の画素において位相差が発生する場合の例を模式的に示す図である。図５では、画素ブロックの、光の入射方向と平行な断面を示している。マイクロレンズ４０を介して画素に入射された光は、カラーフィルタ２１を介して各受光素子２２に照射される。図５において、マイクロレンズ４０の焦点２３ａが各受光素子２２の境界部分にあり、各受光素子２２は、受光面が焦点２３ａと同一面上にあるものとする。各受光素子２２がマイクロレンズ４０からの光を受光する受光位置２３ｂおよび２３ｃの位置の差に基づき、位相差が発生する。
　また、製造誤差などの影響により、マイクロレンズ４０が理想的な位置からずれて配置される場合が有り得る。この場合、画素ブロックに含まれる複数の画素に受光される受光量に差が生じ、この差が同一色内における感度差として現れる。
　図６は、マイクロレンズ４０の中心が画素ブロックの中心からずれている様子を模式的に示す図である。図６の各部の意味は、上述した図５と同様であるので、説明を省略する。図６において、マイクロレンズ４０が各受光素子２２に対して右側にずれて配置され、マイクロレンズ４０の焦点２３ａも、右側にずれている。この場合、図６における左側の受光素子２２における受光位置２３ｂ’と、右側の受光素子２２における受光位置２３ｃ’とを比較すると、受光位置２３ｃ’の方が受光位置２３ｂ’よりも受光量が多くなる。このマイクロレンズ４０の位置ずれによる受光量の差が、２つの受光素子２２の感度差となる。
　実施形態では、このような、複数の画素に対して１つのマイクロレンズ４０を配した場合の位相差、感度差を抑制可能なリモザイク処理を提供することを可能としている。
（実施形態に適用可能な撮像装置の構成）
　次に、実施形態に適用可能な撮像装置の構成の例について説明する。図７は、実施形態に適用可能な撮像装置の一例のハードウェア構成を示すブロック図である。図７において、撮像装置１は、それぞれバス１００９により接続される、ＣＰＵ(Central　Processing　Unit)１０００と、ＲＯＭ(Read　Only　Memory)１００１と、ＲＡＭ(Random　Access　Memory)１００２と、撮像部１００３と、ストレージ１００４と、データＩ／Ｆ１００５と、操作部１００６と、表示制御部１００７と、を含む。
　ＣＰＵ１０００は、ＲＯＭ１００１に予め記憶されたプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この撮像装置１の全体の動作を制御する。撮像部１００３は、図１の撮像系１０に対応し、撮像を行い撮像画像による画像信号を出力する。撮像部１００３から出力された画像信号は、ＲＡＭ１００２に記憶される。
　ストレージ１００４は、例えばフラッシュメモリであって、ＲＡＭ１００２に記憶される撮像画像による画像信号を転送して記憶、蓄積することができる。また、ストレージ１００４は、ＣＰＵ１０００を動作させるためのプログラムを記憶させることもできる。さらには、ストレージ１００４は、撮像装置１に内蔵される構成に限らず、撮像装置１に対して着脱可能な構成としてもよい。
　データＩ／Ｆ１００５は、撮像装置１が外部機器とデータの送受信を行うためのインタフェースである。データＩ／Ｆ１００５としては、例えばＵＳＢ(Universal　Serial　Bus)を適用することができる。また、データＩ／Ｆ１００５として、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信を行うインタフェースを適用することもできる。
　操作部１００６は、撮像装置１に対するユーザ操作を受け付ける。操作部１００６は、ユーザ入力を受け付ける入力デバイスとして、ダイヤルやボタンなどの操作子を含む。操作部１００６は、入力デバイスとして、接触した位置に応じた信号を出力するタッチパネルを含んでもよい。表示制御部１００７は、ＣＰＵ１０００により渡された表示制御信号に基づき、ディスプレイ１００８が表示可能な表示信号を生成する。ディスプレイ１００８は、例えばＬＣＤ(Liquid　Crystal　Display)を表示デバイスとして用い、表示制御部１００７により生成された表示信号に従った画面を表示させる。
　図８は、実施形態に適用可能な撮像部１００３の一例の構成を示す図である。撮像部１００３は、光学系１０１０と、撮像素子１０１１と、信号処理部１０１２と、駆動部１０１３と、を含む。光学系１０１０は、１枚以上のレンズと、オートフォーカス機構、絞り機構などを含む。撮像素子１０１１は、受光素子２２と、カラーフィルタ２１と、マイクロレンズ４０とを含む画素がアレイ状に配列されて構成される。カラーフィルタ２１の配列は、上述した同一色の画素が２画素×２画素の格子状に配列された画素ブロックを単位とする、４分割ベイヤ型ＲＧＢ配列による画素配列２０である。
　信号処理部１０１２は、撮像素子１０１１から出力された信号に対してＡＤ変換、ノイズ除去、ゲイン調整、ホワイトバランス処理などの信号処理を施し、撮像素子１０１１の出力に基づく画像信号を出力する。駆動部１０１３は、例えばＣＰＵ１０００からの指示に従い、光学系１０１０（オートフォーカス機構、絞り機構など）、撮像素子１０１１および信号処理部１０１２を駆動する。
　図９は、実施形態に係る画像処理装置としての撮像装置１の機能を説明するための一例の機能ブロック図である。図９において、撮像装置１は、撮像部１００と、画像処理部１０１と、出力部１０２と、を含む。また、画像処理部１０１は、画像信号処理部１１０と、ＲＧＢ信号処理部１１１と、を含む。
　撮像部１００は、上述した撮像部１００３に対応し、撮像素子１０１１による撮像を行い、撮像により取得された撮像画像による画像信号を出力する。画像処理部１０１は、撮像部１００から出力された、４分割ベイヤ型ＲＧＢ配列の画像信号に対して、画像信号処理部１１０によりリモザイク処理１１を施して画素の配列をベイヤ配列３０に変換する。ＲＧＢ信号処理部１１１は、画像信号処理部１１０によりベイヤ配列３０に画素配列が変換された画像信号に対してデモザイク処理を施し、各画素がＲ色、Ｇ色およびＢ色それぞれの輝度情報を持つ画像信号に変換する。
　出力部１０２は、例えば、画像処理部１０１により出力された画像信号を、所定のフォーマットの画像データとして出力する。出力部１０２から出力された画像データは、例えばストレージ１００４に記憶される。
　図１０は、実施形態に係る画像信号処理部１１０の機能を説明するための機能ブロック図である。図１０において、画像信号処理部１１０は、ＬＣＢ(Local　Color　Balance)部２００と、方向判定部２０１と、Ｇ補間部２０２と、第１ＬＰＦ(Low　Pass　Filter)２０３と、第２ＬＰＦ２０４と、色変換処理部２０５と、を含む。これらＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５は、例えばＣＰＵ１０００上で実施形態に係る画像処理プログラムが実行されることで実現される。これに限らず、ＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５は、例えばＣＰＵ１０００の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
　撮像装置１（画像信号処理部１１０）における実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact　Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital　Versatile　Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
　当該プログラムは、ＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１やストレージ１００４などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部（ＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５）が主記憶装置上に生成されるようになっている。
　画像信号処理部１１０に対して、撮像部１００から出力された、４分割ベイヤ型ＲＧＢ配列による画素配列を持つ画像信号が、入力画像信号として入力される。入力画像信号は、ＬＣＢ部２００、Ｇ補間部２０２および第２ＬＰＦ２０４にそれぞれ入力される。
　ＬＣＢ部２００は、入力画像信号の局所領域に含まれる各画素の色バランスを算出する。局所領域は、後述する方向判定部２０１において画素値のグラジエント（勾配）を求めるためのサイズ（５画素×５画素、６画素×６画素、７画素×７画素、など）と同程度のサイズの領域とすると好ましい。ＬＣＢ部２００は、局所領域に含まれるＲ、ＧおよびＢ画素の画素値に基づき色バランス調整（例えばホワイトバランス調整）を行い、Ｇ色に対するＲ色のゲインlcb_gain_rと、Ｂ色のゲインlcb_gain_bと、を求める。ＬＣＢ部２００は、入力画像信号と、Ｒ色およびＢ色のゲインlcb_gain_rおよびlcb_gain_bを方向判定部２０１に渡す。
　方向判定部２０１は、入力画像信号に基づき、後述するＧ補間部２０２で用いる方向の判定を行う（詳細は後述する）。方向判定部２０１は、入力画像信号と、判定された方向を示す情報とをＧ補間部２０２に渡す。
　Ｇ補間部２０２は、入力画像信号に含まれるＧ画素に基づき、方向判定部２０１から渡された方向に沿って、入力画像信号の全面に渡って補間処理（適宜、全面Ｇ補間処理と呼ぶ）を行う。すなわち、Ｇ補間部２０２から出力される画像信号（全面Ｇ画像信号と呼ぶ）は、Ｇ画像による画像ブロックにおける位相差および感度差を含む、高解像度の画像信号である。Ｇ補間部２０２は、全面Ｇ補間処理を行った全面Ｇ画像信号を、第１ＬＰＦ２０３と、色変換処理部２０５と、に渡す。
　第１ＬＰＦ２０３は、Ｇ補間部２０２から渡された全面Ｇ画像信号に含まれる、入力画像信号におけるＧ画素以外の画素（Ｒ画素およびＢ画素）の画素位置に対応する位置の画素に対してローパスフィルタ処理（第１ローパスフィルタ処理と呼ぶ）を施す（詳細は後述する）。第１ＬＰＦ２０３から出力される画像信号は、全面Ｇ画像信号より解像度が低く、且つ、Ｇ画像による画像ブロックにおける位相差および感度差を含む、低解像度の画像信号である。第１ＬＰＦ２０３から出力される画像信号を、低解像度画像信号ｍＧ_xtalkと呼ぶ。第１ＬＰＦ２０３で全面Ｇ画像信号が第１ローパスフィルタ処理された低解像度画像信号ｍＧ_xtalkは、色変換処理部２０５に渡される。
　第２ＬＰＦ２０４は、入力画像信号に対して、Ｒ、Ｇ、Ｂ各色の画素毎にローパスフィルタ処理（第２ローパスフィルタ処理と呼ぶ）を施し、Ｒ画素、Ｂ画素およびＧ画素それぞれによる低解像度画像を生成する。第２ＬＰＦ２０４によりＲ画素、Ｇ画素およびＢ画素が第２ローパスフィルタ処理された画像信号を、それぞれ、低解像度画像信号ｍＲ、ｍＧおよびｍＢと呼ぶ。低解像度画像信号ｍＲ、ｍＧおよびｍＢは、それぞれ色変換処理部２０５に渡される。
　色変換処理部２０５は、Ｇ補間部２０２から渡された全面Ｇ画像信号と、第１ＬＰＦ２０３から渡された低解像度画像信号ｍＧ_xtalkと、第２ＬＰＦ２０４から渡された各低解像度画像信号ｍＲ、ｍＧおよびｍＢと、に基づき、色相関補間処理を施して、ベイヤ配列３０のＲ画素、Ｇ画素およびＢ画素の位置における画素値Ｒout、ＧoutおよびＢoutを生成する（詳細は後述する）。色変換処理部２０５は、生成した画素値Ｒout、ＧoutおよびＢoutをＲＧＢ信号処理部１１１に渡す。
（実施形態に係る処理の詳細）
（方向判定部による処理）
　次に、実施形態に係る画像信号処理部１１０における処理の詳細について説明する。先ず、方向判定部２０１の処理について説明する。方向判定部２０１は、注目画素の位置における画素値の傾斜（グラジエント）を各方向について検出し、検出されたグラジエントが最も小さい方向を判定する。方向判定部２０１は、図１１に示されるような、同一色の画素間のグラジエント（同色間グラジエント）と、図１２に示されるような、異なる色の画素間のグラジエント（異色間グラジエント）と、を検出する。
　なお、図１１および図１２、ならびに、以下の同様の図面において、格子の左上のマス（画素）を原点として、図面の横方向をｘ方向、縦方向をｙ方向とし、画素単位で座標（ｘ，ｙ）を表すものとする。例えば、図１１において、原点の画素は、座標（０，０）のＲ画素であり、画素（０，０）のように記述する。
　図１１の例では、Ｇ画素について、ｘ方向に沿って、Ｇ画素（０，２）および（１，２）、Ｇ画素（４，２）および（５，２）、Ｇ画素（０，３）および（１，３）、ならびに、Ｇ画素（４，３）および（５，３）の同色の各組について、それぞれグラジエントを検出している。また、Ｂ画素について、Ｂ画素（２，２）および（３，２）、ならびに、Ｂ画素（２，３）および（３，３）の同色の各組について、グラジエントを検出している。
　一方、図１２の例では、ｘ方向に沿って、Ｇ画素（１，２）およびＢ画素（２，２）、Ｇ画素（１，３）およびＢ画素（２，３）、Ｂ画素（３，２）およびＧ画素（４，２）、ならびに、Ｂ画素（３，３）およびＧ画素（４，３）の、異なる色による各組について、それぞれグラジエントを検出している。
　ここで、同色間グラジエントの検出は、感度が同一の画素同士のグラジエント算出となる。これに対して、異色間グラジエントの検出は、そのままでは、感度が異なる画素同士でのグラジエント算出となり、画素の色毎の感度差に依存したグラジエントが算出されてしまう。
　そのため、方向判定部２０１は、入力画像信号に含まれるＲ画素の画素値に対して、式（１）に示されるように、ＬＣＢ部２００により検出されたＲ色のゲインlcb_gain_rを乗じて、グラジエント算出に用いる画素値Ｒ’を算出する。同様に、方向判定部２０１は、入力画像信号に含まれるＢ画素の画素値に対して、式（２）に示されるように、ＬＣＢ部２００により検出されたＢ色のゲインlcb_gain_ｂを乗じて、グラジエント算出に用いる画素値Ｂ’を算出する。
Ｒ’＝Ｒ×lcb_gain_r　　…（１）
Ｂ’＝Ｂ×lcb_gain_b　　…（２）
　図１３は、入力画像信号のＲ画素およびＢ画素の画素値を、式（１）および（２）に従い算出した画素値Ｒ’およびＢ’に置き換えた様子を模式的に示す図である。Ｒ画素およびＢ画素の画素値が、それぞれ画素値Ｒ’および画素値Ｂ’に置き換えられ、Ｒ画素およびＢ画素と、Ｇ画素との感度差が抑制されていることが分かる。このように、Ｒ画素およびＢ画素の感度を、Ｇ画素の感度に合わせることで、異色間のグラジエント算出の精度を向上できる。
　実施形態に適用可能な方向判定部２０１の方向判定処理について、より詳細に説明する。方向判定部２０１は、局所領域において、複数の方向に対してグラジエントを算出する。図１４および図１５は、実施形態に適用可能なグラジエント算出の方向の例を示す図である。図１４および図１５、ならびに、以下の同様の図において、局所領域のサイズを６画素×６画素としている。
　方向判定部２０１は、図１４に示されるように、水平方向（Ｈ）、垂直方向（Ｖ）、右上４５°方向（Ａ）、右下４５°方向（Ｄ）の４方向に沿ってグラジエント算出を行う。さらに、方向判定部２０１は、図１５に示されるように、右上２２．５°方向（Ａ２）、右上６７．５°方向（Ａ３）、右下２２．５°方向（Ｄ２）および右下６７．５°方向（Ｄ３）の４方向に沿ってグラジエント算出を行う。すなわち、実施形態では、方向判定部２０１は、２２．５°ずつ角度の異なる８方向に沿って、グラジエント算出を行う。
　図２を用いて説明した４分割ベイヤ型ＲＧＢ配列は、図３に示したベイヤ型配列と比較して、同色成分のサンプリング間隔が疎であるため、折返しが１／２ナイキスト周波数で発生してしまう。図１４および図１５に示すように、８方向に沿ってそれぞれグラジエント算出を行うことで、このような周波数の繰り返しパターンを高精度に検出可能となる。
　各方向について、グラジエント算出の例について説明する。図１６は、６画素×６画素の局所領域における座標位置（２，２）に対応する水平方向（Ｈ）のグラジエント算出処理の例を示す図である。なお、以下の各式において、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。ａｂｓ（）は、絶対値を示す。また、各式において、ＬＣＢ部２００で算出したゲインlcb_gain_rおよびlcb_gain_bは、Ｇ画素に対するゲイン（＝１）と纏めて、値ＷＢgainとして示されている。
　水平方向（Ｈ）のグラジエントは、以下の各値に基づいて算出する。
・低周波成分水平方向（Ｈ）のグラジエント：ｇｒａｄＨ＿ｌｏｗ
・高周波成分水平方向（Ｈ）のグラジエント：ｇｒａｄＨ＿ｈｉｇｈ
・異色間成分水平方向（Ｈ）のグラジエント：ｇｒａｄＨ＿ｃｏｌｏｒ
　図１６に示す６画素×６画素の座標位置（２，２）に対応する水平方向（Ｈ）のグラジエント、すなわち、ｇｒａｄＨ（２，２）は、下記の式（３）に従って算出する。
Figure JPOXMLDOC01-appb-M000001
　なお、上述の式（３）において、値ａH、ｂHおよびｃHは、予め規定した重み係数である。一般に、入射光は、レンズを通過する際に、高周波成分で信号レベルが低下する。そのため、上記の重み係数の大小関係はａH＞ｂHとすることが望ましい。また、１／２Ｎｑ（ナイキスト周波数）近傍で方向判定を間違えると強い偽色を発生することになる。この領域での誤判定を充分に抑制するため、ｃH＞ａHと設定することが望ましい。
　垂直方向（Ｖ）のグラジエントは、以下の各値に基づいて算出する。
・低周波成分垂直方向（Ｖ）のグラジエント：ｇｒａｄＶ＿ｌｏｗ
・高周波成分垂直方向（Ｖ）のグラジエント：ｇｒａｄＶ＿ｈｉｇｈ
・異色間成分垂直方向（Ｖ）のグラジエント：ｇｒａｄＶ＿ｃｏｌｏｒ
　なお、例えば図１６に示す６画素×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）のグラジエント、すなわち、ｇｒａｄＶ（２，２）は、上述の式（３）における各座標位置を、垂直方向に対応して変更した式により算出される。
　図１７は、６画素×６画素の局所領域における座標位置（２，２）に対応する右上４５°方向（Ａ）のグラジエント算出処理の例を示す図である。右上４５°方向（Ａ）のグラジエントは、以下の各値に基づき算出する。
・中周波成分右上４５°方向（Ａ）のグラジエント：ｇｒａｄＡ＿ｍｉｄ
・低周波成分右上４５°方向（Ａ）のグラジエント：ｇｒａｄＡ＿ｌｏｗ
・高周波成分右上４５°方向（Ａ）のグラジエント：ｇｒａｄＡ＿ｈｉｇｈ
　図１７に示す６×６画素の座標位置（２，２）に対応する右上４５°方向（Ａ）のグラジエント、すなわち、ｇｒａｄＡ（２，２）は、下記の式（４）に従って算出する。
Figure JPOXMLDOC01-appb-M000002
　なお、式（４）において、値ａA、ｂAおよびｃAは、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式（４）における重み係数の大小関係はａA，ｂA＞ｃAとすることが望ましい。
　なお、例えば図１７に示す６画素×６画素の座標位置（２，２）に対応する右下４５°方向（Ｄ）のグラジエント、すなわち、ｇｒａｄＤ（２，２）は、上述の式（４）における各座標位置を、右下４５°方向に対応して変更した式により算出される。
　図１８は、６画素×６画素の局所領域における座標位置（２，２）に対応する右上２２．５°方向（Ａ２）のグラジエント算出処理の例を示す図である。右上２２．５°方向（Ａ２）のグラジエントは、以下の各値に基づき算出する。
・中央成分右上２２．５°方向（Ａ２）のグラジエント：ｇｒａｄＡ２＿ｃｅｎｔｅｒ
・高周波成分右上２２．５°方向（Ａ２）のグラジエント：ｇｒａｄＡ２＿ｈｉｇｈ
　図１８に示す６×６画素の座標位置（２，２）に対応する右上２２．５°方向（Ａ２）のグラジエント、すなわち、ｇｒａｄＡ２（２，２）は、下記の式（５）に従って算出する。
Figure JPOXMLDOC01-appb-M000003
　なお、式（５）において、値ａA2およびｂA2は、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式（５）における重み係数の大小関係はａA2＞ｂA2とすることが望ましい。
　なお、例えば図１８に示す６画素×６画素の座標位置（２，２）に対応する右下２２．５°方向（Ｄ２）のグラジエント、すなわち、ｇｒａｄＤ２（２，２）は、上述の式（５）における各座標位置を、右下２２．５°方向に対応して変更した式により算出される。
　図１９は、６画素×６画素の局所領域における座標位置（２，２）に対応する右上６７．５°方向（Ａ３）のグラジエント算出処理の例を示す図である。右上６７．５°方向（Ａ３）のグラジエントは、以下の各値に基づき算出する。
・中央成分右上６７．５°方向（Ａ３）のグラジエント：ｇｒａｄＡ３＿ｃｅｎｔｅｒ
・高周波成分右上６７．５°方向（Ａ３）のグラジエント：ｇｒａｄＡ３＿ｈｉｇｈ
　図１９に示す６×６画素の座標位置（２，２）に対応する右上６７．５°方向（Ａ３）のグラジエント、すなわち、ｇｒａｄＡ３（２，２）は、下記の式（６）に従って算出する。
Figure JPOXMLDOC01-appb-M000004
　なお、式（６）において、値ａA3およびｂA3は、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式（６）における重み係数の大小関係はａA3＞ｂA3とすることが望ましい。
　なお、例えば図１９に示す６画素×６画素の座標位置（２，２）に対応する右下６７．５°方向（Ｄ３）のグラジエント、すなわち、ｇｒａｄＤ２（２，２）は、上述の式（６）における各座標位置を、右下６７．５°方向に対応して変更した式により算出される。
　方向判定部２０１は、上述のようにして８方向について算出した各グラジエントのうち最小のグラジエントが算出された方向を判定し、判定された方向を示す情報を、判定の対象となった入力画像信号と共にＧ補間部２０２に渡す。
（Ｇ補間部による処理）
　Ｇ補間部２０２は、入力画像信号に対し、方向判定部２０１から渡された方向に沿って、Ｇ画素の画素値に基づく全面Ｇ補間処理を施す。このとき、Ｇ補間部２０２は、Ｒ画素による画素ブロックと、Ｂ画素による画素ブロックについて、画素ブロックに含まれる各画素における位相差が残るように補間処理を行う。
　一例として、方向判定部２０１により水平方向（Ｈ）が最小のグラジエントを得た方向と判定されたものとする。図２０は、Ｂ画素の画素ブロックにおける各位相に対して、Ｇ画素の画素値を用いて水平方向（Ｈ）に沿って補間処理を行う例を示す図である。Ｂ画素による画素ブロックにおける４つの位相（画素Ｂ0、Ｂ1、Ｂ2およびＢ3）に対するＧ画素による補間は、対象画素位置と補間に用いるＧ画素（Ｇ10～Ｇ13、Ｇ20～Ｇ23）の位置との距離に応じた係数に基づき、例えば下記の式（７）～（１０）を用いて行う。
Ｂ0＝（２×Ｇ11＋１×Ｇ20）／３　　…（７）
Ｂ1＝（２×Ｇ20＋１×Ｇ11）／３　　…（８）
Ｂ2＝（２×Ｇ13＋１×Ｇ22）／３　　…（９）
Ｂ3＝（２×Ｇ22＋１×Ｇ13）／３　　…（１０）
　一般的に、画素ブロックにおける画素間の感度差および位相差は、局所領域では、各画素ブロックにおいて同様の傾向で現れる。図２１は、実施形態に係る、水平方向（Ｈ）に沿った方向の補間処理を説明するための図である。図２１に示されるように、Ｂ画素による画素ブロックの左右のＧ画素による画素ブロックの各画素Ｇ10～Ｇ13、Ｇ20～Ｇ23に、行方向の感度差／位相差が存在するものとする。図２１において、（Ｈ）は、高い（Ｈｉｇｈ）画素値を示し、（Ｌ）は、（Ｈ）の画素に対して低い（Ｌｏｗ）画素値を示している。図２１の例では、画素Ｇ10およびＧ12、ならびに、画素Ｇ20およびＧ22の画素値が高く（Ｈ）、画素Ｇ11およびＧ13、ならびに、画素Ｇ21およびＧ23の画素値が低い（Ｌ）。
　これらの画素値の高低は、例えば画素ブロック内における各画素の感度差／位相差に起因する。図２１の例では、Ｂ画素による画素ブロックの左右のＧ画素による画素ブロックにおいて、左列の画素の画素値が高く、右列の画素の画素値が低い。これは、Ｇ画素による各画素ブロックにおいて、左列の画素の感度が右列の画素の感度より高い、または、左列の画素および右列の画素との間で位相差が発生していることを意味する。
　この場合、例えば画素Ｂ0およびＢ1の感度差／位相差は、次式（１１）および（１２）により求められる。
Ｂ0＝（２×Ｇ11（Ｌ）＋１×Ｇ20（Ｈ））／３　　…（１１）
Ｂ1＝（２×Ｇ20（Ｈ）＋１×Ｇ11（Ｌ））／３　　…（１２）
　画素Ｂ3およびＢ4についても、上述の式（１１）および（１２）を同様に適用することで、感度差／位相差を求めることができる。
　垂直方向（Ｖ）についても、上述の水平方向（Ｈ）の補間と同様の処理となる。図２２は、実施形態に係る、垂直方向（Ｖ）に沿った補間処理を説明するための図である。図２２において、Ｂ画素による画素ブロックの上下のＧ画素による画素ブロックの各画素Ｇ30～Ｇ33、Ｇ40～Ｇ43に、行方向の感度差／位相差が存在するものとする。
　この場合、例えば画素Ｂ0およびＢ1の感度差／位相差は、次式（１３）および（１４）により求められる。
Ｂ0＝（２×Ｇ32（Ｌ）＋１×Ｇ40（Ｈ））／３　　…（１３）
Ｂ1＝（２×Ｇ33（Ｈ）＋１×Ｇ41（Ｌ））／３　　…（１４）
　画素Ｂ3およびＢ4についても、上述の式（１３）および（１４）を同様に適用することで、感度差／位相差を求めることができる。
　上述のようにして入力画像信号の全面に渡って補間したＧ画素は、画素ブロック内において位相毎に異なる傾向の感度差／位相差が残る。また、その傾向は、Ｇ画素による補間の方向に依存する。
　なお、上述したように、Ｇ補間部２０２は、方向判定部２０１により８方向から判定された方向に従い、全面Ｇ画像信号を生成するための補間処理を行う。図２３は、各方向に沿った補間処理の例を示す図である。図２３では、座標（２，２）のＢ画素の位置に注目している。方向判定部２０１により判定された方向がＨ（水平）方向またはＶ（垂直）方向の場合は、上述した図２１または図２２と同様になる。判定された方向がＡ（右上４５°）方向の場合は、座標（３，１）、（２，２）および（１，３）を結ぶ方向に補間処理を行う。
　一方、Ｄ（右下４５°）方向、Ａ２（右上２２．５°）方向、Ｄ２（右下２２．５°）方向、Ａ３（右上６７．５°）方向およびＤ３（右下６７．５°）方向では、座標（２，２）のＢ画素に対して直線上に並ぶ近傍のＧ画素が存在しない。そのため、角度の条件を満たすＧ画素の組を２つ選択し、その２つの組それぞれについて、注目位置に対応する位置での補間値を算出し、算出された２つの補間値に基づき当該注目位置での補間値をさらに算出する。
（第１ＬＰＦによる処理）
　次に、第１ＬＰＦ２０３による処理について説明する。ここで、図２４に示す画素配置を考える。すなわち、図２４において、座標（２，２）の画素Ｂ0を含む画素ブロックを中心として、座標（０，０）の画素Ｒ10、座標（４，０）の画素Ｒ20、座標（０，４）の画素Ｒ30および座標（４，４）の画素Ｒ40をそれぞれ含む、Ｒ画素による４つの画素ブロックと、座標（０，２）の画素Ｇ10、座標（４，２）の画素Ｇ20、座標（２，０）の画素Ｇ30および座標（２，４）の画素Ｇ40をそれぞれ含む、Ｇ画素による４つの画素ブロックと、が配置されている。
　この配置において、画素Ｂ0を注目画素とし、全面Ｇ補間処理が行われる方向が同じであれば、Ｒ画素による４つの画素ブロックの、画素Ｂ0に画素ブロック内で位置が対応するＲ画素（画素Ｒ10、Ｒ20、Ｒ30およびＲ40）は、画素Ｂ0と同様の感度差／位相差を含むことになる。そこで、画素Ｂ0と同一の方向に沿って全面Ｇ補間処理を施された全面Ｇ画像信号を対象に、第１ＬＰＦ２０３により、例えば図２５に示されるようなフィルタを用いてローパスフィルタ処理を施す。
　図２５に示されるフィルタは、画素Ｂ0、Ｒ10、Ｒ20、Ｒ30およびＲ40を含む領域を対象とし、画素Ｂ0、Ｒ10、Ｒ20、Ｒ30およびＲ40以外の画素に対応する係数を「０」とし、画素Ｂ0、ならびに、Ｒ10、Ｒ20、Ｒ30およびＲ40に対して、それぞれ所定の重み付け係数を設定したフィルタである。
　図２５のフィルタを用いたローパスフィルタ処理により、例えば画素Ｂ0と同様の傾向を持つ感度差／位相差を含む低解像度画像信号ｍＧ_xtalkを生成することができる。したがって、この図２５のフィルタを、全面Ｇ画像信号の、Ｒ画素およびＢ画素に対応する各位置に対してそれぞれ適用することで、全面Ｇ画像信号に対応する低解像度画像信号ｍＧ_xtalkを生成することができる。
　上述した、Ｇ補間部２０２により生成された高解像度の画像信号である全面Ｇ画像信号は、Ｇ画素による画像ブロックにおける位相差および感度差を含んでいる。したがって、次式（１５）示されるように、全面Ｇ画像信号から、上述した低解像度画像信号ｍＧ_xtalkを減算することで、感度差／位相差をキャンセルした高周波成分による画像信号Ｇhpfを生成できる。
Ｇhpf＝Ｇ－ｍＧ_xtalk　　…（１５）
　なお、図２４では、Ｂ画素を注目画素とした場合について説明したが、Ｒ画素を注目画素とした場合も、同様にしてフィルタを構成して低解像度画像信号ｍＧ_xtalkを生成する。また、Ｇ画素を注目画素とした場合についても、同様の考え方に基づき、低解像度画像信号ｍＧ_xtalkを生成することができる。
（第２ＬＰＦによる処理）
　次に、第２ＬＰＦ２０４による処理について説明する。第２ＬＰＦ２０４は、上述したように、入力画像信号に対して第２ローパスフィルタ処理を施して、低解像度画像信号ｍＲ、ｍＧおよびｍＢを生成する。ここで、第２ＬＰＦ２０４は、同一色の画素ブロックについて、画素ブロックに含まれる画素の画素値を加算した上で、入力画像信号による画像の全面に渡って第２ローパスフィルタ処理を施す。この第２ローパスフィルタ処理によっても、全面Ｇ画像信号より解像度の低い、低解像度の画像信号を、Ｒ、Ｇ、Ｂ各色について生成できる。
　また、画素ブロックを構成する２画素×２画素の単位では感度差／位相差を含む。一方、２画素×２画素の単位で画素値を足し合わせることで、感度差／位相差をキャンセルできる。第２ＬＰＦ２０４は、このような傾向を利用して、感度差／位相差がキャンセルされた低解像度画像信号ｍＲ、ｍＧおよびｍＢを生成する。
（色変換処理部による処理）
　次に、色変換処理部２０５による処理について説明する。色変換処理部２０５は、Ｇ補間部２０２から渡された全面Ｇ画像信号と、第１ＬＰＦ２０３から渡された低解像度画像信号ｍＧ_xtalkと、第２ＬＰＦ２０４から渡された低解像度画像信号ｍＲ、ｍＧおよびｍＢと、に基づき、変換先の画素位置の色に合わせて画素値の生成処理を行う。
　具体的には、色変換処理部２０５は、下記の式（１６）、（１７）および（１８）に示す色相関補間処理により、ベイヤ配列３０のＲ画素、Ｇ画素およびＢ画素の位置における画素値Ｒout、ＧoutおよびＢoutを生成する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　上述のようにして得られた画素値Ｒout、ＧoutおよびＢoutは、Ｇ画素に基づく高解像度画像信号である全面Ｇ画像信号において、高解像度を実現しつつ感度差／位相が除去され、リモザイク処理１１をより高品質に実行できる。
　位相差による影響が現れ易い場合の例として、ピントを合わせたい被写体が遠方にあり、その被写体に対して撮像装置の近傍に、障害物（金網など）が存在する場合が挙げられる。この場合、既存のリモザイク処理では、近傍の障害物に対して位相差による影響が顕著に現れる。これに対して、本開示に係るリモザイク処理１１を適用することで、この近傍の障害物に現れる位相差による影響を抑制でき、より高品質な撮像画像を得ることが可能となる。
　図２６は、実施形態に係るリモザイク処理１１を示す一例のフローチャートである。ステップＳ１００で、画像信号処理部１１０は、４分割ベイヤ型ＲＧＢ配列による入力画像信号から１つの画素の画素信号を取得し、取得した画素信号がＧ画素の画素信号であるか否かを判定する。画像信号処理部１１０は、取得した画素信号がＧ画素の画素信号ではないと判定した場合（ステップＳ１００、「Ｎｏ」）、処理をステップＳ１０１に移行させる。
　なお、ここでは、説明のため、ステップＳ１００で取得した画素がＢ画素であるものとする。
　ステップＳ１０１で、画像信号処理部１１０は、ＬＣＢ部２００により、入力画像信号の、ステップＳ１００で取得した画素を中心とした局所領域に対して、カラーバランス処理を施し、Ｇ色に対するＲ色のゲインlcb_gain_rと、Ｂ色のゲインlcb_gain_bと、を求める。次のステップＳ１０２で、画像信号処理部１１０は、方向判定部２０１により、入力画像信号の当該局所領域を対象として、全面Ｇ画像信号を生成するための補間を行う方向を判定する処理を行う。次のステップＳ１０３で、画像信号処理部１１０は、Ｇ補間部２０２により、入力画像信号の当該局所領域に対して、ステップＳ１０２で判定された方向に従い補間処理を施し、全面Ｇ画像信号を得る。
　次のステップＳ１０４で、画像信号処理部１１０は、第１ＬＰＦ２０３により、ステップＳ１０３でＧ補間部２０２により生成された全面Ｇ画像信号の、ステップＳ１００で取得したＢ画素の画素位置に対応する画素値と、近傍のＲ画素による画素ブロックにおける、当該Ｂ画素に画素ブロック内の位置が対応する画素値と、に基づき、当該Ｂ画素と同様の感度差／位相差を持つ低解像度画像信号ｍＧ_xtalkによる画素値を生成する。次のステップＳ１０５で、画像信号処理部１１０は、第２ＬＰＦ２０４により、入力画像信号に基づき、Ｇ画素による低解像度画像信号ｍＧを生成する。
　次のステップＳ１０６で、画像信号処理部１１０は、ステップＳ１００で取得した画素（この例ではＢ画素）の画素位置が、ベイヤ配列におけるＧ画素の位置であると推定できるか否かを判定する。色変換処理部２０５は、当該画素位置がＧ画素の位置ではないと推定した場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ１０７に移行させる。
　ステップＳ１０７で、画像信号処理部１１０は、さらに、当該画素位置がＲ画素およびＢ画素の何れの画素位置であるかを推定する。画像信号処理部１１０は、推定された画素位置に応じて、第２ＬＰＦ２０４により、入力画像信号に基づきＲ画素による低解像度画像信号ｍＲ、または、Ｂ画素による低解像度画像信号ｍＢを生成する（この例では低解像度画像信号ｍＢとする）。画像信号処理部１１０は、色変換処理部２０５により、推定された画素位置に応じて、ステップＳ１０３で生成された全面Ｇ画像信号の当該画素位置の画素値と、ステップＳ１０４で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、第２ＬＰＦ２０４により生成された低解像度画像信号ｍＲおよびｍＢのうち何れか（この例では低解像度画像信号ｍＢ）の当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１６）および式（１７）の何れかの計算を行い、画素値ＲoutおよびＢoutの何れか（この例では画素値Ｂout）を推定する。
　一方、色変換処理部２０５は、ステップＳ１０６で、当該画素位置がＧ画素の位置であると判定した場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０８に移行させる。ステップＳ１０８で、色変換処理部２０５は、推定された画素位置に応じて、ステップＳ１０３で生成された全面Ｇ画像信号の当該画素位置の画素値と、ステップＳ１０４で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、ステップＳ１０５で生成された低解像度画像信号ｍＧの当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１８）の計算を行い、画素値Ｇoutを推定する。
　ステップＳ１０７またはステップＳ１０８の処理の後、処理がステップＳ１２０に移行される。
　一方、画像信号処理部１１０は、上述したステップＳ１００で、取得した画素信号がＧ画素の画素信号であると判定した場合（ステップＳ１００、「Ｙｅｓ」）、処理をステップＳ１１０に移行させる。ステップＳ１１０で、画像信号処理部１１０は、当該Ｇ画素の画素値と、当該Ｇ画素の近傍の、Ｇ画素による画素ブロックにおける、当該Ｇ画素に画素ブロック内の位置が対応する画素値と、に基づき、当該Ｇ画素と同様の感度差／位相差を持つ低解像度画像信号ｍＧ_xtalkによる画素値を生成する。次のステップＳ１１１で、画像信号処理部１１０は、第２ＬＰＦ２０４により、入力画像信号に基づき、Ｇ画素による低解像度画像信号ｍＧを生成する。
　次のステップＳ１１２で、画像信号処理部１１０は、ステップＳ１００で取得した画素（この例ではＢ画素）の画素位置が、ベイヤ配列におけるＧ画素の位置であると推定できるか否かを判定する。色変換処理部２０５は、当該画素位置がＧ画素の位置ではないと推定した場合（ステップＳ１１２、「Ｎｏ」）、処理をステップＳ１１３に移行させる。
　ステップＳ１１３で、画像信号処理部１１０は、さらに、当該画素位置がＲ画素およびＢ画素の何れの画素位置であるかを推定する。画像信号処理部１１０は、推定された画素位置に応じて、第２ＬＰＦ２０４により、入力画像信号に基づきＲ画素による低解像度画像信号ｍＲ、または、Ｂ画素による低解像度画像信号ｍＢを生成する（この例では低解像度画像信号ｍＢとする）。画像信号処理部１１０は、色変換処理部２０５により、推定された画素位置に応じて、ステップＳ１００で取得されたＧ画素の画素値と、ステップＳ１１０で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、第２ＬＰＦ２０４により生成された低解像度画像信号ｍＲおよびｍＢのうち何れか（例えば低解像度画像信号ｍＢ）の当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１６）および式（１７）の何れかの計算を行い、画素値ＲoutおよびＢoutの何れか（例えば画素値Ｂout）を推定する。
　一方、色変換処理部２０５は、ステップＳ１１２で、当該画素位置がＧ画素の位置であると判定した場合（ステップＳ１１２、「Ｙｅｓ」）、処理をステップＳ１１４に移行させる。ステップＳ１１４で、色変換処理部２０５は、推定された画素位置に応じて、ステップＳ１００で取得されたＧ画素の画素値と、ステップＳ１１０で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、ステップＳ１１１で生成された低解像度画像信号ｍＧの当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１８）の計算を行い、画素値Ｇoutを推定する。
　ステップＳ１１３またはステップＳ１１４の処理の後、処理がステップＳ１２０に移行される。
　ステップＳ１２０で、画像信号処理部１１０は、ステップＳ１０７、ステップＳ１０８、ステップＳ１１３およびステップＳ１１４の何れかにおいて推定された、画素値Ｒout、ＧoutまたはＢoutを、出力する画素値として選択する。選択された画素値は、ステップＳ１００で取得された画素の画素位置に対応する、ベイヤ配列における画素位置の画素値として、ＲＧＢ信号処理部１１１に渡される。
　次のステップＳ１２１で、画像信号処理部１１０は、入力画像信号に含まれる全画素について処理が終了したか否かを判定する。画像信号処理部１１０は、全画素について処理が終了していないと判定した場合（ステップＳ１２１、「Ｎｏ」）、処理をステップＳ１００に戻し、入力画像信号に含まれる次の１つの画素の画素信号を取得する。一方、画像信号処理部１１０は、ステップＳ１２１で全画素について処理が終了したと判定した場合（ステップＳ１２１、「Ｙｅｓ」）、この図２６のフローチャートによる一連の処理を終了させる。
［実施形態の第１の変形例］
　次に、実施形態の第１の変形例について説明する。上述した実施形態では、ＬＣＢ部２００により注目画素を含む局所領域に対して色バランス処理を行ったが、このＬＣＢ部２００による処理は、省略することが可能である。図２７は、実施形態の第１の変形例に係る画像信号処理部１１０’の機能を説明するための一例の機能ブロック図である。
　撮像部１００から出力され、画像信号処理部１１０’に入力された画像信号は、方向判定部２０１と、Ｇ補間部２０２と、第２ＬＰＦ２０４と、に渡される。Ｇ補間部２０２および第２ＬＰＦ２０４での処理は、上述の実施形態で説明した処理と変わりはない。
　撮像部１００から直接的に方向判定部２０１に入力される画像信号は、撮像部１００３が有する信号処理部１０１２において、画像信号の全体に対してホワイトバランス処理が施されている。実施形態の第１の変形例に係る画像信号処理部１１０’は、実施形態においてＬＣＢ部２００で検出したＲ色およびＢ色のゲインlcb_gain_rおよびlcb_gain_bによるＲ画素およびＢ画素の画素値の補正を、このホワイトバランス処理による補正で代用する。
　実施形態の第１の変形例に係る画像信号処理部１１０’は、ゲインlcb_gain_rおよびlcb_gain_bによるＲ画素およびＢ画素の画素値の補正が省略されているため、異色間グラジエント検出の精度は実施形態の構成に対して不利である。その一方で、実施形態の第１の変形例に係る画像信号処理部１１０’は、ＬＣＢ部２００を省略しているため、実施形態に係る画像信号処理部１１０に対して構成を簡略化でき、コストを抑制することが可能である。
［実施形態の第２の変形例］
　次に、実施形態の第２の変形例について説明する。実施形態の第２の変形例では、上述した実施形態に係る撮像装置１の構成に対して、撮像素子１０１１における各画素の感度差を補正する構成を追加する。図２８は、実施形態の第２の変形例に係る撮像装置の基本的な構成の例を示す図である。図２８において、実施形態の第２の変形例に係る画像処理装置としての撮像装置１ａは、図１を用いて説明した撮像装置１の構成に対して、撮像系１０とリモザイク処理１１との間に感度差補正部１３が追加されている。
　撮像装置１ａにおいて、撮像系１０により撮像を行い得られた画像信号が感度差補正部１３に入力される。感度差補正部１３は、撮像素子１０１１において既知の、画素毎（受光素子２２毎）の出力差すなわち感度差を補正する。例えば、撮像素子１０１１の製造時や出荷時などにおいて、各受光素子２２の出力値の計測を行い、受光素子２２毎に、出力値のバラツキを抑制するための係数を求める。感度差補正部１３は、この受光素子２２毎の係数を予め記憶したテーブル（キャリブレーションテーブル）を備え、撮像系１０から入力された画像信号に対してこのキャリブレーションテーブルに記憶された各係数を適用する。これにより、各画素の感度差が補正される。
　撮像系１０により入力される画像信号には、キャリブレーションテーブルでは補正しきれない、画素毎の感度差が含まれる場合が有り得る。この、感度差補正部１３で補正しきれない感度差などは、実施形態で説明したリモザイク処理１１により除去することができる。実施形態の第２の変形例に係る構成によれば、感度差補正部１３において撮像素子１０１１に予め存在する画素毎の感度差を補正し、さらに、実施形態に係るリモザイク処理１１により感度差および位相差を除去している。そのため、この実施形態の第２の変形例に係る撮像装置１ａの構成を適用することで、画素毎の感度差の抑制をより高精度に実現でき、より高品質の出力画像を得ることが可能となる。
［実施形態の第３の変形例］
　次に、実施形態の第３の変形例について説明する。撮像素子１０１１から出力される画像信号に、特定の周波数パターンのノイズが重畳されている場合がある。実施形態の第３の変形例では、撮像素子１０１１から出力される画像信号に重畳される特定の周波数パターンのノイズが既知の場合に、このノイズを除去可能とする。
　図２９は、実施形態の第３の変形例に係る撮像装置の基本的な構成の例を示す図である。図２９において、実施形態の第３の変形例に係る画像処理装置としての撮像装置１ｂは、図１を用いて説明した撮像装置１の構成に含まれるリモザイク処理１１がリモザイク処理１１’に変更されている。撮像系１０から出力された、既知の特定の周波数パターンでノイズが重畳された画像信号に対してリモザイク処理１１’が施される。
　リモザイク処理１１’において、第１ＬＰＦ２０３によるローパスフィルタ処理に用いる、図２５を用いて説明したフィルタの構成を、既知の特定の周波数パターンに適用するように変形する。第１ＬＰＦ２０３によりこのフィルタを用いて、低解像度画像信号ｍＧ_xtalkを生成する。Ｇ補間部２０２により生成された全面Ｇ画像信号から、この低解像度画像信号ｍＧ_xtalkを減算することで、感度差／位相差と、当該特定の周波数パターンのノイズとをキャンセルしした高周波成分による画像信号を生成できる。そのため、当該特定の周波数パターンのノイズがキャンセルされた、高品質の出力画像を得ることが可能となる。
［実施形態の第４の変形例］
　次に、実施形態の第４の変形例について説明する。上述した実施形態では、画素ブロックが同一色による２画素×２画素が格子状に配列されて構成されるものとして説明したが、これはこの例に限定されない。すなわち、画素ブロックは、同一色によるｎ画素×ｎ画素（ｎは２以上の整数）が格子状に配列されたブロックであってよい。
　図３０は、３画素×３画素が格子状に配列された画素ブロック２４の例を示す図である。また、図３１Ａ～図３１Ｅは、４画素×４画素が格子状に配列された画素ブロック２５ａ～２５ｅの例を示す図である。なお、図３０、および、図３１Ａ～図３１Ｅにおいて、便宜上、画素ブロック２４、および、画素ブロック２５ａ～２５ｅは、赤色のカラーフィルタ２１Ｒが装着された画素（Ｒ画素）が配列されているものとして示されている。また、マイクロレンズ４０は、２画素×２画素の単位で配置されるものとする。なお、図３０、および、図３１Ａ～図３１Ｅにおいて、マイクロレンズ４０が掛からない各画素には、１画素のサイズに対応するマイクロレンズが配置される。
　画素ブロック２４、および、画素ブロック２５ａ～２５ｅに配置するマイクロレンズ４０の数および位置は、適宜に選択することができる。図３０は、３画素×３画素の画素ブロック２４に対して、一部を占めるようにマイクロレンズ４０が配置された例を示している。また、図３１Ａおよび図３１Ｂは、４画素×４画素の画素ブロック２５ａおよび２５ｂの隅または中央部に１つのマイクロレンズ４０が配置された例を示している。さらに、図３１Ｃは、４画素×４画素の画素ブロック２５ｃの対角にそれぞれ１つのマイクロレンズ４０が配置された例を示している。さらにまた、図３１Ｄおよび図３１Ｅは、４画素×４画素の画素ブロック２５ｄおよび２５ｅに、それぞれ３つ、および、４つのマイクロレンズ４０が配置された例を示している。
　リモザイク処理１１において、第１ＬＰＦ２０３によるローパスフィルタ処理に用いる、図２５を用いて説明したフィルタの構成を、これら画素ブロック２４、２５ａ～２５ｅのサイズと、画素ブロック２４、２５ａ～２５ｅに対して配置されるマイクロレンズ４０の数および位置と、に応じて適宜に変更する。第１ＬＰＦ２０３により、このフィルタを用いて、低解像度画像信号ｍＧ_xtalkを生成する。
　これにより、同一色によるｎ画素×ｎ画素が格子状に配列された画素ブロックに、２画素×２画素に対応するマイクロレンズ４０が適宜に配置された構成であっても、各画素の感度差／位相差がキャンセルされた、より高品質の出力画像を得ることが可能となる。
　なお、複数画素に共有されるマイクロレンズ４０は、２画素×２画素に対応するサイズに限らず、画素ブロックに収まるサイズであればよく、例えば４画素×４画素、３画素×３画素、といったサイズでもよい。
［内視鏡手術システムへの応用例］
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
　図３２は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図３２では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：　Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図３３は、図３２に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００や、カメラヘッド１１１０２の撮像部１１４０２に適用され得る。具体的には、撮像部１１４０２を構成する撮像素子の画素配列に例えば４分割ベイヤ型ＲＧＢ配列を採用し、画像処理部１１４１２により本開示に係るリモザイク処理１１を施す。撮像部１１４０２に本開示に係る技術を適用することにより、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
［移動体への応用例］
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図３５は、撮像部１２０３１の設置位置の例を示す図である。
　図３５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１を構成する撮像素子の画素配列に例えば４分割ベイヤ型ＲＧＢ配列を採用し、撮像素子により取得された撮像画像に対して本開示に係るリモザイク処理１１を施す。撮像部１２０３１に本開示に係る技術を適用することにより、例えば車外情報検出ユニット１２０３０による物体検出処理や距離検出処理をより高精度に行うことが可能となる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
　前記画像信号処理部は、
　前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
　前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
　前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
　前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理装置。
（２）
　前記画像信号処理部は、
　前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
　前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記（１）に記載の画像処理装置。
（３）
　前記画像信号処理部は、
　前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記（１）または（２）に記載の画像処理装置。
（４）
　前記画像信号処理部は、
　前記注目画素における出力の色が前記所定色以外の色である場合に、
　前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記（２）に記載の画像処理装置。
（５）
　前記画像信号処理部は、
　前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
前記（１）乃至（４）の何れかに記載の画像処理装置。
（６）
　前記画像信号処理部は、
　予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
前記（１）乃至（４）の何れかに記載の画像処理装置。
（７）
　前記画像信号処理部は、
　前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
前記（１）乃至（６）の何れかに記載の画像処理装置。
（８）
　前記画像信号処理部は、
　前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
　前記画素ブロックは、４の同一色画素が格子状に配列され、該４の同一色画素に対して共通に１のレンズが配される
前記（１）乃至（８）の何れかに記載の画像処理装置。
（１０）
　前記入力画像は、
　同一色画素がｎ画素×ｎ画素（ｎは２以上の整数）の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
　該画素ブロックに含まれる、ｍ画素×ｍ画素（ｍはｎ以下且つ２以上の整数）の格子状の配列に対して共通に１のレンズが配される
前記（１）乃至（８）の何れかに記載の画像処理装置。
（１１）
　入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
　前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
　前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
　前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
　前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理方法。
（１２）
　前記画像処理装置が、
　前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
　前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記（１１）に記載の画像処理方法。
（１３）
　前記画像処理装置が、
　前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記（１１）または（１２）に記載の画像処理方法。
（１４）
　前記画像処理装置が、
　前記注目画素における出力の色が前記所定色以外の色である場合に、
　前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記（１２）に記載の画像処理方法。
（１５）
　前記画像処理装置が、
　前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
前記（１１）乃至（１４）の何れかに記載の画像処理方法。
（１６）
　前記画像信号処理部は、
　予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
前記（１１）乃至（１４）の何れかに記載の画像処理方法。
（１７）
　前記画像処理装置が、
　前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
前記（１１）乃至（１６）の何れかに記載の画像処理方法。
（１８）
　前記画像信号処理部は、
　前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記（１１）乃至（１７）の何れかに記載の画像処理方法。
（１９）
　入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
　前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
　前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
　前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
　前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
処理を実行させるための画像処理プログラム。
（２０）
　前記画像処理装置に、
　前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
　前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する処理をさらに実行させるための、
前記（１９）に記載の画像処理プログラム。
（２１）
　前記画像処理装置に、
　前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する処理をさらに実行させるための、
前記（１９）または（２０）に記載の画像処理プログラム。
（２２）
　前記画像処理装置に、
　前記注目画素における出力の色が前記所定色以外の色である場合に、
　前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する処理をさらに実行させるための、
前記（２０）に記載の画像処理プログラム。
（２３）
　前記画像処理装置に、
　前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記（１９）乃至（２２）の何れかに記載の画像処理プログラム。
（２４）
　前記画像処理装置に、
　予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記（１９）乃至（２２）の何れかに記載の画像処理プログラム。
（２５）
　前記画像処理装置に、
　前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する処理をさらに実行させるための、
前記（１９）乃至（２４）の何れかに記載の画像処理プログラム。
（２６）
　前記画像処理装置に、
　前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する処理をさらに実行させるための、
前記（１９）乃至（２５）の何れかに記載の画像処理プログラム。
１，１ａ，１ｂ　撮像装置
１０　撮像系
１１，１１’　リモザイク処理
１３　感度差補正部
２１，２１Ｒ，２１Ｂ，２１Ｇ　カラーフィルタ
２２　受光素子
４０　マイクロレンズ
１０１　画像処理部
１００，１００３　撮像部
１１０，１１０’　画像信号処理部
１１１　ＲＧＢ信号処理部
１０２　出力部
２００　ＬＣＢ部
２０１　方向判定部
２０２　Ｇ補間部
２０３　第１ＬＰＦ
２０４　第２ＬＰＦ
２０５　色変換処理部
１０００　ＣＰＵ
１０１１　撮像素子
１０１２　信号処理部

Claims (19)

  1. 　入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
    　前記画像信号処理部は、
    　前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
    　前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
    　前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
    　前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
    画像処理装置。
  2. 　前記画像信号処理部は、
    　前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
    　前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
    請求項１に記載の画像処理装置。
  3. 　前記画像信号処理部は、
    　前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
    請求項１に記載の画像処理装置。
  4. 　前記画像信号処理部は、
    　前記注目画素における出力の色が前記所定色以外の色である場合に、
    　前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
    請求項２に記載の画像処理装置。
  5. 　前記画像信号処理部は、
    　前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
    請求項１に記載の画像処理装置。
  6. 　前記画像信号処理部は、
    　予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
    請求項１に記載の画像処理装置。
  7. 　前記画像信号処理部は、
    　前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
    請求項１に記載の画像処理装置。
  8. 　前記画像信号処理部は、
    　前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
    請求項１に記載の画像処理装置。
  9. 　前記画素ブロックは、４の同一色画素が格子状に配列され、該４の同一色画素に対して共通に１のレンズが配される
    請求項１に記載の画像処理装置。
  10. 　前記入力画像は、
    　同一色画素がｎ画素×ｎ画素（ｎは２以上の整数）の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
    　該画素ブロックに含まれる、ｍ画素×ｍ画素（ｍはｎ以下且つ２以上の整数）の格子状の配列に対して共通に１のレンズが配される
    請求項１に記載の画像処理装置。
  11. 　入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
    　前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
    　前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
    　前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
    　前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
    画像処理方法。
  12. 　前記画像処理装置が、
    　前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
    　前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
    請求項１１に記載の画像処理方法。
  13. 　前記画像処理装置が、
    　前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
    請求項１１に記載の画像処理方法。
  14. 　前記画像処理装置が、
    　前記注目画素における出力の色が前記所定色以外の色である場合に、
    　前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
    請求項１２に記載の画像処理方法。
  15. 　前記画像処理装置が、
    　前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
    請求項１１に記載の画像処理方法。
  16. 　前記画像信号処理部は、
    　予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
    請求項１１に記載の画像処理方法。
  17. 　前記画像処理装置が、
    　前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
    請求項１１に記載の画像処理方法。
  18. 　前記画像信号処理部は、
    　前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
    請求項１１に記載の画像処理方法。
  19. 　入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
    　前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
    　前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
    　前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
    　前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
    処理を実行させるための画像処理プログラム。
PCT/JP2019/034673 2018-09-07 2019-09-03 画像処理装置、画像処理方法および画像処理プログラム WO2020050289A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/250,744 US11847759B2 (en) 2018-09-07 2019-09-03 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018168337A JP2020043435A (ja) 2018-09-07 2018-09-07 画像処理装置、画像処理方法および画像処理プログラム
JP2018-168337 2018-09-07

Publications (1)

Publication Number Publication Date
WO2020050289A1 true WO2020050289A1 (ja) 2020-03-12

Family

ID=69722375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034673 WO2020050289A1 (ja) 2018-09-07 2019-09-03 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US11847759B2 (ja)
JP (1) JP2020043435A (ja)
WO (1) WO2020050289A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282168B2 (en) * 2017-10-23 2022-03-22 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR102649032B1 (ko) * 2019-04-26 2024-03-20 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
KR20210001324A (ko) * 2019-06-27 2021-01-06 삼성전자주식회사 인공 신경망 모델 및 이를 포함하는 전자 장치
KR20210004229A (ko) 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
KR20210087809A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
KR20220053067A (ko) * 2020-10-21 2022-04-29 삼성전자주식회사 왜곡을 발생시키는 렌즈를 갖는 카메라 시스템에서 이미지 해상도를 개선하는 장치 및 그 동작 방법
KR20220078283A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법
JP2022100908A (ja) * 2020-12-24 2022-07-06 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器
CN114666469B (zh) * 2020-12-24 2023-11-14 富泰华工业（深圳）有限公司 图像处理装置、方法及具有该图像处理装置的镜头模组
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法
US11350048B1 (en) * 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors
WO2023243429A1 (ja) * 2022-06-13 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066157A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置
JP2016213715A (ja) * 2015-05-11 2016-12-15 キヤノン株式会社 撮像装置、撮像システム、信号処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012145664A (ja) * 2011-01-11 2012-08-02 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム。
US8891866B2 (en) 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
US10387477B2 (en) * 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
JP7086551B2 (ja) * 2017-09-21 2022-06-20 キヤノン株式会社 撮像装置及びその制御方法
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066157A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2015093332A1 (ja) * 2013-12-20 2015-06-25 富士フイルム株式会社 撮像モジュール及び撮像装置
JP2016213715A (ja) * 2015-05-11 2016-12-15 キヤノン株式会社 撮像装置、撮像システム、信号処理方法

Also Published As

Publication number Publication date
US11847759B2 (en) 2023-12-19
JP2020043435A (ja) 2020-03-19
US20210217134A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2020050289A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10958847B2 (en) Imaging device, image processing method, and image processing system
WO2018074250A1 (ja) 半導体装置、製造方法、および電子機器
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
JP7227235B2 (ja) 撮像素子および撮像装置
WO2019207978A1 (ja) 撮像素子および撮像素子の製造方法
JP2023061999A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2019040965A (ja) 固体撮像装置およびその製造方法
US11889206B2 (en) Solid-state imaging device and electronic equipment
JP7034925B2 (ja) 固体撮像装置および撮像方法
WO2021075116A1 (ja) 固体撮像装置及び電子機器
WO2023095518A1 (ja) 光検出装置及び電子機器
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2023079842A1 (ja) 固体撮像装置、撮像システム及び撮像処理方法
WO2022254845A1 (ja) 信号処理方法、信号処理装置および撮像装置
WO2023013156A1 (ja) 撮像素子及び電子機器
WO2021171796A1 (ja) 固体撮像装置及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857844

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857844

Country of ref document: EP

Kind code of ref document: A1