WO2023132222A1 - 撮像装置および電子機器 - Google Patents

撮像装置および電子機器 Download PDF

Info

Publication number
WO2023132222A1
WO2023132222A1 PCT/JP2022/046796 JP2022046796W WO2023132222A1 WO 2023132222 A1 WO2023132222 A1 WO 2023132222A1 JP 2022046796 W JP2022046796 W JP 2022046796W WO 2023132222 A1 WO2023132222 A1 WO 2023132222A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
sensor chip
signal processing
signal
outputs
Prior art date
Application number
PCT/JP2022/046796
Other languages
English (en)
French (fr)
Inventor
隆行 小笠原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023132222A1 publication Critical patent/WO2023132222A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an imaging device and an electronic device, and more particularly to an imaging device and an electronic device capable of acquiring higher quality images.
  • Patent Document 1 in order to achieve both a high zoom ratio and miniaturization, a half-mirror prism having a half-mirror that bends the optical path by approximately 90° is used, and the light reflected by the half-mirror surface is used as a sub-imaging lens.
  • An imaging device has been proposed in which light received by an element and transmitted through a half-mirror surface is received by a main imaging element.
  • the present disclosure has been made in view of such circumstances, and is intended to enable acquisition of images with higher image quality.
  • An imaging device includes at least three or more sensor chips used to acquire different types of images, and incident light incident along one optical axis is directed toward each of the sensor chips. a branching optical element for branching along at least three or more optical axes; and a signal processing unit for performing signal processing on signals output from at least three or more of the sensor chips and outputting one image. .
  • An electronic device includes at least three or more sensor chips used to acquire different types of images, and incident light incident along one optical axis is directed toward each of the sensor chips. a branching optical element for branching along at least three or more optical axes; and a signal processing unit for performing signal processing on signals output from at least three or more of the sensor chips and outputting one image.
  • An imaging device is provided.
  • At least three or more optical axes in which incident light along one optical axis is directed toward each of at least three or more sensor chips used to acquire different types of images are branched along Then, signals output from at least three or more sensor chips are subjected to signal processing, and one image is output.
  • FIG. 1 is a diagram illustrating a configuration example of a first embodiment of an imaging device to which the present technology is applied;
  • FIG. It is a figure explaining the relationship between a half mirror and a dichroic mirror, and the wavelength of light.
  • 2 is a block diagram showing a configuration example of a signal processing unit of the imaging device of FIG. 1;
  • FIG. 9 is a flowchart for explaining blur image generation processing; It is a figure which shows an example of the kernel used by a convolution process. It is a figure which shows an example of a blurred image. It is a figure which shows the structural example of 2nd Embodiment of the imaging device to which this technique is applied.
  • FIG. 8 is a diagram showing a configuration example of a modification of the imaging device of FIG.
  • FIG. 7 It is a figure explaining the relationship between a 1st half-mirror, a 2nd half-mirror, and the wavelength of light.
  • 8 is a block diagram showing a configuration example of a signal processing unit of the imaging device of FIG. 7;
  • FIG. FIG. 13 is a diagram illustrating a configuration example of a third embodiment of an imaging device to which the present technology is applied;
  • FIG. 12 is a diagram showing a configuration example of a modification of the imaging device of FIG. 11; It is a figure explaining the relationship between a 1st half-mirror, a 2nd half-mirror, and the wavelength of light.
  • 12 is a block diagram showing a configuration example of a signal processing unit of the imaging device of FIG. 11;
  • FIG. 16 is a block diagram showing a configuration example of a signal processing unit of the imaging device of FIG. 15;
  • FIG. It is a block diagram which shows the structural example of an imaging device.
  • FIG. 10 is a diagram showing an example of use using an image sensor;
  • FIG. 1 is a diagram illustrating a configuration example of a first embodiment of an imaging device to which the present technology is applied.
  • a of FIG. 1 shows a configuration example of the imaging device 11 in a top view
  • B of FIG. 1 shows a configuration example of the imaging device 11 in a side view.
  • the imaging device 11 is configured with three imaging elements: an RGB sensor chip 21, a brightness sensor chip 22, and an IR (Infrared Rays) distance sensor chip 23.
  • An IR cut filter 31 is arranged on the sensor surface of the RGB sensor chip 21 and a bandpass filter 32 is arranged on the sensor surface of the IR distance sensor chip 23 .
  • the imaging device 11 includes a first lens 41, a second lens 42, a first prism 43, a third lens 44, a fourth lens 45, an AF (Auto Focus) lens 46, a second prism 47 , and an IR aberration correction lens 48 .
  • the RGB sensor chip 21 is used to pick up a color image.
  • a color filter that transmits red light, a color filter that transmits green light, and a color filter that transmits blue light are arranged in, for example, a Bayer arrangement. , detects light in the wavelength range of each color, and outputs RGB signals indicating the luminance value of the light of each color.
  • the luminance sensor chip 22 is used for capturing black-and-white images, detects light in all wavelength ranges, and outputs a Y signal indicating the luminance value of the light.
  • the IR distance sensor chip 23 is used to obtain a depth map, which is an image represented by information on the distance to the subject. Output a signal.
  • the IR cut filter 31 cuts light in the infrared wavelength range, transmits light in the visible light wavelength range, and illuminates the RGB sensor chip 21 .
  • the band-pass filter 32 transmits only light in a specific wavelength range, for example, light in the infrared wavelength range, and illuminates the IR distance sensor chip 23 .
  • the first lens 41 , the second lens 42 , the third lens 44 , the fourth lens 45 and the AF lens 46 are the sensor surfaces of the RGB sensor chip 21 , the brightness sensor chip 22 and the IR distance sensor chip 23 . constitutes a first lens group having a function of forming an image of an object on the lens.
  • the AF lens 46 also has a function of adjusting the focus of an image by moving back and forth along the optical axis direction as indicated by the white arrow.
  • the IR aberration correction lens 48 is composed of a second lens group having a function of correcting infrared light aberration on the sensor surface of the IR distance sensor chip 23 .
  • the first prism 43 is an optical element that refracts light incident on the imaging device 11 in a direction substantially perpendicular to the optical axis.
  • the second prism 47 divides the optical axis incident on the imaging device 11 and refracted by the first prism 43 into an optical axis toward the RGB sensor chip 21, an optical axis toward the luminance sensor chip 22, and an IR distance sensor. It is an optical element that branches the optical axis toward the chip 23 .
  • the second prism 47 is provided with a half mirror 47HM on the light incident surface inclined at about 45° with respect to the optical axis of the light incident on the second prism 47, and transmits the light through the second prism 47.
  • a dichroic mirror 47DM is provided on the light exit surface inclined at about 45° with respect to the optical axis.
  • the half mirror 47HM reflects light so that the ratio of transmitted light and reflected light is 1:1.
  • the dichroic mirror 47DM transmits only light of a specific wavelength and reflects light other than the specific wavelength range.
  • the light reflected by the half mirror 47HM is received by the RGB sensor chip 21
  • the light reflected by the dichroic mirror 47DM is received by the luminance sensor chip 22
  • the light transmitted through the second prism 47 is is received by the IR distance sensor chip 23 .
  • the wavelength characteristics of reflected light reflected by the half mirror 47HM are indicated by broken lines, and in FIG. 2B, the wavelength characteristics of transmitted light that passes through the half mirror 47HM are indicated by solid lines.
  • the half mirror 47HM splits the reflected light and the transmitted light at a ratio of 1:1 respectively.
  • 2A shows wavelength characteristics IRCF of light transmitted through the IR cut filter 31, wavelength characteristics R of light received by the red pixels of the RGB sensor chip 21, and wavelength characteristics R of light received by the green pixels of the RGB sensor chip 21.
  • a wavelength characteristic G of light and a wavelength characteristic B of light received by the blue pixels of the RGB sensor chip 21 are shown.
  • the solid line indicates the wavelength characteristics of the transmitted light that passes through the dichroic mirror 47DM
  • the solid line indicates the wavelength characteristics of the reflected light that is reflected by the dichroic mirror 47DM.
  • the dichroic mirror 47DM transmits light in the wavelength range below about 400 nm and above about 600 nm, and reflects light in the wavelength range from about 400 nm to about 600 nm.
  • the wavelength characteristic BPF of the light that passes through the bandpass filter 32 is indicated by a dashed line.
  • the image pickup device 11 configured as described above is made thinner than the conventional one by refracting the optical axis of the incident light by the first prism 43, that is, the height of the module in the side view is kept low. be able to. Accordingly, for example, by incorporating the imaging device 11 into an electronic device such as a smart phone, it is possible to effectively utilize the space below the display provided in the electronic device.
  • the imaging device 11 since the imaging device 11 has a configuration in which the optical axis of incident light is split into three directions by the second prism 47, for example, a parallax occurs as in an imaging device having a configuration in which a plurality of imaging elements are arranged side by side. can be avoided. Therefore, the imaging apparatus 11 does not require parallax correction, so it can also handle macro photography. Further, the imaging device 11 can realize autofocusing of the RGB sensor chip 21, the brightness sensor chip 22, and the IR distance sensor chip 23 only by driving one AF lens 46. For example, each individual AF Low power consumption can be achieved compared to a configuration that drives a lens.
  • FIG. 3 is a block diagram showing a functional configuration example of the signal processing unit 51 included in the imaging device 11. As shown in FIG. 3
  • the signal processing unit 51 includes a first camera unit 52-1, a second camera unit 52-2, a third camera unit 52-3, a first signal processing unit 53, a second , a signal processing unit 54, a driver I/F (Interface) 55, and a display driver 56.
  • the first camera unit 52-1 includes a sensor 61-1 and a circuit 62-1 included in the RGB sensor chip 21, a first camera I/F 63-1, a synchronization circuit 64-1, and an image capture unit 65-1. configured with In the first camera unit 52-1, the RGB signal output from the sensor 61-1 is subjected to AD (Analog to Digital) conversion processing, noise removal processing, etc. in the circuit 62-1, and then the first RGB signals are input to the synchronization circuit 64-1 via the camera I/F 63-1. Then, in the synchronizing circuit 64-1, the Y signal of the second camera unit 52-2 and the distance signal of the third camera unit 52-3 are synchronized and the RGB signals are output to the image capture unit 65-1. 1.
  • AD Analog to Digital
  • the first camera unit 52-1 converts the RGB signal output from the RGB sensor chip 21 into a YUV signal according to the following equation (1) and outputs the YUV signal.
  • the second camera unit 52-2 includes a sensor 61-2 and a circuit 62-2 of the brightness sensor chip 22, a second camera I/F 63-2, a synchronization circuit 64-2, and an image capture unit 65-2. configured with In the second camera unit 52-2, the Y signal output from the sensor 61-2 is subjected to AD conversion processing, noise removal processing, etc. in the circuit 62-2, and then processed by the second camera I/F 63. -2, the Y signal is input to the synchronization circuit 64-2. Then, in the synchronization circuit 64-2, the Y signal synchronized between the RGB signal of the first camera unit 52-1 and the distance signal of the third camera unit 52-3 is transferred to the image capturing unit 65- 2 and output from the second camera section 52-2.
  • the third camera unit 52-3 includes a sensor 61-3 and a circuit 62-3 included in the IR distance sensor chip 23, a third camera I/F 63-3, a synchronization circuit 64-3, an image capture unit 65-3, In addition, it is configured to include an AF driving section 66 .
  • a distance signal indicating the distance to the subject is generated in the circuit 62-3. -3, the distance signal is input to the synchronization circuit 64-3.
  • the distance signal synchronized between the RGB signal of the first camera unit 52-1 and the Y signal of the second camera unit 52-2 is output to the image capturing unit 65- 3, and a depth map (distance information) is output from the third camera unit 52-3.
  • the distance signal output from the circuit 62-3 is also supplied to the AF driving section 66.
  • FIG. The AF driver 66 drives the AF lens 46 in FIG. 1 according to the distance signal.
  • the YUV signal output from the first camera section 52-1 is input to the first signal processing section 53, and the Y signal output from the second camera section 52-2 is input.
  • the first signal processing unit 53 combines the YUV signal obtained by the first camera unit 52-1 and the Y signal obtained by the second camera unit 52-2 to obtain color reproducibility and resolution (Y A first signal processing is performed to improve sensitivity (including sensitivity improvement by a signal). For example, the first signal processing unit 53 acquires a YUV signal with improved color reproducibility and resolution by calculating the following equation (2), and supplies it to the second signal processing unit 54 .
  • the YUV signal output from the first signal processing unit 53 is input to the second signal processing unit 54, and the depth map output from the third camera unit 52-3 is input.
  • the second signal processing unit 54 performs convolution processing on the YUV signal based on the distance information of the depth map, thereby emphasizing a subject at a distance desired to be focused and a subject at a distance out of focus.
  • a blurred blurred image is generated and supplied to the driver I/F 55 .
  • the driver I/F 55 converts the blurred image supplied from the second signal processing unit 54 according to, for example, a pixel array of color pixels of a display device (not shown) (eg, Bayer array, Quad array, etc.), and displays the image. It supplies the driver 56 .
  • the display driver 56 drives to display the blurred image supplied from the driver I/F 55 on a display (not shown).
  • the signal processing unit 51 of the imaging device 11 is configured in this manner, and by combining the RGB signal output from the RGB sensor chip 21 and the Y signal output from the luminance sensor chip 22, color reproducibility and resolution can be improved. In addition to being able to achieve both, it is possible to generate a blurred image in which the focus is adjusted according to the distance signal output from the IR distance sensor chip 23, and it is possible to acquire a higher quality image. .
  • the imaging device 11 splits the optical axis of the incident light into three directions by the second prism 47, so that the RGB sensor chip 21, the brightness sensor chip 22, and the IR distance sensor chip 23 generate parallax with each other.
  • the signal processing unit 51 of the imaging device 11 can perform simple signal processing that does not require extra processing such as parallax correction, resulting in low power consumption and high speed (for example, moving image processing). can be handled).
  • a blurred image generation process for generating a blurred image in the signal processing unit 51 of the imaging device 11 will be described with reference to the flowchart shown in FIG.
  • step S11 the IR distance sensor chip 23 performs distance measurement processing for measuring the distance to the subject, for example, based on the time difference between irradiation and reflection of infrared rays, and outputs a distance signal indicating the distance to the subject.
  • step S12 the image capturing unit 65-3 captures the distance signal output from each pixel of the IR distance sensor chip 23 in step S11, and converts the distance information to the subject into an image in the same manner as the image for one frame. Create a depth map.
  • step S13 the second signal processing unit 54 performs convolution processing on the YUV signal output from the first signal processing unit 53 based on the distance information of the depth map created in step S12. For example, the second signal processing unit 54 convolves a kernel A as shown in A in FIG. A kernel B as shown in FIG. 5B is convolved over the imaged region. Through such convolution processing, the second signal processing unit 54 generates a blurred image in which a subject at a distance desired to be focused is emphasized and a subject at a distance out of focus is blurred.
  • step S14 the display driver 56 outputs the blurred image generated in step S13 to a display device (not shown), and the process ends.
  • a blurred image generated by the signal processing unit 51 of the imaging device 11 will be described with reference to FIG.
  • FIG. 6A shows an example of a blurred image in which a subject (person) at a distance of 1 m from the imaging device 11 is focused.
  • a blurred image in which the person is in focus is generated as shown in the figure. be.
  • FIG. 6B shows an example of a blurred image in which a subject (landscape) at a distance of 10 m from the imaging device 11 is focused.
  • a blurred image in which the scenery is in focus is generated as shown in the figure. be.
  • FIG. 7 is a diagram illustrating a configuration example of a second embodiment of an imaging device to which the present technology is applied.
  • the same reference numerals are assigned to the components common to the imaging device 11 in FIG. 1, and detailed description thereof will be omitted.
  • FIG. 7A shows a top view configuration example of the imaging device 11A
  • FIG. 7B shows a side view configuration example of the imaging device 11A.
  • the imaging device 11A includes an RGB sensor chip 21, a luminance sensor chip 22, an IR cut filter 31, a first lens 41, a second lens 42, a first prism 43, and a third lens 44. , a fourth lens 45, and an AF lens 46, and has a configuration common to that of the imaging apparatus 11 of FIG.
  • the imaging device 11A is provided with a multiband sensor chip 24 in place of the IR distance sensor chip 23 in FIG. 1, and a second prism 47A in place of the second prism 47 in FIG. 1 in that a wide-area aberration correction lens 49 is provided in place of the IR aberration correction lens 48 of FIG.
  • the multiband sensor chip 24 is used to acquire a multiband image, detects light in a predetermined number of three or more wavelength bands, and outputs a multiband image signal indicating the brightness value of light in each wavelength band.
  • the second prism 47A divides the optical axis incident on the imaging device 11A and refracted by the first prism 43 into an optical axis toward the RGB sensor chip 21, an optical axis toward the luminance sensor chip 22, and an optical axis toward the multiband sensor. It is an optical element that branches the optical axis toward the chip 24 .
  • the second prism 47A is provided with a first half mirror 47HM-1 on the light incident surface inclined at about 45° with respect to the optical axis of the light incident on the second prism 47A.
  • a second half mirror 47HM-2 is provided on the light exit surface inclined at about 45° with respect to the optical axis transmitting the prism 47A.
  • the wide-range aberration correction lens 49 is composed of a second lens group having a function of correcting the aberration of light in a wide wavelength range on the sensor surface of the multiband sensor chip 24 .
  • the light reflected by the first half mirror 47HM-1 is received by the RGB sensor chip 21, and the light reflected by the second half mirror 47HM-2 is reflected by the luminance sensor chip 22.
  • the optical system is configured so that the multiband sensor chip 24 receives light that has passed through the second prism 47A.
  • FIG. 8 shows a configuration example of a modification of the imaging device 11A.
  • the imaging device 11A-1 shown in FIG. 8 has a configuration different from that of the imaging device 11A in FIG. 7 in that an IR cut filter 33 is arranged on the sensor surface of the luminance sensor chip 22 . That is, the imaging device 11A-1 is configured such that the IR cut filter 33 cuts the light in the infrared wavelength range and irradiates the luminance sensor chip 22 with the light in the visible light wavelength range.
  • the wavelength characteristics of the reflected light reflected by the first half mirror 47HM-1 are indicated by broken lines, and in FIG. A solid line indicates the wavelength characteristic of the transmitted light.
  • the first half mirror 47HM-1 splits the reflected light and the transmitted light with a ratio of 1:1 respectively.
  • 9A shows wavelength characteristics IRCF of light transmitted through the IR cut filter 31, wavelength characteristics R of light received by the red pixels of the RGB sensor chip 21, and wavelength characteristics R of light received by the green pixels of the RGB sensor chip 21.
  • a wavelength characteristic G of light and a wavelength characteristic B of light received by the blue pixels of the RGB sensor chip 21 are shown.
  • FIG. 9C the wavelength characteristics of the transmitted light transmitted through the second half mirror 47HM-2 are indicated by broken lines, and in FIG. 9D, the light reflected by the second half mirror 47HM-2 is shown. Wavelength characteristics of reflected light are indicated by dashed lines. As shown, the second half mirror 47HM-2 splits the reflected light and the transmitted light with a ratio of 1:1 respectively.
  • FIG. 9C shows wavelength characteristics MB1 to MB7 of light received by pixels in each wavelength band when the multiband sensor chip 24 is configured to receive light in seven wavelength bands. Further, in D of FIG. 9, the wavelength characteristic IRCF of light passing through the IR cut filter 33 is indicated by a solid line.
  • the imaging device 11A configured as described above is designed to be lower than the conventional one, to avoid the occurrence of parallax, to support macro photography, and to , power consumption can be reduced.
  • FIG. 10 is a block diagram showing a functional configuration example of the signal processing section 51A included in the imaging device 11A.
  • the signal processing section 51A shown in FIG. 10 components common to those of the signal processing section 51 shown in FIG. 3 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the signal processing unit 51A is common to the signal processing unit 51 in FIG. 3 in that it includes a first camera unit 52-1, a driver I/F 55, and a display driver 56. It is configured. That is, the first camera unit 52-1 converts the RGB signal output from the RGB sensor chip 21 into a YUV signal according to the following equation (3) and outputs the YUV signal.
  • the signal processing unit 51A includes a second camera unit 52A-2, a third camera unit 52A-3, a first signal processing unit 53A, and a second signal processing unit 54A. , has a configuration different from that of the signal processing unit 51 in FIG.
  • the second camera section 52A-2 includes a second camera I/F 63-2, a synchronization circuit 64-2, and an image capture section 65-2. It has a configuration common to that of the section 52-2.
  • the second camera section 52A-2 is provided with a multiband sensor chip 24 in place of the brightness sensor chip 22 of FIG.
  • the second camera unit 52A-2 converts n-band multiband image signals S 1 to S n output from the multiband sensor chip 24 into YUV signals according to the following equation (4) and outputs them. .
  • the third camera unit 52A-3 is similar to the third camera in FIG. It has a configuration common to that of the section 52-3.
  • the third camera section 52A-3 is provided with a luminance sensor chip 22 in place of the IR distance sensor chip 23 of FIG. That is, the third camera section 52A-3 is configured in the same manner as the second camera section 52-2 in FIG. 3, and outputs a Y signal.
  • the YUV signal output from the first camera section 52-1 is input to the first signal processing section 53A, and the YUV signal output from the second camera section 52A-2 is input.
  • the first signal processing unit 53A combines the YUV signal obtained by the first camera unit 52-1 and the YUV signal obtained by the second camera unit 52A-2 to obtain high color reproducibility. performs the first signal processing. For example, the first signal processing unit 53A acquires a YUV signal with high color reproducibility by calculating the following equation (5), and supplies it to the second signal processing unit 54A.
  • the YUV signal output from the first signal processing unit 53 is input to the second signal processing unit 54A, and the Y signal output from the third camera unit 52A-3 is input.
  • the second signal processing unit 54A combines the YUV signal obtained by the first signal processing unit 53 and the Y signal obtained by the third camera unit 52A-3 to improve resolution and sensitivity. signal processing.
  • the second signal processing unit 54A obtains a YUV signal with improved resolution and sensitivity by calculating the following equation (6), and supplies it to the driver I/F 55.
  • the signal processing unit 51A of the imaging device 11A is configured in this way, and by combining the RGB signal output from the RGB sensor chip 21 and the multiband image signal output from the multiband sensor chip 24, high color reproduction is achieved. In addition, by combining the Y signal output from the luminance sensor chip 22, an image with improved resolution and sensitivity can be generated, and a higher quality image can be obtained. be able to.
  • the imaging device 11A splits the optical axis of the incident light into three directions by the second prism 47A, so that the RGB sensor chip 21, the luminance sensor chip 22, and the multiband sensor chip 24 generate parallax with each other.
  • the signal processing unit 51A of the imaging device 11A can perform simple signal processing that does not require extra processing such as parallax correction, resulting in low power consumption and high speed (for example, moving image processing). can be handled).
  • FIG. 11 is a diagram illustrating a configuration example of a third embodiment of an imaging device to which the present technology is applied.
  • the same reference numerals are assigned to the components common to the imaging device 11 in FIG. 1, and detailed description thereof will be omitted.
  • FIG. 11 shows a top view configuration example of the imaging device 11B
  • FIG. 1B shows a side view configuration example of the imaging device 11B.
  • the imaging device 11B includes an RGB sensor chip 21, a brightness sensor chip 22, an IR cut filter 31, a first lens 41, a second lens 42, a first prism 43, and a third lens 44. , a fourth lens 45, and an AF lens 46, and has a configuration common to that of the imaging apparatus 11 of FIG.
  • the imaging device 11B is provided with a CMY sensor chip 25 in place of the IR distance sensor chip 23 in FIG. 1, an IR cut filter 34 in place of the bandpass filter 32 in FIG. 1 in that a second prism 47B is provided instead of the second prism 47.
  • CMY sensor chip 25 in place of the IR distance sensor chip 23 in FIG. 1
  • IR cut filter 34 in place of the bandpass filter 32 in FIG. 1 in that a second prism 47B is provided instead of the second prism 47.
  • the CMY sensor chip 25 is used for capturing color images.
  • a color filter that transmits cyan light, a color filter that transmits magenta light, and a color filter that transmits yellow light are arranged in, for example, a Bayer arrangement. , which detect light in the wavelength regions of each color and output CMY signals indicating the luminance value of the light of each color.
  • the IR cut filter 34 cuts light in the infrared wavelength range, transmits light in the visible light wavelength range, and illuminates the CMY sensor chip 25 .
  • the second prism 47B divides the optical axis incident on the imaging device 11B and refracted by the first prism 43 into an optical axis toward the RGB sensor chip 21, an optical axis toward the luminance sensor chip 22, and an optical axis toward the CMY sensor chip.
  • 25 is an optical element for branching the optical axis.
  • the second prism 47B is provided with a first half mirror 47HM-1 on the light incident surface inclined at about 45° with respect to the optical axis of the light incident on the second prism 47B.
  • a second half mirror 47HM-2 is provided on the light exit surface inclined at about 45° with respect to the optical axis transmitting through the prism 47B.
  • the imaging device 11B configured in this way, the light reflected by the first half mirror 47HM-1 is received by the RGB sensor chip 21, and the light reflected by the second half mirror 47HM-2 is reflected by the luminance sensor chip 22.
  • the optical system is configured so that the CMY sensor chip 25 receives the light that has been received by the second prism 47A and passed through the second prism 47A.
  • FIG. 12 shows a configuration example of a modification of the imaging device 11B.
  • An imaging device 11B-1 shown in A of FIG. 12 has a configuration different from that of the imaging device 11B of FIG. 11 in that an IR cut filter 35 is arranged on the sensor surface of the luminance sensor chip 22 . That is, the imaging device 11B-1 is configured such that the IR cut filter 35 cuts the light in the infrared wavelength range and irradiates the luminance sensor chip 22 with the light in the visible light wavelength range.
  • the imaging device 11B-2 shown in FIG. 12B does not have the IR cut filter 34 on the sensor surface of the CMY sensor chip 25, and the light passing through the second prism 47B is on the optical axis (the second prism 47B is composed of two prisms cemented together, and differs from the imaging device 11B in FIG. 11 in that an IR cut filter 36 is arranged on the cemented surface.
  • the imaging device 11B-2 is configured such that the IR cut filter 36 cuts light in the infrared wavelength range and irradiates the luminance sensor chip 22 and the CMY sensor chip 25 with light in the visible light wavelength range.
  • the wavelength characteristics of the reflected light reflected by the first half mirror 47HM-1 are indicated by broken lines, and in FIG. A solid line indicates the wavelength characteristic of the transmitted light.
  • the first half mirror 47HM-1 splits the reflected light and the transmitted light with a ratio of 1:1 respectively.
  • 13A shows the wavelength characteristics IRCF of light transmitted through the IR cut filter 31, the wavelength characteristics R of light received by the red pixels of the RGB sensor chip 21, and the wavelength characteristics R of the light received by the green pixels of the RGB sensor chip 21.
  • a wavelength characteristic G of light and a wavelength characteristic B of light received by the blue pixels of the RGB sensor chip 21 are shown.
  • FIG. 13C shows wavelength characteristics of the transmitted light transmitted through the second half mirror 47HM-2
  • FIG. 13D shows the light reflected by the second half mirror 47HM-2. Wavelength characteristics of reflected light are indicated by dashed lines.
  • the second half mirror 47HM-2 splits the reflected light and the transmitted light with a ratio of 1:1 respectively.
  • FIG. 13C shows wavelength characteristics C of light received by the cyan pixels of the CMY sensor chip 25, wavelength characteristics M of light received by the magenta pixels of the CMY sensor chip 25, and yellow pixels of the CMY sensor chip 25. shows the wavelength characteristic Y of the light received by .
  • the wavelength characteristic IRCF of light passing through the IR cut filter 35 is indicated by a solid line.
  • the image pickup apparatus 11B configured as described above, similarly to the image pickup apparatus 11 of FIG. , power consumption can be reduced.
  • FIG. 14 is a block diagram showing a functional configuration example of the signal processing section 51B included in the imaging device 11B.
  • the signal processing section 51B shown in FIG. 14 components common to those of the signal processing section 51 shown in FIG. 3 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the signal processing unit 51B is common to the signal processing unit 51 in FIG. 3 in that it includes a first camera unit 52-1, a driver I/F 55, and a display driver 56. It is configured. That is, the first camera unit 52-1 converts the RGB signal output from the RGB sensor chip 21 into a YUV signal according to the following equation (7) and outputs the YUV signal.
  • the signal processing unit 51B includes a second camera unit 52B-2, a third camera unit 52B-3, a first signal processing unit 53B, and a second signal processing unit 54B. , has a configuration different from that of the signal processing unit 51 in FIG.
  • the second camera unit 52B-2 includes a second camera I/F 63-2, a synchronization circuit 64-2, and an image capture unit 65-2. It has a configuration common to that of the section 52-2.
  • the second camera section 52B-2 is provided with a CMY sensor chip 25 in place of the brightness sensor chip 22 of FIG.
  • the second camera unit 52B-2 converts the CMY signals output from the CMY sensor chip 25 into YUV signals according to the following equation (8) and outputs them.
  • the third camera unit 52B-3 includes a third camera I/F 63-3, a synchronization circuit 64-3, and an image capture unit 65-3. It has a configuration common to that of the section 52-3.
  • the third camera section 52B-3 is provided with a luminance sensor chip 22 in place of the IR distance sensor chip 23 of FIG. That is, the third camera section 52B-3 is configured similarly to the second camera section 52-2 in FIG. 3 and outputs a Y signal.
  • the YUV signal output from the first camera section 52-1 is input to the first signal processing section 53B, and the YUV signal output from the second camera section 52B-2 is input.
  • the first signal processing unit 53B combines the YUV signal obtained by the first camera unit 52-1 and the YUV signal obtained by the second camera unit 52B-2 to obtain high color reproducibility. performs the first signal processing. For example, the first signal processing unit 53B obtains a YUV signal with high color reproducibility by calculating the following equation (9), and supplies it to the second signal processing unit 54B.
  • the YUV signal output from the first signal processing unit 53 is input to the second signal processing unit 54B, and the Y signal output from the third camera unit 52B-3 is input.
  • the second signal processing unit 54B combines the YUV signal obtained by the first signal processing unit 53 and the Y signal obtained by the third camera unit 52B-3 to improve resolution and sensitivity. signal processing.
  • the second signal processing unit 54B acquires a YUV signal with improved resolution and sensitivity by calculating the following equation (10), and supplies it to the driver I/F 55.
  • the signal processing unit 51B of the imaging device 11B is configured in this way, and by combining the RGB signals output from the RGB sensor chip 21 and the CMY signals output from the CMY sensor chip 25, high color reproducibility can be obtained. In addition, by combining with the Y signal output from the luminance sensor chip 22, an image with improved resolution and sensitivity can be generated, and a higher quality image can be acquired. .
  • the imaging device 11B splits the optical axis of the incident light into three directions by the second prism 47B, so that the RGB sensor chip 21, the luminance sensor chip 22, and the CMY sensor chip 25 do not cause any parallax. It is configured.
  • the signal processing unit 51B of the imaging device 11B can perform simple signal processing that does not require extra processing such as parallax correction, resulting in low power consumption and high speed (for example, moving image processing). can be handled).
  • FIG. 15 is a diagram illustrating a configuration example of a fourth embodiment of an imaging device to which the present technology is applied.
  • the same reference numerals are given to the components common to the imaging device 11 in FIG. 1, and detailed description thereof will be omitted.
  • FIG. 15A shows a top view configuration example of the imaging device 11C
  • FIG. 15B shows a side view configuration example of the imaging device 11C.
  • the imaging device 11C includes an RGB sensor chip 21, an IR distance sensor chip 23, an IR cut filter 31, a bandpass filter 32, a first lens 41, a second lens 42, a first prism 43 , a third lens 44, a fourth lens 45, an AF lens 46, a second prism 47, and an IR aberration correction lens 48, which is common to the imaging apparatus 11 of FIG. ing.
  • the imaging device 11C has a configuration different from that of the imaging device 11 in FIG. 1 in that a CMY sensor chip 25 is provided instead of the luminance sensor chip 22 in FIG.
  • the CMY sensor chip 25 is used for capturing color images.
  • a color filter that transmits cyan light, a color filter that transmits magenta light, and a color filter that transmits yellow light are arranged in, for example, a Bayer arrangement. , which detect light in the wavelength regions of each color and output CMY signals indicating the luminance value of the light of each color.
  • the light reflected by the half mirror 47HM is received by the RGB sensor chip 21, reflected by the dichroic mirror 47DM, received by the CMY sensor chip 25, and transmitted through the dichroic mirror 47DM.
  • the optical system is configured such that light is received by the IR distance sensor chip 23 .
  • the wavelength characteristics of the reflected light reflected by the half mirror 47HM are indicated by broken lines
  • the wavelength characteristics of the transmitted light transmitted through the half mirror 47HM are indicated by solid lines.
  • the half mirror 47HM splits the reflected light and the transmitted light with a ratio of 1:1 respectively.
  • 16A shows the wavelength characteristics IRCF of light transmitted through the IR cut filter 31, the wavelength characteristics R of light received by the red pixels of the RGB sensor chip 21, and the wavelength characteristics R of the light received by the green pixels of the RGB sensor chip 21.
  • a wavelength characteristic G of light and a wavelength characteristic B of light received by the blue pixels of the RGB sensor chip 21 are shown.
  • the solid line indicates the wavelength characteristics of the transmitted light passing through the dichroic mirror 47DM
  • the broken line indicates the wavelength characteristics of the reflected light reflected by the dichroic mirror 47DM.
  • the dichroic mirror 47DM transmits light in the wavelength range below about 400 nm and above about 600 nm, and reflects light in the wavelength range from about 400 nm to about 600 nm.
  • the wavelength characteristic BPF of the light passing through the bandpass filter 32 is indicated by a broken line.
  • 16D shows wavelength characteristics C of light received by the cyan pixels of the CMY sensor chip 25, wavelength characteristics M of light received by the magenta pixels of the CMY sensor chip 25, and yellow characteristics of the CMY sensor chip 25. , the wavelength characteristics Y of light received by the pixels are shown.
  • the imaging device 11C configured as described above has a lower profile than the conventional one, avoids the occurrence of parallax, and supports macro photography. , power consumption can be reduced.
  • FIG. 17 is a block diagram showing a functional configuration example of the signal processing section 51C included in the imaging device 11C.
  • the signal processing section 51C shown in FIG. 17 components common to those of the signal processing section 51 shown in FIG. 3 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the signal processing section 51C includes a first camera section 52-1, a third camera section 52-3, a second signal processing section 54, a driver I/F 55, and a display driver 56.
  • the first camera unit 52-1 converts the RGB signal output from the RGB sensor chip 21 into a YUV signal according to the following equation (11) and outputs the YUV signal.
  • the signal processing section 51C differs from the signal processing section 51 in FIG. 3 in that it includes a second camera section 52C-2 and a first signal processing section 53C.
  • the second camera unit 52C-2 includes a second camera I/F 63-2, a synchronization circuit 64-2, and an image capture unit 65-2. It has a configuration common to that of the section 52-2.
  • the second camera section 52C-2 is provided with a CMY sensor chip 25 in place of the luminance sensor chip 22 of FIG.
  • the second camera unit 52C-2 converts the CMY signals output from the CMY sensor chip 25 into YUV signals according to the following equation (12) and outputs them.
  • the YUV signal output from the first camera section 52-1 is input to the first signal processing section 53C, and the YUV signal output from the second camera section 52C-2 is input.
  • the first signal processing unit 53C combines the YUV signal obtained by the first camera unit 52-1 and the YUV signal obtained by the second camera unit 52B-2 to obtain high color reproducibility. performs the first signal processing.
  • the first signal processing unit 53 ⁇ /b>C obtains a YUV signal with high color reproducibility by calculating the following equation (13) and supplies it to the second signal processing unit 54 .
  • the second signal processing unit 54 can generate a blurred image by performing convolution processing based on the distance information of the depth map, as described above with reference to FIGS. .
  • the signal processing unit 51C of the imaging device 11C is configured in this way, and by combining the RGB signals output from the RGB sensor chip 21 and the CMY signals output from the CMY sensor chip 25, high color reproducibility can be obtained. In addition, it is possible to generate a blurred image in which the focus is adjusted according to the distance signal output from the IR distance sensor chip 23, so that a higher quality image can be acquired.
  • the imaging device 11C splits the optical axis of the incident light into three directions by the second prism 47, so that the RGB sensor chip 21, the CMY sensor chip 25, and the IR distance sensor chip 23 generate parallax with each other.
  • the signal processing unit 51C of the imaging device 11C can perform simple signal processing that does not require extra processing such as parallax correction, resulting in low power consumption and high speed (for example, moving image processing). can be handled).
  • sensor chip may be used.
  • the imaging apparatus 11 as described above can be applied to various electronic devices such as imaging systems such as digital still cameras and digital video cameras, mobile phones with imaging functions, and other devices with imaging functions. can be done.
  • FIG. 18 is a block diagram showing a configuration example of an imaging device mounted on an electronic device.
  • the imaging device 101 is configured with an optical system 102, an imaging element 103, a signal processing circuit 104, a monitor 105, and a memory 106, and is capable of capturing still images and moving images.
  • the optical system 102 is configured with one or more lenses, guides image light (incident light) from a subject to the imaging element 103, and forms an image on the light receiving surface (sensor section) of the imaging element 103.
  • the imaging element 103 As the imaging element 103, the above-described RGB sensor chip 21, brightness sensor chip 22, and IR distance sensor chip 23 are applied. Electrons are accumulated in the imaging element 103 for a certain period of time according to the image formed on the light receiving surface via the optical system 102 . A signal corresponding to the electrons accumulated in the image sensor 103 is supplied to the signal processing circuit 104 .
  • the signal processing circuit 104 performs various signal processing on the pixel signals output from the image sensor 103 .
  • An image (image data) obtained by the signal processing performed by the signal processing circuit 104 is supplied to the monitor 105 for display or supplied to the memory 106 for storage (recording).
  • the imaging device 11 By applying the above-described imaging device 11 to the imaging device 101 configured in this manner, for example, it is possible to capture a higher quality image, and the imaging device 11 is made thinner as the height thereof is reduced. can be achieved.
  • FIG. 19 is a diagram showing a usage example using the image sensor (imaging element) described above.
  • the image sensor described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays, for example, as follows.
  • ⁇ Devices that capture images for viewing purposes, such as digital cameras and mobile devices with camera functions.
  • Devices used for transportation such as in-vehicle sensors that capture images behind, around, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, and ranging sensors that measure the distance between vehicles.
  • Devices used in home appliances such as TVs, refrigerators, air conditioners, etc., to take pictures and operate devices according to gestures ⁇ Endoscopes, devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare purposes such as surveillance cameras for crime prevention and cameras for personal authentication
  • microscopes used for beauty such as microscopes used for beauty
  • Sports such as action cameras and wearable cameras for use in sports ⁇ Cameras, etc. for monitoring the condition of fields and crops , agricultural equipment
  • the present technology can also take the following configuration.
  • (1) at least three or more sensor chips each used to acquire different types of images; a branching optical element for branching; A signal processing unit that performs signal processing on signals output from at least three or more of the sensor chips and outputs one image.
  • (2) The imaging device according to (1) above, further comprising a refractive optical element that refracts the incident light incident on the imaging device toward the branching optical element in a substantially orthogonal direction.
  • the branching optical element is provided with a half mirror on the light incident surface that reflects light so that the ratio of transmitted light and reflected light is 1:1.
  • the imaging device according to (1) or (2) above, wherein a dichroic mirror that reflects light is provided on the light exit surface.
  • an RGB sensor chip that detects light in the wavelength regions of red, green, and blue and outputs RGB signals that indicate the luminance value of light of each color; a luminance sensor chip that detects light in all wavelength ranges and outputs a Y signal that indicates the luminance value of the light;
  • the image pickup apparatus further comprising: an IR distance sensor chip that outputs a distance signal indicating a distance to a subject that is obtained using the speed of light in the infrared wavelength range.
  • the signal processing unit is A YUV signal obtained by converting the RGB signal output from the RGB sensor chip and the Y signal output from the luminance sensor chip are combined to perform first signal processing for improving color reproducibility and resolution.
  • a first signal processing unit that outputs a YUV signal that has undergone the first signal processing; Convolution processing based on a depth map created from a distance signal output from the IR distance sensor chip is performed on the YUV signal that has undergone the first signal processing, and focusing is performed according to the distance to the subject.
  • the imaging apparatus according to (4) above, further comprising: a second signal processing unit that outputs an image adjusted for the .
  • an RGB sensor chip that detects light in the wavelength regions of red, green, and blue and outputs RGB signals that indicate the luminance value of light of each color
  • a CMY sensor chip that detects light in the wavelength regions of cyan, magenta, and yellow and outputs CMY signals that indicate the luminance value of light of each color
  • an IR distance sensor chip that outputs a distance signal indicating the distance to the object obtained using the speed of light in the infrared wavelength range. Any one of the above (1) to (3). Imaging device.
  • the signal processing unit is A YUV signal obtained by converting the RGB signal output from the RGB sensor chip and a YUV signal obtained by converting the CMY signal output from the CMY sensor chip are combined to obtain high color reproducibility.
  • a first signal processing unit that performs signal processing and outputs a YUV signal that has undergone the first signal processing; Convolution processing based on a depth map created from a distance signal output from the IR distance sensor chip is performed on the YUV signal that has undergone the first signal processing, and focusing is performed according to the distance to the subject.
  • the branching optical element has a first half mirror that reflects light so that the ratio of transmitted light and reflected light is 1:1.
  • an RGB sensor chip that detects light in the wavelength regions of red, green, and blue and outputs RGB signals that indicate the luminance value of light of each color; a luminance sensor chip that detects light in all wavelength ranges and outputs a Y signal that indicates the luminance value of the light; and a multiband sensor chip that detects light in a predetermined number of three or more wavelength bands and outputs a multiband image signal indicating the brightness value of the light in each wavelength band.
  • the signal processing unit is First signal processing for obtaining high color reproducibility by combining a YUV signal obtained by converting the RGB signal output from the RGB sensor chip and the multiband image signal output from the multiband sensor chip. a first signal processing unit that outputs a YUV signal that has undergone the first signal processing; a second signal processing unit that performs second signal processing for improving resolution and sensitivity by combining the YUV signal that has undergone the first signal processing with the Y signal output from the luminance sensor chip; The imaging device according to (9) above.
  • an RGB sensor chip that detects light in the wavelength regions of red, green, and blue and outputs RGB signals that indicate the luminance value of light of each color; a luminance sensor chip that detects light in all wavelength ranges and outputs a Y signal that indicates the luminance value of the light;
  • the signal processing unit is A YUV signal obtained by converting the RGB signal output from the RGB sensor chip and a YUV signal obtained by converting the CMY signal output from the CMY sensor chip are combined to obtain high color reproducibility.
  • a first signal processing unit that performs signal processing and outputs a YUV signal that has undergone the first signal processing
  • a second signal processing unit that performs second signal processing for improving resolution and sensitivity by combining the YUV signal that has undergone the first signal processing with the Y signal output from the luminance sensor chip
  • the imaging device according to (11) above. (13) at least three or more sensor chips each used to acquire different types of images; a branching optical element for branching; A signal processing unit that performs signal processing on signals output from at least three or more of the sensor chips and outputs one image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、より高画質な画像を取得することができるようにする撮像装置および電子機器に関する。 撮像装置は、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、１つの光軸に沿って入射する入射光を、センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、少なくとも３つ以上のセンサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部とを備える。本技術は、例えば、スマートフォンに組み込まれる撮像装置に適用できる。

Description

撮像装置および電子機器
　本開示は、撮像装置および電子機器に関し、特に、より高画質な画像を取得することができるようにした撮像装置および電子機器に関する。
　従来、複数の撮像素子が並んで配置された撮像装置において、それぞれの撮像素子から出力される画像信号を用いた信号処理を行って、１枚の画像を出力することが行われている。
　ところで、このような撮像装置では、望遠レンズや大口径レンズを用いる場合には光路長が長くなることより、モジュール高さが高くなり小型化が困難であることが懸念される。また、複数の撮像素子が並んで配置された構成では、それぞれの撮像素子に対する光軸がズレているのに伴って視差が生じるため、視差補正などの余分な処理が必要となり、信号処理の負荷が大きくなることが懸念される。
　そこで、特許文献１では、高変倍比と小型化とを両立するために、光路をほぼ９０゜折り曲げるハーフミラーを備えたハーフミラープリズムを利用し、ハーフミラー面で反射された光は副撮像素子によって受光され、ハーフミラー面を透過した光は主撮像素子によって受光される撮像装置が提案されている。
特開２００８－１０７６１７号公報
　ところで、上述の特許文献１で開示されているように、従来からもハーフミラープリズムなどを利用して撮像装置の小型化が図られているが、そのような小型化された撮像装置における高画質化が求められている。
　本開示は、このような状況に鑑みてなされたものであり、より高画質な画像を取得することができるようにするものである。
　本開示の一側面の撮像装置は、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部とを備える。
　本開示の一側面の電子機器は、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部とを有する撮像装置を備える。
　本開示の一側面においては、１つの光軸に沿って入射する入射光が、それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐される。そして、少なくとも３つ以上のセンサチップから出力される信号に対する信号処理が施されて、１枚の画像が出力される。
本技術を適用した撮像装置の第１の実施の形態の構成例を示す図である。 ハーフミラーおよびダイクロイックミラーと光の波長との関係について説明する図である。 図１の撮像装置の信号処理部の構成例を示すブロック図である。 ボケ画像生成処理について説明するフローチャートである。 コンボリューション処理で用いるカーネルの一例を示す図である。 ボケ画像の一例を示す図である。 本技術を適用した撮像装置の第２の実施の形態の構成例を示す図である。 図７の撮像装置の変形例の構成例を示す図である。 第１のハーフミラーおよび第２のハーフミラーと光の波長との関係について説明する図である。 図７の撮像装置の信号処理部の構成例を示すブロック図である。 本技術を適用した撮像装置の第３の実施の形態の構成例を示す図である。 図１１の撮像装置の変形例の構成例を示す図である。 第１のハーフミラーおよび第２のハーフミラーと光の波長との関係について説明する図である。 図１１の撮像装置の信号処理部の構成例を示すブロック図である。 本技術を適用した撮像装置の第４の実施の形態の構成例を示す図である。 ハーフミラーおよびダイクロイックミラーと光の波長との関係について説明する図である。 図１５の撮像装置の信号処理部の構成例を示すブロック図である。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜撮像装置の第１の構成例＞
　図１は、本技術を適用した撮像装置の第１の実施の形態の構成例を示す図である。
　図１のＡには、撮像装置１１のトップビューにおける構成例が示されており、図１のＢには、撮像装置１１のサイドビューにおける構成例が示されている。
　図１に示すように、撮像装置１１は、ＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ（Infrared Rays）距離センサチップ２３の３つの撮像素子を備えて構成される。また、ＲＧＢセンサチップ２１のセンサ面にはＩＲカットフィルター３１が配置され、ＩＲ距離センサチップ２３のセンサ面にはバンドパスフィルター３２が配置されている。さらに、撮像装置１１は、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、ＡＦ（Auto Focus）レンズ４６、第２のプリズム４７、およびＩＲ収差補正レンズ４８から構成される光学系を備えて構成される。
　ＲＧＢセンサチップ２１は、カラー画像の撮像に用いられ、例えば、赤色の光を透過するカラーフィルタ、緑色の光を透過するカラーフィルタ、および、青色の光を透過するカラーフィルタが、例えば、ベイヤ配列で配置されており、各色の波長域の光を検出し、それぞれの色の光の輝度値を示すＲＧＢ信号を出力する。
　輝度センサチップ２２は、白黒画像の撮像に用いられ、全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する。
　ＩＲ距離センサチップ２３は、被写体までの距離情報により表される画像であるデプスマップの取得に用いられ、赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力する。
　ＩＲカットフィルター３１は、赤外線の波長域の光をカットし、可視光の波長域の光を透過して、ＲＧＢセンサチップ２１に照射させる。
　バンドパスフィルター３２は、特定の波長域の光のみを透過して、例えば、赤外線の波長域の光を透過して、ＩＲ距離センサチップ２３に照射させる。
　第１のレンズ４１、第２のレンズ４２、第３のレンズ４４、第４のレンズ４５、および、ＡＦレンズ４６は、ＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ距離センサチップ２３のセンサ面に被写体の像を結像する機能を備える第１のレンズ群を構成する。また、ＡＦレンズ４６は、白抜きの矢印で表すように光軸方向に沿って前後に移動することで、画像のフォーカスを調整する機能を備える。
　ＩＲ収差補正レンズ４８は、ＩＲ距離センサチップ２３のセンサ面における赤外光の収差を補正する機能を備える第２のレンズ群により構成される。
　第１のプリズム４３は、撮像装置１１に入射した光の光軸を略直交する方向に屈折させる光学素子である。
　第２のプリズム４７は、撮像装置１１に入射して第１のプリズム４３によって屈折された光軸を、ＲＧＢセンサチップ２１に向かう光軸、輝度センサチップ２２に向かう光軸、および、ＩＲ距離センサチップ２３に向かう光軸に分岐させる光学素子である。例えば、第２のプリズム４７は、第２のプリズム４７に入射してくる光の光軸に対して約４５°で傾斜した光入射面にハーフミラー４７ＨＭが設けられ、第２のプリズム４７を透過する光軸に対して約４５°で傾斜した光出射面にダイクロイックミラー４７ＤＭが設けられて構成される。
　ハーフミラー４７ＨＭは、透過光と反射光とが１：１となるように光を反射する。ダイクロイックミラー４７ＤＭは、特定の波長の光のみを透過させ、特定の波長域以外の光を反射する。
　そして、図示する構成例では、ハーフミラー４７ＨＭによって反射された光がＲＧＢセンサチップ２１で受光され、ダイクロイックミラー４７ＤＭによって反射されたが輝度センサチップ２２で受光され、第２のプリズム４７を透過した光がＩＲ距離センサチップ２３で受光されるように光学系が構成されている。
　図２を参照して、ハーフミラー４７ＨＭおよびダイクロイックミラー４７ＤＭと光の波長との関係について説明する。
　図２のＡには、ハーフミラー４７ＨＭで反射される反射光の波長特性が破線で示されており、図２のＢには、ハーフミラー４７ＨＭを透過する透過光の波長特性が実線で示さている。図示するように、ハーフミラー４７ＨＭは、それぞれ１：１の比率で、反射光および透過光を分割する。また、図２のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。
　図２のＣには、ダイクロイックミラー４７ＤＭを透過する透過光の波長特性が実線で示されており、図２のＤには、ダイクロイックミラー４７ＤＭで反射される反射光の波長特性が実線で示さている。図示するように、ダイクロイックミラー４７ＤＭは、約400ｎｍ以下および約600ｎｍ以上の波長域の光を透過し、約400ｎｍから約600ｎｍまでの波長域の光を反射する。また、図２のＣには、バンドパスフィルター３２を透過する光の波長特性ＢＰＦが破線で示されている。
　以上のように構成される撮像装置１１は、第１のプリズム４３によって入射光の光軸を屈折させることによって、従来よりも低背化を図ること、即ち、サイドビューにおけるモジュール高さを低く抑えることができる。これにより、例えば、スマートフォンなどの電子機器に撮像装置１１を組み込むことによって、電子機器が備えるディスプレイの下方にける空間の有効活用を図ることができる。
　また、撮像装置１１は、第２のプリズム４７により入射光の光軸を３方向に分岐させる構成によって、例えば、複数の撮像素子が並んで配置される構成の撮像装置のような視差が生じることを回避することができる。従って、撮像装置１１は、視差補正が不要であることより、マクロ撮影にも対応することができる。また、撮像装置１１は、１つのＡＦレンズ４６を駆動するだけで、ＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ距離センサチップ２３のオートフォーカスを実現することができ、例えば、それぞれ個別のＡＦレンズを駆動する構成と比較して、低消費電力化を図ることができる。
　図３は、撮像装置１１が備える信号処理部５１の機能的な構成例を示すブロック図である。
　図３に示すように、信号処理部５１は、第１のカメラ部５２－１、第２のカメラ部５２－２、第３のカメラ部５２－３、第１の信号処理部５３、第２の信号処理部５４、ドライバＩ／Ｆ（Interface）５５、および表示ドライバ５６を備えて構成される。
　第１のカメラ部５２－１は、ＲＧＢセンサチップ２１が有するセンサ６１－１および回路６２－１、第１のカメラＩ／Ｆ６３－１、同期回路６４－１、並びに、画像取り込み部６５－１を備えて構成される。第１のカメラ部５２－１では、センサ６１－１から出力されるＲＧＢ信号に対して、回路６２－１においてＡＤ（Analog to Digital）変換処理やノイズ除去処理などが施された後、第１のカメラＩ／Ｆ６３－１を介して、同期回路６４－１にＲＧＢ信号が入力される。そして、同期回路６４－１において、第２のカメラ部５２－２のＹ信号および第３のカメラ部５２－３の距離信号との間で同期が取られたＲＧＢ信号が、画像取り込み部６５－１に取り込まれる。
　また、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（１）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000001
　第２のカメラ部５２－２は、輝度センサチップ２２が有するセンサ６１－２および回路６２－２、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、並びに、画像取り込み部６５－２を備えて構成される。第２のカメラ部５２－２では、センサ６１－２から出力されるＹ信号に対して、回路６２－２においてＡＤ変換処理やノイズ除去処理などが施された後、第２のカメラＩ／Ｆ６３－２を介して、同期回路６４－２にＹ信号が入力される。そして、同期回路６４－２において、第１のカメラ部５２－１のＲＧＢ信号および第３のカメラ部５２－３の距離信号との間で同期が取られたＹ信号が、画像取り込み部６５－２に取り込まれ、第２のカメラ部５２－２から出力される。
　第３のカメラ部５２－３は、ＩＲ距離センサチップ２３が有するセンサ６１－３および回路６２－３、第３のカメラＩ／Ｆ６３－３、同期回路６４－３、画像取り込み部６５－３、並びに、ＡＦ駆動部６６を備えて構成される。第３のカメラ部５２－３では、センサ６１－３から出力されるＩＲ信号に基づいて、回路６２－３において被写体までの距離を示す距離信号が生成された後、第３のカメラＩ／Ｆ６３－３を介して、同期回路６４－３に距離信号が入力される。そして、同期回路６４－３において、第１のカメラ部５２－１のＲＧＢ信号および第２のカメラ部５２－２のＹ信号との間で同期が取られた距離信号が、画像取り込み部６５－３に取り込まれ、第３のカメラ部５２－３からデプスマップ（距離情報）が出力される。また、第３のカメラ部５２－３では、回路６２－３から出力される距離信号がＡＦ駆動部６６にも供給される。ＡＦ駆動部６６は、距離信号に従って、図１のＡＦレンズ４６を駆動する。
　第１の信号処理部５３には、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２－２から出力されるＹ信号が入力される。第１の信号処理部５３は、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２－２により得られたＹ信号を組み合わせることによって、色再現性および解像度（Ｙ信号による感度向上も含む）を向上させる第１の信号処理を行う。例えば、第１の信号処理部５３は、次の式（２）を演算することにより色再現性および解像度が向上したＹＵＶ信号を取得し、第２の信号処理部５４に供給する。
Figure JPOXMLDOC01-appb-M000002
　第２の信号処理部５４には、第１の信号処理部５３から出力されるＹＵＶ信号が入力され、第３のカメラ部５２－３から出力されるデプスマップが入力される。第２の信号処理部５４は、ＹＵＶ信号に対して、デプスマップの距離情報に基づいたコンボリューション処理を行うことにより、ピントを合わせたい距離の被写体が強調され、ピントから外れた距離の被写体がボカされるボケ画像を生成し、ドライバＩ／Ｆ５５に供給する。
　ドライバＩ／Ｆ５５は、第２の信号処理部５４から供給されたボケ画像を、例えば、図示しない表示デバイスのカラー画素の画素配列（例えば、Bayer配列やQuad配列など）に応じて変換し、表示ドライバ５６に供給する。
　表示ドライバ５６は、ドライバＩ／Ｆ５５から供給されるボケ画像を、図示しないディスプレイに表示させるための駆動を行う。
　このように撮像装置１１の信号処理部５１は構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号と輝度センサチップ２２から出力されるＹ信号とを組み合わせることで、色再現性および解像度の両立を図ることができるのに加えて、ＩＲ距離センサチップ２３から出力される距離信号に応じてピントが調整されたボケ画像を生成することができ、より高画質な画像を取得することができる。
　このとき、撮像装置１１は、第２のプリズム４７により入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、輝度センサチップ２２、および、ＩＲ距離センサチップ２３が互いに視差が生じない構成となっている。これにより、撮像装置１１の信号処理部５１は、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。
　図４に示すフローチャートを参照して、撮像装置１１の信号処理部５１においてボケ画像を生成するボケ画像生成処理について説明する。
　ステップＳ１１において、ＩＲ距離センサチップ２３は、例えば、赤外線の照射から反射までの時間差に基づいて被写体までの距離を測定する測距処理を行い、被写体までの距離を示す距離信号を出力する。
　ステップＳ１２において、画像取り込み部６５－３は、ステップＳ１１でＩＲ距離センサチップ２３の各画素から出力される距離信号を取り込み、１フレーム分の画像と同様に、被写体までの距離情報を画像化したデプスマップを作成する。
　ステップＳ１３において、第２の信号処理部５４は、第１の信号処理部５３から出力されるＹＵＶ信号に対して、ステップＳ１２で作成されたデプスマップの距離情報に基づいたコンボリューション処理を行う。例えば、第２の信号処理部５４は、ピントを合わせたい距離にある被写体が撮像された領域に対して図５のＡに示すようなカーネルＡをコンボリューションし、ピントから外れた距離の被写体が撮像された領域に対して図５のＢに示すようなカーネルＢをコンボリューションする。このようなコンボリューション処理によって、第２の信号処理部５４は、ピントを合わせたい距離の被写体が強調され、ピントから外れた距離の被写体がボカされるボケ画像を生成する。
　ステップＳ１４において、表示ドライバ５６は、ステップＳ１３で生成されたボケ画像を、図示しない表示デバイスに出力し、処理は終了される。
　図６を参照して、撮像装置１１の信号処理部５１において生成されるボケ画像について説明する。
　図６のＡには、撮像装置１１から１ｍ先の距離にある被写体（人物）にピントが合わされたボケ画像の一例が示されている。例えば、二点鎖線で囲われた領域を、ピントを合わせたい距離にある被写体が撮像された領域としてコンボリューション処理が行われることで、図示するように人物にピントが合わされたボケ画像が生成される。
　図６のＢには、撮像装置１１から１０ｍ先の距離にある被写体（風景）にピントが合わされたボケ画像の一例が示されている。例えば、二点鎖線で囲われた領域を、ピントを合わせたい距離にある被写体が撮像された領域としてコンボリューション処理が行われることで、図示するように風景にピントが合わされたボケ画像が生成される。
　＜撮像装置の第２の構成例＞
　図７は、本技術を適用した撮像装置の第２の実施の形態の構成例を示す図である。なお、図７に示す撮像装置１１Ａにおいて、図１の撮像装置１１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。
　図７のＡには、撮像装置１１Ａのトップビューにおける構成例が示されており、図７のＢには、撮像装置１１Ａのサイドビューにおける構成例が示されている。
　図７に示すように、撮像装置１１Ａは、ＲＧＢセンサチップ２１、輝度センサチップ２２、ＩＲカットフィルター３１、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、およびＡＦレンズ４６を備えて構成される点で、図１の撮像装置１１と共通の構成となっている。
　そして、撮像装置１１Ａは、図１のＩＲ距離センサチップ２３に替えて、マルチバンドセンサチップ２４が設けられ、図１の第２のプリズム４７に替えて、第２のプリズム４７Ａが設けられ、図１のＩＲ収差補正レンズ４８に替えて、広域収差補正レンズ４９が設けられる点で、図１の撮像装置１１と異なる構成となっている。
　マルチバンドセンサチップ２４は、マルチバンド画像の取得に用いられ、３つ以上の所定数の波長帯の光を検出し、それぞれの波長帯の光の輝度値を示すマルチバンド画像信号を出力する。
　第２のプリズム４７Ａは、撮像装置１１Ａに入射して第１のプリズム４３によって屈折された光軸を、ＲＧＢセンサチップ２１に向かう光軸、輝度センサチップ２２に向かう光軸、および、マルチバンドセンサチップ２４に向かう光軸に分岐させる光学素子である。例えば、第２のプリズム４７Ａは、第２のプリズム４７Ａに入射してくる光の光軸に対して約４５°で傾斜した光入射面に第１のハーフミラー４７ＨＭ－１が設けられ、第２のプリズム４７Ａを透過する光軸に対して約４５°で傾斜した光出射面に第２のハーフミラー４７ＨＭ－２が設けられて構成される。
　広域収差補正レンズ４９は、マルチバンドセンサチップ２４のセンサ面における広い波長域の光の収差を補正する機能を備える第２のレンズ群により構成される。
　このように構成される撮像装置１１Ａでは、第１のハーフミラー４７ＨＭ－１によって反射された光がＲＧＢセンサチップ２１で受光され、第２のハーフミラー４７ＨＭ－２によって反射されたが輝度センサチップ２２で受光され、第２のプリズム４７Ａを透過した光がマルチバンドセンサチップ２４で受光されるように光学系が構成されている。
　図８には、撮像装置１１Ａの変形例の構成例が示されている。
　図８に示す撮像装置１１Ａ－１は、輝度センサチップ２２のセンサ面にＩＲカットフィルター３３が配置されている点で、図７の撮像装置１１Ａと異なる構成となっている。即ち、撮像装置１１Ａ－１は、ＩＲカットフィルター３３によって赤外線の波長域の光がカットされ、可視光の波長域の光が輝度センサチップ２２に照射されるように構成されている。
　図９を参照して、第１のハーフミラー４７ＨＭ－１および第２のハーフミラー４７ＨＭ－２と光の波長との関係について説明する。
　図９のＡには、第１のハーフミラー４７ＨＭ－１で反射される反射光の波長特性が破線で示されており、図９のＢには、第１のハーフミラー４７ＨＭ－１を透過する透過光の波長特性が実線で示さている。図示するように、第１のハーフミラー４７ＨＭ－１は、それぞれ１：１の比率で、反射光および透過光を分割する。また、図９のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。
　図９のＣには、第２のハーフミラー４７ＨＭ－２を透過する透過光の波長特性が破線で示されており、図９のＤには、第２のハーフミラー４７ＨＭ－２で反射される反射光の波長特性が破線で示さている。図示するように、第２のハーフミラー４７ＨＭ－２は、それぞれ１：１の比率で、反射光および透過光を分割する。図９のＣには、マルチバンドセンサチップ２４が７つの波長帯の光を受光する構成である場合において、各波長帯の画素が受光する光の波長特性ＭＢ１乃至ＭＢ７が示されている。また、図９のＤには、ＩＲカットフィルター３３を透過する光の波長特性ＩＲＣＦが実線で示されている。
　以上のように構成される撮像装置１１Ａは、図１の撮像装置１１と同様に、従来よりも低背化を図ること、視差が生じることを回避すること、マクロ撮影にも対応すること、および、低消費電力化を図ることができる。
　図１０は、撮像装置１１Ａが備える信号処理部５１Ａの機能的な構成例を示すブロック図である。なお、図１０に示す信号処理部５１Ａにおいて、図３の信号処理部５１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。
　図１０に示すように、信号処理部５１Ａは、第１のカメラ部５２－１、ドライバＩ／Ｆ５５、および表示ドライバ５６を備えて構成される点で、図３の信号処理部５１と共通する構成となっている。即ち、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（３）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000003
　そして、信号処理部５１Ａは、第２のカメラ部５２Ａ－２、第３のカメラ部５２Ａ－３、第１の信号処理部５３Ａ、および第２の信号処理部５４Ａを備えて構成される点で、図３の信号処理部５１と異なる構成となっている。
　第２のカメラ部５２Ａ－２は、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、および、画像取り込み部６５－２を備えて構成される点で、図３の第２のカメラ部５２－２と共通の構成となっている。そして、第２のカメラ部５２Ａ－２は、図３の輝度センサチップ２２に替えて、マルチバンドセンサチップ２４が設けられて構成される。
　例えば、第２のカメラ部５２Ａ－２は、マルチバンドセンサチップ２４から出力されるｎバンドのマルチバンド画像信号Ｓ１乃至Ｓｎを、次の式（４）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000004
　第３のカメラ部５２Ａ－３は、第３のカメラＩ／Ｆ６３－３、同期回路６４－３、および、画像取り込み部６５－３を備えて構成される点で、図３の第３のカメラ部５２－３と共通の構成となっている。そして、第３のカメラ部５２Ａ－３は、図３のＩＲ距離センサチップ２３に替えて、輝度センサチップ２２が設けられて構成される。つまり、第３のカメラ部５２Ａ－３は、図３の第２のカメラ部５２－２と同様に構成され、Ｙ信号を出力する。
　第１の信号処理部５３Ａには、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２Ａ－２ら出力されるＹＵＶ信号が入力される。第１の信号処理部５３Ａは、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２Ａ－２により得られたＹＵＶ信号を組み合わせることによって、高い色再現性を得るための第１の信号処理を行う。例えば、第１の信号処理部５３Ａは、次の式（５）を演算することにより高い色再現性が得られたＹＵＶ信号を取得し、第２の信号処理部５４Ａに供給する。
Figure JPOXMLDOC01-appb-M000005
　第２の信号処理部５４Ａには、第１の信号処理部５３から出力されるＹＵＶ信号が入力され、第３のカメラ部５２Ａ－３から出力されるＹ信号が入力される。第２の信号処理部５４Ａは、第１の信号処理部５３により得られたＹＵＶ信号および第３のカメラ部５２Ａ－３により得られたＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う。例えば、第２の信号処理部５４Ａは、次の式（６）を演算することにより解像度および感度が向上されたＹＵＶ信号を取得し、ドライバＩ／Ｆ５５に供給する。
Figure JPOXMLDOC01-appb-M000006
　このように撮像装置１１Ａの信号処理部５１Ａは構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号とマルチバンドセンサチップ２４から出力されるマルチバンド画像信号とを組み合わせることで、高い色再現性を得ることができるのに加えて、輝度センサチップ２２から出力されるＹ信号とを組み合わせることで、解像度および感度を向上させた画像を生成することができ、より高画質な画像を取得することができる。
　このとき、撮像装置１１Ａは、第２のプリズム４７Ａにより入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、輝度センサチップ２２、および、マルチバンドセンサチップ２４が互いに視差が生じない構成となっている。これにより、撮像装置１１Ａの信号処理部５１Ａは、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。
　＜撮像装置の第３の構成例＞
　図１１は、本技術を適用した撮像装置の第３の実施の形態の構成例を示す図である。なお、図１１に示す撮像装置１１Ｂにおいて、図１の撮像装置１１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。
　図１１のＡには、撮像装置１１Ｂのトップビューにおける構成例が示されており、図１のＢには、撮像装置１１Ｂのサイドビューにおける構成例が示されている。
　図１１に示すように、撮像装置１１Ｂは、ＲＧＢセンサチップ２１、輝度センサチップ２２、ＩＲカットフィルター３１、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、およびＡＦレンズ４６を備えて構成される点で、図１の撮像装置１１と共通の構成となっている。
　そして、撮像装置１１Ｂは、図１のＩＲ距離センサチップ２３に替えて、ＣＭＹセンサチップ２５が設けられ、図１のバンドパスフィルター３２に替えて、ＩＲカットフィルター３４が設けられ、図１の第２のプリズム４７に替えて、第２のプリズム４７Ｂが設けられる点で、図１の撮像装置１１と異なる構成となっている。
　ＣＭＹセンサチップ２５は、カラー画像の撮像に用いられ、例えば、シアンの光を透過するカラーフィルタ、マゼンタの光を透過するカラーフィルタ、および、イエローの光を透過するカラーフィルタが、例えば、ベイヤ配列で配置されており、各色の波長域の光を検出し、それぞれの色の光の輝度値を示すＣＭＹ信号を出力する。
　ＩＲカットフィルター３４は、赤外線の波長域の光をカットし、可視光の波長域の光を透過して、ＣＭＹセンサチップ２５に照射させる。
　第２のプリズム４７Ｂは、撮像装置１１Ｂに入射して第１のプリズム４３によって屈折された光軸を、ＲＧＢセンサチップ２１に向かう光軸、輝度センサチップ２２に向かう光軸、および、ＣＭＹセンサチップ２５に向かう光軸に分岐させる光学素子である。例えば、第２のプリズム４７Ｂは、第２のプリズム４７Ｂに入射してくる光の光軸に対して約４５°で傾斜した光入射面に第１のハーフミラー４７ＨＭ－１が設けられ、第２のプリズム４７Ｂを透過する光軸に対して約４５°で傾斜した光出射面に第２のハーフミラー４７ＨＭ－２が設けられて構成される。
　このように構成される撮像装置１１Ｂでは、第１のハーフミラー４７ＨＭ－１によって反射された光がＲＧＢセンサチップ２１で受光され、第２のハーフミラー４７ＨＭ－２によって反射されたが輝度センサチップ２２で受光され、第２のプリズム４７Ａを透過した光がＣＭＹセンサチップ２５で受光されるように光学系が構成されている。
　図１２には、撮像装置１１Ｂの変形例の構成例が示されている。
　図１２のＡに示す撮像装置１１Ｂ－１は、輝度センサチップ２２のセンサ面にＩＲカットフィルター３５が配置されている点で、図１１の撮像装置１１Ｂと異なる構成となっている。即ち、撮像装置１１Ｂ－１は、ＩＲカットフィルター３５によって赤外線の波長域の光がカットされ、可視光の波長域の光が輝度センサチップ２２に照射されるように構成されている。
　図１２のＢに示す撮像装置１１Ｂ－２は、ＣＭＹセンサチップ２５のセンサ面にＩＲカットフィルター３４が配置されずに、第２のプリズム４７Ｂを透過する光の光軸上（第２のプリズム４７Ｂは、２つのプリズムが接合されて構成されており、その接合面）に、ＩＲカットフィルター３６が配置されている点で、図１１の撮像装置１１Ｂと異なる構成となっている。即ち、撮像装置１１Ｂ－２は、ＩＲカットフィルター３６によって赤外線の波長域の光がカットされ、可視光の波長域の光が輝度センサチップ２２およびＣＭＹセンサチップ２５に照射されるように構成されている。
　図１３を参照して、第１のハーフミラー４７ＨＭ－１および第２のハーフミラー４７ＨＭ－２と光の波長との関係について説明する。
　図１３のＡには、第１のハーフミラー４７ＨＭ－１で反射される反射光の波長特性が破線で示されており、図１３のＢには、第１のハーフミラー４７ＨＭ－１を透過する透過光の波長特性が実線で示さている。図示するように、第１のハーフミラー４７ＨＭ－１は、それぞれ１：１の比率で、反射光および透過光を分割する。また、図１３のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。
　図１３のＣには、第２のハーフミラー４７ＨＭ－２を透過する透過光の波長特性が破線で示されており、図１３のＤには、第２のハーフミラー４７ＨＭ－２で反射される反射光の波長特性が破線で示さている。図示するように、第２のハーフミラー４７ＨＭ－２は、それぞれ１：１の比率で、反射光および透過光を分割する。図１３のＣには、ＣＭＹセンサチップ２５のシアンの画素が受光する光の波長特性Ｃ、ＣＭＹセンサチップ２５のマゼンタの画素が受光する光の波長特性Ｍ、およびＣＭＹセンサチップ２５のイエローの画素が受光する光の波長特性Ｙが示されている。また、図１３のＤには、ＩＲカットフィルター３５を透過する光の波長特性ＩＲＣＦが実線で示されている。
　以上のように構成される撮像装置１１Ｂは、図１の撮像装置１１と同様に、従来よりも低背化を図ること、視差が生じることを回避すること、マクロ撮影にも対応すること、および、低消費電力化を図ることができる。
　図１４は、撮像装置１１Ｂが備える信号処理部５１Ｂの機能的な構成例を示すブロック図である。なお、図１４に示す信号処理部５１Ｂにおいて、図３の信号処理部５１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。
　図１４に示すように、信号処理部５１Ｂは、第１のカメラ部５２－１、ドライバＩ／Ｆ５５、および表示ドライバ５６を備えて構成される点で、図３の信号処理部５１と共通する構成となっている。即ち、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（７）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000007
　そして、信号処理部５１Ｂは、第２のカメラ部５２Ｂ－２、第３のカメラ部５２Ｂ－３、第１の信号処理部５３Ｂ、および第２の信号処理部５４Ｂを備えて構成される点で、図３の信号処理部５１と異なる構成となっている。
　第２のカメラ部５２Ｂ－２は、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、および、画像取り込み部６５－２を備えて構成される点で、図３の第２のカメラ部５２－２と共通の構成となっている。そして、第２のカメラ部５２Ｂ－２は、図３の輝度センサチップ２２に替えて、ＣＭＹセンサチップ２５が設けられて構成される。
　例えば、第２のカメラ部５２Ｂ－２は、ＣＭＹセンサチップ２５から出力されるＣＭＹ信号を、次の式（８）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000008
　第３のカメラ部５２Ｂ－３は、第３のカメラＩ／Ｆ６３－３、同期回路６４－３、および、画像取り込み部６５－３を備えて構成される点で、図３の第３のカメラ部５２－３と共通の構成となっている。そして、第３のカメラ部５２Ｂ－３は、図３のＩＲ距離センサチップ２３に替えて、輝度センサチップ２２が設けられて構成される。つまり、第３のカメラ部５２Ｂ－３は、図３の第２のカメラ部５２－２と同様に構成され、Ｙ信号を出力する。
　第１の信号処理部５３Ｂには、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２Ｂ－２ら出力されるＹＵＶ信号が入力される。第１の信号処理部５３Ｂは、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２Ｂ－２により得られたＹＵＶ信号を組み合わせることによって、高い色再現性を得るための第１の信号処理を行う。例えば、第１の信号処理部５３Ｂは、次の式（９）を演算することにより高い色再現性が得られたＹＵＶ信号を取得し、第２の信号処理部５４Ｂに供給する。
Figure JPOXMLDOC01-appb-M000009
　第２の信号処理部５４Ｂには、第１の信号処理部５３から出力されるＹＵＶ信号が入力され、第３のカメラ部５２Ｂ－３から出力されるＹ信号が入力される。第２の信号処理部５４Ｂは、第１の信号処理部５３により得られたＹＵＶ信号および第３のカメラ部５２Ｂ－３により得られたＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う。例えば、第２の信号処理部５４Ｂは、次の式（１０）を演算することにより解像度および感度が向上されたＹＵＶ信号を取得し、ドライバＩ／Ｆ５５に供給する。
Figure JPOXMLDOC01-appb-M000010
　このように撮像装置１１Ｂの信号処理部５１Ｂは構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号とＣＭＹセンサチップ２５から出力されるＣＭＹ信号とを組み合わせることで、高い色再現性を得ることができるのに加えて、輝度センサチップ２２から出力されるＹ信号とを組み合わせることで、解像度および感度を向上させた画像を生成することができ、より高画質な画像を取得することができる。
　このとき、撮像装置１１Ｂは、第２のプリズム４７Ｂにより入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、輝度センサチップ２２、および、ＣＭＹセンサチップ２５が互いに視差が生じない構成となっている。これにより、撮像装置１１Ｂの信号処理部５１Ｂは、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。
　＜撮像装置の第４の構成例＞
　図１５は、本技術を適用した撮像装置の第４の実施の形態の構成例を示す図である。なお、図１５に示す撮像装置１１Ｃにおいて、図１の撮像装置１１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。
　図１５のＡには、撮像装置１１Ｃのトップビューにおける構成例が示されており、図１５のＢには、撮像装置１１Ｃのサイドビューにおける構成例が示されている。
　図１５に示すように、撮像装置１１Ｃは、ＲＧＢセンサチップ２１、ＩＲ距離センサチップ２３、ＩＲカットフィルター３１、バンドパスフィルター３２、第１のレンズ４１、第２のレンズ４２、第１のプリズム４３、第３のレンズ４４、第４のレンズ４５、ＡＦレンズ４６、第２のプリズム４７、およびＩＲ収差補正レンズ４８を備えて構成される点で、図１の撮像装置１１と共通の構成となっている。
　そして、撮像装置１１Ｃは、図１の輝度センサチップ２２に替えて、ＣＭＹセンサチップ２５が設けられる点で、図１の撮像装置１１と異なる構成となっている。
　ＣＭＹセンサチップ２５は、カラー画像の撮像に用いられ、例えば、シアンの光を透過するカラーフィルタ、マゼンタの光を透過するカラーフィルタ、および、イエローの光を透過するカラーフィルタが、例えば、ベイヤ配列で配置されており、各色の波長域の光を検出し、それぞれの色の光の輝度値を示すＣＭＹ信号を出力する。
　このように構成される撮像装置１１Ｃでは、ハーフミラー４７ＨＭによって反射された光がＲＧＢセンサチップ２１で受光され、ダイクロイックミラー４７ＤＭによって反射されたがＣＭＹセンサチップ２５で受光され、ダイクロイックミラー４７ＤＭを透過した光がＩＲ距離センサチップ２３で受光されるように光学系が構成されている。
　図１６を参照して、ハーフミラー４７ＨＭおよびダイクロイックミラー４７ＤＭと光の波長との関係について説明する。
　図１６のＡには、ハーフミラー４７ＨＭで反射される反射光の波長特性が破線で示されており、図１６のＢには、ハーフミラー４７ＨＭを透過する透過光の波長特性が実線で示さている。図示するように、ハーフミラー４７ＨＭは、それぞれ１：１の比率で、反射光および透過光を分割する。また、図１６のＡには、ＩＲカットフィルター３１を透過する光の波長特性ＩＲＣＦ、ＲＧＢセンサチップ２１の赤色の画素が受光する光の波長特性Ｒ、ＲＧＢセンサチップ２１の緑色の画素が受光する光の波長特性Ｇ、およびＲＧＢセンサチップ２１の青色の画素が受光する光の波長特性Ｂが示されている。
　図１６のＣには、ダイクロイックミラー４７ＤＭを透過する透過光の波長特性が実線で示されており、図１６のＤには、ダイクロイックミラー４７ＤＭで反射される反射光の波長特性が破線で示さている。図示するように、ダイクロイックミラー４７ＤＭは、約400ｎｍ以下および約600ｎｍ以上の波長域の光を透過し、約400ｎｍから約600ｎｍまでの波長域の光を反射する。また、図１６のＣには、バンドパスフィルター３２を透過する光の波長特性ＢＰＦが破線で示されている。また、図１６のＤには、ＣＭＹセンサチップ２５のシアンの画素が受光する光の波長特性Ｃ、ＣＭＹセンサチップ２５のマゼンタの画素が受光する光の波長特性Ｍ、およびＣＭＹセンサチップ２５のイエローの画素が受光する光の波長特性Ｙが示されている。
　以上のように構成される撮像装置１１Ｃは、図１の撮像装置１１と同様に、従来よりも低背化を図ること、視差が生じることを回避すること、マクロ撮影にも対応すること、および、低消費電力化を図ることができる。
　図１７は、撮像装置１１Ｃが備える信号処理部５１Ｃの機能的な構成例を示すブロック図である。なお、図１７に示す信号処理部５１Ｃにおいて、図３の信号処理部５１と共通する構成要素については同一の符号を付し、その詳細な説明は省略する。
　図１７に示すように、信号処理部５１Ｃは、第１のカメラ部５２－１、第３のカメラ部５２－３、第２の信号処理部５４、ドライバＩ／Ｆ５５、および表示ドライバ５６を備えて構成される点で、図３の信号処理部５１と共通する構成となっている。即ち、第１のカメラ部５２－１は、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号を、次の式（１１）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000011
　そして、信号処理部５１Ｃは、第２のカメラ部５２Ｃ－２、および第１の信号処理部５３Ｃを備えて構成される点で、図３の信号処理部５１と異なる構成となっている。
　第２のカメラ部５２Ｃ－２は、第２のカメラＩ／Ｆ６３－２、同期回路６４－２、および、画像取り込み部６５－２を備えて構成される点で、図３の第２のカメラ部５２－２と共通の構成となっている。そして、第２のカメラ部５２Ｃ－２は、図３の輝度センサチップ２２に替えて、ＣＭＹセンサチップ２５が設けられて構成される。
　例えば、第２のカメラ部５２Ｃ－２は、ＣＭＹセンサチップ２５から出力されるＣＭＹ信号を、次の式（１２）に従ってＹＵＶ信号に変換して出力する。
Figure JPOXMLDOC01-appb-M000012
　第１の信号処理部５３Ｃには、第１のカメラ部５２－１から出力されるＹＵＶ信号が入力され、第２のカメラ部５２Ｃ－２ら出力されるＹＵＶ信号が入力される。第１の信号処理部５３Ｃは、第１のカメラ部５２－１により得られたＹＵＶ信号および第２のカメラ部５２Ｂ－２により得られたＹＵＶ信号を組み合わせることによって、高い色再現性を得るための第１の信号処理を行う。例えば、第１の信号処理部５３Ｃは、次の式（１３）を演算することにより高い色再現性が得られたＹＵＶ信号を取得し、第２の信号処理部５４に供給する。
Figure JPOXMLDOC01-appb-M000013
　そして、第２の信号処理部５４は、上述の図４乃至図６を参照して説明したように、デプスマップの距離情報に基づいたコンボリューション処理を行うことによってボケ画像を生成することができる。
　このように撮像装置１１Ｃの信号処理部５１Ｃは構成されており、ＲＧＢセンサチップ２１から出力されるＲＧＢ信号とＣＭＹセンサチップ２５から出力されるＣＭＹ信号とを組み合わせることで、高い色再現性を得ることができるのに加えて、ＩＲ距離センサチップ２３から出力される距離信号に応じてピントが調整されたボケ画像を生成することができ、より高画質な画像を取得することができる。
　このとき、撮像装置１１Ｃは、第２のプリズム４７により入射光の光軸を３方向に分岐させることによって、ＲＧＢセンサチップ２１、ＣＭＹセンサチップ２５、および、ＩＲ距離センサチップ２３が互いに視差が生じない構成となっている。これにより、撮像装置１１Ｃの信号処理部５１Ｃは、例えば、視差補正などの余分な処理が不要となるシンプルな信号処理を行うことができる結果、低消費電力化や高速化（例えば、動画像への対応が可能）を図ることができる。
　なお、上述した実施の形態では、１つの光軸を３つに分岐させて３つのセンサチップを用いた構成について説明しているが、１つの光軸を３つ以上に分岐させて３つ以上のセンサチップを用いた構成としてもよい。
　＜電子機器の構成例＞
　上述したような撮像装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　図１８は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
　図１８に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
　撮像素子１０３としては、上述したＲＧＢセンサチップ２１、輝度センサチップ２２、およびＩＲ距離センサチップ２３が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
　信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置１０１では、上述した撮像装置１１を適用することで、例えば、より高画質な画像を撮像することができるとともに、撮像装置１１の低背化に伴って薄型化を図ることができる。
　＜イメージセンサの使用例＞
　図１９は、上述のイメージセンサ（撮像素子）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、　１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
　少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
　を備える撮像装置。
（２）
　前記撮像装置に入射する前記入射光を、前記分岐光学素子に向かって略直交する方向に屈折させる屈折光学素子
　をさらに備える上記（１）に記載の撮像装置。
（３）
　前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射するハーフミラーが光入射面に設けられ、特定の波長の光のみを透過させ、特定の波長域以外の光を反射するダイクロイックミラーが光出射面に設けられて構成される
　上記（１）または（２）に記載の撮像装置。
（４）
　前記センサチップとして、
　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
　　全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
　　赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
　が用いられる
　上記（３）に記載の撮像装置。
（５）
　前記信号処理部は、
　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記輝度センサチップから出力される前記Ｙ信号を組み合わせて、色再現性および解像度を向上させる第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
　　前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と　を有する
　上記（４）に記載の撮像装置。
（６）
　前記センサチップとして、
　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
　　シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと、
　　赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
　が用いられる
　上記（１）から（３）までのいずれかに記載の撮像装置。
（７）
　前記信号処理部は、
　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
　　前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と　を有する
　上記（６）に記載の撮像装置。
（８）
　前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射する第１のハーフミラーが光入射面に設けられ、透過光と反射光とが１：１となるように光を反射する第２のハーフミラーが光出射面に設けられて構成される
　上記（１）または（２）に記載の撮像装置。
（９）
　前記センサチップとして、
　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
　　全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
　　３つ以上の所定数の波長帯の光を検出し、それぞれの波長帯の光の輝度値を示すマルチバンド画像信号を出力するマルチバンドセンサチップと
　が用いられる
　上記（８）に記載の撮像装置。
（１０）
　前記信号処理部は、
　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記マルチバンドセンサチップから出力される前記マルチバンド画像信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
　　前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
　を有する
　上記（９）に記載の撮像装置。
（１１）
　前記センサチップとして、
　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
　　全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
　　シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと
　が用いられる
　上記（８）に記載の撮像装置。
（１２）
　前記信号処理部は、
　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
　　前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
　を有する
　上記（１１）に記載の撮像装置。
（１３）
　それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、　１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
　少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
　を有する撮像装置を備える電子機器。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　撮像装置，　２１　ＲＧＢセンサチップ，　２２　輝度センサチップ，　２３　ＩＲセンサチップ，　２４　マルチバンドセンサチップ，　２５　ＣＭＹセンサチップ，　３１　ＩＲカットフィルター，　３２　バンドパスフィルター，　３３乃至３６　ＩＲカットフィルター，　４１　第１のレンズ，　４２　第２のレンズ，　４３　第１のプリズム，　４４　第３のレンズ，　４５　第４のレンズ，　４６　ＡＦレンズ，　４７　第２のプリズム，　４８　ＩＲ収差補正レンズ，　４９　広域収差補正レンズ，　５１　信号処理部，　５２　カメラ部，　５３　第１の信号処理部，　５４　第２の信号処理部，　５５　ドライバＩ／Ｆ，　５６　表示ドライバ，　６１　センサ，　６２　回路，　６３　カメラI/F，　６４　同期回路，　６５　画像取り込み部，　６６　ＡＦ駆動部

Claims (13)

  1. 　それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、　１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
    　少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
    　を備える撮像装置。
  2. 　前記撮像装置に入射する前記入射光を、前記分岐光学素子に向かって略直交する方向に屈折させる屈折光学素子
    　をさらに備える請求項１に記載の撮像装置。
  3. 　前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射するハーフミラーが光入射面に設けられ、特定の波長の光のみを透過させ、特定の波長域以外の光を反射するダイクロイックミラーが光出射面に設けられて構成される
    　請求項１に記載の撮像装置。
  4. 　前記センサチップとして、
    　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
    　　全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
    　　赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
    　が用いられる
    　請求項３に記載の撮像装置。
  5. 　前記信号処理部は、
    　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記輝度センサチップから出力される前記Ｙ信号を組み合わせて、色再現性および解像度を向上させる第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
    　　前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と
    　を有する
    　請求項４に記載の撮像装置。
  6. 　前記センサチップとして、
    　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
    　　シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと、
    　　赤外の波長域の光の速さを利用して求められる被写体までの距離を示す距離信号を出力するＩＲ距離センサチップと
    　が用いられる
    　請求項３に記載の撮像装置。
  7. 　前記信号処理部は、
    　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
    　　前記第１の信号処理済みのＹＵＶ信号に対して、前記ＩＲ距離センサチップから出力される距離信号から作成されるデプスマップに基づいたコンボリューション処理を行って、前記被写体までの距離に応じてピントが調整された画像を出力する第２の信号処理部と
    　を有する
    　請求項６に記載の撮像装置。
  8. 　前記分岐光学素子は、透過光と反射光とが１：１となるように光を反射する第１のハーフミラーが光入射面に設けられ、透過光と反射光とが１：１となるように光を反射する第２のハーフミラーが光出射面に設けられて構成される
    　請求項１に記載の撮像装置。
  9. 　前記センサチップとして、
    　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
    　　全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
    　　３つ以上の所定数の波長帯の光を検出し、それぞれの波長帯の光の輝度値を示すマルチバンド画像信号を出力するマルチバンドセンサチップと
    　が用いられる
    　請求項８に記載の撮像装置。
  10. 　前記信号処理部は、
    　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記マルチバンドセンサチップから出力される前記マルチバンド画像信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
    　　前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
    　を有する
    　請求項９に記載の撮像装置。
  11. 　前記センサチップとして、
    　　赤色、緑色、および青色の波長域の光を検出して、それぞれの色の光の輝度値を示すＲＧＢ信号を出力するＲＧＢセンサチップと、
    　　全ての波長域の光を検出し、その光の輝度値を示すＹ信号を出力する輝度センサチップと、
    　　シアン、マゼンタ、およびイエローの波長域の光を検出して、それぞれの色の光の輝度値を示すＣＭＹ信号を出力するＣＭＹセンサチップと
    　が用いられる
    　請求項８に記載の撮像装置。
  12. 　前記信号処理部は、
    　　前記ＲＧＢセンサチップから出力される前記ＲＧＢ信号が変換されたＹＵＶ信号、および、前記ＣＭＹセンサチップから出力される前記ＣＭＹ信号が変換されたＹＵＶ信号を組み合わせて、高い色再現性を得る第１の信号処理を施して、第１の信号処理済みのＹＵＶ信号を出力する第１の信号処理部と、
    　　前記第１の信号処理済みのＹＵＶ信号に対して、前記輝度センサチップから出力されるＹ信号を組み合わせることによって、解像度および感度を向上させる第２の信号処理を行う第２の信号処理部と
    　を有する
    　請求項１１に記載の撮像装置。
  13. 　それぞれ異なる種類の画像の取得に用いられる少なくとも３つ以上のセンサチップと、　１つの光軸に沿って入射する入射光を、前記センサチップそれぞれに向かう方向の少なくとも３つ以上の光軸に沿って分岐させる分岐光学素子と、
    　少なくとも３つ以上の前記センサチップから出力される信号に対する信号処理を施して、１枚の画像を出力する信号処理部と
    　を有する撮像装置を備える電子機器。
PCT/JP2022/046796 2022-01-04 2022-12-20 撮像装置および電子機器 WO2023132222A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-000284 2022-01-04
JP2022000284A JP2023099967A (ja) 2022-01-04 2022-01-04 撮像装置および電子機器

Publications (1)

Publication Number Publication Date
WO2023132222A1 true WO2023132222A1 (ja) 2023-07-13

Family

ID=87073583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046796 WO2023132222A1 (ja) 2022-01-04 2022-12-20 撮像装置および電子機器

Country Status (2)

Country Link
JP (1) JP2023099967A (ja)
WO (1) WO2023132222A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023643A (ja) * 2001-07-06 2003-01-24 Telecommunication Advancement Organization Of Japan 撮影装置、並びに色分解光学系
JP2004172832A (ja) * 2002-11-19 2004-06-17 Minolta Co Ltd 撮像装置
JP2014179736A (ja) * 2013-03-14 2014-09-25 Toshiba Corp カメラモジュール
JP2021175000A (ja) * 2020-04-17 2021-11-01 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラおよび４板式カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023643A (ja) * 2001-07-06 2003-01-24 Telecommunication Advancement Organization Of Japan 撮影装置、並びに色分解光学系
JP2004172832A (ja) * 2002-11-19 2004-06-17 Minolta Co Ltd 撮像装置
JP2014179736A (ja) * 2013-03-14 2014-09-25 Toshiba Corp カメラモジュール
JP2021175000A (ja) * 2020-04-17 2021-11-01 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラおよび４板式カメラ

Also Published As

Publication number Publication date
JP2023099967A (ja) 2023-07-14

Similar Documents

Publication Publication Date Title
JP4976310B2 (ja) 撮像装置
JP4757221B2 (ja) 撮像装置及び方法
US9344614B2 (en) Imaging apparatus
US20130278802A1 (en) Exposure timing manipulation in a multi-lens camera
EP2868254A1 (en) Endoscope system
US20100074520A1 (en) Image processing device and image processing method
JP2013183353A (ja) 画像処理装置
JP2005303694A (ja) 複眼撮像装置
JP4983271B2 (ja) 撮像装置
US20160037096A1 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
US8854503B2 (en) Image enhancements through multi-image processing
JP2010057547A (ja) 眼底カメラ
JP2009153074A (ja) 画像撮影装置
JP2013258602A (ja) 撮像装置
US8363134B2 (en) Color imaging device, imaging apparatus using the same, and filter
WO2023132222A1 (ja) 撮像装置および電子機器
JP2001078213A (ja) 撮像装置
JP4533261B2 (ja) 撮像装置
JP4530149B2 (ja) ハイダイナミックレンジカメラシステム
JP2023086059A (ja) 光束分離光学系および撮像装置
JP2012088549A (ja) 立体画像撮像装置、立体画像表示装置、および立体画像撮像表示装置
JP2018182470A (ja) 波長選択偏光分離方式を採用した立体撮像装置
WO2012117619A1 (ja) 立体画像撮像装置
WO2012077574A1 (ja) 撮像装置および撮像方法
JPH09224180A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22918807

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE