WO2020059069A1 - 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法 - Google Patents

二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法 Download PDF

Info

Publication number
WO2020059069A1
WO2020059069A1 PCT/JP2018/034763 JP2018034763W WO2020059069A1 WO 2020059069 A1 WO2020059069 A1 WO 2020059069A1 JP 2018034763 W JP2018034763 W JP 2018034763W WO 2020059069 A1 WO2020059069 A1 WO 2020059069A1
Authority
WO
WIPO (PCT)
Prior art keywords
solid
imaging device
state imaging
image data
color
Prior art date
Application number
PCT/JP2018/034763
Other languages
English (en)
French (fr)
Inventor
光弘 冨田
Original Assignee
株式会社朋栄
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社朋栄 filed Critical 株式会社朋栄
Priority to JP2019563906A priority Critical patent/JP6687276B1/ja
Priority to PCT/JP2018/034763 priority patent/WO2020059069A1/ja
Publication of WO2020059069A1 publication Critical patent/WO2020059069A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors

Definitions

  • the present invention relates to a two-chip imaging device, an image processing method of the two-chip imaging device, and a method of positioning the solid-state imaging device.
  • Patent Document 1 aims to provide a two-panel color image pickup device and a digital camera capable of capturing a small-sized, high-sensitivity, high-resolution, high-quality color image at low cost, and that the incident light of the three primary colors is green and red.
  • a color separation prism that separates the light into blue and blue light, and receives the red and blue incident light separated by the color separation prism and outputs a red signal corresponding to the amount of red light and a blue signal corresponding to the amount of blue light
  • a second solid-state imaging device that receives the green incident light separated by the color separation prism and outputs a green signal corresponding to the amount of green light.
  • a first color filter of a complementary color system that transmits red light is provided above a light receiving unit for red detection among the plurality of light receiving units of the first solid-state imaging device; Provided complementary colors second color filter which transmits blue light on top of the blue detection light-receiving portion of the light receiving portion second plate type color image pickup apparatus is disclosed.
  • Patent Documents 2 and 3 below disclose a single-panel color imaging device using one (one) solid-state imaging device and a plurality of (multiple) imaging devices as color imaging devices used in digital cameras and the like. ) Discloses a multi-plate type color imaging device using a solid-state imaging device.
  • a single-chip color solid-state imaging device is one in which color filters of RGB colors or the like are arranged discretely (mosaic) on one solid-state imaging device, and is relatively advantageous in terms of cost. On the other hand, sensitivity, resolution and color reproducibility are relatively poor. Further, in the single-chip color solid-state imaging device, a decrease in manufacturing yield due to the recent progress of high pixel (miniaturized) has been highlighted, which causes a cost increase.
  • a three-panel color imaging device generally known as a multi-panel color solid-state imaging device includes, for example, a dedicated solid-state for each of red (R), green (G), and blue (B) light obtained by dividing incident light.
  • RGB red
  • G green
  • B blue
  • the configuration is disadvantageous in terms of cost, and there is a limit in reducing the size of the color imaging device itself. For example, when this is mounted on a digital camera, it is difficult to make the digital camera smaller and lighter.
  • the color of the subject that is, the color component of light incident on the imaging system
  • the color of the subject is formed on a single (single) solid-state imaging device surface in a two-dimensional array. It is necessary to detect different color signals (for example, R, G, B) for each of the discretely arranged pixels.
  • Color filters include primary color (R, G, B) and complementary color (Ye, Cy, Mg, etc.) filters composed of complementary colors.
  • primary color (R, G, B) color filters are often used in digital cameras and the like from the viewpoint of emphasizing color reproducibility.
  • the complementary color filters include two types of primary color components in their color signal components (for example, Mg includes blue B and red R). As compared with the case where a filter is used, the sensitivity is increased, but the S / N is reduced in the process of color separation processing, and it is difficult to faithfully reproduce colors.
  • the number of pixels is increased by reducing the size of each pixel in order to increase the imaging resolution of the solid-state image sensor in response to higher definition, the amount of light that can be received per pixel will decrease.
  • the size of a pixel is reduced to ⁇ ⁇ ⁇ ⁇ each in height and width in order to double the resolution, the area of one pixel is reduced to 4, whereby the signal from the pixel is reduced to 4. It becomes dark.
  • the resolution is increased by increasing the effective imaging size without increasing the pixel size, not only will the optical system including the lens need to be changed, but also the imaging device as a whole will become larger and heavier. It will be.
  • the shooting frame rate is reduced in inverse proportion thereto. For example, if imaging is performed using a solid-state imaging device having four times the number of pixels to double the resolution, the frame rate is reduced to 1/4. Seconds, it will be out of the broadcastable level. Further, by reducing the pixel size and increasing the number of pixels, it is necessary to adjust the transistor arrangement and the wiring thickness on the image sensor. There are limits to the adjustment.
  • the present invention has been made in view of the above-described problems, and has as its object to propose an imaging device that maintains the imaging sensitivity and the frame rate while increasing the resolution of the imaging device. Further, the present invention is more preferably a so-called balanced appropriate imaging device for realizing the maintenance of a large depth of field, realization of miniaturization and weight reduction, and avoiding excessive miniaturization of a pixel size, and a solid-state imaging device thereof.
  • An object of the present invention is to propose a method for positioning an element.
  • the two-panel color imaging device of the present invention receives a prism that separates incident light into two different directions of G color, R color and B color, and receives light of R color and B color separated by the prism.
  • a first solid-state imaging device that outputs a red signal corresponding to the light amount of R color and a blue signal corresponding to the light amount of B color; and receives light of G color separated by the prism and responds to the light amount of G color.
  • a second solid-state imaging device that outputs a green signal, and an image that combines the output of the first solid-state imaging device and the output of the second solid-state imaging device to form a single honeycomb pixel array or square pixel array image data
  • a first solid-state image sensor and a second solid-state image sensor are formed of a square pixel array, and the image synthesis unit performs synthesis at an angle of 1/2 pixel interval from each other to form a honeycomb-shaped pixel.
  • the first solid-state image sensor forms image data of an array
  • the second solid-state imaging device has the same maximum number of pixels, and the output of the first solid-state imaging device and the output of the second solid-state imaging device are image data having a resolution corresponding to the same number of pixels equal to or less than the maximum number of pixels.
  • the synthesized image data is image data having a resolution twice as many as the same number of pixels.
  • the two-panel color imaging apparatus of the present invention preferably includes a prism that separates incident light into two different directions of G color, R color and B color, and light of R color and B color separated by the prism. And a first solid-state imaging device that outputs a red signal corresponding to the light amount of R color and a blue signal corresponding to the light amount of B color, and receives G light separated by the prism to receive G light.
  • a second solid-state imaging device that outputs a green signal according to the amount of light, and image data of a single honeycomb pixel array or square pixel array by combining the output of the first solid-state imaging device and the output of the second solid-state imaging device And a first solid-state image sensor and a second solid-state image sensor are formed of a honeycomb pixel array, and the image synthesizers are vertically or horizontally shifted by a half pixel interval from each other.
  • image data of square pixel array The first solid-state imaging device and the second solid-state imaging device have the same maximum number of pixels, and the output of the first solid-state imaging device and the output of the second solid-state imaging device have the same number of pixels that is equal to or less than the maximum number of pixels.
  • the combined image data is image data having a resolution twice as many as the same number of pixels.
  • the two-panel color imaging apparatus of the present invention further preferably performs an interpolation process on the image data formed by the image synthesizing section as image data acquired by the single-panel color imaging apparatus.
  • the R pixel that outputs a red signal of the first solid-state imaging device includes a red color filter
  • the B pixel that outputs a blue signal of the first solid-state imaging device is The G pixel that includes a blue color filter and outputs a green signal of the second solid-state imaging device does not include a color filter.
  • the number of R pixels and B pixels in the first solid-state imaging device is the same, and the number of G pixels in the second solid-state imaging device is the number of R pixels or B pixels. It is characterized by being twice the number.
  • the first and second solid-state imaging devices when the first and second solid-state imaging devices have a square pixel array, R pixels and B pixels are alternately arranged in any of the vertical and horizontal directions, and When the second solid-state imaging device has a honeycomb pixel array, R pixels and B pixels are alternately arranged in an oblique direction.
  • the image processing method of the two-chip color imaging device of the present invention is the image processing method of the two-chip color imaging device described above, wherein the second solid-state imaging device acquires a red signal and a blue signal from the first solid-state imaging device simultaneously and in parallel.
  • a step of performing a pixel interpolation process of a honeycomb-shaped pixel array on the synthesized image data is the image processing method of the two-chip color imaging device described above, wherein the second solid-state imaging device acquires a red signal and a blue signal from the first solid-state imaging device simultaneously and in parallel.
  • the image processing method of the two-chip color imaging device of the present invention is the image processing method of the two-chip color imaging device described above, wherein the second solid-state imaging device acquires a red signal and a blue signal from the first solid-state imaging device simultaneously and in parallel.
  • the two-panel black-and-white imaging device of the present invention is a half mirror for separating incident light into first incident light and second incident light, and receives the first incident light separated by the half mirror to receive the first incident light.
  • a first solid-state imaging device that outputs a first light-receiving signal according to the light amount, and a second solid-state that receives the second incident light separated by the half mirror and outputs a second light-receiving signal according to the light amount
  • An image sensor, and an image combining unit that combines the output of the first solid-state image sensor and the output of the second solid-state image sensor to form image data of one honeycomb pixel array or square pixel array
  • the one solid-state imaging device and the second solid-state imaging device are formed of a square pixel array, and the image synthesizing unit performs synthesis shifted obliquely by a half pixel interval to form image data of a honeycomb pixel array. It is characterized by.
  • the two-panel black-and-white imaging device of the present invention is a half mirror for separating incident light into first incident light and second incident light, and receives the first incident light separated by the half mirror to receive the first incident light.
  • a first solid-state imaging device that outputs a first light-receiving signal according to the light amount, and a second solid-state that receives the second incident light separated by the half mirror and outputs a second light-receiving signal according to the light amount
  • An image sensor, and an image combining unit that combines the output of the first solid-state image sensor and the output of the second solid-state image sensor to form image data of one honeycomb pixel array or square pixel array
  • the one solid-state imaging device and the second solid-state imaging device are formed of a honeycomb-shaped pixel array, and the image synthesizing unit performs synthesis vertically or horizontally shifted from each other by a half pixel interval to form the image data of the square pixel array.
  • the body imaging device has the same maximum number of pixels, and the output of the first solid-state imaging device and the output of the second solid-state imaging device are image data having a resolution corresponding to the same number of pixels less than the maximum number of pixels.
  • the combined image data is image data having twice the resolution of the same number of pixels.
  • the arrangement of any one of the solid-state imaging devices is performed while photographing a chart having stripes.
  • the first state is one of a state in which the stripe is displayed and a state in which the stripe is not displayed, and the second state is the other state.
  • a color or black-and-white image pickup device capable of maintaining the image pickup sensitivity and the frame rate while increasing the resolution of the solid-state image pickup device can be proposed.
  • a suitable balanced color or black-and-white image pickup device and a method of positioning the solid-state image pickup device for realizing the maintenance of a deep depth of field, the realization of small size and light weight, and the avoidance of excessive miniaturization of the pixel size are realized.
  • FIG. 1A is a diagram illustrating an imaging system 1000 including a spectral prism 1040 and a first solid-state imaging device 1010 and a second solid-state imaging device 1020 according to the present embodiment
  • FIG. FIG. 1C is a conceptual diagram illustrating a solid-state image sensor 1010
  • FIG. 1C is a conceptual diagram illustrating a second solid-state image sensor 1020 having a square pixel array
  • FIG. 1D is a first solid image having a honeycomb pixel array
  • FIG. 1E is a conceptual diagram illustrating an image sensor 1010
  • FIG. 1E is a conceptual diagram illustrating a second solid-state image sensor 1020 having a honeycomb pixel array.
  • FIG. 1A is a diagram illustrating an imaging system 1000 including a spectral prism 1040 and a first solid-state imaging device 1010 and a second solid-state imaging device 1020 according to the present embodiment
  • FIG. 1C is a conceptual diagram illustrating a solid-state image sensor 1010
  • 2A is a conceptual diagram illustrating an outline of synthesizing image data of two image sensors having A and B having a honeycomb pixel array structure and synthesizing image data having one square pixel array structure.
  • 3A is a conceptual diagram illustrating an outline of synthesizing image data of one honeycomb pixel array structure by combining image data of A and B image sensors having a square pixel array structure, and FIG. ) Combines the image data of the first solid-state imaging device having a square pixel array structure having R and B color pixels with the image data of the second solid-state imaging device having a square pixel array structure having G color pixels, It is a conceptual diagram explaining the outline
  • 4A is a diagram illustrating a configuration example of a second solid-state imaging device, FIG.
  • FIG. 4B is a diagram illustrating a configuration example of a first solid-state imaging device
  • FIG. 4C is a diagram illustrating FIG. 4) is a diagram for explaining the concept of a synthesized pixel obtained from the second solid-state imaging device of FIG. 4) and the first solid-state imaging device of FIG. 4 (B)
  • FIG. 4 (D) is a diagram illustrating the synthesized pixel shown in FIG.
  • FIG. 2 is a diagram for explaining a solid-state imaging device in the case of realizing a single-chip system.
  • FIG. 5A is a diagram illustrating a pixel arrangement pattern of a solid-state imaging device having a honeycomb pixel array, which is an example of the present embodiment.
  • FIG. 5A is a diagram illustrating a pixel arrangement pattern of a solid-state imaging device having a honeycomb pixel array, which is an example of the present embodiment.
  • FIG. 5A illustrates a pixel arrangement pattern of a first solid-state imaging device that receives R and B colors.
  • FIG. 5B is a diagram illustrating an example, and FIG. 5B is a diagram illustrating a pixel arrangement pattern of a second solid-state imaging device that receives G color.
  • FIG. 5C is a second solid-state imaging device that receives G color.
  • FIG. 9 is a diagram illustrating another pixel arrangement pattern of the element.
  • FIG. 6A is a diagram illustrating a pixel arrangement pattern of a solid-state imaging device having a square pixel array, which is an example of the present embodiment.
  • FIG. 6A illustrates a pixel arrangement pattern of a first solid-state imaging device that receives R and B colors.
  • FIG. 6B is a diagram illustrating an example
  • FIG. 6B is a diagram illustrating a pixel arrangement pattern of a second solid-state imaging device that receives G color
  • FIG. 6C is a second solid-state imaging device that receives G color
  • FIG. 9 is a diagram illustrating another pixel arrangement pattern of the element. It is a conceptual diagram explaining the outline which positions and arranges a total of two image sensors, a first solid-state image sensor and a second solid-state image sensor, at different light emission ports of a prism using a striped pattern chart.
  • FIG. 3 is a conceptual diagram illustrating the relationship between the resolution of each of two image sensors and the resolution of an image obtained as a result of synthesis.
  • the technical idea of an imaging device that avoids a decrease in sensitivity and frame rate while realizing high resolution is disclosed. That is, by combining the images obtained from the two image sensors and synthesizing the same image as the image obtained by the single-chip system, the subsequent image processing such as interpolation is easily performed.
  • the incident light that has entered through the lens of the imaging device of the present embodiment is split into red light, blue light, and green light by a prism, and forms an image on each of the two solid-state imaging devices.
  • the image data obtained by each solid-state imaging device is synthesized vertically and horizontally or diagonally with a shift of 1/2 pixel interval to form a single image.
  • the imaging apparatus according to the present embodiment includes an image combining unit that combines two pieces of image data to create a single image.
  • the image data synthesized by the image synthesizing unit can be handled as one image data obtained from a general honeycomb pixel array or a square pixel array as a single-chip image sensor, so that subsequent interpolation and the like can be performed. Image processing can be performed.
  • the number of pixels per image sensor is not increased, and the pixels are not miniaturized. Therefore, the occupied area per pixel does not change, so that the sensitivity is maintained as before. If the number of pixels is increased by miniaturizing the pixels in order to increase the resolution, the light receiving area per pixel is reduced, resulting in a decrease in sensitivity. Further, if the number of pixels per image sensor is increased to increase the resolution, it takes time to read image data from the image sensor, resulting in a decrease in frame rate.
  • the number of image sensors is reduced to two by reducing the number of pixels and the frame rate. Without increasing the resolution.
  • the pixel of the image sensor that receives green light may be a colorless image sensor, and the pixel of the image sensor that receives red and blue light includes a red filter and a blue filter, respectively.
  • the honeycomb pixel array structure or the square pixel array structure is configured by combining the image data obtained by each of the two image sensors. Since the three primary colors of RGB are received by the two image sensors, the process is efficient and can be performed quickly with a relatively simple circuit configuration as compared with the method using three image sensors.
  • the image data obtained by the two image sensors is read out, stored in the memory, and combined into a single image. For example, by synthesizing the image data obtained by one image sensor so that the other image data is arranged at a position shifted vertically, horizontally, or obliquely by a half pixel interval. Thus, one image (and image data) having a honeycomb pixel array structure or a square pixel array structure is obtained.
  • FIG. 1A is a diagram illustrating an imaging system 1000 including a spectral prism 1040 and a first solid-state imaging device 1010 and a second solid-state imaging device 1020 according to the present embodiment
  • FIG. 1B is a diagram illustrating a square pixel array. It is a conceptual diagram explaining the 1st solid-state image sensor 1010.
  • FIG. 1C is a conceptual diagram illustrating a second solid-state imaging device 1020 having a square pixel array
  • FIG. 1D is a conceptual diagram illustrating a first solid-state imaging device 1010 having a honeycomb pixel array.
  • FIG. 1E is a conceptual diagram illustrating a second solid-state imaging device 1020 having a honeycomb pixel arrangement.
  • the incident light 1030 obtained through a lens is split into an R color 1032, a B color 1033, and a G color 1031 by a spectral prism 1040.
  • the R color 1032 and the B color 1033 are received by the first solid-state imaging device 1010, and the G color 1031 is received by the second solid-state imaging device 1020.
  • the first solid-state imaging device 1010 is provided with an R color filter or a B color filter on the light incident side of each pixel.
  • the G color 1031 is incident on the second solid-state imaging device 1020, there is no need to separately provide a color filter, and a colorless filter or a configuration without a filter can be employed.
  • both the first solid-state image sensor 1010 and the second solid-state image sensor 1020 may have a square pixel array structure or both may have a honeycomb pixel array structure. Although it may be a structure, it is assumed that the pixel arrangement structure is the same. That is, when the first solid-state imaging device 1010 and the second solid-state imaging device 1020 have a square pixel array structure, the result of combining the obtained images is a honeycomb pixel array. When the first solid-state imaging device 1010 and the second solid-state imaging device 1020 have a honeycomb pixel array structure, the result of combining the obtained images is a square pixel array.
  • the first solid-state image sensor 1010 and the second solid-state image sensor 1020 having the same pixel array structure perform various image processing such as interpolation processing on the composite image data having the other different pixel array structure.
  • Imaging device provided with a processing circuit for the image processing.
  • the pixel array structure that the first solid-state image sensor 1010 and the second solid-state image sensor 1020 actually have and the pixel array structure that can process the composite image data to be processed by the image processing circuit are mutually compatible. Will be different.
  • the image processing circuit and the image processing method a general image processing circuit and an image processing method used in a conventionally known single-chip imaging device or the like can be used. .
  • FIG. 2A illustrates an outline of synthesizing image data of two image sensors A and B having a honeycomb pixel array structure and synthesizing image data of one square pixel array structure (for example, black and white image data).
  • FIG. 2B is a conceptual diagram illustrating an image data of a first solid-state imaging device 1010 having a honeycomb pixel array structure having R color pixels and B color pixels and a second solid state having a honeycomb pixel array structure having G color pixels.
  • FIG. 9 is a conceptual diagram illustrating an outline of synthesizing image data of an image sensor 1020 to obtain image data of a single-chip solid-state image sensor having a square pixel array structure having R, G, and B colors.
  • each pixel of two solid-state imaging devices having a honeycomb pixel array structure is overlapped by being shifted vertically or horizontally by a half pixel interval, one square pixel array structure is obtained.
  • the first solid-state imaging device 1010 and the second solid-state imaging device 1020 are arranged at different light exits of the spectral prism, and the solid-state imaging devices themselves cannot be physically overlapped.
  • the combining process is performed at the time of writing to the memory.
  • the writing process is performed at every other address and every other address. Perform.
  • the writing process is sequentially performed on the address portions that are previously vacated.
  • the memory that has been written in this manner stores pixel data sequentially read out from a single-chip RGB solid-state image sensor as shown in the lower part of FIG. It becomes the written image data.
  • the image data sequentially read from the memory which is recorded like the image data obtained from the image sensor shown in the lower part of FIG. 2B, is a single-chip RGB image sensor having a square pixel array solid-state image sensor.
  • Various kinds of image processing such as interpolation processing can be performed as pixel data sequentially read from the solid-state imaging device. In this way, it is possible to obtain substantially twice the high-resolution image data without increasing the actual number of pixels per solid-state imaging device. For this reason, it is not affected by various disadvantages that occur when the number of pixels per solid-state imaging device is increased, and high resolution can be quickly achieved by easy and simple processing.
  • the process of sequentially reading the R signal and the B signal from the first solid-state imaging device 1010 and the process of sequentially reading the G signal from the second solid-state imaging device 1020 are performed in parallel in almost real time with a weak time difference. Processing. Instead of waiting until reading processing from the first solid-state imaging device 1010 is completed, reading from the second solid-state imaging device 1020 is not started. In addition, when writing the read image data to the memory, it is sufficient to sequentially perform the writing process from the pixel data for which the reading has been completed. Therefore, the reading process and the writing process for two imaging elements are substantially performed simultaneously. Can be performed in real time in parallel.
  • FIG. 3A illustrates an outline of combining image data (for example, black and white image data) of two image sensors A and B having a square pixel array structure to synthesize image data having one honeycomb pixel array structure.
  • FIG. 3B is a conceptual diagram illustrating the image data of the first solid-state imaging device 1010 having a square pixel array structure having R color pixels and B color pixels, and the second solid body having a square pixel array structure having G color pixels. It is a conceptual diagram explaining the outline
  • the solid state of one honeycomb pixel array structure is obtained. It can be synthesized as if it were an image sensor. As shown in FIG. 1, the first solid-state imaging device 1010 and the second solid-state imaging device 1020 are arranged at different light exits of the spectral prism, and the solid-state imaging devices themselves cannot be physically overlapped. In the present embodiment, the combining process is performed at the time of writing to the memory.
  • the addresses are shifted obliquely by a half pixel interval.
  • Write processing is performed with an address position left.
  • the G signals are sequentially shifted to the address positions that are previously shifted every other pixel and that are obliquely shifted by a half pixel interval. Perform write processing.
  • the memory that has been written in this way is shown in the lower part of FIG. 3B in which pixel data sequentially read from a single-chip RGB solid-state imaging device having a solid-state imaging device with a honeycomb pixel array is sequentially written into the memory. Image data.
  • the image data sequentially read from the memory which is recorded like the image data obtained from the imaging device shown in the lower part of FIG. 3B, is a single-chip RGB having a solid-state imaging device having a honeycomb pixel array.
  • Various kinds of image processing such as interpolation processing can be performed as pixel data sequentially read from the solid-state imaging device. In this way, it is possible to obtain substantially twice the high-resolution image data without increasing the actual number of pixels per solid-state imaging device. For this reason, it is not affected by various disadvantages that occur when the number of pixels per solid-state imaging device is increased, and high resolution can be quickly achieved by easy and simple processing.
  • the process of sequentially reading the R signal and the B signal from the first solid-state imaging device 1010 and the process of sequentially reading the G signal from the second solid-state imaging device 1020 are performed in parallel in almost real time with a weak time difference. Processing. Instead of waiting until reading processing from the first solid-state imaging device 1010 is completed, reading from the second solid-state imaging device 1020 is not started. In addition, when writing the read image data to the memory, it is sufficient to sequentially perform the writing process from the pixel data for which the reading has been completed, so that the reading process and the writing process are substantially performed simultaneously in parallel and in real time. can do. Further, as shown in FIGS. 1B to 1E, the pixel intervals (L1, L2) are the same between the first solid-state imaging device 1010 and the second solid-state imaging device 1020.
  • the two-panel color imaging device of the present invention receives a prism that separates incident light into two different directions of G color, R color and B color, and receives light of R color and B color separated by the prism.
  • a first solid-state imaging device that outputs a red signal corresponding to the light amount of R color and a blue signal corresponding to the light amount of B color; and receives light of G color separated by the prism and responds to the light amount of G color.
  • a second solid-state imaging device that outputs a green signal, and an image that combines the output of the first solid-state imaging device and the output of the second solid-state imaging device to form a single honeycomb pixel array or square pixel array image data
  • a first solid-state image sensor and a second solid-state image sensor are formed of a square pixel array, and the image synthesis unit performs synthesis at an angle of 1/2 pixel interval from each other to form a honeycomb-shaped pixel. Forming an array of image data.
  • CMOS or CCD complementary metal-oxide-semiconductor
  • processing circuits are reduced and the size and weight are reduced, and a low-cost and power-saving imaging device is realized, as compared with a multi-chip color imaging device having three or more boards. it can.
  • image processing such as interpolation processing similar to that of a single-panel color imaging apparatus (having an image-capturing element of a honeycomb-shaped pixel array) which is widely used. Therefore, there is no need to develop a new processing circuit.
  • the frame rate can be reduced.
  • the drop can also be prevented.
  • the two-panel color imaging apparatus of the present invention also includes a prism that separates incident light into two different directions of G color, R color, and B color, and receives light of R color and B color separated by the prism.
  • a first solid-state imaging device that outputs a red signal corresponding to the light amount of R color and a blue signal corresponding to the light amount of B color, and receives the light of G color separated by the prism to reduce the light amount of G color.
  • a second solid-state image sensor that outputs a corresponding green signal, and combines the output of the first solid-state image sensor and the output of the second solid-state image sensor to form image data of one honeycomb pixel array or square pixel array
  • the first solid-state image sensor and the second solid-state image sensor are formed of a honeycomb-shaped pixel array, and the image synthesizer performs synthesis vertically or horizontally shifted by a half pixel interval. To form image data of a square pixel array And butterflies.
  • CMOS or CCD complementary metal-oxide-semiconductor
  • processing circuits are reduced and the size and weight are reduced, and a low-cost and power-saving imaging device is realized, as compared with a multi-chip color imaging device having three or more boards. it can.
  • image processing such as interpolation processing similar to that of a general-purpose single-panel color imaging device (with an image sensor of a square pixel array). Since it is possible, there is no need to develop a new processing circuit.
  • the frame rate can be reduced.
  • the drop can also be prevented.
  • the two-panel color imaging apparatus of the present invention preferably performs an interpolation process on the image data formed by the image synthesizing section as image data acquired by the single-panel color imaging apparatus.
  • the image data formed by the image synthesizing unit differs from the image data obtained by the conventional single-panel color image pickup apparatus except for whether or not the resolution is increased. Not something.
  • the conventional single-chip general-purpose interpolation processing circuit can be used as it is without developing a new processing circuit. This is extremely advantageous in terms of cost, product release timing, and the like from the viewpoint of the development period and development cost of a new processing circuit.
  • the S / N ratio is deteriorated, the signal strength is reduced (darkening phenomenon), and the image data reading time is prolonged (reduced frame rate), which is caused when the resolution of the single-chip image sensor itself is increased. And the like are preferable because they do not occur at all.
  • the R pixel that outputs a red signal of the first solid-state imaging device includes a red color filter
  • the B pixel that outputs a blue signal of the first solid-state imaging device is The G pixel that includes a blue color filter and outputs a green signal of the second solid-state imaging device does not include a color filter.
  • the red pixels that detect the R color have a red filter
  • the blue pixels that detect the B color have a blue filter
  • the green pixels that detect the G color need not have a colorless filter or the filter itself. Therefore, it is preferable.
  • image data of three primary colors of RGB may be obtained and processed as described above, or image data corresponding to the image data may be obtained and processed by a complementary color filter. Also in this case, it is preferable to combine the two data acquired in the two-plate system, since the same processing as in the single-plate system can be performed thereafter.
  • the number of R pixels and B pixels in the first solid-state imaging device is the same, and the number of G pixels in the second solid-state imaging device is the number of R pixels or B pixels. It is characterized by being twice the number.
  • green data with high sensitivity to human eyes can be acquired with particularly high definition, so that image acquisition that is more suitable for recent miniaturized images such as so-called 4K, 8K, 64K, and 128K. Becomes possible.
  • the first and second solid-state imaging devices have a square pixel array
  • R pixels and B pixels are alternately arranged in any of the vertical and horizontal directions
  • R pixels and B pixels are alternately arranged in an oblique direction.
  • the image processing method of the two-chip type color imaging device of the present invention includes a reading step of obtaining a green signal from the second solid-state imaging device, simultaneously and in parallel with obtaining the red signal and the blue signal from the first solid-state imaging device, Combining the respective signals as a single image data of a honeycomb-shaped pixel array by obliquely shifting each other by a 1/2 pixel interval between a red signal, a blue signal, and a green signal; and Performing a pixel interpolation process for the honeycomb-shaped pixel array.
  • the image processing method of the two-chip type color imaging device of the present invention includes a reading step of obtaining a green signal from the second solid-state imaging device, simultaneously and in parallel with obtaining the red signal and the blue signal from the first solid-state imaging device, Combining each of the red, blue, and green signals with each other vertically or horizontally by a half pixel interval to synthesize one image data of a square pixel array; and Performing a pixel interpolation process of a square pixel array.
  • a first aspect of the present invention is a technique for maintaining a sensitivity and a frame rate by increasing the resolution
  • a feature of the present invention is that two image sensors are fixed using a prism and incident on the prism. That is, an optical image to be captured is captured by two imaging elements. The image of the light that has passed through the lens passes through the prism and is split into two directions of G color and other R and B colors.
  • the method of imaging with the two imaging elements of the front prism apparatus is such that the G image and the R color and the B color of RGB are individually assumed assuming a pixel array of a known single-plate honeycomb or Bayer for the incident optical image. This is to take an image with an image sensor.
  • One image is G color
  • the second image is R color and B color.
  • the G color of the honeycomb and the Bayer array pixels pixels of the square pixel array
  • the other R and B pixels are positioned obliquely between the G and G pixels.
  • the pixels are diagonally 1/2.
  • the pixel is located between the G color pixels in the vertical and horizontal directions with respect to the G color pixel.
  • the pixel data acquired from the two image sensors is one image sensor (having the number of pixels corresponding to the total number of pixels of the two image sensors) at the time when the recording is completed in the memory of the present embodiment. Can be handled in the same way as a memory in which the pixel data obtained from the memory is recorded. Even in this case, as described above, each pixel area can be ensured to be larger than that of the single-plate type realized by one image sensor, so that each pixel data recorded in the memory is also bright and highly sensitive. Data.
  • the two image sensors used in the present embodiment are typically configured by separating one image sensor of a square pixel array shown in the lower part of FIG. B) A first solid-state image sensor of R & B pixels and a second solid-state image sensor of G pixels in the honeycomb pixel array shown in the upper part.
  • the area per pixel after separation be doubled from the viewpoint of effectively utilizing the area of the imaging element and securing the amount of received light.
  • the two image sensors used in the present embodiment are typically configured by separating one image sensor of a honeycomb pixel array shown in the lower part of FIG. )
  • a first solid-state image sensor of R & B pixels and a second solid-state image sensor of G pixels in a square pixel array shown in the upper part can be used.
  • the area per pixel after separation be doubled from the viewpoint of effectively utilizing the area of the imaging element and securing the amount of received light.
  • the diagonal half is used. It may be fixed at an arrangement shifted from each other by the pixel interval.
  • both imaging devices having the same pixel pattern of a honeycomb pixel array (for example, the upper part of FIG. It may be fixed at an arrangement shifted from each other by a half pixel interval.
  • the present invention can be similarly implemented when two monochrome image sensors are used.
  • the incident light may be bisected using a spectroscopic device such as a half mirror instead of the spectroscopic prism.
  • Both the first image sensor and the second image sensor can be configured with black and white light receiving pixels.
  • the number of pixels per image sensor is about half that of a single image sensor that achieves the number of pixels corresponding to the two pixels. Absent.
  • the technical idea of forming a square pixel array from the honeycomb pixel array shown in FIG. 2A and the technical idea of forming a honeycomb pixel array from the square pixel array shown in FIG. This is a description of a pixel. That is, from the first image sensor having the black-and-white pixels indicated by A and the second image sensor having the black-and-white pixels indicated by B, when these pixel data are completely written into the memory, the pixel has the A pixel and the B pixel. It discloses a technical idea that can be handled equivalently to pixel data obtained from a single-chip image sensor.
  • FIG. 4A is a diagram illustrating a part of a configuration example of a second solid-state imaging device
  • FIG. 4B is a diagram illustrating a part of a configuration example of a first solid-state imaging device.
  • FIG. 4C is a diagram for explaining the concept of a part of the synthesized pixels obtained from the second solid-state imaging device in FIG. 4A and the first solid-state imaging device in FIG. 4B.
  • FIG. 4D is a diagram illustrating a part of the solid-state imaging device in a case where the combined pixel illustrated in FIG.
  • wirings 420 and 430 for outputting the pixel data to the outside are arranged around the G color pixel 410.
  • wirings 440, 450, 460, 470, and 480 for outputting the pixel data to the outside are arranged around the R color pixel 480.
  • FIG. 5 is a diagram illustrating a pixel arrangement pattern of a solid-state imaging device having a honeycomb pixel array, which is an example of the present embodiment.
  • FIG. 5A is a diagram illustrating an example of a pixel arrangement pattern of a first solid-state imaging device that receives R and B colors
  • FIG. 5B is a diagram illustrating a second solid-state imaging device that receives G color. It is a figure explaining a pixel arrangement pattern
  • Drawing 5 (C) is a figure explaining another pixel arrangement pattern of the 2nd solid-state image sensing device which receives G color.
  • the upper left R pixel can be arranged at an interval 1 from the edge of the image sensor, and is arranged at an interval T in the horizontal and vertical directions until the next R pixel.
  • the upper left G pixel can be arranged at an edge or an interval 1 of the image sensor, and is arranged at an interval T in the horizontal and vertical directions until the next G pixel.
  • the solid-state imaging device From the viewpoint of the mass production effect of the solid-state imaging device, it is preferable to manufacture a plurality of imaging devices having the same pixel arrangement pattern described on FIGS. 5A and 5B on one substrate. Then, in the production process of the color filter, the color filter for R and B colors is formed, the color filter is not formed, or the color filter is colorless. Or the second solid-state imaging device can be selectively manufactured.
  • the upper left G pixel is separated from the edge of the image sensor by, for example, “l + (T / 2)” in the horizontal direction and by “1” in the vertical direction.
  • the next G pixels may be arranged at intervals T in both the horizontal and vertical directions. In this case, the arrangement of the pixels themselves is already shifted by a half pixel interval between the first image sensor and the second image sensor with respect to the main body of the image sensor.
  • the imaging elements can be arranged in the same manner.
  • FIG. 6 is a diagram illustrating a pixel arrangement pattern of a solid-state imaging device having a square pixel array, which is an example of the present embodiment.
  • FIG. 6A is a diagram illustrating an example of a pixel arrangement pattern of the first solid-state imaging device that receives R and B colors
  • FIG. 6B is a diagram illustrating a pixel arrangement pattern of the second solid-state imaging device that receives G color.
  • FIG. 6C is a diagram illustrating a pixel arrangement pattern
  • FIG. 6C is a diagram illustrating another pixel arrangement pattern of the second solid-state imaging device that receives G color.
  • the upper left R pixel can be arranged with an interval 1 from the edge of the image sensor, and sequentially arranged with an interval T in the horizontal and vertical directions until the next B pixel. be able to.
  • the upper left G pixel can be arranged at an edge of the image sensor or at an interval l, and is arranged at an interval T in the horizontal and vertical directions until the next G pixel.
  • the solid-state imaging device From the viewpoint of the mass production effect of the solid-state imaging device, it is preferable to manufacture a plurality of imaging devices having the same pixel arrangement pattern described on FIGS. 6A and 6B on one substrate. Then, in the production process of the color filter, the color filter for R and B colors is formed, the color filter is not formed, or the color filter is colorless. Or the second solid-state imaging device can be selectively manufactured.
  • the upper left G color pixel is separated from the edge of the image sensor by, for example, “l + (T / 2)” in the horizontal direction and “l + (T / 2)” in the vertical direction. ) ", And the next G pixels may be arranged at intervals T in both the horizontal and vertical directions. In this case, the arrangement of the pixels themselves is already shifted by a half pixel interval between the first image sensor and the second image sensor with respect to the main body of the image sensor.
  • the imaging elements can be arranged in the same manner.
  • FIG. 7 is a conceptual diagram illustrating an outline of positioning and arranging a total of two image sensors 7200, a first solid-state image sensor and a second solid-state image sensor, at different light emission ports of a prism using a striped chart 7100.
  • FIG. 7A as a typical example, the pitch arrangement P of the vertical lines of the adjustment chart matches the pitch P of the pixel array, and the width W of the vertical lines of the adjustment chart matches the pixel width W. ing.
  • the first imaging device and the second imaging device are each a light beam which is originally one incident light and is separated by the prism, respectively.
  • the positions are shifted from each other by ⁇ pixel with respect to the input light image. For this reason, it is necessary to accurately determine the relative arrangement positions of the two image pickup devices with respect to the incident light and mount them.
  • the position can be adjusted so as to shift the position by a predetermined pixel using a black-and-white vertical stripe pattern chart 7100 having a stripe pattern at the same arrangement interval as the pixels.
  • FIG. 7B is a diagram illustrating a display image with respect to a positional relationship between a stripe image formed on an image sensor and pixels.
  • FIG. 7 (b-2) illustrates a state in which a pixel is displayed as a single-sided gray, which is thinned from black, when the pixel has a positional relationship of half a stripe and half a blank part. Is what you are doing.
  • the relative position of each image pickup device is adjusted by real-time observation of a screen or the like while monitoring and displaying incident light from the chart for each image pickup device. Therefore, positioning can be performed with extremely high accuracy.
  • such an adjustment operation may be performed such that output images of the first image sensor and the second image sensor are switched and displayed on channel 1 and channel 2, for example.
  • the arrangement of either one of the solid-state imaging devices is set as the output of only the solid-state imaging device.
  • Positioning the second light receiving portion, the first state is one of a state in which the stripe is displayed or a state in which the stripe is not displayed, and the second state is the other It is characterized in that:
  • FIG. 8 is a conceptual diagram illustrating the relationship between the resolution of each of the two imaging elements 7010 and 7020 and the resolution of an image obtained as a result of the synthesis.
  • FIG. 8A in the case where both the first solid-state imaging device 7010 and the second solid-state imaging device 7020 use an element having a resolution characteristic of 8K, an image having a resolution of 16K after being synthesized. Is obtained.
  • the frame rate for reading image data from an image sensor having a resolution of 16K is generally 150 fps
  • the first solid-state image sensor 7010 and the second solid-state image sensor 7020 are connected in parallel.
  • the resolution can be set to 8K, so that a reading speed of 300 fps can be maintained. That is, when a 16K image is acquired, the conventional 150 fps becomes 300 fps.
  • both the first solid-state imaging device 7010 and the second solid-state imaging device 7020 use devices having a resolution characteristic of 8K and 4K of them are used, synthesis is performed. After that, an image having a resolution of 8K is obtained.
  • the frame rate when reading image data from an image sensor having a resolution of 8K is generally 300 fps
  • the first solid-state image sensor 7010 and the second solid-state image sensor 7020 are connected in parallel.
  • the resolution for each reading is 4K, so that a reading speed of 600 fps or more can be maintained. That is, when an 8K image is acquired, the conventional 300 fps becomes 600 fps or more.
  • both the first solid-state imaging device 7010 and the second solid-state imaging device 7020 are devices having a resolution characteristic of 8K, and 2K of them are used, synthesis is performed. After that, an image having a resolution of 4K is obtained.
  • the frame rate when reading image data from an image sensor having a resolution of 4K is generally 600 fps
  • the first solid-state image sensor 7010 and the second solid-state image sensor 7020 are connected in parallel.
  • the resolution for each reading is 2K, so that a reading speed of 1200 fps or more can be maintained.
  • the conventional 600 fps becomes 1200 fps or more.
  • a 4K image can be obtained by using two 2K image sensors
  • an 8K image can be obtained by using two 4K image sensors.
  • two 4K image sensors are used
  • to obtain a 4K image two 2K image sensors are used.
  • image data readout can be performed simultaneously and in parallel in each image sensor. Therefore, when obtaining 4K and 8K images, the time required for reading from the 2K and 4K image sensors is sufficient, and rapid processing can be performed. It is possible, and the readout process can be performed in half the time required for obtaining the conventional 4K image and 8K image. That is, if an image sensor having a resolution of A (A is an arbitrary positive real number) is used, an image with a resolution of 2A can be quickly obtained.
  • A is an arbitrary positive real number
  • an 8K image when an 8K image is obtained, it can be realized at a speed of 4K 600 fps, when a 4K image is obtained, it can be realized at a speed of 2K 1200 fps, and when a 2K image is obtained, a speed of 1K 2400 fps can be realized.
  • a speed of 2400 fps can be realized.
  • two 4K-capable image sensors are mounted, images of any resolution from 2K to 8K can be obtained at a speed of 2400 fps to 600 fps, respectively.
  • by using the central portion of each image sensor partially, even if an image sensor of 8K is mounted, for example, only pixels corresponding to 2K can be used.
  • the two-panel imaging device and the like illustrated in the above-described embodiment are not limited to the description in the embodiment, and the configurations and processes of the two-chip imaging device and the like are appropriately within the scope of the technical idea described in the embodiment and within the obvious range.
  • the processing method and the like can be changed.
  • the embodiments are described individually for the sake of convenience, the configurations of the embodiments may be appropriately combined and applied within the scope of the technical idea of the present invention, and the operations thereof may be appropriately combined and arranged.
  • the present invention is applicable to the entire image / video field.
  • imaging system 1010 first solid-state imaging device, 1020 second solid-state imaging device, 1030 incident light, 1031 G light, 1032 R light, 1033 B light, 1040 light -A spectral prism.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】カラー撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現したカラー撮像装置を提案することを目的とする。　【解決手段】入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、合成された画像データは各々の撮像画素数の二倍の解像度の画像データである二板式カラー撮像装置とする。

Description

二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
　本発明は、二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法に関する。
　下記特許文献１には、低コストで小型且つ高感度、高解像度、高画質のカラー画像が撮像できる二板式カラー撮像装置及びデジタルカメラを提供することを目的とし、三原色の入射光を緑色と赤色及び青色とに分離する色分解プリズムと、該色分解プリズムによって分離された前記赤色及び青色の入射光を受光して赤色の光量に応じた赤色信号と青色の光量に応じた青色信号とを出力する第一固体撮像素子と、前記色分解プリズムによって分離された前記緑色の入射光を受光して緑色の光量に応じた緑色信号を出力する第二固体撮像素子とを備える二板式カラー撮像装置において、前記第一固体撮像素子の複数の受光部のうち赤色検出用受光部の上部に赤色の光を透過する補色系の第一カラーフィルタを設け、前記第一固体撮像素子の複数の受光部のうち青色検出用受光部の上部に青色の光を透過する補色系の第二カラーフィルタを設けた二板式カラー撮像装置が開示されている。
　また、下記特許文献２及び下記特許文献３には、デジタルカメラ等に用いられるカラー撮像装置として、一個（一枚）の固体撮像素子を用いた単板式のカラー撮像装置と、複数個（複数枚）の固体撮像素子を用いた多板式のカラー撮像装置が開示されている。
　単板式のカラー固体撮像素子は、一個の固体撮像素子上にＲＧＢ色等のカラーフィルタを離散的（モザイク状）に配置したもので、コスト面では比較的有利である。一方で、感度や解像度や色再現性の点では比較的劣るものとなる。また、単板式のカラー固体撮像素子では、近年の高画素（微細）化の進展に伴う製造歩留りの低下がクローズアップされており、コストアップの原因となっている。
　また、多板式のカラー固体撮像素子として一般的に知られている三板式のカラー撮像装置は、例えば入射光を分光した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）毎に専用の固体撮像素子を使う。従って、解像度や色再現性などの面においては比較的有利であり、比較的容易に高画質化を図ることができる。しかし、複数個の固体撮像素子と大型の色分解プリズムが必須の構成となるので、コスト面において不利であり、カラー撮像装置それ自体の小型化には限界がある。例えば、これをディジタルカメラに搭載した場合には、より小型・軽量なディジタルカメラとすることは困難である。
　一方では近年、単板式固体撮像素子のさらなる高画素化に伴う弊害がさらに顕著になってきており、画素の微細化等により、固体撮像素子自体の製造歩留と性能低下が問題となっている。このため、三板式のカラー撮像装置を、比較的低価格のデジタルスチルカメラやカムコーダに適用する検討も進んでいる。
　多板式のカラー固体撮像素子を用いれば、高歩留、高性能とできるので、低コスト化に寄与することが期待できる。また、近年の多画素化、すなわち単位画素サイズの微細化が進むにつれ、感度の低下や偽信号、偽色、シェーディングといった画質劣化が懸念されている。
　一般に、単板式固体撮像素子を用いてカラー画像を撮影する場合、被写体の色、すなわち撮像系に入射する光の色成分を単一（一枚）の固体撮像素子表面上に二次元アレー状に離散配置した画素毎に、それぞれ異なる色信号（例えば、Ｒ，Ｇ，Ｂ）として検出する必要がある。
　そこで、単板式カラー固体撮像素子では各画素の上にカラーフィルタを配置し、固体撮像素子全体では３色あるいは４色のカラーフィルタがモザイク状（特許文献２）あるいはストライプ状に配列することが知られている。
　カラーフィルタには、原色系（Ｒ，Ｇ，Ｂ）およびその補色から構成される補色系（Ｙｅ，Ｃｙ，Ｍｇなど）フィルタがある。従来、色再現性を重視する観点から、デジタルカメラ等においては、原色系（Ｒ，Ｇ，Ｂ）カラーフィルタが多く使用されている。これに対して、補色系カラーフィルタ（Ｃｙ，Ｙｅ，Ｍｇなど）は、その色信号成分に２種類の原色成分を含むため（例えば、Ｍｇには青色Ｂと赤色Ｒを含む）、原色系カラーフィルタを使用した場合に比べ、感度は高くなる反面、色分離処理の過程でＳ／Ｎが低下し忠実な色再現が難しい傾向にある。
　また、さらなる高精細化に対応して固体撮像素子の撮像解像度を高めるために、一画素あたりのサイズを小さくすることで画素数を増大させると、一画素あたりで受光できる光量が低減することとなる。例えば、解像度を二倍に高めようとして画素の大きさを縦横それぞれ１／２とすれば、一画素の面積が１／４となってしまい、これにより、画素からの信号が１／４と小さくなり暗くなる。仮に画素を小さくせず、撮像有効サイズを大きくすることで高精細化に対応すれば、レンズを含めた光学系も変更する必要が生じるだけではなく、撮像装置全体としても大型化・重量化することとなってしまう。
　また、このような大きな撮像サイズと大きな光学系とは、フォーカス調整に困難が伴うことや被写界深度が浅くなってしまう問題があることが知られている。例えば、放送用途等において多用されている動画カメラにおいて、中継撮影でフォーカスが合わない問題が生じることとなる。
　また、高精細化を企図して固体撮像素子一枚あたりの画素数を増大させると、撮影フレームレートがこれに反比例して低下する。例えば、解像度を二倍にするために四倍の画素数の固体撮像素子を使用して撮像すれば、フレームレートは１／４になってしまい、６０フレーム／秒のカメラであれば１５フレーム／秒となるので、放送可能なレベルを逸脱してしまうこととなる。さらに、画素サイズを小さくして画素数を増大することで、撮像素子上のトランジスタ配置や配線太さを調整する必要が生じるが、安定動作可能な配線太さを維持する必要性から、このような調整にも限界がある。
　また、高精細化と企図して、固体撮像素子の枚数を例えば四枚に増大させる方法を採用すれば、分光プリズム装置等の光学系が大型化し作製に高度な技術を要するだけではなく、周辺回路を四回路設けることとなるので、重量化することが避けられない。このため、特に機動性を要する撮像装置には適さないものとなる。
特開２００５－２６０３１８号公報 米国特許第３９７１０６５号公報 特開平３－２７４５２３号公報 特開２０１６－０６６９８５号公報
　撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持及び深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現した、いわばバランスのとれた適切な撮像装置は従来提案されていない。
　本発明は、上述の問題点に鑑み為されたものであり、撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現した撮像装置を提案することを目的とする。また、本発明は、さらに好ましくは、深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現したいわばバランスのとれた適切な撮像装置とその固体撮像素子の位置決め方法を提案することを目的とする。
　本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の画像データを形成し、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、第一固体撮像素子の出力と第二固体撮像素子の出力とは最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは同一画素数の二倍の解像度の画像データであることを特徴とする。
　また、本発明の二板式カラー撮像装置は、好ましくは入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の画像データを形成し、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、第一固体撮像素子の出力と第二固体撮像素子の出力とは最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは同一画素数の二倍の解像度の画像データであることを特徴とする。
　また、本発明の二板式カラー撮像装置は、さらに好ましくは画像合成部で形成された画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行することを特徴とする。
　また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えないことを特徴とする。
　また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子におけるＲ画素とＢ画素とは同数であり、第二固体撮像素子におけるＧ画素の数は、Ｒ画素またはＢ画素の数の二倍であることを特徴とする。
また、本発明の二板式カラー撮像装置は、第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においてもＲ画素とＢ画素とが交互に配置され、第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向においてＲ画素とＢ画素とが交互に配置されることを特徴とする。
　また、本発明の二板式カラー撮像装置の画像処理方法は、上述の二板式カラー撮像装置の画像処理方法において、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。
また、本発明の二板式カラー撮像装置の画像処理方法は、上述の二板式カラー撮像装置の画像処理方法において、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。　また、本発明の二板式白黒撮像装置は、入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、ハーフミラーによって分離された第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、ハーフミラーによって分離された第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。
また、本発明の二板式白黒撮像装置は、入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、ハーフミラーによって分離された第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、ハーフミラーによって分離された第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の前記画像データを形成し、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、第一固体撮像素子の出力と第二固体撮像素子の出力とは最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは同一画素数の二倍の解像度の画像データであることを特徴とする二板式白黒撮像装置。
　本発明の固体撮像素子の位置決め方法は、上述に記載の二板式撮像装置における二枚の固体撮像素子の位置決め方法において、ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるように位置決めする工程と、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるように位置決めする工程と、を有し、前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態であることを特徴とする。
　固体撮像素装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現したカラーまたは白黒撮像装置を提案できる。また、深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現したいわばバランスのとれた適切なカラーまたは白黒撮像装置とその固体撮像素子の位置決め方法を提案できる。
（Ａ）は本実施形態の分光プリズム１０４０及び第一固体撮像素子１０１０と第二固体撮像素子１０２０とを備える撮像系１０００を説明する図であり、図１（Ｂ）は正方画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（Ｃ）は正方画素配列の第二固体撮像素子１０２０を説明する概念図であり、図１（Ｄ）はハニカム状画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（Ｅ）はハニカム状画素配列の第二固体撮像素子１０２０を説明する概念図である。 （Ａ）は、ハニカム画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つの正方画素配列構造の画像データを合成する概要を説明する概念図であり、図２（Ｂ）は、Ｒ色画素及びＢ色画素を有するハニカム画素配列構造の第一固体撮像素子の画像データとＧ色画素を有するハニカム画素配列構造の第二固体撮像素子の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有する正方画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。 （Ａ）は、正方画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つのハニカム画素配列構造の画像データを合成する概要を説明する概念図であり、図３（Ｂ）は、Ｒ色画素及びＢ色画素を有する正方画素配列構造の第一固体撮像素子の画像データとＧ色画素を有する正方画素配列構造の第二固体撮像素子の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有するハニカム画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。 （Ａ）は第二固体撮像素子の構成例を説明する図であり、図４（Ｂ）は第一固体撮像素子の構成例を説明する図であり、図４（Ｃ）は図４（Ａ）の第二固体撮像素子と図４（Ｂ）の第一固体撮像素子とから取得される合成画素の概念を説明する図であり、図４（Ｄ）は図４（Ｃ）に示す合成画素を単板式で実現しようとした場合の固体撮像素子を説明する図である。 本実施形態の一例であるハニカム画素配列の固体撮像素子の画素配置パターンを説明する図であり、図５（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図５（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図５（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。 本実施形態の一例である正方画素配列の固体撮像素子の画素配置パターンを説明する図であり、図６（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図６（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図６（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。 ストライプ模様のチャートを利用して第一個体撮像素子と第二の固体撮像素子との計二枚の撮像素子をプリズムの異なる光出射口に位置決め配置する概要を説明する概念図である。 二枚の撮像素子のそれぞれの解像度と合成の結果得られる画像の解像度との関係を説明する概念図である。
　本実施形態では、高解像度化を実現しつつ感度とフレームレートの低下とを回避する撮像装置の技術思想を開示する。すなわち、二枚の撮像素子から得られた画像を組み合わせて単板式で得られる画像と同様の画像を合成することにより、その後の内挿補間等の画像処理を簡単に行うものである。
　本実施形態の撮像装置のレンズを介して入射された入射光は、赤色光及び青色光と、緑色光とにプリズムで二分光されて、二枚の固体撮像素子に各々像を結ぶ。各固体撮像素子で得られた画像データは、縦横または斜めに１／２画素間隔分ずらして合成されて単一の画像を形成する。このため、本実施形態の撮像装置は、二枚の画像データを合成して単一画像を作成する画像合成部を備える。
　画像合成部で合成された画像データは、単板撮像素子として一般的なハニカム画素配列または正方画素配列から取得された一の画像データとして扱うことが可能となるので、その後の内挿補間等の画像処理が遂行できるものとなる。
　高解像度化にあたり、撮像素子一枚あたりの画素数を増大させるものではなく画素が微細化されていないため、画素一個当たりの占有面積が変わらないので、感度は従来どおり維持される。仮に、高解像度化にあたって画素を微細化して画素数を増大させたとすれば、一画素当たりの受光面積が低減するので、感度の低下を招来するものとなる。また、高解像度化を企図して仮に、撮像素子一枚あたりの画素数を増大させると、該撮像素子から画像データを読み出すのに時間がかかることとなり、フレームレートの低下を招来する。
　本実施形態においては、高解像度化にあたり、撮像素子一枚あたりの微細化による画素数増大をするのではなく、撮像素子の枚数そのものを二枚にすることにより、感度の低下やフレームレートの低下を生じることなく、高解像度化を実現する。
　また、緑色を受光する撮像素子の画素は無色の撮像素子であってよく、赤色と青色を受光する撮像素子の画素は、それぞれ赤色フィルターと青色フィルターとを備えるものとする。この二枚の撮像素子でそれぞれ得られた画像データを組み合わせてハニカム画素配列構造または正方画素配列構造を構成する。ＲＧＢの三原色を二枚の撮像素子で受光するため、効率的であり三枚の撮像素子を用いる方法に比較して比較的簡易な回路構成で迅速な処理が可能となる。
　二つの撮像素子で得られた画像データをそれぞれ読み出してメモリに記憶し、一枚の画像へと合成する処理を行う。例えば、一方の撮像素子で得られた画像データに対して、１／２画素間隔分だけ縦または横または斜め方向にずらした位置に、他方の画像データが配置されるように、合成することにより、ハニカム画素配列構造または正方画素配列構造を有する一枚の画像（及び画像データ）が得られる。
　例えば、一方の撮像素子で得られた画像データをメモリに書き込む場合に、一画素間隔で書き込み場所を空けておくアドレス番地指定をして書き込む。次に、他方の撮像素子で得られた画像データをメモリに書き込む場合に、予め一画素間隔で空けておかれた場所に書き込んでいく単純な書き込み動作により、実現できる。このようにしてメモリに記録された画像データは、より高解像度（例えば、画素数では二倍）の単板式撮像素子から順次読み出した画像データをメモリに記録した画像データと、同様の画像データとなるので、その後の補間処理等は従来の単板式撮像装置と同一の処理回路で遂行することが可能である。
　メモリから画像データを読み出す場合には、先頭アドレスから順番に読み出すことで、単板カメラと同様の画像データが得られるものとなるので、その後の画像処理を極めて簡便に遂行できる。このため、一般的な単板式カメラと同様に、ＲＧＢの色により内挿補間する一般的なコンボリューション処理を遂行し、ＲＧＢの三枚の映像データを作成することもできる。
　図１（Ａ）は本実施形態の分光プリズム１０４０及び第一固体撮像素子１０１０と第二固体撮像素子１０２０とを備える撮像系１０００を説明する図であり、図１（Ｂ）は正方画素配列の第一固体撮像素子１０１０を説明する概念図である。また、図１（Ｃ）は正方画素配列の第二固体撮像素子１０２０を説明する概念図であり、図１（Ｄ）はハニカム状画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（Ｅ）はハニカム状画素配列の第二固体撮像素子１０２０を説明する概念図である。
　図１（Ａ）に示すように、本実施形態においては、不図示のレンズを介して取得された入射光１０３０は分光プリズム１０４０でＲ色１０３２及びＢ色１０３３と、Ｇ色１０３１とに分光して出力される。Ｒ色１０３２及びＢ色１０３３は第一固体撮像素子１０１０で受光され、Ｇ色１０３１は第二固体撮像素子１０２０で受光される。
　このため、第一固体撮像素子１０１０は、各画素の光入射側にＲ色フィルターまたはＢ色フィルターとが設けられる。一方、第二固体撮像素子１０２０はＧ色１０３１のみが入射されるため、色フィルターを別途に備える必要はなく無色フィルター若しくはフィルター無しの構成とすることができる。
　また、図１（Ｂ）乃至図１（Ｅ）に説明するように、第一固体撮像素子１０１０と第二固体撮像素子１０２０とは、共に正方画素配列構造であってもよいし共にハニカム画素配列構造であってもよいが、同一の画素配列構造であるものとする。すなわち、第一固体撮像素子１０１０と第二固体撮像素子１０２０とが正方画素配列構造である場合には、各取得画像を合成した結果はハニカム画素配列となる。また、第一固体撮像素子１０１０と第二固体撮像素子１０２０とがハニカム画素配列構造である場合には、各取得画像を合成した結果は正方画素配列となる。
　このため、同一の画素配列構造を有する第一固体撮像素子１０１０と第二固体撮像素子１０２０とは、異なる他方の画素配列構造となる合成画像データについて、内挿補間処理等の各種画像処理をするための処理回路を備える撮像装置となる。換言すれば、第一固体撮像素子１０１０と第二固体撮像素子１０２０とが現実に有する画素配列構造と、画像処理回路が処理対象とする合成画像データの処理可能な画素配列構造とは、互いに相異なるものとなる。ここで、画像処理回路や画像処理方法については、従来公知の単板式撮像装置等で用いられている、一般的な画像処理回路や画像処理方法を用いることができるので、ここでは詳述をしない。
　また、図２（Ａ）は、ハニカム画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つの正方画素配列構造の画像データ（例えば白黒画像データ）を合成する概要を説明する概念図であり、図２（Ｂ）は、Ｒ色画素及びＢ色画素を有するハニカム画素配列構造の第一固体撮像素子１０１０の画像データとＧ色画素を有するハニカム画素配列構造の第二固体撮像素子１０２０の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有する正方画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。
　図２（Ａ）から理解できるように、ハニカム画素配列構造を有する二つの固体撮像素子の各画素を縦または横方向に１／２画素間隔分ずらして重ね合わせると、一枚の正方画素配列構造の固体撮像素子であるかのように合成できる。第一固体撮像素子１０１０と第二固体撮像素子１０２０とは図１に示すようにそれぞれ分光プリズムの異なる光出射口に配置されており、固体撮像素子それ自体を物理的に重ね合わせることはできないので、本実施形態においては、メモリへの書き込み時に合成処理を遂行する。
　すなわち、図２（Ｂ）に示すように、第一固体撮像素子１０１０から読み出されたＲ信号及びＢ信号を順次にメモリに書き込む場合に、アドレスを一つ空けて一つ置きに書き込み処理を遂行する。次に、第二固体撮像素子１０２０から読み出されたＧ信号を順次に同一メモリに書き込む場合に、予め一つ置きに空けられているアドレス部分に順次書き込み処理を遂行する。このようにして書き込み処理されたメモリは、正方画素配列の固体撮像素子を有する図２（Ｂ）下段に示すような単板式のＲＧＢ固体撮像素子から順次に読み出した画素データをあたかも順次にメモリに書き込んだ画像データとなる。
　したがって、図２（Ｂ）下段に示す撮像素子から取得された画像データのように記録された当該メモリから順次に読み出された画像データは、正方画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データとして、内挿補間処理等の各種画像処理を遂行することができる。このようにして、固体撮像素子一枚当たりの現実の画素数を何ら増大させることなく、実質的にその二倍の高解像度の画像データを取得することが可能となる。このため、固体撮像素子一枚当たりの画素数を増大させた場合に生じる種々のデメリットの影響を受けず、容易かつ簡単な処理で迅速に高解像度化を遂行できるものとなる。
　なお、第一固体撮像素子１０１０からＲ信号及びＢ信号を順次に読み出す処理と、第二固体撮像素子１０２０からＧ信号を順次に読み出す処理とは、弱冠の時間差を設けて、ほぼリアルタイムで同時並列的に処理することとできる。第一固体撮像素子１０１０からの読み出し処理が全て完了するまで待って、その後第二の固体撮像素子１０２０から読み出しを開始するのではない。また、読み出した画像データのメモリへの書き込みについても、読み出しが完了した画素データから順次書き込み処理をしていけばよいので、実質的には撮像素子二枚分の読み出し処理と書き込み処理とは同時並列的にリアルタイムで遂行することができる。
　また、図３（Ａ）は、正方画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データ（例えば白黒画像データ）を合成して一つのハニカム画素配列構造の画像データを合成する概要を説明する概念図であり、図３（Ｂ）は、Ｒ色画素及びＢ色画素を有する正方画素配列構造の第一固体撮像素子１０１０の画像データとＧ色画素を有する正方画素配列構造の第二固体撮像素子１０２０の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有するハニカム画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。
　図３（Ａ）から理解できるように、正方画素配列構造を有する二つの固体撮像素子の各画素を斜め方向に１／２画素間隔分ずらして重ね合わせると、一枚のハニカム画素配列構造の固体撮像素子であるかのように合成できる。第一固体撮像素子１０１０と第二固体撮像素子１０２０とは図１に示すようにそれぞれ分光プリズムの異なる光出射口に配置されており、固体撮像素子それ自体を物理的に重ね合わせることはできないので、本実施形態においては、メモリへの書き込み時に合成処理を遂行する。
　すなわち、図３（Ｂ）に示すように、第一固体撮像素子１０１０から読み出されたＲ信号及びＢ信号を順次にメモリに書き込む場合に、アドレスを斜め方向に１／２画素間隔分ずらしたアドレス位置を空けて書き込み処理を遂行する。次に、第二固体撮像素子１０２０から読み出されたＧ信号を順次に同一メモリに書き込む場合に、予め一つ置きに空けられている１／２画素間隔分斜め方向にずらしたアドレス位置に順次書き込み処理を遂行する。このようにして書き込み処理されたメモリは、ハニカム画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データをあたかも順次にメモリに書き込んだ図３（Ｂ）下段に示すような画像データとなる。
　したがって、図３（Ｂ）下段に示す撮像素子から取得された画像データのように記録された当該メモリから順次に読み出された画像データは、ハニカム画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データとして、内挿補間処理等の各種画像処理を遂行することができる。このようにして、固体撮像素子一枚当たりの現実の画素数を何ら増大させることなく、実質的にその二倍の高解像度の画像データを取得することが可能となる。このため、固体撮像素子一枚当たりの画素数を増大させた場合に生じる種々のデメリットの影響を受けず、容易かつ簡単な処理で迅速に高解像度化を遂行できるものとなる。
　なお、第一固体撮像素子１０１０からＲ信号及びＢ信号を順次に読み出す処理と、第二固体撮像素子１０２０からＧ信号を順次に読み出す処理とは、弱冠の時間差を設けて、ほぼリアルタイムで同時並列的に処理することとできる。第一固体撮像素子１０１０からの読み出し処理が全て完了するまで待って、その後第二の固体撮像素子１０２０から読み出しを開始するのではない。また、読み出した画像データのメモリへの書き込みについても、読み出しが完了した画素データから順次書き込み処理をしていけばよいので、実質的には読み出し処理と書き込み処理とは同時並列的にリアルタイムで遂行することができる。また、図１（Ｂ）乃至図１（Ｅ）に示すように、第一固体撮像素子１０１０と第二固体撮像素子１０２０とでは、画素間隔（Ｌ１，Ｌ２）が同一であるものとする。
　本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。
　これにより、３板以上の多板式カラー撮像装置に比較して、固体撮像素子（例えば、ＣＭＯＳやＣＣＤ）や処理回路が少なく小型軽量化を実現し、かつ低コストで省電力な撮像装置を実現できる。一方、合成された後のハニカム状画素配列の画像データに対しては、汎用されている単板式カラー撮像装置（ハニカム状画素配列の撮像素子を備えるもの）と同様の、補間処理等の画像処理を遂行できるので、新たな処理回路を開発する必要がない。
　高解像度化を低コストで容易に実現しつつ、かつＳ／Ｎ比や感度の低下も招来することなく、二枚の固体撮像素子からリアルタイムで同時並列に画像データを読み出すことで、フレームレートの低下も防止できる。
　また、固体撮像素子一枚あたりのそれ自体の大きさは、従来の大きさから変更することなく高精細化できるので、汎用の２／３インチサイズのレンズが使用できるのでコスト面等において有利であり、被写界深度の問題も解消できる。また、３板以上の多板式カラー撮像装置のように複雑な多数の処理回路や調整回路を必要としないので、比較的容易に、解像度の向上と動作の安定性やコストバランスに優れた、高解像度のカメラを実現することができる。
　また、本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の画像データを形成することを特徴とする。
　これにより、３板以上の多板式カラー撮像装置に比較して、固体撮像素子（例えば、ＣＭＯＳやＣＣＤ）や処理回路が少なく小型軽量化を実現し、かつ低コストで省電力な撮像装置を実現できる。一方、合成された後の正方画素配列の画像データに対しては、汎用されている単板式カラー撮像装置（正方画素配列の撮像素子を備えるもの）と同様の、補間処理等の画像処理を遂行できるので、新たな処理回路を開発する必要がない。
　高解像度化を低コストで容易に実現しつつ、かつＳ／Ｎ比や感度の低下も招来することなく、二枚の固体撮像素子からリアルタイムで同時並列に画像データを読み出すことで、フレームレートの低下も防止できる。
　また、固体撮像素子一枚あたりのそれ自体の大きさは、従来から変更することなく高精細化できるので、汎用の２／３インチサイズのレンズが使用できるのでコスト面等において有利であり、被写界深度の問題も解消できる。また、３板以上の多板式カラー撮像装置のように複雑な複数の処理回路や調整回路を必要としないので、比較的容易に、解像度の向上と動作の安定性やコストバランスに優れた、高解像度のカメラを実現することができる。
　また、本発明の二板式カラー撮像装置は、好ましくは画像合成部で形成された画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行することを特徴とする。
　画像合成部（メモリを含む）で形成された画像データは、従来汎用されている単板式カラー撮像装置において取得された画像データと、高解像度化されているか否かの点を除いて、何ら変わるものではない。
　このため、補間処理を遂行する場合においても、新たな処理回路を開発することなく、従来の単板式の汎用補間処理回路をそのまま使用することができる。これは、新たな処理回路の開発期間や開発費用の観点からは、コスト面や製品リリースタイミング等において極めて有利である。
　さらに、単板式の撮像素子それ自体を高解像化した場合に生じるＳ／Ｎ比の劣化や信号強度の低下（暗くなる現象）や画像データ読み出し時間の長時間化（フレームレートの低減）問題等は一切生じることがないので好ましい。
　また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えないことを特徴とする。
　Ｒ色を検出する赤色画素は赤色フィルターを備え、Ｂ色を検出する青色画素は青色フィルターを備えるが、Ｇ色を検出する緑色画素は無色のフィルターを備えるかまたはフィルターそれ自体を備える必要がないので、好ましい。
　また、上述のようにＲＧＢの三原色の画像データを取得して処理してもよいし、補色系カラーフィルタによりこれに対応する画像データを取得して処理してもよい。この場合においても、二板式で取得した二つのデータを合成することで、その後単板式と同様の処理が可能となるので好ましい。
　また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子におけるＲ画素とＢ画素とは同数であり、第二固体撮像素子におけるＧ画素の数は、Ｒ画素またはＢ画素の数の二倍であることを特徴とする。
　これにより、人の目に感度が高い緑色のデータについて、特に高精細で取得することが可能となるので、近年のいわゆる４Ｋや８Ｋ，６４Ｋ，１２８Ｋといった高微細化画像にもより適合する画像取得が可能となる。
　また、本発明の二板式カラー撮像装置は、さらに好ましくは第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においてもＲ画素とＢ画素とが交互に配置され、第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向においてＲ画素とＢ画素とが交互に配置されることを特徴とする。
　これにより、固体撮像素子の画素配列の如何にかかわらず、適切な合成処理が可能な二板式カラー撮像装置を実現できる。
　また、本発明の二板式カラー撮像装置の画像処理方法は、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。
　これにより、フレームレートの遅延を招来することなく、従来の正方画素配列の撮像素子を採用した単板式カラー撮像装置と同程度の処理速度を維持しつつ、高解像度化のみを実現することが可能となる。
　また、本発明の二板式カラー撮像装置の画像処理方法は、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。
　これにより、フレームレートの遅延を招来することなく、従来のハニカム状画素配列の撮像素子を採用した単板式カラー撮像装置と同程度の処理速度を維持しつつ、高解像度化のみを実現することが可能となる。
　（二枚の撮像素子及びそれらの画素の配置パターン）
　本発明の第一の観点は、高解像度化を行い感度とフレームレートを維持する技術であり、本発明の特徴とするところは、二枚の撮像素子をプリズムを用いて固定し、プリズムに入射する光学像を二枚の撮像素子で撮像することである。レンズを通過した光の像は、プリズムを通過しＧ色と他のＲ色及びＢ色で２方向へ分光される。前プリズム装置の二枚の撮像素子で撮像する方法は、入射する光学像を公知の単板のハニカム又はベイヤーの画素配列を想定したＲＧＢのＧ色とＲ色及びＢ色を個々に二枚の撮像素子で撮像する事である。一枚はＧ色であり二枚目はＲ色及びＢ色を撮像する。この時ハニカム及びベイヤー配列画素（正方画素配列の画素）のＧ色とＲ色及びＢ色で既に説明した図のような画素の関係があり、ハニカム配列の場合はＧ色だけの画素に対し、他のＲ色とＢ色の画素は斜め方向にＧ色画素とＧ色画素の間に位置する。斜め１／２の画素になる。ベイヤー配列の場合はＧ色だけの画素に対し上下または左右方向でＧ色画素とＧ色画素の間に位置する。二枚の撮像素子をこのＧ色とＲ色及びＢ色の位置関係に空間的にプリズムで固定することで、ハニカム配列及びベイヤー配列の画素の色の空間的情報を取得する事ができる。この時ハニカム配列を想定した画素を取得する場合は二枚の正方画素の撮像素子を使う事になり、またベイヤー配列を想定した画素を取得する場合は二枚のハニカム構造の撮像素子を使うことで成立する。
　二枚の撮像素子から取得された画素データは、本実施形態のメモリに記録完了された時点で、一枚の撮像素子（前記二枚の撮像素子の画素数合計に対応する画素数のもの）から取得された画素データをメモリに記録したメモリと、同等に扱えるものとなる。この場合でも、既に上述したように、各画素面積は、一枚の撮像素子で実現した単板式よりも大きく確保することが可能となるので、メモリに記録された各画素データも明るく高感度なデータとなっている。
　このため、本実施形態で使用する二枚の撮像素子は、典型的には図２（Ｂ）下段に示す正方画素配列の一枚の撮像素子を画素配列はそのままで分離構成した、図２（Ｂ）上段に示すハニカム画素配列のＲ＆Ｂ画素の第一固体撮像素子と、Ｇ画素の第二固体撮像素子と、することができる。但し、分離後の画素１個あたりの面積は二倍とすることが、撮像素子の面積を有効に活用して受光量を確保する観点から好ましい。
　また、本実施形態で使用する二枚の撮像素子は、典型的には図３（Ｂ）下段に示すハニカム画素配列の一枚の撮像素子を画素配列はそのままで分離構成した、図３（Ｂ）上段に示す正方画素配列のＲ＆Ｂ画素の第一固体撮像素子と、Ｇ画素の第二固体撮像素子と、することができる。但し、分離後の画素１個あたりの面積は二倍とすることが、撮像素子の面積を有効に活用して受光量を確保する観点から好ましい。
　また、第一の固体撮像素子と第二の固体撮像素子とを、例えば共に正方画素配列の同一画素パターンの撮像素子とする場合（例えば、図３（Ｂ）上段）には、斜め１／２画素間隔分だけ互いにずらした配置に固定することとしてもよい。
　また、第一の固体撮像素子と第二の固体撮像素子とを、例えば共にハニカム画素配列の同一画素パターンの撮像素子とする場合（例えば、図２（Ｂ）上段）には、縦または横に１／２画素間隔分だけ互いにずらした配置に固定することとしてもよい。
　また、上述した実施例においては、カラー撮像素子を二枚用いた典型例を例示して説明したが、白黒撮像素子を二枚用いる場合においても同様に実施することができる。この場合には、分光プリズムの代わりに例えばハーフミラーのような分光装置を用いて入射光を二分してもよい。第一の撮像素子と第二の撮像素子とを共に、白黒受光画素で構成することができる。
　白黒画素の二枚の撮像素子を用いた場合においても、撮像素子一枚で該二枚分の画素数を実現するよりも、一画素あたりの画素面積を大きく確保することが可能となり、高解像度としつつ同時に感度の低下を防ぐことが可能となる。さらに、撮像素子一枚あたりの画素数は、撮像素子一枚で該二枚分の画素数を実現したものに比較して、約半分であるので、読み出し時にフレームレートの低減を将来することもない。
　また、図２（Ａ）に示したハニカム画素配列から正方画素配列を構成する技術思想と、図３（Ａ）に示した正方画素配列からハニカム画素配列を構成する技術思想と、は共に、白黒画素の説明をするものである。すなわち、Ａで示した白黒画素を有する第一撮像素子とＢで示した白黒画素を有する第二撮像素子とから、これらの画素データをメモリに書き込み完了した時点でＡ画素とＢ画素とを有する単板の撮像素子から取得された画素データと同等に扱えるものとする技術思想を開示するものである。
　ここで、図４（Ａ）は第二固体撮像素子の構成例の一部を説明する図であり、図４（Ｂ）は第一固体撮像素子の構成例の一部を説明する図である。また、図４（Ｃ）は図４（Ａ）の第二固体撮像素子と図４（Ｂ）の第一固体撮像素子とから取得される合成画素の一部の概念を説明する図であり、図４（Ｄ）は図４（Ｃ）に示す合成画素を単板式で実現しようとした場合の固体撮像素子の一部を説明する図である。
　図４（Ａ）に示すように、Ｇ色画素４１０の周囲には、当該画素データを外部に出力するための配線４２０，４３０等が配置されている。また、図４（Ｂ）に示すように、Ｒ色画素４８０の周囲には、当該画素データを外部に出力するための配線４４０，４５０，４６０，４７０，４８０が配置されている。
　しかし、図４（Ｃ）に示す合成画素においては、四つのＧ色画素４１０に囲まれた中心にＲ色画素４８０を配置したかのような画素配置に対応する画素データが取得できるものとなる。この場合に、当該合成はメモリへの書き込み時に電子データ上で構成されることから、現実の配線４２０，４３０，４４０，４５０，４６０，４７０，４８０の配置スペースに起因する何らの制限を受けることはない。従って、図４（Ａ），図４（Ｂ）に示すように、Ｇ色画素４１０の受光面積とＲ色画素４８０の受光面積とは、極めて大きく確保することが可能である。
　一方、図４（Ｄ）から理解できるように、図４（Ｃ）に示す画素配置パターンを現実の単板固体撮像素子で実現しようとすれば、各画素それぞれの周囲に配線パターンを設けるスペースを確保しなければならない。このため、図４（Ｄ）に示すように、各画素の受光面積は配線パターンスペースに対応して小さな面積とならざるを得ないものとなる。
　また、図５は本実施形態の一例であるハニカム画素配列の固体撮像素子の画素配置パターンを説明する図である。図５（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図５（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図５（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。
　図５（Ａ）において、例えば左上方のＲ画素は撮像素子のエッジから間隔ｌを空けて配置されることができ、次のＲ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。また、図５（Ｂ）において、例えば左上方のＧ画素は撮像素子のエッジか間隔ｌを空けて配置されることができ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。
　固体撮像素子の量産効果の観点からは、図５（Ａ）や図５（Ｂ）に説明する同一画素配置パターンの撮像素子を一枚の基板上に複数個作製することが好ましい。そして、カラーフィルターの作製工程において、Ｒ色及びＢ色用のカラーフィルターを形成するか、カラーフィルターを形成しないか又は無色のカラーフィルターとするか、のいずれかを適宜選択することで、第一の固体撮像素子とするか、第二の固体撮像素子とするかを選択作製することができる。
　一方、図５（Ｃ）に説明するように、左上のＧ色画素を撮像素子のエッジから例えば横方向に「ｌ＋（Ｔ／２）」だけ離間させ、縦方向に「ｌ」だけ離間させ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置してもよい。この場合には、画素の配置それ自体が撮像素子の本体（ボディ）に対して第一撮像素子と第二撮像素子とで既に１／２画素間隔分ずれているので、プリズムに配置する場合に撮像素子を両者同様に配置することができる。
　これに対し、図５（Ａ）に示す第一固体撮像素子と、図５（Ｂ）に示す第二固体撮像素子とを用いる場合には、プリズムに配置する場合に、「Ｔ／２」分だけ横方向または縦方向にずらして配置することで、より精確に対応する画素データを取得して合成できるものとなる。
　また、図６は本実施形態の一例である正方画素配列の固体撮像素子の画素配置パターンを説明する図である。図６（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図６（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図６（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。
　図６（Ａ）において、例えば左上方のＲ画素は撮像素子のエッジから間隔ｌを空けて配置されることができ、次のＢ画素まで横方向縦方向ともに間隔Ｔだけ空けて順次配置されることができる。また、図６（Ｂ）において、例えば左上方のＧ画素は撮像素子のエッジか間隔ｌを空けて配置されることができ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。
　固体撮像素子の量産効果の観点からは、図６（Ａ）や図６（Ｂ）に説明する同一画素配置パターンの撮像素子を一枚の基板上に複数個作製することが好ましい。そして、カラーフィルターの作製工程において、Ｒ色及びＢ色用のカラーフィルターを形成するか、カラーフィルターを形成しないか又は無色のカラーフィルターとするか、のいずれかを適宜選択することで、第一の固体撮像素子とするか、第二の固体撮像素子とするかを選択作製することができる。
　一方、図６（Ｃ）に説明するように、左上のＧ色画素を撮像素子のエッジから例えば横方向に「ｌ＋（Ｔ／２）」だけ離間させ、縦方向にも「ｌ＋（Ｔ／２）」だけ離間させ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置してもよい。この場合には、画素の配置それ自体が撮像素子の本体（ボディ）に対して第一撮像素子と第二撮像素子とで既に１／２画素間隔分ずれているので、プリズムに配置する場合に撮像素子を両者同様に配置することができる。
　これに対し、図６（Ａ）に示す第一固体撮像素子と、図６（Ｂ）に示す第二固体撮像素子とを用いる場合には、プリズムに配置する場合に、「Ｔ／２」分だけ横方向及び縦方向にずらして配置する（換言すれば、斜め画素方向に１／２画素間隔分ずらして配置する）ことで、より精確に対応する画素データを取得して合成できるものとなる。
（撮像素子の実装位置調整方法）
　図７は、ストライプ模様のチャート７１００を利用して第一個体撮像素子と第二の固体撮像素子との計二枚の撮像素子７２００をプリズムの異なる光出射口に位置決め配置する概要を説明する概念図である。図７（Ａ）では、典型例として調整用チャートの縦線のピッチ配列Ｐが画素配列のピッチＰと一致し、かつ調整用チャートの縦線の幅Ｗが画素幅Ｗと一致するものとして示している。
　すなわち、第一撮像素子と第二撮像素子とは本来一つの入射光であってプリズムで分光された各光をそれぞれ受光するものであるが、実装位置がプリズムの互いに異なる光出口となり、かつ画素位置を入力光画像に対して互いに１／２画素分シフトさせて配置するものとなる。このため、この二枚の撮像素子の入射光に対する相対的な配置位置を精確に決定して実装する必要が生じる。その場合の位置決めには、画素と同じ配置間隔のストライプ模様を有する白黒縦縞模様のチャート７１００を用いて、所定の画素だけ位置をずらすように位置調整をすることができる。図７（Ｂ）は、撮像素子上に結ばれるストライプ像と画素との位置関係に対する表示映像を説明する図である。
　例えば、第一撮像素子のみからの出力映像として、縦線ストライプが図７（ｂ－１）に示すように最も明確に表示される位置に第一撮像素子を固定した場合には、第二撮像素子のみからの出力映像が縦線ストライプが図７（ｂ－２）に示すように消える位置に第二撮像素子を位置合わせして、第一撮像素子と第二撮像素子との左右の相対的な配置関係を決定することができる。上下方向の相対的配置についても横縞のストライプチャートを用いて同様にして相対的な位置合わせを行うことができる。また、図７（ｂ－２）は、各画素に対してちょうどストライプが半分と何も無い部分が半分となる位置関係である場合に、黒色から薄められた一面グレーとして表示される状態を説明しているものである。
　これにより、現実に撮像素子をプリズムに仮配置した状態で、チャートからの入射光を各撮像素子毎にモニター撮影及び表示しながら画面等をリアルタイム観察して各撮像素子の相対的な位置合わせ調整を行うものとなるので、極めて精度良く位置決めをすることができる。また、例えばチャンネル１とチャンネル２とで第一撮像素子と第二撮像素子との各出力映像が切り替わり表示されるようにしてこのような調整作業を行ってもよい。
　すなわち、本発明の二板式撮像装置の二枚の固体撮像素子の位置決め方法は、ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるようにプリズムからの第一光受光部に位置決めする工程と、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるようにプリズムからの第二光受光部に位置決めする工程と、を有し、第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態であることを特徴とする。
　これにより、もともと同一の入射光を二方向に分光してそれぞれ異なる撮像素子で受光する場合においても、各撮像素子を入射光に対して所定量だけ精確にずらして適切に配置することが可能となって、その後二枚の撮像素子の画像出力データの合成処理がスムースかつ適正に可能となるので、あたかも一枚の撮像素子から取得された画像データであるかのように処理できるものとなる。
（撮像素子一枚の解像度の二倍相当の解像度を有する画像を得られる）
　図８は、二枚の撮像素子７０１０，７０２０のそれぞれの解像度と合成の結果得られる画像の解像度との関係を説明する概念図である。図８（Ａ）に示すように、第一固体撮像素子７０１０と第二固体撮像素子７０２０とを共に８Ｋの解像度特性を有する素子を用いる場合には、合成された後には１６Ｋの解像度を有する画像が得られる。この場合に、例えば１６Ｋの解像度を有する撮像素子から画像データを読み出す場合のフレームレートが一般に１５０ｆｐｓであるとすれば、本実施形態では第一固体撮像素子７０１０と第二固体撮像素子７０２０とをパラレルに略同時進行で読み出すことができ、かつ、それぞれの解像度は８Ｋでよいので３００ｆｐｓの読み出し速度が維持できるものとなる。すなわち、１６Ｋの画像を獲得する場合には従来１５０ｆｐｓであったものが３００ｆｐｓとなる。
　また、図８（Ｂ）に示すように、第一固体撮像素子７０１０と第二固体撮像素子７０２０とを共に８Ｋの解像度特性を有する素子を用いてそのうち４Ｋ分ずつを用いる場合には、合成された後には８Ｋの解像度を有する画像が得られる。この場合に、例えば８Ｋの解像度を有する撮像素子から画像データを読み出す場合のフレームレートが一般に３００ｆｐｓであるとすれば、本実施形態では第一固体撮像素子７０１０と第二固体撮像素子７０２０とをパラレルに略同時進行で読み出すことができ、かつ、それぞれの読み出し分の解像度は４Ｋであるため６００ｆｐｓ以上の読み出し速度が維持できるものとなる。すなわち、８Ｋの画像を獲得する場合には従来３００ｆｐｓであったものが６００ｆｐｓ以上となる。
　また、図８（Ｃ）に示すように、第一固体撮像素子７０１０と第二固体撮像素子７０２０とを共に８Ｋの解像度特性を有する素子を用いてそのうち２Ｋ分ずつを用いる場合には、合成された後には４Ｋの解像度を有する画像が得られる。この場合に、例えば４Ｋの解像度を有する撮像素子から画像データを読み出す場合のフレームレートが一般に６００ｆｐｓであるとすれば、本実施形態では第一固体撮像素子７０１０と第二固体撮像素子７０２０とをパラレルに略同時進行で読み出すことができ、かつ、それぞれの読み出し分の解像度は２Ｋであるため１２００ｆｐｓ以上の読み出し速度が維持できるものとなる。すなわち、４Ｋの画像を獲得する場合には従来６００ｆｐｓであったものが１２００ｆｐｓ以上となる。
　また、他の実施態様として、例えば２Ｋの撮像素子を二枚用いれば４Ｋの画像を得ることができ、４Ｋの撮像素子を二枚用いれば８Ｋの画像を得ることもできる。換言すれば、８Ｋの画像を得る場合には４Ｋの撮像素子を二枚使用し、４Ｋの画像を得る場合には２Ｋの撮像素子を二枚使用する。その場合、画像データ読み出しはそれぞれの撮像素子において同時並行で行うことができるので、４Ｋ，８Ｋの画像を得る場合にはそれぞれ２Ｋ，４Ｋの撮像素子からの読み出し所要時間で済み、迅速な処理が可能であり、従来の４Ｋ画像、８Ｋ画像を得る場合に比べて半分の時間で読み出し処理できる。すなわち、解像度がＡ（Ａは任意の正の実数）の撮像素子を用いれば、２Ａの解像度の画像を迅速に得ることができる。
　また、従来のように画素を高密度化して高解像度化を図る場合には、撮像素子からのデータ読み出し用の出力ピン（端子電極）の配置・配線も高密度化されるものとなって、画素周辺や素子周辺の配線等も過度に緻密化・精細化される傾向にあったが、本実施形態に基づけば、求める解像度に対して半分の画素密度で良いのでそのような懸念も生じない。
　また、８Ｋの画像を得る場合には４Ｋ　６００ｆｐｓのスピードで実現でき、４Ｋの画像を得る場合には２Ｋ　１２００ｆｐｓのスピードで実現でき、２Ｋの画像を得る場合には１Ｋ　２４００ｆｐｓのスピード実現できるものとなる。また、例えば４Ｋ対応の撮像素子２枚を実装しておけば、２Ｋ～８Ｋまで任意の解像度の画像をそれぞれ２４００ｆｐｓ～６００ｆｐｓまでの間の迅速さで得ることができるものとなる。また、各撮像素子の中央部をパーシャルに利用することで、８Ｋの撮像素子を実装していても、例えば２Ｋ相当分の画素だけ利用するものとできる。
　上述の実施形態で例示した二板式撮像装置等は、実施形態での説明に限定されるものではなく、実施形態で説明する技術思想の範囲内かつ自明な範囲内で、適宜その構成や処理及び処理方法等を変更することができる。また、説明の便宜上実施形態においては個別に説明しているが、本発明の技術思想の範囲内で実施形態の構成を適宜組み合わせて適用し、またその動作も適宜組み合わせてアレンジしてもよい。
　本発明は、画像／映像分野全般に適用可能である。
　１０００・・撮像系、１０１０・・第一固体撮像素子、１０２０・・第二固体撮像素子、１０３０・・入射光、１０３１・・Ｇ色光、１０３２・・Ｒ色光、１０３３・・Ｂ色光、１０４０・・分光プリズム。

Claims (13)

  1. 　入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
    　前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
    　前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
    　前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
    　前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
    　前記画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の前記画像データを形成し、
    　前記第一固体撮像素子と前記第二固体撮像素子とは同一の最大画素数を備えるものであり、前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは前記最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは前記同一画素数の二倍の解像度の画像データである
    　ことを特徴とする二板式カラー撮像装置。
  2. 　入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
    　前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
    　前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
    　前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
    　前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
    　前記画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の前記画像データを形成する
    　前記第一固体撮像素子と前記第二固体撮像素子とは同一の最大画素数を備えるものであり、前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは前記最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは前記同一画素数の二倍の解像度の画像データである
    　ことを特徴とする二板式カラー撮像装置。
  3. 　請求項１または請求項２に記載の二板式カラー撮像装置において、
    　前記画像合成部で形成された前記画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行する
    　ことを特徴とする二板式カラー撮像装置。
  4. 　請求項１乃至請求項３のいずれか一項に記載の二板式カラー撮像装置において、
    　前記第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、
    　前記第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、
    　前記第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えない
    　ことを特徴とする二板式カラー撮像装置。
  5. 　請求項４に記載の二板式カラー撮像装置において、
    　前記第一固体撮像素子における前記Ｒ画素と前記Ｂ画素とは同数であり、
    　前記第二固体撮像素子における前記Ｇ画素の数は、前記Ｒ画素または前記Ｂ画素の数の二倍である
    　ことを特徴とする二板式カラー撮像装置。
  6. 　請求項４または請求項５に記載の二板式カラー撮像装置において、
    　前記第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においても前記Ｒ画素と前記Ｂ画素とが交互に配置され、
    　前記第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向において前記Ｒ画素と前記Ｂ画素とが交互に配置される
    　ことを特徴とする二板式カラー撮像装置。
  7. 　請求項１に記載の二板式カラー撮像装置の画像処理方法において、
    　前記第一固体撮像素子から前記赤色信号及び前記青色信号を取得すると同時並列に、前記第二固体撮像素子から前記緑色信号を取得する読み出し工程と、
    　前記読み出した各信号を、前記赤色信号及び前記青色信号と、前記緑色信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、
    　前記合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有する
    　ことを特徴とする二板式カラー撮像装置の画像処理方法。
  8. 　請求項２に記載の二板式カラー撮像装置の画像処理方法において、
    　前記第一固体撮像素子から前記赤色信号及び前記青色信号を取得すると同時並列に、前記第二固体撮像素子から前記緑色信号を取得する読み出し工程と、
    　前記読み出した各信号を、前記赤色信号及び前記青色信号と、前記緑色信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、
    　前記合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有する
    　ことを特徴とする二板式カラー撮像装置の画像処理方法。
  9. 　入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
    　前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
    　前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
    　前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
    　前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
    　前記画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の前記画像データを形成する
    　前記第一固体撮像素子と前記第二固体撮像素子とは同一の最大画素数を備えるものであり、前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは前記最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは前記同一画素数の二倍の解像度の画像データである
    　ことを特徴とする二板式白黒撮像装置。
  10. 　入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
    　前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
    　前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
    　前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
    　前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
    　前記画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の前記画像データを形成する
    　前記第一固体撮像素子と前記第二固体撮像素子とは同一の最大画素数を備えるものであり、前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは前記最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは前記同一画素数の二倍の解像度の画像データである
    　ことを特徴とする二板式白黒撮像装置。
  11. 　請求項９に記載の二板式白黒撮像装置の画像処理方法において、
    　前記第一固体撮像素子から前記第一の受光信号を取得すると同時並列に、前記第二固体撮像素子から前記第二の受光信号を取得する読み出し工程と、
    　前記読み出した各信号を、前記第一の受光信号と、前記第二の受光信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、
    　前記合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有する
    　ことを特徴とする二板式白黒撮像装置の画像処理方法。
  12. 　請求項１０に記載の二板式白黒撮像装置の画像処理方法において、
    　前記第一固体撮像素子から前記第一の受光信号を取得すると同時並列に、前記第二固体撮像素子から前記第二の受光信号を取得する読み出し工程と、
    　前記読み出した各信号を、前記第一の受光信号と、前記第二の受光信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、
    　前記合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有する
    　ことを特徴とする二板式白黒撮像装置の画像処理方法。
  13. 　請求項１または請求項２または請求項９または請求項１０のいずれか一項に記載の二板式撮像装置における二枚の固体撮像素子の位置決め方法において、
    　ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるようにプリズムからの第一光受光部に位置決めする工程と、
    　他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるようにプリズムからの第二光受光部に位置決めする工程と、を有し、
    　前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
    　ことを特徴とする固体撮像素子の位置決め方法。
PCT/JP2018/034763 2018-09-20 2018-09-20 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法 WO2020059069A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019563906A JP6687276B1 (ja) 2018-09-20 2018-09-20 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
PCT/JP2018/034763 WO2020059069A1 (ja) 2018-09-20 2018-09-20 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034763 WO2020059069A1 (ja) 2018-09-20 2018-09-20 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法

Publications (1)

Publication Number Publication Date
WO2020059069A1 true WO2020059069A1 (ja) 2020-03-26

Family

ID=69886706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034763 WO2020059069A1 (ja) 2018-09-20 2018-09-20 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法

Country Status (2)

Country Link
JP (1) JP6687276B1 (ja)
WO (1) WO2020059069A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209218A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 医療撮像システム、医療撮像装置、および制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143031A (ja) * 2003-11-10 2005-06-02 For-A Co Ltd 静止画カラーカメラ装置
JP2005210359A (ja) * 2004-01-22 2005-08-04 Fuji Photo Film Co Ltd ２板式カラー固体撮像装置及びデジタルカメラ
JP2013037214A (ja) * 2011-08-09 2013-02-21 Ricoh Co Ltd 撮像装置及びステレオカメラ
JP2016066985A (ja) * 2014-09-17 2016-04-28 株式会社朋栄 二板式カラーまたは白黒撮像装置と二板式カラーまたは白黒撮像装置の画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143031A (ja) * 2003-11-10 2005-06-02 For-A Co Ltd 静止画カラーカメラ装置
JP2005210359A (ja) * 2004-01-22 2005-08-04 Fuji Photo Film Co Ltd ２板式カラー固体撮像装置及びデジタルカメラ
JP2013037214A (ja) * 2011-08-09 2013-02-21 Ricoh Co Ltd 撮像装置及びステレオカメラ
JP2016066985A (ja) * 2014-09-17 2016-04-28 株式会社朋栄 二板式カラーまたは白黒撮像装置と二板式カラーまたは白黒撮像装置の画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209218A1 (ja) * 2021-03-31 2022-10-06 ソニーグループ株式会社 医療撮像システム、医療撮像装置、および制御方法

Also Published As

Publication number Publication date
JP6687276B1 (ja) 2020-04-22
JPWO2020059069A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
JP5589146B2 (ja) 撮像素子及び撮像装置
WO2012057621A1 (en) System and method for imaging using multi aperture camera
KR20110010784A (ko) 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
WO2013099637A1 (ja) カラー撮像素子及び撮像装置
US8111298B2 (en) Imaging circuit and image pickup device
US6867802B2 (en) Camera with color filter
JP4548390B2 (ja) 撮像装置及び信号処理方法
CA1215169A (en) Color television camera with two or more solid-state imaging devices arranged in phase difference fashion
WO2020059069A1 (ja) 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法
CN104025582A (zh) 彩色摄像元件
JP6751426B2 (ja) 撮像装置
JPH03139084A (ja) 固体カラー撮像装置
JP2001078210A (ja) 固体撮像装置および信号読出し方法
JP6535454B2 (ja) 二板式カラーまたは白黒撮像装置と二板式カラーまたは白黒撮像装置の画像処理方法
US20130335603A1 (en) Color imaging device
JP3397397B2 (ja) 撮像装置
EP1718082A1 (en) A 4k x 2k video camera
US8842203B2 (en) Solid-state imaging device and imaging apparatus
JPH0378388A (ja) カラー固体撮像素子
JP4309505B2 (ja) 撮像素子及び撮像装置
JP4295709B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP4309506B2 (ja) 撮像素子及び撮像装置
JP3955503B2 (ja) デジタルカメラ
WO2020059050A1 (ja) 撮像素子、撮像装置、撮像方法およびプログラム
JPH10174114A (ja) カラー画像撮像法及び装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019563906

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18934276

Country of ref document: EP

Kind code of ref document: A1