WO2021248379A1 - 图像传感器和电子设备 - Google Patents

图像传感器和电子设备 Download PDF

Info

Publication number
WO2021248379A1
WO2021248379A1 PCT/CN2020/095444 CN2020095444W WO2021248379A1 WO 2021248379 A1 WO2021248379 A1 WO 2021248379A1 CN 2020095444 W CN2020095444 W CN 2020095444W WO 2021248379 A1 WO2021248379 A1 WO 2021248379A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
filter unit
filter
target
units
Prior art date
Application number
PCT/CN2020/095444
Other languages
English (en)
French (fr)
Inventor
姚国峰
沈健
Original Assignee
深圳市汇顶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市汇顶科技股份有限公司 filed Critical 深圳市汇顶科技股份有限公司
Priority to CN202080034789.6A priority Critical patent/CN114080795A/zh
Priority to PCT/CN2020/095444 priority patent/WO2021248379A1/zh
Publication of WO2021248379A1 publication Critical patent/WO2021248379A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • An image sensor is an electronic device that converts an optical image into a digital signal. It usually includes a pixel array composed of a plurality of pixel units, and each pixel unit in the pixel array is used to form a pixel value in the image.
  • an image can be generated by pixel binning, that is, the pixel values of multiple pixel units are combined and output as a new pixel value.
  • the use of pixel synthesis to generate images will also cause shortcomings such as image aspect ratio changes and resolution drops, which affect user experience.
  • the image sensor further includes: a row control circuit and a column control circuit; the row control circuit is used to connect to multiple rows of pixel units in the pixel array through multiple row control lines, and the multiple rows Each row of pixel units in the pixel unit is arranged at a common top corner; the column control circuit is used to connect to multiple columns of pixel units in the pixel array through multiple column control lines, and each column of pixel units in the multiple columns of pixel units share a top corner Angle arrangement; the pixel synthesis circuit is connected to the pixel array through the column control circuit.
  • the image sensor is a complementary metal oxide semiconductor CMOS image sensor, or a charge coupled device CCD image sensor.
  • CMOS complementary metal oxide semiconductor
  • CIS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the pixel unit may include devices such as photodiodes and field-effect switch tubes for receiving optical signals and converting the optical signals into corresponding electrical signals.
  • devices such as photodiodes and field-effect switch tubes for receiving optical signals and converting the optical signals into corresponding electrical signals.
  • a color filter array can be provided above the pixel array 110, wherein a color filter array (CFA) can be provided above each pixel unit.
  • the pixel unit with a color filter on the top is also called a color pixel unit.
  • a pixel unit with a red filter on the top is called a red pixel unit
  • a pixel unit with a green filter on the top is called a color pixel unit. Green pixel unit and so on.
  • Figure (a) shows multiple pixel values arranged in a Bayer format, and each pixel value in the multiple pixel values corresponds to each pixel unit in the image sensor;
  • Figure 3 (a) is the image collected by the original pixel array
  • Figure 3 (b) is the image formed after 2 ⁇ 1 binning in the horizontal direction
  • Figure 3 (c) is the image after the vertical direction The image formed after 2 ⁇ 1 binning.
  • this application proposes an image sensor that adjusts the structure and arrangement of the pixel array, and uses 2 ⁇ 1 binning to process the pixel values of the pixel array.
  • the image size ratio after 2 ⁇ 1 binning is compared with the original image collected by the pixel array.
  • the same image size ratio can not only reduce the computational load of the image sensor, improve the signal-to-noise ratio and output speed of the image sensor, but also take into account the resolution and size ratio of the image, thereby improving the overall performance and user experience of the image sensor.
  • FIG. 4 is a schematic top view of an image sensor 200 provided by an embodiment of the present application.
  • the pixel values of half of the pixel units in the plurality of diamond-shaped pixel units are used for 2-in-1 pixel synthesis in the horizontal direction, and the pixel values of the other half of the pixel units are used for 2-in-1 pixel synthesis in the vertical direction to form an image Multiple target pixel values of the sensor.
  • the pixel array 210 includes a plurality of diamond-shaped pixel units with 9 rows and 9 columns.
  • the row direction is the horizontal direction and the column direction is the vertical direction.
  • the pixel units are connected at the top corners. In the multiple pixel units, any side of each pixel unit forms an angle of 45° with the horizontal direction.
  • the pixel values of half of the pixel units on the even-numbered rows are used for 2 ⁇ 1 binning in the horizontal direction, that is, along the horizontal direction, the pixel values of the two pixel units in the even-numbered rows are used to synthesize a new target pixel value, and the even-numbered columns
  • the pixel value of the other half of the pixel unit above is used for 2 ⁇ 1 binning in the horizontal direction, that is, along the vertical direction, the pixel values of the two pixel units in the even-numbered column are used to synthesize a new target pixel value.
  • the filter array 220 includes a plurality of diamond-shaped filter units arranged in a diamond shape, and the plurality of diamond-shaped filter units are arranged above the plurality of diamond-shaped pixel units in a one-to-one correspondence;
  • multiple filter units in the filter array 220 may be arranged on the upper surface of the multiple pixel units of the pixel array 210; in another possible implementation manner, The multiple filter units in the filter array 220 may also be suspended above the multiple pixel units of the pixel array 210.
  • the filter array 220 may include filter units of three colors.
  • the filter unit 220 includes a first filter unit 221, a second filter unit 222, and a third filter unit 223 with three colors of filter units.
  • the light signals of the three colors after the first filter unit 221, the second filter unit 222, and the third filter unit 223 can be superimposed to form white light, in other words, the light signals of the three colors
  • the band can cover the visible light band.
  • the filter array 220 includes 16 first filter units 221, 8 second filter units 222, and 8 third filter units 223.
  • the cells are arranged in a rhombus with 9 rows and 9 columns.
  • the second filter unit 222 is located in an odd-numbered column in the second target column
  • the third filter unit 223 is located in an even-numbered column in the second target column.
  • the first and third columns are the second filter unit 222
  • the second and fourth columns are the third filter unit 223.
  • the filter array 220 shown in FIG. 5 may be formed by arraying a plurality of array units 202, where each array unit 202 is square, and any side of the square array unit is sandwiched between the horizontal direction or the vertical direction. The angles are all 45°.
  • each array unit 202 includes 2 filter unit groups, a total of 8 filter units, and the 8 filter units include three colors.
  • one filter unit group includes a first filter unit 221 and a second filter unit 222
  • the other filter unit group includes a first filter unit 221 and a third filter unit 223. If each filter unit in the array unit 202 is a square with side length a, the center distance of two adjacent array units in the horizontal and vertical directions is both Among them, a is a positive number.
  • FIG. 7 shows a schematic top view of another image sensor 200.
  • the second target row is an even-numbered row and the second target column is an even-numbered column.
  • the multiple filter units in each row on the even-numbered row are of the same color.
  • the first filter unit 221 is not the target row, that is, the multiple filter units in each row on the odd-numbered rows are not of the same color.
  • the multiple filter units in each row on the odd-numbered rows include the second filter.
  • the unit 222 and the third filter unit 223 are two-color filter units.
  • the multiple filter units in each column of the even-numbered columns are of the same color.
  • the second and fourth columns are the second filter unit 222
  • the sixth and eighth columns are the third filter.
  • the second filter unit 222 is located in the first two columns of the second target column, and the third filter unit 223 is located in the last two columns of the second target column.
  • the first and second columns are the second filter unit 222, and the third and fourth columns are the third filter unit 223.
  • the number of filter units in each row and each column is equal, and half of the target columns in the second target column are the second filter units 222 , The other half of the target column is the third filter unit 223. Therefore, in the filter array 220 of the embodiment of the present application, the number of the second filter unit 222 and the third filter unit 223 are equal, and the second filter unit The sum of the number of 222 and the third filter unit 223 is equal to the number of the first filter unit 221.
  • FIGS. 5 and 7 show two schematic diagrams in this case, in which the rows of the filter array 220
  • the number and the number of columns are not specifically limited in the embodiment of the present application, and the filter array 220 in the embodiment of the present application includes, but is not limited to, the two arrangements shown in FIG. 5 and FIG. 7.
  • the second filter unit 222 may also be located in the first column and the fourth column in the second target column in FIGS. 5 and 7, and the third filter unit 223 may also be located in the second column in FIGS. 5 and 7.
  • the second filter unit 222 may also be located in the first column in the second target column in FIGS. 5 and 7, and the third filter unit 223 may also be located in the second target column in FIGS. 5 and 7 Columns 2 to 4.
  • the filter units of each column in the second target column have the same color
  • the second filter unit 222 and the third filter unit 223 are specifically located in the second target column.
  • the number of columns in and the number relationship between the second filter unit 222 and the third filter unit 223 are not specifically limited in the embodiment of the present application.
  • each row on the second target row is the first filter unit 221
  • a part of the second target column is the second filter unit 222
  • the other part is the first filter unit 222.
  • FIG. 8 shows a schematic top view of another image sensor 200.
  • each column on the second target column is a first filter unit 221, a part of the second target row is a second filter unit 222, and a part is a third filter unit 223.
  • the filter array 220 shown in FIG. 8 can be understood as a filter array 220 obtained by rotating the filter array 220 in FIG. 5 by 90° clockwise with its center as the center of rotation.
  • the multiple filter units in each row on the even-numbered rows are of the same color.
  • the second column and the sixth row are the second filter unit 222
  • the fourth and eighth rows are the third filter units.
  • the units are all the first filter unit 221.
  • the second filter unit 222 is located in an odd-numbered row in the second target row
  • the third filter unit 223 is located in an even-numbered row in the second target row.
  • rows 1 and 3 are the second filter unit 222
  • rows 2 and 4 are the third filter unit 223.
  • the filter array 220 may also be a filter array 220 obtained by rotating the filter array 220 in a clockwise direction by 90° with its center as the center of rotation.
  • the second filter unit 222 and the third filter unit 223 are specifically located at The number of rows in the second target row and the number relationship between the second filter unit 222 and the third filter unit 223 are not specifically limited in the embodiment of the present application.
  • the pixel unit under the first filter unit is called the first pixel unit.
  • the pixel unit under the second filter unit is called the second pixel unit, and the third filter unit is called the second pixel unit.
  • the pixel unit below the mirror unit is called the third pixel unit.
  • the pixel units in the pixel array 210 perform pixel synthesis when the filter array 220 includes filter units of three colors.
  • 2 ⁇ 1 binning in the horizontal direction may be performed on the pixel units of the even-numbered rows
  • 2 ⁇ 1 binning in the vertical direction may be performed on the pixel units of the even-numbered columns.
  • FIG. 9 shows the 5 is a schematic diagram of the pixel array 210 in the image sensor 200 performing 2 ⁇ 1 binning, where the first pixel unit corresponding to the first filter unit 221 is a green pixel unit (indicated by the letter "G” in the figure), and the second filter unit 221
  • the second pixel unit corresponding to the mirror unit 222 is a red pixel unit (represented by the letter "R” in the figure)
  • the third pixel unit corresponding to the third filter unit 223 is a blue pixel unit (represented by the letter "B” in the figure) ).
  • the green pixel units of each row in the even-numbered rows are subjected to horizontal 2 ⁇ 1 binning, for example, in the second row, the third and fifth columns
  • the green pixel values G23 and G25 of the two green pixel units are merged to form a new target green pixel value G'12
  • the green pixel values G27 and G29 of the two green pixel units in the 7th and 9th columns are merged to form a new target green Pixel value G'14.
  • the pixel units in each column of the even-numbered columns are subjected to 2 ⁇ 1 binning in the vertical direction, specifically, the red pixel units in the second and sixth columns, and the blue filtering in the fourth and eighth columns are performed.
  • the mirror unit performs 2 ⁇ 1 binning in the vertical direction.
  • the red pixel values R12 and R32 of the two red pixel units in the first row and the third row are combined to form a new target red pixel value R'11
  • the fifth row and the seventh row The red pixel values R52 and R72 of the two red pixel units in the row are combined to form a new target red pixel value R'31.
  • the blue pixel values B34 and B54 of the two blue pixel units in the 3rd and 5th rows are merged to form a new target blue pixel value B'22
  • the 7th The blue pixel values B74 and B94 of the two blue pixel units in the row and the 9th row are combined to form a new target blue pixel value B'42.
  • the array formed by the new multiple target pixel values is a square array.
  • one of the two adjacent target pixel values is located in the first
  • Two adjacent pixel units on one target column are obtained by 2 ⁇ 1 binning in the vertical direction
  • the other two adjacent pixel units on the first target row are obtained by 2 ⁇ 1 binning in the horizontal direction.
  • the number of new multiple target pixel values is half of the number of pixel values before binning, that is, half of the number of pixel units in the pixel array 210, and the image size formed by the new target pixel values is horizontal Compression is performed equally in both the direction and the vertical direction.
  • the size of the image formed in Figure 9 (a) is H (horizontal direction) ⁇ V (vertical direction)
  • a filter array is provided in the image sensor, and the filter array includes filter units of multiple colors, which can realize the collection of color images.
  • multiple filter units Set to a diamond shape and arranged in a rhombus shape, and design the specific arrangement of the filter units of different colors in the filter array to meet the requirements of 2 ⁇ 1 binning in the horizontal direction or 2 ⁇ 1 binning in the vertical direction of the corresponding pixel unit, which reduces the image
  • the computational load of the sensor improves the signal-to-noise ratio and output speed of the image sensor, while taking into account the resolution and size ratio of the image to output color images, thereby further improving the overall performance and user experience of the image sensor.
  • FIGS. 5 to 9 exemplarily show related technical solutions of the image sensor 200 when the filter array 220 includes filter units of three colors.
  • the filter array 220 may also include filter units of 4 colors.
  • FIG. 10 shows a top view of another image sensor 200.
  • the filter array 220 includes a first filter unit 221, a second filter unit 222, a third filter unit 223, and a fourth filter unit 224.
  • Mirror unit As shown in FIG. 10, in the image sensor 200, the filter array 220 includes a first filter unit 221, a second filter unit 222, a third filter unit 223, and a fourth filter unit 224. Mirror unit.
  • the fourth filter unit 224 may be a visible light filter unit with a different color from the first filter unit 221, the second filter unit 222, and the third filter unit 223.
  • it may be a white filter unit or It can be a gray filter unit, or a non-visible light filter unit, such as a near-infrared filter unit.
  • the embodiment of the present application does not specifically limit the color of the fourth filter unit 224.
  • the filter array 220 includes 8 first filter units 221, 8 second filter units 222, 8 third filter units 223, and 8 fourth filters.
  • Unit 224, the 32 filter units are arranged in a diamond shape into 9 rows and 9 columns.
  • the second target row is an even-numbered row and the second target column is an even-numbered column.
  • multiple filter units in each row on the even-numbered row are of the same color.
  • the second and sixth rows are the fourth filter unit 224
  • the fourth and eighth rows are the first filter unit 221.
  • the multiple filter units in each row on the odd-numbered rows include the second filter unit 222 and the third filter.
  • Unit 223 Two-color filter unit.
  • the multiple filter units in each column of the even-numbered columns are of the same color.
  • the second and sixth columns are the second filter unit 222, and the fourth and eighth columns are the third.
  • Each of the mirror units includes a first filter unit 221 and a fourth filter unit 224 with two color filter units.
  • the fourth filter unit 224 is located in an odd-numbered row in the second target row, and the first filter unit 221 is located in an even-numbered row in the second target row.
  • rows 1 and 3 are the fourth filter unit 224
  • rows 2 and 4 are the first filter unit 221.
  • the second filter unit 222 is located in an odd-numbered column in the second target column
  • the third filter unit 223 is located in an even-numbered column in the second target column.
  • the first and third columns are the second filter unit 222
  • the second and fourth columns are the third filter unit 223.
  • the filter array 220 shown in FIG. 10 may be formed by arraying a plurality of array units 202, wherein each array unit 202 is square, and any side of the square array unit is sandwiched between the horizontal direction or the vertical direction. The angles are all 45°.
  • each array unit 202 includes 2 filter unit groups, a total of 8 filter units, and the 8 filter units include four colors. Specifically, one filter unit group includes a first filter unit 221 and a second filter unit 222, and the other filter unit group includes a third filter unit 223 and a fourth filter unit 224. If each filter unit in the array unit 202 is a square with side length a, the center distance of two adjacent array units in the horizontal and vertical directions is both Among them, a is a positive number.
  • FIG. 11 shows a schematic top view of another image sensor 200.
  • the second target row is an even-numbered row and the second target column is an even-numbered column.
  • multiple filter units in each row on the even-numbered row are of the same color, where , Rows 2 and 4 are the fourth filter unit 224, Rows 6 and 8 are the first filter unit 221.
  • the multiple filter units in each row on the odd-numbered rows are not of the same color.
  • the multiple filter units in each row on the odd-numbered rows include the second filter unit 222 and the third filter.
  • Unit 223 Two-color filter unit.
  • the multiple filter units in each column of the even-numbered columns are of the same color.
  • the second and fourth columns are the second filter unit 222
  • the sixth and eighth columns are the third filter.
  • the fourth filter unit 224 is located in the first two rows in the second target row, the first filter unit 221 is located in the last two rows in the second target row, and the second filter unit 222 is located in The first two columns in the second target column, and the third filter unit 223 is located in the last two columns in the second target column.
  • the first and second rows are the fourth filter unit 224
  • the 3rd and 4th rows are the first filter unit 223, and in the 4 second target columns
  • the first and second columns are the second filter unit 222
  • the third and fourth columns are the third filter unit 223.
  • the filter unit in each row in the second target row is the same, and the filter unit in each column of the second target column has the same color
  • the first filter unit 221 and the fourth filter unit 224 are respectively located in which rows of the second target row
  • the second filter unit 222 and the third filter unit 223 are located in which columns of the second target column
  • the first The number relationship of the filter unit 221, the second filter unit 222, the third filter unit 223, and the fourth filter unit 224 is not specifically limited in the embodiment of the present application.
  • the pixel units in the pixel array 210 perform pixel synthesis when the filter array 220 includes filter units of four colors.
  • FIG. 12 shows a schematic diagram of 2 ⁇ 1 binning of the image sensor 200 in FIG.
  • the first pixel unit corresponding to the first filter unit 221 is a green pixel unit (in the figure with the letter G" indicates)
  • the second pixel unit corresponding to the second filter unit 222 is a red pixel unit (indicated by the letter “R” in the figure)
  • the third pixel unit corresponding to the third filter unit 223 is a blue pixel unit ( It is represented by the letter “B” in the figure)
  • the fourth pixel unit corresponding to the fourth filter unit 224 is a white pixel unit (represented by the letter “W” in the figure).
  • 2 ⁇ 1 binning in the horizontal direction is performed on each row of pixel units in the even-numbered rows, specifically, the white filter units in the second and sixth rows, and The green filter units in the 4th and 8th rows perform 2 ⁇ 1 binning in the horizontal direction.
  • the white pixel values W23 and W25 of the two white pixel units in the third and fifth columns are merged to form a new target white pixel value W'12
  • the two in the seventh and ninth columns The white pixel values W27 and W29 of the white pixel unit are combined to form a new target white pixel value W'14.
  • the green pixel values G41 and G43 of the two green pixel units in the first and third columns are merged to form a new target green pixel value G'21
  • the two green pixels in the fifth and seventh columns The unit's green pixel values G45 and G47 are combined to form a new target green pixel value G'23.
  • the pixel units in each column of the even-numbered columns are subjected to 2 ⁇ 1 binning in the vertical direction, specifically, the red pixel units in the second and sixth columns, and the blue filtering in the fourth and eighth columns are performed.
  • the mirror unit performs 2 ⁇ 1 binning in the vertical direction.
  • the red pixel values R12 and R32 of the two red pixel units in the first row and the third row are combined to form a new target red pixel value R'11
  • the fifth row and the seventh row The red pixel values R52 and R72 of the two red pixel units in the row are combined to form a new target red pixel value R'31.
  • the blue pixel values B34 and B54 of the two blue pixel units in the 3rd and 5th rows are merged to form a new target blue pixel value B'22
  • the 7th The blue pixel values B74 and B94 of the two blue pixel units in the row and the 9th row are combined to form a new target blue pixel value B'42.
  • the array formed by the new multiple target pixel values is a square array.
  • the two adjacent new target pixel values one of them is Two adjacent pixel units located on the first target column are obtained through 2 ⁇ 1 binning in the vertical direction, and the other is obtained by two adjacent pixel units located on the first target row through 2 ⁇ 1 binning in the horizontal direction.
  • the filter array 220 includes filter units of three or four colors, and in the diamond array formed by the filter array 220, the number of rows and the number of columns are equal. Therefore, the multiple target pixel values obtained after 2 ⁇ 1 binning are arranged in a square array, and the processed image is a square image.
  • the filter array 220 may also include only two-color filter units, for example, the second target column in FIG. 5 or FIG. 7, that is, the even-numbered column only includes one color.
  • the second target row in Figure 5 or Figure 7, that is, the even-numbered row contains only one-color filter unit, and the odd-numbered row Only one color filter unit is included.
  • the superposition of the light signals of the two colors after passing through the two-color filter unit can also form white light.
  • the filter array 220 may also only include filter units of more than four colors.
  • the second target column may include filter units of more than three colors, or the first The second target row may also include filter units of more than three colors.
  • the embodiment of the present application does not specifically limit the color types of the filter units in the filter array 220.
  • the number of rows and the number of columns may not be equal, and the rectangular image is obtained after 2 ⁇ 1 binning.
  • the embodiment of the present application does not specifically limit the size of the filter array 220.
  • first target row, the first target column, the second target row, and the second target column in the above-mentioned application embodiment are all illustrated by using even-numbered rows and even-numbered columns.
  • first target row, the first target row, and the first target row The columns and the second target row and the second target column may also be odd-numbered rows or odd-numbered columns, and the specific related solutions can be referred to the above description, which will not be repeated here.
  • FIG. 13 shows a schematic structural diagram of another image sensor 200.
  • the image sensor 200 further includes: a pixel synthesis circuit 230, which is connected to the above-mentioned pixel array 210, and is used to divide half of the pixel units in the pixel array 210 Perform 2-in-1 pixel synthesis in the horizontal direction, and perform 2-in-1 pixel synthesis in the vertical direction with the other half of the pixel unit.
  • a pixel synthesis circuit 230 which is connected to the above-mentioned pixel array 210, and is used to divide half of the pixel units in the pixel array 210 Perform 2-in-1 pixel synthesis in the horizontal direction, and perform 2-in-1 pixel synthesis in the vertical direction with the other half of the pixel unit.
  • the half of the pixel unit is a pixel unit located in the first target row of the pixel array 210
  • the other half of the pixel unit is a pixel unit located in the first target column of the pixel array 210, wherein the first target row is an odd row or an even row.
  • the first target column is an odd-numbered column or an even-numbered column.
  • the pixel synthesis circuit 230 may have the same function as the pixel synthesis circuit 150 in FIG. 1, and it is specifically a summing circuit or an averaging circuit.
  • the pixel synthesis circuit 230 is used for summing or averaging the pixel values of two pixel units adjacent to a common vertex on the first target row of the pixel array 210 to perform a horizontal 2-in-1 pixel. Synthesis, the pixel synthesis circuit 230 is also used for summing or averaging the pixel values of two adjacent pixel units on the first target column of the pixel array 210 to perform vertical 2-in-1 pixel synthesis.
  • the pixel synthesis circuit 230 may be an analog circuit, and the pixel value of the received pixel unit is an analog signal value, for example, the pixel value is a voltage signal value output by each pixel unit.
  • the column selection circuit 250 is connected to each column of pixel units in the pixel array 210 through a plurality of column control lines. In each column of pixel units, two adjacent pixel units are also connected at a common vertex. Wherein, the multiple column control lines are arranged in parallel to each other and are all perpendicular to the aforementioned multiple row control lines. Optionally, the multiple row control lines are all parallel to the other side of the square image sensor chip and arranged in a vertical direction.
  • the row selection circuit 240 and the column selection circuit 250 may have the same structure and function as the row selection circuit 120 and the column selection circuit 130 in FIG. 1.
  • the row selection circuit 240 is used to turn on and off each row of pixel units.
  • the column selection circuit 250 is used to select the signal value output of each pixel unit in each column, and transmit the signal value of each pixel unit to the pixel synthesis circuit 230.
  • control circuit 260 may be a control unit in the image sensor 200, for example, it may specifically be a processor for outputting control signals to control the operation of the row selection circuit 240 and the column selection circuit 250, thereby controlling the pixel array 210 Therefore, through the control circuit 260, the row selection circuit 240, and the column selection circuit 250, the pixel values of the adjacent pixel units in the first target row and the first target column can be output to the pixel synthesis circuit. 230. Realize the synthesis of pixel values.
  • analog-to-digital conversion circuit 270 For the specific functions of the analog-to-digital conversion circuit 270 and the signal processing circuit 280, reference may be made to the related description of the analog-to-digital conversion circuit 160 and the signal processing circuit 170 in FIG. 1, which will not be repeated here.
  • the present application also provides an electronic device, which may include the image sensor 200 in any of the foregoing embodiments.
  • the electronic device can be any electronic device with an image collection function, for example, it can be a mobile terminal such as a mobile phone, a computer, or a shooting device such as a camera or a video camera, or it can be an automated teller machine (Automated Teller Machine, ATM) And so on, this application does not limit the application scenarios of electronic devices.
  • a mobile terminal such as a mobile phone, a computer, or a shooting device such as a camera or a video camera, or it can be an automated teller machine (Automated Teller Machine, ATM) And so on, this application does not limit the application scenarios of electronic devices.
  • ATM Automate Machine
  • the above-mentioned signal processing circuit 280 is not located in the image sensor 200, but is located in the processing unit of the electronic device where the image sensor 200 is located.
  • the signal processing circuit 280 may be a mobile phone.
  • the image signal processing unit in the central processor, or the signal processing circuit 280 may also be a separate image signal processing chip in the mobile phone.
  • the embodiment of the present application does not limit the specific hardware form of the signal processing circuit 280.
  • the steps of the method disclosed in the embodiments of the present application may be directly embodied as being executed and completed by a hardware decoding processor, or executed and completed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a mature storage medium in the field, such as random access memory, flash memory, read-only memory, programmable read-only memory, or electrically erasable programmable memory, registers.
  • the storage medium is located in the memory, and the processor reads the information in the memory and completes the steps of the above method in combination with its hardware.
  • the image sensor of the embodiment of the present application may further include a memory
  • the memory may be a volatile memory or a non-volatile memory, or may include both volatile and non-volatile memory.
  • the non-volatile memory can be read-only memory (Read-Only Memory, ROM), programmable read-only memory (Programmable ROM, PROM), erasable programmable read-only memory (Erasable PROM, EPROM), and electrically available Erase programmable read-only memory (Electrically EPROM, EEPROM) or flash memory.
  • the volatile memory may be a random access memory (Random Access Memory, RAM), which is used as an external cache.
  • RAM random access memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • DRAM synchronous dynamic random access memory
  • DDR SDRAM Double Data Rate Synchronous Dynamic Random Access Memory
  • Enhanced SDRAM, ESDRAM Enhanced Synchronous Dynamic Random Access Memory
  • Synchronous Link Dynamic Random Access Memory Synchronous Link Dynamic Random Access Memory
  • DR RAM Direct Rambus RAM
  • the disclosed system, device, and method can be implemented in other ways.
  • the device embodiments described above are merely illustrative, for example, the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the function is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of this application essentially or the part that contributes to the prior art or the part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium.
  • a computer device which may be a personal computer, a server, or a network device, etc.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种图像传感器(200)和电子设备，能够在提高图像传感器(200)的信噪比和输出速度的同时，还能兼顾图像的分辨率与长宽比，从而提高图像传感器(200)的整体性能和用户体验。图像传感器(200)包括：像素阵列(210)，包括呈菱形排列的多个菱形的像素单元，多个菱形的像素单元中的一半像素单元位于像素阵列(210)中的第一目标行，另一半像素单元位于像素阵列(210)中的第一目标列，第一目标行为像素阵列(210)中的奇数行或者偶数行，第一目标列为像素阵列(210)中的奇数列或者偶数列；一半像素单元的像素值用于进行水平方向上的2合1像素合成，另一半像素单元的像素值用于进行垂直方向上的2合1像素合成，以形成图像传感器(200)的多个目标像素值。

Description

图像传感器和电子设备 技术领域
本申请涉及传感器领域，并且更具体地，涉及一种图像传感器和电子设备。
背景技术
图像传感器是一种将光学图像转换为数字信号的电子装置，其通常包括由多个像素单元组成的像素阵列，像素阵列中的每个像素单元用于形成图像中的一个像素值。为了提高图像传感器的信噪比和输出速度，可以采用像素合成(binning)的方式生成图像，即将多个像素单元的像素值进行合并，作为一个新的像素值输出。但采用像素合成方式生成图像的同时也会造成图像长宽比变化、分辨率下降等缺点，影响用户体验。
因此，如何在提高图像传感器的信噪比和输出速度的同时，还能兼顾图像的长宽比以及分辨率，提高图像传感器的整体性能和用户体验，是一项亟待解决的技术问题。
发明内容
本申请实施例提供了一种图像传感器和电子设备，能够在提高图像传感器的信噪比和输出速度的同时，还能兼顾图像的分辨率与长宽比，从而提高图像传感器的整体性能和用户体验。
第一方面，提供了一种图像传感器，包括：像素阵列，包括呈菱形排列的多个菱形的像素单元，该多个菱形的像素单元中的一半像素单元位于该像素阵列中的第一目标行，另一半像素单元位于该像素阵列中的第一目标列，该第一目标行为该像素阵列中的奇数行或者偶数行，该第一目标列为该像素阵列中的奇数列或者偶数列；该一半像素单元的像素值用于进行水平方向上的2合1像素合成，该另一半像素单元的像素值用于进行垂直方向上的2合1像素合成，以形成该图像传感器的多个目标像素值。
通过本申请的方案，将图像传感器200中多个像素单元设置为菱形且呈菱形排列，在该排列方式下，对多个像素单元的像素值进行2合1像素合成，像素合成后得到的图像尺寸比例不变，既能降低图像传感器的计算负荷，在 提高图像传感器的信噪比和输出速度的同时，还能兼顾图像的分辨率与尺寸比例，从而提高图像传感器的整体性能和用户体验。
在一种可能的实施方式中，该图像传感器还包括：滤镜阵列，包括呈菱形排列的多个菱形的滤镜单元，该多个菱形的滤镜单元一一对应的设置于该多个菱形的像素单元的上方；该多个菱形的滤镜单元中的一半滤镜单元位于该滤镜阵列中的第二目标行，该第二目标行中每一行的滤镜单元颜色相同，该多个菱形的滤镜单元中的另一半滤镜单元位于该滤镜阵列中的第二目标列，该第二目标列中每一列的滤镜单元颜色相同，该第二目标行为该滤镜阵列中的奇数行或者偶数行，该第二目标列为该滤镜阵列中的奇数列或者偶数列。
通过本申请实施例的方案，图像传感器中设置有滤镜阵列，该滤镜阵列中包括多种颜色的滤镜单元，能够实现彩色图像的采集，与此同时，将多个滤镜单元设置为菱形且呈菱形排列，并设计滤镜阵列中不同颜色的滤镜单元的特定排列方式，满足对应的像素阵列的2合1像素合成的需求，在降低图像传感器的计算负荷，提高图像传感器的信噪比和输出速度的同时，兼顾图像的分辨率与尺寸比例，并输出彩色图像，从而进一步提高图像传感器的整体性能和用户体验。
在一种可能的实施方式中，该滤镜阵列包括呈菱形排列的多个滤镜单元组，该滤镜单元组包括四个相邻的滤镜单元，该四个相邻的滤镜单元中共顶角相邻的两个滤镜单元颜色相同，共边相邻的两个滤镜单元颜色不同。
在一种可能的实施方式中，该滤镜阵列包括三种颜色的滤镜单元，该三种颜色的滤镜单元分别为第一滤镜单元、第二滤镜单元以及第三滤镜单元。
在一种可能的实施方式中，该第二目标行中的每一行均为第一滤镜单元，该第二目标列为第二滤镜单元或者为第三滤镜单元；或者，该第二目标列中的每一列均为第一滤镜单元，该第二目标行为第二滤镜单元或者为第三滤镜单元。
在一种可能的实施方式中，该第二目标列中的一半列为该第二滤镜单元，该第二目标列中的另一半列为该第三滤镜单元；或者，该第二目标行中的一半行为该第二滤镜单元，该第二目标行中的另一半行为该第三滤镜单元。
在一种可能的实施方式中，该第二目标列中的一半列和另一半列分别为 该第二目标列中的奇数列和偶数列；或者，该第二目标行中的一半行和另一半行分别为该第二目标行中的奇数行和偶数行。
在一种可能的实施方式中，该第二滤镜单元的数量与该第三滤镜单元的数量相等，该第二滤镜单元的数量与该第三滤镜单元的数量之和等于该第一滤镜单元的数量。
在一种可能的实施方式中，该滤镜阵列包括四种颜色的滤镜单元，该四种颜色的滤镜单元分别为第一滤镜单元、第二滤镜单元、第三滤镜单元以及第四滤镜单元。
通过本申请实施例的方案，滤镜阵列中包括4种颜色的滤镜单元，能够提高彩色图像的质量，从而进一步提高图像传感器的整体性能和用户体验。
在一种可能的实施方式中，该滤镜阵列的目标行为第一滤镜单元或者为第四滤镜单元，该滤镜阵列的目标列为第二滤镜单元或者为第三滤镜单元；或者，该滤镜阵列的目标列为第一滤镜单元或者第四滤镜单元，该滤镜阵列的目标行为第二滤镜单元或者为第三滤镜单元。
在一种可能的实施方式中，该第二目标行中的一半行为该第一滤镜单元，该第二目标行中的另一半行为该第四滤镜单元，该第二目标列中的一半列为该第二滤镜单元，该第二目标列中的另一半列为该第三滤镜单元；或者，该第二目标列中的一半列为该第一滤镜单元，该第二目标列中的另一半行为该第四滤镜单元，该第二目标行中的一半行为该第二滤镜单元，该第二目标行中的另一半行为该第三滤镜单元。
在一种可能的实施方式中，该第二目标列中的一半列和另一半列分别为该第二目标列中的奇数列和偶数列；该第二目标行中的一半行和另一半行分别为该第二目标行中的奇数行和偶数行。
在一种可能的实施方式中，该第一滤镜单元的数量与该第四滤镜单元的数量相等，该第二滤镜单元的数量与该第三滤镜单元的数量相等；该第二滤镜单元的数量与该第三滤镜单元的数量之和等于该第一滤镜单元和该第四滤镜单元的数量之和。
在一种可能的实施方式中，该第一滤镜单元、该第二滤镜单元以及该第三滤镜单元用于分别通过三种颜色的光信号，该三种颜色的光信号波段覆盖可见光波段。
在一种可能的实施方式中，该第一滤镜单元、该第二滤镜单元以及该第 三滤镜单元的颜色分别为红、绿、蓝、青、品红、黄中的三种颜色。
在一种可能的实施方式中，该第一滤镜单元为绿色滤镜单元、该第二滤镜单元和该第三滤镜单元分别为红色滤镜单元和蓝色滤镜单元。
在一种可能的实施方式中，该第四滤镜单元为可见光或者非可见光滤镜单元。
在一种可能的实施方式中，该第四滤镜单元为白色滤镜单元、灰色滤镜单元或者近红外滤镜单元。
在一种可能的实施方式中，该多个目标像素值的数量为该像素阵列中像素单元的数量的一半，且该多个目标像素值用于形成呈方形排列的目标像素值阵列；该目标像素值阵列中，水平方向或者垂直方向上相邻的两个目标像素值中，其中一个为经过水平方向的2合1像素合成得到的目标像素值，另一个为经过垂直方向的2合1像素合成得到的目标像素值。
在一种可能的实施方式中，该目标像素值阵列中，水平方向或者垂直方向上相邻的两个目标像素值中，其中一个为对该像素阵列中该第一目标行上共顶角相邻的两个像素单元的像素值进行求和或者求平均得到的目标像素值，另一个为对该像素阵列中该第一目标列上共顶角相邻的两个像素单元的像素值进行求和或者求平均得到的目标像素值。
在一种可能的实施方式中，该图像传感器还包括：像素合成电路；该像素合成电路连接于该像素阵列，用于将该一半像素单元进行水平方向上的2合1像素合成，并将该另一半像素单元进行垂直方向上的2合1像素合成，以形成该多个目标像素值。
在一种可能的实施方式中，该图像传感器还包括：行控制电路与列控制电路；该行控制电路用于通过多条行控制线连接于该像素阵列中的多行像素单元，该多行像素单元中的每一行像素单元共顶角排列；该列控制电路用于通过多条列控制线连接于该像素阵列中的多列像素单元，该多列像素单元中的每一列像素单元共顶角排列；该像素合成电路通过该列控制电路连接于该像素阵列。
在一种可能的实施方式中，该图像传感器还包括：模数转换电路和信号处理电路；该模数转换电路连接于该像素合成电路，用于将该像素合成电路输出的该多个目标像素值转换为多个数字像素值；该信号处理电路用于对该多个数字像素值进行处理得到彩色图像。
在一种可能的实施方式中，该图像传感器为互补金属氧化物半导体CMOS图像传感器，或者为电荷耦合器件CCD图像传感器。
第二方面，提供了一种电子设备，该电子设备包括上述第一方面或者第一方面中任一种可能的实施方式中的图像传感器。
在电子设备中设置上述图像传感器，由于图像传感器相应速度快，能够提高电子设备中图像的输出速度，从而能够提高电子设备的整体性能，提升用户体验。
附图说明
图1是一种图像传感器的结构示意图。
图2是一种水平方向2合1像素合成的示意图。
图3是一种2合1像素合成前后的图像示意图。
图4是根据本申请实施例提供的一种图像传感器的俯视示意图。
图5是根据本申请实施例提供的另一种图像传感器的俯视示意图。
图6是图5中的图像传感器沿A-A’方向的截面示意图。
图7是根据本申请实施例提供的另一种图像传感器的俯视示意图。
图8是根据本申请实施例提供的另一种图像传感器的俯视示意图。
图9是对图5中的图像传感器进行2合1像素合成的示意图。
图10是根据本申请实施例的另一种图像传感器的俯视示意图。
图11是根据本申请实施例的另一种图像传感器的俯视示意图。
图12是对图10中的图像传感器进行2合1像素合成的示意图。
图13是根据本申请实施例的一种图像传感器的结构示意图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
本申请实施例的技术方案可以应用于各种图像传感器，例如互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)图像传感器 (CMOS image sensor，CIS)，或者电荷耦合器件(charge coupled device,CCD)图像传感器，但本申请实施例对此并不限定。
作为一种常见的应用场景，本申请实施例提供的图像传感器可以应用在智能手机、相机、摄像头、平板电脑以及其他具有成像功能的移动终端或者其他终端设备。
图1示出了一种图像传感器的结构示意图。如图1所示，该图像传感器100包括：像素阵列(pixel array)110，行选择电路120，列选择电路130，控制电路140，以及像素合成电路150，模数转换(analog to digital converter,ADC)电路160和信号处理电路170。
具体地，如图1所示，像素阵列110中的多个方形的像素单元排列成M行×N列，其中，M、N为正整数。一般来讲，在像素阵列110所在的平面上，该M行的行方向与N列的列方向相互垂直。在一些情况下，为了方便描述，在一个平面中，可以将相互垂直的两个方向，例如本申请中的行方向和列方向，称之为水平方向和垂直方向。
在图1所示的像素阵列110中，每个方形的像素单元的任意一边平行或者垂直于行方向或者列方向。
可选地，该像素单元中可以包括光电二极管和场效应开关管等器件，用于接收光信号并将该光信号转换为对应的电信号。
可选地，若图像传感器需要采集彩色图像，则可以在像素阵列110上方可以设置颜色滤镜阵列(color filter array，CFA)，其中，每个像素单元上方可以对应设置一个颜色滤镜，为了方面描述，下文中，将上方设置有颜色滤镜的像素单元也称为颜色像素单元，例如，上方设置有红色滤镜的像素单元称为红色像素单元，上方设置有绿色滤镜的像素单元称为绿色像素单元等等。
目前，大部分图像传感器的CFA采用基于RGB三原色的拜耳(Bayer)格式，例如，如图1所示，像素阵列110上方设置有Bayer格式的CFA，则像素阵列110以2×2个像素单元为基本单元，每个基本单元中，包括1个红色像素单元，1个蓝色像素单元，2个绿色像素单元，其中，两个绿色像素单元共顶角相邻设置。
行选择电路120通过M条行控制线连接至像素阵列110中的每一行像素单元，可以用于开启和关闭每一行像素单元中的每个像素单元。例如，行 选择电路120通过一条行控制线连接至像素阵列110中第一行每个像素单元的场效应开关管的栅极，通过开启或关闭场效应开关管控制光电二极管的工作状态。其中，M条行控制线均平行于水平方向。
列选择电路130连接通过N条列控制线至像素阵列110中的每一列像素单元，可以用于选择每一列中每个像素单元的信号值输出。例如，列选择电路130通过一条列控制线连接至像素阵列110中的第一列每个像素单元的场效应开关管的源极，控制输出光电二极管转换得到的电信号。其中，N条列控制线均平行于垂直方向。
控制电路140连接于该行选择电路120和列选择电路130，用于给该行选择电路120和列选择电路130提供时序，控制该行选择电路120和列选择电路130选择像素阵列110中的像素单元，并输出该像素单元的像素值。
可选地，上述行选择电路120、列选择电路130以及控制电路140配合输出像素阵列110产生的像素值之后，将该像素阵列110的像素值传输给像素合成(binning)电路150，对多个像素单元的像素值进行合成后输出为一个新的值。
在一些实施方式中，该binning电路150可以为求和电路，用于将多个像素单元的像素值进行相加求和。进一步，该binning电路150也可以为求和平均电路，用于将多个像素单元的像素值进行相加求和并计算平均值。
可以理解的是，上述像素阵列110输出的像素值为模拟信号量，该binning电路150用于对模拟像素值进行求和或者求和平均，得到新的模拟像素值，并将binning后的新的模拟像素值发送给ADC电路160进行模数转换，将模拟像素值转换为数字像素值形成数字图像，方便后续的信号处理电路170进行图像处理，以输出优化后的彩色图像。
可选地，该信号处理电路170可以包括但不限于是图像信号处理器(image signal processor，ISP)，用于对数字图像进行线性化处理、去除坏点、去除噪声、色彩校正、去马赛克(demosaic)、自动曝光控制(automatic exposure control，AEC)、自动增益控制(automatic gain control，AGC)、自动白平衡(auto white balance，AWB)等处理。
图2示出了一种水平方向2×1binning(2合1像素合成)的示意图。
如图2所示，其中(a)图示出了一种Bayer格式排布的多个像素值，该多个像素值中每个像素值对应于图像传感器中每个像素单元；(b)图示出 了(a)图中的多个像素值经过水平方向2×1binning之后的多个新的像素值。
具体地，在进行水平方向的2×1binning时，在一行像素单元中，间隔相邻的两个相同颜色的像素值进行合并。例如，(a)图中红色像素值R11和R13合并形成(b)图中一个新的红色像素值R’11，该新的红色像素值R’11可以为R11和R13的和或者平均值；同理，(a)图中绿色像素值G12和G14合并形成(b)图中一个新的绿色像素值G’12，该新的绿色像素值G’12可以为G12和G14的和或者平均值。
经过水平方向的2×1binning后，新的像素值的数量为binning前像素值的数量的一半，新的像素值形成的图像尺寸在水平方向上也压缩为之前的一半。例如，(a)图中共有32个像素值，其形成的图像尺寸为H(水平方向)×V(垂直方向)，而经过水平方向的2×1binning后，(b)图中共有16个新的像素值，其形成的图像尺寸为H/2(水平方向)×V(垂直方向)。
图2示例性的示出了水平方向2×1binning的示意图，可以理解的是，若对像素值进行垂直方向2×1binning，则新的像素值的数量同样为binning前像素值的数量的一半，且新的像素值形成的图像尺寸在垂直方向上压缩为之前的一半。例如，若(a)图中的多个像素值经过垂直方向的2×1binning后，形成的图像尺寸为H(水平方向)×V/2(垂直方向)。
还可以理解的是，垂直方向2×1binning的过程与图2中水平方向2×1binning的过程近似，具体对一列像素单元中，间隔相邻的两个相同颜色的像素值进行合并。其具体方案可以参考上文图2中的相关描述，此处不再赘述。
图3示出了一种经过2×1binning后的图像示意图。
图3中的(a)图为原始的像素阵列采集得到的图像，图3中的(b)图为经过水平方向2×1binning后形成的图像，图3中的(c)图为经过垂直方向2×1binning后形成的图像。
由上述图2和图3及其说明可知，若采用2×1binning方式对像素值进行合并，虽然降低了新的像素值的数量，减小了后续信号处理电路170的计算负荷，但处理得到的图像尺寸比例发生了变化，该图像在水平或者垂直方向上发生了压缩，会影响用户体验，从而也限制该2×1bining的应用场景。
虽然可以采用2×2binning，3×3binning等方式对像素值进行处理，不会影响图像尺寸比例，但是2×2binning方式下，4个像素值合成为一个像 素值，3×3binning方式下，9个像素值合成为一个像素值，随着binning程度的增加，图像的分辨率也随之下降，同样会影响用户体验。
基于上述问题，本申请提出一种图像传感器，调整像素阵列的结构以及排列形式，且采用2×1binning方式对像素阵列的像素值进行处理，2×1binning后的图像尺寸比例与像素阵列采集的原始图像尺寸比例相同，既能降低图像传感器的计算负荷，在提高图像传感器的信噪比和输出速度的同时，还能兼顾图像的分辨率与尺寸比例，从而提高图像传感器的整体性能和用户体验。
以下，结合图4至图13，详细介绍本申请实施例的图像传感器。
需要说明的是，为便于理解，在以下示出的实施例中，相同的结构采用相同的附图标记，并且为了简洁，省略对相同结构的详细说明。
图4是本申请实施例提供的一种图像传感器200的俯视示意图。
如图4所示，该图像传感器200包括：
像素阵列210，包括呈菱形排列的多个菱形的像素单元，该多个菱形的像素单元中的一半像素单元位于像素阵列210中的第一目标行，另一半像素单元位于像素阵列210中的第一目标列，该第一目标行为像素阵列210中的奇数行或者偶数行，该第一目标列为像素阵列210中的奇数列或者偶数列；
该多个菱形的像素单元中一半像素单元的像素值用于进行水平方向上的2合1像素合成，另一半像素单元的像素值用于进行垂直方向上的2合1像素合成，以形成图像传感器的多个目标像素值。
如图4所示，该像素阵列210包括9行9列的多个菱形的像素单元，行方向为水平方向，列方向为垂直方向，每一行或者每一列上，多个像素单元中相邻两个像素单元共顶角连接。且多个像素单元中，每个像素单元的任意一边与水平方向呈45°夹角。
可选地，在图4所示的像素阵列210中，第一目标行为偶数行，且第一目标列为偶数列，其中，像素阵列210中的一半像素单元位于偶数行中，另一半像素单元位于偶数列中。
偶数行上的一半像素单元的像素值用于进行水平方向上的2×1binning，即沿水平方向，偶数行中的两个像素单元的像素值用于合成一个新的目标像素值，且偶数列上的另一半像素单元的像素值用于进行水平方向上的2×1binning，即沿垂直方向，偶数列中的两个像素单元的像素值用于合 成一个新的目标像素值，经过像素合成后，得到的多个目标像素值的数量为2×1binning前像素单元的数量的一半，且多个目标像素值形成的图像尺寸在水平方向与垂直方向上均进行等量压缩，例如，若图4中像素阵列210形成的图像尺寸为H(水平方向)×V(垂直方向)，则经过2×1binning后，形成的图像尺寸为H’(水平方向)×V’(垂直方向)，其中，H’/V’＝H/V。
因此，通过本申请的方案，将图像传感器200中多个像素单元设置为菱形且呈菱形排列，在该排列方式下，对多个像素单元的像素值进行2合1像素合成，像素合成后得到的图像尺寸比例不变，既能降低图像传感器的计算负荷，在提高图像传感器的信噪比和输出速度的同时，还能兼顾图像的分辨率与尺寸比例，从而提高图像传感器的整体性能和用户体验。
图5是本申请实施例提供的另一种图像传感器200的俯视示意图，图6为该图像传感器200沿A-A’方向的截面示意图。
如图5和图6所示，该图像传感器200还包括：
滤镜阵列220，包括呈菱形排列的多个菱形的滤镜单元，该多个菱形的滤镜单元一一对应的设置于上述多个菱形的像素单元的上方；
该多个菱形的滤镜单元中的一半滤镜单元位于滤镜阵列220中的第二目标行，该第二目标行中每一行的滤镜单元颜色相同，该多个菱形的滤镜单元中的另一半滤镜单元位于滤镜阵列中220的第二目标列，该第二目标列中每一列的滤镜单元颜色相同，该第二目标行为滤镜阵列220中的奇数行或者偶数行，该第二目标列为滤镜阵列220中的奇数列或者偶数列；
具体地，图5所示的俯视图，实际也是本申请实施例提供的一种滤镜阵列220的排列示意图。
在一种可能的实施方式中，如图6所示，滤镜阵列220中多个滤镜单元可以设置于像素阵列210的多个像素单元的上表面；在另一种可能的实施方式中，滤镜阵列220中多个滤镜单元还可以悬空设置于像素阵列210的多个像素单元的上方。
此外，如图6所示，作为示例，滤镜阵列220中每个滤镜单元对应设置于像素阵列210中每个像素单元的正上方，换言之，每个滤镜单元的中心与其对应的像素单元的中心在垂直方向上重合。除该方式之外，滤镜阵列220中每个滤镜单元对应设置于像素阵列210中每个像素单元的斜上方，此时，像素阵列210中的每个像素单元可以接收倾斜方向的光信号，本申请实施例 对滤镜阵列220的具体位置不做限定。
具体地，在本申请实施例中，位于第二目标行上的一半滤镜单元的颜色与位于第二目标列上的另一半滤镜单元的颜色不同。
在一些实施方式中，该滤镜阵列210中包括呈菱形排列的多个滤镜单元组，该滤镜单元组包括四个相邻的滤镜单元，该四个相邻滤镜单元中共顶角相邻的两个滤镜单元颜色相同，共边相邻的两个滤镜单元颜色不同。该目标菱形中，水平方向上共顶角相邻的两个滤镜单元位于第二目标行中，垂直方向上共顶角相邻的两个滤镜单元位于第二目标列中。
可选地，滤镜阵列220中可以包括三种颜色的滤镜单元。
例如，如图5所示，该滤镜单元220包括第一滤镜单元221，第二滤镜单元222以及第三滤镜单元223三种颜色的滤镜单元。
该第一滤镜单元221，第二滤镜单元222以及第三滤镜单元223可以分别为三原色，红、绿、蓝(red green blue，RGB)三种颜色的滤镜单元，也可以分别为三补色，青、品红、黄(cyan magenta yellow，CMY)三种颜色的滤镜单元，还可以为一种原色两种补色，或者一种补色两种原色的颜色的滤镜单元。
在一些实施方式中，第一滤镜单元221为绿色滤镜单元，第二滤镜单元222为红色滤镜单元，第三滤镜单元223为蓝色滤镜单元，此时，图5中的滤镜阵列220为Bayer格式的滤镜阵列。绿色滤镜单元的数量是红色或蓝色滤镜单元的数量的两倍。
在另一些实施方式中，第一滤镜单元221为黄色滤镜单元，第二滤镜单元222为红色滤镜单元，第三滤镜单元223为蓝色滤镜单元，其中，黄色滤镜单元透过的光信号包括绿光分量以及红光分量。
可以理解的是，通过第一滤镜单元221，第二滤镜单元222以及第三滤镜单元223后的三种颜色的光信号叠加起来可以形成白色光，换言之，该三种颜色的光信号波段可以覆盖可见光波段。
本申请实施例对该三种颜色的光信号的波长范围不做具体限定，换言之，本申请实施例对第一滤镜单元221，第二滤镜单元222以及第三滤镜单元223的颜色不做具体限定。
在如图5所示的图像传感器200中，滤镜阵列220共包括16个第一滤镜单元221，8个第二滤镜单元222以及8个第三滤镜单元223，该32个滤 镜单元呈菱形排列为9行9列。
具体地，在图5所示的滤镜阵列220中，第二目标行为偶数行且第二目标列为偶数列，水平方向上，偶数行上每行的多个滤镜单元为同一种颜色，均为第一滤镜单元221，而非目标行，即奇数行上每行的多个滤镜单元不为同一种颜色，具体地，奇数行上每行的多个滤镜单元均包括第二滤镜单元222和第三滤镜单元223两种颜色的滤镜单元。
垂直方向上，偶数列上每列的多个滤镜单元为同一种颜色，其中，第2列和第6列均为第二滤镜单元222，第4列和第8列均为第三滤镜单元223，与此同时，在本申请实施例中，非目标列，即奇数列上每列的多个滤镜单元也为同一种颜色，具体地，奇数列上每列的多个滤镜单元均为第一滤镜单元221。
此外，如图5所示，第二滤镜单元222位于第二目标列中的奇数列，而第三滤镜单元223位于第二目标列中的偶数列。具体地，在4列第二目标列中，第1列和第3列为第二滤镜单元222，第2列和第4列为第三滤镜单元223。
可以理解的是，图5所示的滤镜阵列220可以为多个阵列单元202阵列排列形成，其中，每个阵列单元202为方形，该方形阵列单元的任意一边与水平方向或者垂直方向的夹角均为45°。且每个阵列单元202均包括2个滤镜单元组，共8个滤镜单元，该8个滤镜单元包括三种颜色。具体地，一个阵列单元202中，一个滤镜单元组包括第一滤镜单元221和第二滤镜单元222，另一个滤镜单元组包括第一滤镜单元221和第三滤镜单元223。若阵列单元202中每个滤镜单元均为边长为a的正方形，则水平方向和垂直方向上，相邻两个阵列单元的中心距离均为
Figure PCTCN2020095444-appb-000001
其中，a为正数。
图7示出了另一种图像传感器200的俯视示意图。
如图7所示，在本申请实施例中，第二目标行为偶数行且第二目标列为偶数列，水平方向上，偶数行上每行的多个滤镜单元为同一种颜色，均为第一滤镜单元221，而非目标行，即奇数行上每行的多个滤镜单元不为同一种颜色，具体地，奇数行上每行的多个滤镜单元均包括第二滤镜单元222和第三滤镜单元223两种颜色的滤镜单元。
垂直方向上，偶数列上每列的多个滤镜单元为同一种颜色，其中，第2列和第4列均为第二滤镜单元222，第6列和第8列均为第三滤镜单元223， 与此同时，在本申请实施例中，非目标列，即奇数列上每列的多个滤镜单元均为第一滤镜单元221。
此外，如图7所示，第二滤镜单元222位于第二目标列中的前两列，而第三滤镜单元223位于第二目标列中的后两列。具体地，在4列第二目标列中，第1列和第2列为第二滤镜单元222，第3列和第4列为第三滤镜单元223。
在图5和图7所示的实施方式中，滤镜阵列220中，每行以及每列上滤镜单元的数量相等，其中，第二目标列中的一半目标列为第二滤镜单元222，另一半目标列为第三滤镜单元223，因而，在本申请实施例的滤镜阵列220中，第二滤镜单元222和第三滤镜单元223的数量相等，且第二滤镜单元222和第三滤镜单元223的数量之和等于第一滤镜单元221的数量。
可以理解的是，在滤镜阵列220包括三种不同颜色的滤镜单元的情况下，图5和图7示出了该情况下的两种示意性的示意图，其中，滤镜阵列220的行数和列数本申请实施例不做具体限定，且本申请实施例中的滤镜阵列220包括但不限于是图5和图7中示出的两种排列方式。
可选地，第二滤镜单元222还可以位于图5和图7中第二目标列中的第1列和第4列，第三滤镜单元223还可以位于图5和图7中第二目标列中的第2列和第3列。
可选地，第二滤镜单元222还可以位于图5和图7中第二目标列中的第1列，第三滤镜单元223还可以位于图5和图7中第二目标列中的第2列至第4列。
换言之，在本申请实施例中，仅需满足第二目标列中每列的滤镜单元颜色相同的条件即可，第二滤镜单元222以及第三滤镜单元223具体分别位于第二目标列中的哪几列，且第二滤镜单元222以及第三滤镜单元223的数量关系，本申请实施例对此不做具体限定。
在图5和图7所示的实施例中，第二目标行上每行均为第一滤镜单元221，第二目标列中的一部分列为第二滤镜单元222，另一部分列为第三滤镜单元223。
图8示出了另一种图像传感器200的俯视示意图。在图8所示的滤镜阵列220中，第二目标列上每列均为第一滤镜单元221，第二目标行中的部分行为第二滤镜单元222，部分行为第三滤镜单元223。
图8所示的滤镜阵列220，可以理解为将图5中的滤镜阵列220以其中心为旋转中心，顺时针方向旋转90°得到的滤镜阵列220。
在如图8所示的图像传感器200中，第二目标行为偶数行且第二目标列为偶数列，垂直方向上，偶数列上每列的多个滤镜单元为同一种颜色，均为第一滤镜单元221，而非目标列，即奇数列上每列的多个滤镜单元不为同一种颜色，具体地，奇数列上每列的多个滤镜单元均包括第二滤镜单元222和第三滤镜单元223两种颜色的滤镜单元。
水平方向上，偶数行上每行的多个滤镜单元为同一种颜色，其中，第2列和第6行均为第二滤镜单元222，第4行和第8行均为第三滤镜单元223，与此同时，在本申请实施例中，非目标行，即奇数行上每行的多个滤镜单元也为同一种颜色，具体地，奇数行上每行的多个滤镜单元均为第一滤镜单元221。
此外，如图8所示，第二滤镜单元222位于第二目标行中的奇数行，而第三滤镜单元223位于第二目标行中的偶数行。具体地，在4行第二目标列中，第1行和第3行为第二滤镜单元222，第2行和第4行为第三滤镜单元223。
可以理解的是，在本申请实施例中，滤镜阵列220还可以为图7中的滤镜阵列220以其中心为旋转中心，顺时针方向旋转90°得到的滤镜阵列220。
还可以理解的是，在本申请实施例中，仅需满足第二目标行中每行的滤镜单元颜色相同的条件即可，第二滤镜单元222以及第三滤镜单元223具体分别位于第二目标行中的哪几行，且第二滤镜单元222以及第三滤镜单元223的数量关系，本申请实施例对此也不做具体限定。
为了方便描述，下文中，将第一滤镜单元下方的像素单元称之为第一像素单元，类似的，将第二滤镜单元下方的像素单元称之为第二像素单元，将第三滤镜单元下方的像素单元称之为第三像素单元。
以图5中的图像传感器200为例，说明在滤镜阵列220包括三种颜色的滤镜单元的情况下，像素阵列210中的像素单元进行像素合成的过程。
可选地，对于图5中的图像传感器200，可以对偶数行的像素单元进行水平方向的2×1binning，且对偶数列的像素单元进行垂直方向的2×1binning。
以图5中的第一滤镜单元221为绿色滤镜单元，第二滤镜单元222为红 色滤镜单元，第三滤镜单元223为蓝色滤镜单元为例，图9示出了对图5中图像传感器200中的像素阵列210进行2×1binning的示意图，其中，第一滤镜单元221对应的第一像素单元为绿色像素单元(图中以字母“G”表示)，第二滤镜单元222对应的第二像素单元为红色像素单元(图中以字母“R”表示)，第三滤镜单元223对应的第三像素单元为蓝色像素单元(图中以字母“B”表示)。
如图9中的(a)图所示，水平方向上，对偶数行中每一行的绿色像素单元进行水平方向的2×1binning，例如，在第2行中，第3列和第5列的两个绿色像素单元的绿色像素值G23与G25合并形成新的目标绿色像素值G’12，第7列和第9列的两个绿色像素单元的绿色像素值G27与G29合并形成新的目标绿色像素值G’14。
垂直方向上，对偶数列中每一列的像素单元进行垂直方向上的2×1binning，具体地，对第2列和第6列的红色像素单元，以及第4列和第8列的蓝色滤镜单元进行垂直方向的2×1binning。
例如，在第2列的红色像素单元中，第1行和第3行的两个红色像素单元的红色像素值R12与R32合并形成新的目标红色像素值R’11，第5行和第7行的两个红色像素单元的红色像素值R52与R72合并形成新的目标红色像素值R’31。此外，在第4列的蓝色像素单元中，第3行和第5行的两个蓝色像素单元的蓝色像素值B34与B54合并形成新的目标蓝色像素值B’22，第7行和第9行的两个蓝色像素单元的蓝色像素值B74与B94合并形成新的目标蓝色像素值B’42。
如图9中的(b)图所示，新的多个目标像素值形成的阵列为方形排列的阵列，水平方向或者垂直方向上，相邻的两个目标像素值中，其中一个为位于第一目标列上的相邻两个像素单元经过垂直方向的2×1binning得到的，另一个为位于第一目标行上的相邻两个像素单元经过水平方向的2×1binning得到的。
经过上述2×1binning后，新的多个目标像素值的数量为binning前像素值的数量的一半，即为像素阵列210中像素单元数量的一半，且新的目标像素值形成的图像尺寸在水平方向与垂直方向上均进行等量压缩，例如，若图9中(a)图形成的图像尺寸为H(水平方向)×V(垂直方向)，则经过上述2×1binning后，形成的图像尺寸为H’(水平方向)×V’(垂直方向)， 其中，H’/V’＝H/V。
因此，通过本申请实施例的方案，图像传感器中设置有滤镜阵列，该滤镜阵列中包括多种颜色的滤镜单元，能够实现彩色图像的采集，与此同时，将多个滤镜单元设置为菱形且呈菱形排列，并设计滤镜阵列中不同颜色的滤镜单元的特定排列方式，满足对应的像素单元的水平方向的2×1binning或者垂直方向的2×1binning的需求，在降低图像传感器的计算负荷，提高图像传感器的信噪比和输出速度的同时，兼顾图像的分辨率与尺寸比例，输出彩色图像，从而进一步提高图像传感器的整体性能和用户体验。
上述图5至图9示例性的示出了滤镜阵列220包括三种颜色的滤镜单元的情况下，图像传感器200的相关技术方案。
可选地，滤镜阵列220还可以包括4种颜色的滤镜单元。
图10示出了另一种图像传感器200的俯视图。
如图10所示，在该图像传感器200中，滤镜阵列220包括第一滤镜单元221，第二滤镜单元222，第三滤镜单元223以及第四滤镜单元224四种颜色的滤镜单元。
该第四滤镜单元224可以是与上述第一滤镜单元221，第二滤镜单元222和第三滤镜单元223颜色不同的可见光滤镜单元，例如，其可以是白色滤镜单元或者也可以为灰色滤镜单元，还可以是非可见光滤镜单元，例如近红外滤镜单元。本申请实施例对第四滤镜单元224的颜色不做具体限定。
在如图10所示的实施例中，滤镜阵列220共包括8个第一滤镜单元221，8个第二滤镜单元222，8个第三滤镜单元223以及8个第四滤镜单元224，该32个滤镜单元呈菱形排列为9行9列。
具体地，在图10所示的滤镜阵列220中，第二目标行为偶数行且第二目标列为偶数列，在水平方向上，偶数行上每行的多个滤镜单元为同一种颜色，其中，第2行与第6行为第四滤镜单元224，第4行与第8行为第一滤镜单元221。而非目标行，即奇数行上每行的多个滤镜单元不为同一种颜色，具体地，奇数行上每行的多个滤镜单元均包括第二滤镜单元222和第三滤镜单元223两种颜色的滤镜单元。
在垂直方向上，偶数列上每列的多个滤镜单元为同一种颜色，其中，第2列和第6列均为第二滤镜单元222，第4列和第8列均为第三滤镜单元223，与此同时，在本申请实施例中，非目标列，即奇数列上每列的多个滤镜单元 不为同一种颜色，具体地，奇数列上每列的多个滤镜单元均包括第一滤镜单元221和第四滤镜单元224两种颜色的滤镜单元。
此外，如图10所示，第四滤镜单元224位于第二目标行中的奇数行，而第一滤镜单元221位于第二目标行中的偶数行。具体地，在4列第二目标行中，第1行和第3行为第四滤镜单元224，第2行和第4行为第一滤镜单元221。另外，第二滤镜单元222位于第二目标列中的奇数列，而第三滤镜单元223位于第二目标列中的偶数列。具体地，在4列第二目标列中，第1列和第3列为第二滤镜单元222，第2列和第4列为第三滤镜单元223。
可以理解的是，图10所示的滤镜阵列220可以为多个阵列单元202阵列排列形成，其中，每个阵列单元202为方形，该方形阵列单元的任意一边与水平方向或者垂直方向的夹角均为45°。且每个阵列单元202均包括2个滤镜单元组，共8个滤镜单元，该8个滤镜单元包括四种颜色。具体地，一个滤镜单元组包括第一滤镜单元221和第二滤镜单元222，另一个滤镜单元组包括第三滤镜单元223和第四滤镜单元224。若阵列单元202中每个滤镜单元均为边长为a的正方形，则水平方向和垂直方向上，相邻两个阵列单元的中心距离均为
Figure PCTCN2020095444-appb-000002
其中，a为正数。
图11示出了另一种图像传感器200的俯视示意图。
如图11所示，在本申请实施例中，第二目标行为偶数行且第二目标列为偶数列，在水平方向上，偶数行上每行的多个滤镜单元为同一种颜色，其中，第2行与第4行为第四滤镜单元224，第6行与第8行为第一滤镜单元221。而非目标行，即奇数行上每行的多个滤镜单元不为同一种颜色，具体地，奇数行上每行的多个滤镜单元均包括第二滤镜单元222和第三滤镜单元223两种颜色的滤镜单元。
垂直方向上，偶数列上每列的多个滤镜单元为同一种颜色，其中，第2列和第4列均为第二滤镜单元222，第6列和第8列均为第三滤镜单元223，与此同时，在本申请实施例中，非目标列，即奇数列上每列的多个滤镜单元均包括第一滤镜单元221和第四滤镜单元224两种颜色的滤镜单元。
此外，如图11所示，第四滤镜单元224位于第二目标行中的前两行，而第一滤镜单元221位于第二目标行中的后两行，第二滤镜单元222位于第二目标列中的前两列，而第三滤镜单元223位于第二目标列中的后两列。具体地，在4行第二目标行中，第1行和第2行为第四滤镜单元224，第3行 和第4行为第一滤镜单元223，且在4列第二目标列中，第1列和第2列为第二滤镜单元222，第3列和第4列为第三滤镜单元223。
在图10和图11所示的实施方式中，滤镜阵列220中，每行以及每列上滤镜单元的数量相等，其中，第二目标行中的一半目标行为第一滤镜单元221，另一半目标行为第四滤镜单元224，第二目标列中的一半目标列为第二滤镜单元222，另一半目标列为第三滤镜单元223，因而，在本申请实施例的滤镜阵列220中，第一滤镜单元221和第四滤镜单元224的数量相等，第二滤镜单元222和第三滤镜单元223的数量相等，且第二滤镜单元222和第三滤镜单元223的数量之和等于第一滤镜单元221和第四滤镜单元224的数量之和。
可以理解的是，在滤镜阵列220包括四种不同颜色的滤镜单元的情况下，图10和图11示出了该情况下的两种示意性的示意图，其中，滤镜阵列220的行数和列数本申请实施例不做具体限定，且本申请实施例中的滤镜阵列220包括但不限于是图10和图11中示出的两种排列方式。
可选地，第一滤镜单元222还可以位于图10和图11中第二目标行中的第1行和第4行，第四滤镜单元224还可以位于图10和图11中第二目标行中的第2行和第3行，第二滤镜单元222还可以位于图10和图11中第二目标列中的第1列和第4列，第三滤镜单元223还可以位于图10和图11中第二目标列中的第2列和第3列。
可选地，第一滤镜单元222还可以位于图10和图11中第二目标行中的第1行，第四滤镜单元224还可以位于图10和图11中第二目标行中的第2行至第4行，第二滤镜单元222还可以位于图10和图11中第二目标列中的第1列，第三滤镜单元223还可以位于图10和图11中第二目标列中的第2列至第4列。
换言之，在本申请实施例中，仅需满足第二目标行中每行的滤镜单元颜色相同，且第二目标列中每列的滤镜单元颜色相同的条件即可，第一滤镜单元221以及第四滤镜单元224具体分别位于第二目标行中的哪几行，第二滤镜单元222以及第三滤镜单元223具体分别位于第二目标列中的哪几列，且第一滤镜单元221、第二滤镜单元222、第三滤镜单元223以及第四滤镜单元224的数量关系，本申请实施例对此不做具体限定。
在上述图10和图11所示的实施例中，在滤镜阵列220中，第二目标行 中一部分行为第一滤镜单元221，另一部分行为第四滤镜单元224，第二目标列中的一部分列为第二滤镜单元222，另一部分列为第三滤镜单元223。
可以理解的，在一些实施方式中，在滤镜阵列220中，第二目标列中一部分列为第一滤镜单元221，另一部分列为第四滤镜单元224，第二目标行中的一部分行为第二滤镜单元222，另一部分行为第三滤镜单元223。
即，可以理解为将图10或者图11中的滤镜阵列220以其中心为旋转中心，顺时针方向旋转90°得到的旋转后的滤镜阵列220。
旋转后的技术方案可以参见上文中图10和图11的相关描述，此处不再赘述。
以图10中的图像传感器200为例，说明在滤镜阵列220包括四种颜色的滤镜单元的情况下，像素阵列210中的像素单元进行像素合成的过程。
可选地，对于图10中的图像传感器200，可以对偶数行的像素单元进行水平方向的2×1binning，且对偶数列的像素单元进行垂直方向的2×1binng。
以图10中的第一滤镜单元221为绿色滤镜单元，第二滤镜单元222为红色滤镜单元，第三滤镜单元223为蓝色滤镜单元，第四滤镜单元224为白色滤镜单元为例，图12示出了对图10中的图像传感器200进行2×1binning的示意图，其中，第一滤镜单元221对应的第一像素单元为绿色像素单元(图中以字母“G”表示)，第二滤镜单元222对应的第二像素单元为红色像素单元(图中以字母“R”表示)，第三滤镜单元223对应的第三像素单元为蓝色像素单元(图中以字母“B”表示)，第四滤镜单元224对应的第四像素单元为白色像素单元(图中以字母“W”表示)。
如图12的(a)图所示，水平方向上，对偶数行中每一行像素单元进行水平方向上的2×1binning，具体地，对第2行和第6行的白色滤镜单元，以及第4行和第8行的绿色滤镜单元进行水平方向的2×1binning。
例如，在第2行中，第3列和第5列的两个白色像素单元的白色像素值W23与W25合并形成新的目标白色像素值W’12，第7列和第9列的两个白色像素单元的白色像素值W27与W29合并形成新的目标白色像素值W’14。在第4行中，第1列和第3列的两个绿色像素单元的绿色像素值G41与G43合并形成新的目标绿色像素值G’21，第5列和第7列的两个绿色像素单元的绿色像素值G45与G47合并形成新的目标绿色像素值G’23。
垂直方向上，对偶数列中每一列的像素单元进行垂直方向上的2×1binning，具体地，对第2列和第6列的红色像素单元，以及第4列和第8列的蓝色滤镜单元进行垂直方向的2×1binning。
例如，在第2列的红色像素单元中，第1行和第3行的两个红色像素单元的红色像素值R12与R32合并形成新的目标红色像素值R’11，第5行和第7行的两个红色像素单元的红色像素值R52与R72合并形成新的目标红色像素值R’31。此外，在第4列的蓝色像素单元中，第3行和第5行的两个蓝色像素单元的蓝色像素值B34与B54合并形成新的目标蓝色像素值B’22，第7行和第9行的两个蓝色像素单元的蓝色像素值B74与B94合并形成新的目标蓝色像素值B’42。
如图12中的(b)图所示，新的多个目标像素值形成的阵列为方形排列的阵列，水平方向或者垂直方向上，相邻的两个新的目标像素值中，其中一个为位于第一目标列上的相邻两个像素单元经过垂直方向的2×1binning得到的，另一个为位于第一目标行上的相邻两个像素单元经过水平方向的2×1binning得到的。
经过上述2×1binning后，新的多个目标像素值的数量为binning前像素值的数量的一半，且新的目标像素值形成的图像尺寸在水平方向与垂直方向上均进行等量压缩，例如，若图12中(a)图形成的图像尺寸为H(水平方向)×V(垂直方向)，则经过上述2×1binning后，形成的图像尺寸为H’(水平方向)×V’(垂直方向)，其中，H’/V’＝H/V。
在上述图5至图12中所示的图像传感器200中，滤镜阵列220包括三种或者四种颜色的滤镜单元，且滤镜阵列220形成的菱形阵列中，行数和列数相等，因而经过2×1binning后得到的多个目标像素值排列为正方形阵列，因而处理得到的图像为正方形的图像。
可以理解的是，在本申请实施例中，滤镜阵列220还可以仅包括两种颜色的滤镜单元，例如，图5或图7中的第二目标列，即偶数列仅包括一种颜色的滤镜单元，而奇数列也仅包括一种颜色的滤镜单元；同样的，图5或图7中的第二目标行，即偶数行仅包括一种颜色的滤镜单元，而奇数行也仅包括一种颜色的滤镜单元。通过该两种颜色的滤镜单元后的两种颜色的光信号叠加同样可以形成白色光。
还可以理解的是，滤镜阵列220还可以仅包括四种以上颜色的滤镜单元， 例如，在图10或图11中，第二目标列可以包括三种以上颜色的滤镜单元，或者第二目标行也可以包括三种以上颜色的滤镜单元，本申请实施例对滤镜阵列220中滤镜单元的颜色种类不做具体限定。
除此之外，在本申请实施例中，滤镜阵列220形成的菱形阵列中，行数和列数还可以不相等，经过2×1binning后得到的为长方形的图像。本申请实施例对滤镜阵列220的尺寸也不做具体限定。
另外，上述申请实施例中第一目标行、第一目标列以及第二目标行和第二目标列均以偶数行以及偶数列进行举例说明，在本申请中，第一目标行、第一目标列以及第二目标行和第二目标列也可以为奇数行或者奇数列，其具体相关方案可以参见以上描述，此处不再赘述。
基于上述像素阵列210以及滤镜阵列220，图13示出了另一种图像传感器200的结构示意图。
可选地，如图13所示，在本申请实施例中，图像传感器200还包括：像素合成电路230，该像素合成电路230连接于上述像素阵列210，用于将像素阵列210中一半像素单元进行水平方向的2合1像素合成，并将另一半像素单元进行垂直方向的2合1像素合成。
具体地，该一半像素单元为位于像素阵列210中第一目标行的像素单元，该另一半像素单元为位于像素阵列210中第一目标列的像素单元，其中，第一目标行为奇数行或者偶数行，第一目标列为奇数列或者偶数列。
可选地，该像素合成电路230可以与图1中像素合成电路150的功能相同，其具体为求和电路或者求平均电路。
在一些实施方式中，像素合成电路230用于对像素阵列210中第一目标行上共顶角相邻的两个像素单元的像素值进行求和或者求平均以进行水平方向的2合1像素合成，该像素合成电路230还用于对像素阵列210中第一目标列上共顶角相邻的两个像素单元的像素值进行求和或者求平均以进行垂直方向的2合1像素合成。
具体地，该像素合成电路230对像素阵列210中的像素单元进行像素合成的过程可以参见上述图9以及图12中的相关描述，此处不再赘述。
可选地，该像素合成电路230可以为模拟电路，其接收的像素单元的像素值为模拟信号值，例如，像素值为每个像素单元输出的电压信号值。
如图13所示，该图像传感器200还包括：行选择电路240、列选择电路 250以及控制电路260，该控制电路260连接于行选择电路240以及列选择电路250，像素合成电路230通过列选择电路250连接于像素阵列210。
具体地，行选择电路240通过多条行控制线连接至像素阵列210中每一行像素单元，每一行像素单元中，相邻两个像素单元共顶角连接。其中，该多条行控制线相互平行设置，可选地，该多条行控制线均平行于方形图像传感器芯片的其中一条边，呈水平方向设置。
列选择电路250通过多条列控制线连接至像素阵列210中每一列像素单元，每一列像素单元中，相邻两个像素单元同样共顶角连接。其中，该多条列控制线相互平行设置，且均与上述多条行控制线垂直，可选地，该多条行控制线均平行于方形图像传感器芯片的另一条边，呈垂直方向设置。
在一些实施方式中，该行选择电路240和列选择电路250可以与图1中的行选择电路120和列选择电路130的结构和功能相同，行选择电路240用于开启和关闭每一行像素单元中的每个像素单元，列选择电路250用于选择每一列中每个像素单元的信号值输出，并将每个像素单元的信号值传输给像素合成电路230。
可选地，该控制电路260可以为图像传感器200中的控制单元，例如其具体可以为一个处理器，用于输出控制信号控制行选择电路240以及列选择电路250的运行，从而控制像素阵列210中具体像素单元的像素值输出，因此，通过该控制电路260、行选择电路240以及列选择电路250，可以输出第一目标行以及第一目标列中相邻像素单元的像素值给像素合成电路230，实现像素值的合成。
可选地，如图13所示，该图像传感器200还可以包括模数转换电路270和信号处理电路280。
该模数转换电路270和信号处理电路280的具体功能可以参见图1中模数转换电路160以及信号处理电路170的相关描述，此处不再赘述。
除了上述申请实施例提供的图像传感器200以外，本申请还提供一种电子设备，该电子设备可以包括上述任一种实施例中的图像传感器200。
该电子设备可以为任意具有图像采集功能的电子设备，例如，其具体可以为手机、电脑等移动终端，也可以为相机、摄像机等拍摄设备，还可以为自动取款机(Automated Teller Machine，ATM)等等，本申请对电子设备的应用场景不做限定。
在一些实施方式中，上述信号处理电路280不位于图像传感器200中，而位于图像传感器200所在的电子设备中的处理单元中，例如，若电子设备为手机，则该信号处理电路280可以为手机中处理器中的图像信号处理单元，或者该信号处理电路280也可以为手机中单独的图像信号处理芯片，本申请实施例对信号处理电路280的具体硬件形态不做限定。
应理解，本申请实施例的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例的图像传感器还可以包括存储器，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存 储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (25)

  1. 一种图像传感器，其特征在于，包括：
    像素阵列，包括呈菱形排列的多个菱形的像素单元，所述多个菱形的像素单元中的一半像素单元位于所述像素阵列中的第一目标行，另一半像素单元位于所述像素阵列中的第一目标列，所述第一目标行为所述像素阵列中的奇数行或者偶数行，所述第一目标列为所述像素阵列中的奇数列或者偶数列；
    所述一半像素单元的像素值用于进行水平方向上的2合1像素合成，所述另一半像素单元的像素值用于进行垂直方向上的2合1像素合成，以形成所述图像传感器的多个目标像素值。
  2. 根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括：
    滤镜阵列，包括呈菱形排列的多个菱形的滤镜单元，所述多个菱形的滤镜单元一一对应的设置于所述多个菱形的像素单元的上方；
    所述多个菱形的滤镜单元中的一半滤镜单元位于所述滤镜阵列中的第二目标行，所述第二目标行中每一行的滤镜单元颜色相同，所述多个菱形的滤镜单元中的另一半滤镜单元位于所述滤镜阵列中的第二目标列，所述第二目标列中每一列的滤镜单元颜色相同，所述第二目标行为所述滤镜阵列中的奇数行或者偶数行，所述第二目标列为所述滤镜阵列中的奇数列或者偶数列。
  3. 根据权利要求2所述的图像传感器，其特征在于，所述滤镜阵列包括呈菱形排列的多个滤镜单元组，所述滤镜单元组包括四个相邻的滤镜单元，所述四个相邻的滤镜单元中共顶角相邻的两个滤镜单元颜色相同，共边相邻的两个滤镜单元颜色不同。
  4. 根据权利要求2或3所述的图像传感器，其特征在于，所述滤镜阵列包括三种颜色的滤镜单元，所述三种颜色的滤镜单元分别为第一滤镜单元、第二滤镜单元以及第三滤镜单元。
  5. 根据权利要求4所述的图像传感器，其特征在于，所述第二目标行中的每一行均为第一滤镜单元，所述第二目标列为第二滤镜单元或者为第三滤镜单元；或者，
    所述第二目标列中的每一列均为第一滤镜单元，所述第二目标行为第二 滤镜单元或者为第三滤镜单元。
  6. 根据权利要求5所述的图像传感器，其特征在于，所述第二目标列中的一半列为所述第二滤镜单元，所述第二目标列中的另一半列为所述第三滤镜单元；或者，
    所述第二目标行中的一半行为所述第二滤镜单元，所述第二目标行中的另一半行为所述第三滤镜单元。
  7. 根据权利要求6所述的图像传感器，其特征在于，所述第二目标列中的一半列和另一半列分别为所述第二目标列中的奇数列和偶数列；或者，
    所述第二目标行中的一半行和另一半行分别为所述第二目标行中的奇数行和偶数行。
  8. 根据权利要求6或7所述的图像传感器，其特征在于，所述第二滤镜单元的数量与所述第三滤镜单元的数量相等，所述第二滤镜单元的数量与所述第三滤镜单元的数量之和等于所述第一滤镜单元的数量。
  9. 根据权利要求2或3所述的图像传感器，其特征在于，所述滤镜阵列包括四种颜色的滤镜单元，所述四种颜色的滤镜单元分别为第一滤镜单元、第二滤镜单元、第三滤镜单元以及第四滤镜单元。
  10. 根据权利要求9所述的图像传感器，其特征在于，所述滤镜阵列的目标行为第一滤镜单元或者为第四滤镜单元，所述滤镜阵列的目标列为第二滤镜单元或者为第三滤镜单元；或者，
    所述滤镜阵列的目标列为第一滤镜单元或者第四滤镜单元，所述滤镜阵列的目标行为第二滤镜单元或者为第三滤镜单元。
  11. 根据权利要求10所述的图像传感器，其特征在于，所述第二目标行中的一半行为所述第一滤镜单元，所述第二目标行中的另一半行为所述第四滤镜单元，所述第二目标列中的一半列为所述第二滤镜单元，所述第二目标列中的另一半列为所述第三滤镜单元；或者，
    所述第二目标列中的一半列为所述第一滤镜单元，所述第二目标列中的另一半行为所述第四滤镜单元，所述第二目标行中的一半行为所述第二滤镜单元，所述第二目标行中的另一半行为所述第三滤镜单元。
  12. 根据权利要求11所述的图像传感器，其特征在于，所述第二目标列中的一半列和另一半列分别为所述第二目标列中的奇数列和偶数列；
    所述第二目标行中的一半行和另一半行分别为所述第二目标行中的奇 数行和偶数行。
  13. 根据权利要求11或12所述的图像传感器，其特征在于，所述第一滤镜单元的数量与所述第四滤镜单元的数量相等，所述第二滤镜单元的数量与所述第三滤镜单元的数量相等；
    所述第二滤镜单元的数量与所述第三滤镜单元的数量之和等于所述第一滤镜单元和所述第四滤镜单元的数量之和。
  14. 根据权利要求4至13中任一项所述的图像传感器，其特征在于，所述第一滤镜单元、所述第二滤镜单元以及所述第三滤镜单元用于分别通过三种颜色的光信号，所述三种颜色的光信号波段覆盖可见光波段。
  15. 根据权利要求14所述的图像传感器，其特征在于，所述第一滤镜单元、所述第二滤镜单元以及所述第三滤镜单元的颜色分别为红、绿、蓝、青、品红、黄中的三种颜色。
  16. 根据权利要求15所述的图像传感器，其特征在于，所述第一滤镜单元为绿色滤镜单元、所述第二滤镜单元和所述第三滤镜单元分别为红色滤镜单元和蓝色滤镜单元。
  17. 根据权利要求12至16中任一项所述的图像传感器，其特征在于，所述第四滤镜单元为可见光或者非可见光滤镜单元。
  18. 根据权利要求17所述的图像传感器，其特征在于，所述第四滤镜单元为白色滤镜单元、灰色滤镜单元或者近红外滤镜单元。
  19. 根据权利要求1至18中任一项所述的图像传感器，其特征在于，所述多个目标像素值的数量为所述像素阵列中像素单元的数量的一半，且所述多个目标像素值用于形成呈方形排列的目标像素值阵列；
    所述目标像素值阵列中，水平方向或者垂直方向上相邻的两个目标像素值中，其中一个为经过水平方向的2合1像素合成得到的目标像素值，另一个为经过垂直方向的2合1像素合成得到的目标像素值。
  20. 根据权利要求19所述的图像传感器，其特征在于，所述目标像素值阵列中，水平方向或者垂直方向上相邻的两个目标像素值中，其中一个为对所述像素阵列中所述第一目标行上共顶角相邻的两个像素单元的像素值进行求和或者求平均得到的目标像素值，另一个为对所述像素阵列中所述第一目标列上共顶角相邻的两个像素单元的像素值进行求和或者求平均得到的目标像素值。
  21. 根据权利要求1至20中任一项所述的图像传感器，其特征在于，所述图像传感器还包括：像素合成电路；
    所述像素合成电路连接于所述像素阵列，用于将所述一半像素单元进行水平方向上的2合1像素合成，并将所述另一半像素单元进行垂直方向上的2合1像素合成，以形成所述多个目标像素值。
  22. 根据权利要求21所述的图像传感器，其特征在于，所述图像传感器还包括：行控制电路与列控制电路；
    所述行控制电路用于通过多条行控制线连接于所述像素阵列中的多行像素单元，所述多行像素单元中的每一行像素单元共顶角排列；
    所述列控制电路用于通过多条列控制线连接于所述像素阵列中的多列像素单元，所述多列像素单元中的每一列像素单元共顶角排列；
    所述像素合成电路通过所述列控制电路连接于所述像素阵列。
  23. 根据权利要求21或22所述的图像传感器，其特征在于，所述图像传感器还包括：
    模数转换电路和信号处理电路；
    所述模数转换电路连接于所述像素合成电路，用于将所述像素合成电路输出的所述多个目标像素值转换为多个数字像素值；
    所述信号处理电路用于对所述多个数字像素值进行处理得到彩色图像。
  24. 根据权利要求1至23中任一项所述的图像传感器，其特征在于，所述图像传感器为互补金属氧化物半导体CMOS图像传感器，或者为电荷耦合器件CCD图像传感器。
  25. 一种电子设备，其特征在于，包括：
    如权利要求1至24中任一项所述的图像传感器。
PCT/CN2020/095444 2020-06-10 2020-06-10 图像传感器和电子设备 WO2021248379A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080034789.6A CN114080795A (zh) 2020-06-10 2020-06-10 图像传感器和电子设备
PCT/CN2020/095444 WO2021248379A1 (zh) 2020-06-10 2020-06-10 图像传感器和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/095444 WO2021248379A1 (zh) 2020-06-10 2020-06-10 图像传感器和电子设备

Publications (1)

Publication Number Publication Date
WO2021248379A1 true WO2021248379A1 (zh) 2021-12-16

Family

ID=78846718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/095444 WO2021248379A1 (zh) 2020-06-10 2020-06-10 图像传感器和电子设备

Country Status (2)

Country Link
CN (1) CN114080795A (zh)
WO (1) WO2021248379A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141475A (zh) * 2020-01-17 2021-07-20 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061655B2 (en) * 2001-06-21 2006-06-13 Fuji Photo Film Co., Ltd. Provision of bright and high quality image from CCD image pick-up device
CN101312537A (zh) * 2004-12-27 2008-11-26 索尼株式会社 固态成像装置驱动方法、固态成像装置以及成像设备
CN101854488A (zh) * 2009-03-31 2010-10-06 索尼公司 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
CN101981917A (zh) * 2008-03-31 2011-02-23 松下电器产业株式会社 摄像装置、摄像模块、电子静态照相机以及电子动态照相机
US20130082164A1 (en) * 2011-10-04 2013-04-04 Hack Soo Oh Image sensor and row averaging method for image sensor
CN105516696A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器、成像方法、成像装置和电子装置
CN105578078A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN107154411A (zh) * 2016-03-03 2017-09-12 豪威科技股份有限公司 包含钻石形像素的滤色器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189316A (ja) * 2001-12-19 2003-07-04 Minolta Co Ltd 撮像センサ
CN104597652B (zh) * 2015-01-09 2017-11-07 昆山龙腾光电有限公司 一种新型像素结构及液晶显示器
US10803818B2 (en) * 2018-10-24 2020-10-13 HKC Corporation Limited Pixel architecture, display substrate, and display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061655B2 (en) * 2001-06-21 2006-06-13 Fuji Photo Film Co., Ltd. Provision of bright and high quality image from CCD image pick-up device
CN101312537A (zh) * 2004-12-27 2008-11-26 索尼株式会社 固态成像装置驱动方法、固态成像装置以及成像设备
CN101981917A (zh) * 2008-03-31 2011-02-23 松下电器产业株式会社 摄像装置、摄像模块、电子静态照相机以及电子动态照相机
CN101854488A (zh) * 2009-03-31 2010-10-06 索尼公司 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
US20130082164A1 (en) * 2011-10-04 2013-04-04 Hack Soo Oh Image sensor and row averaging method for image sensor
CN105516696A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器、成像方法、成像装置和电子装置
CN105578078A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN107154411A (zh) * 2016-03-03 2017-09-12 豪威科技股份有限公司 包含钻石形像素的滤色器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141475A (zh) * 2020-01-17 2021-07-20 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法
CN113141475B (zh) * 2020-01-17 2024-02-02 思特威(上海)电子科技股份有限公司 成像系统及像素合并方法

Also Published As

Publication number Publication date
CN114080795A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
USRE48697E1 (en) High resolution thin multi-aperture imaging systems
US10321081B2 (en) Solid-state imaging device
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
CN212752379U (zh) 图像传感器和电子设备
US9363425B2 (en) Color filter arrangements for fused array imaging systems
EP2022258B1 (en) Image sensor with improved light sensitivity
US9001227B2 (en) Combining data from multiple image sensors
US8896668B2 (en) Combining data from multiple image sensors
US20070159542A1 (en) Color filter array with neutral elements and color image formation
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
WO2023098284A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
EP4202822A1 (en) Image processing method, image processing system, electronic device, and readable storage medium
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023109265A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023109264A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN113556519A (zh) 图像处理方法、电子设备和非易失性计算机可读存储介质
WO2021248379A1 (zh) 图像传感器和电子设备
WO2007082289A2 (en) Color filter array with neutral elements and color image formation
WO2023098230A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2022088310A1 (zh) 图像处理方法、摄像头组件及移动终端
KR20210158201A (ko) 이미지 센서를 포함하는 전자 장치 및 이에 대한 제어 방법
US20130038772A1 (en) Image processing apparatus and image processing method
JP2022547221A (ja) 画像キャプチャ方法、カメラアセンブリ及び移動端末
EP4262184A1 (en) Image sensor, camera, electronic device, and control method
WO2022011506A1 (zh) 图像处理的方法和图像处理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20940340

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20940340

Country of ref document: EP

Kind code of ref document: A1