WO2023123110A1 - Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device - Google Patents

Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device Download PDF

Info

Publication number
WO2023123110A1
WO2023123110A1 PCT/CN2021/142656 CN2021142656W WO2023123110A1 WO 2023123110 A1 WO2023123110 A1 WO 2023123110A1 CN 2021142656 W CN2021142656 W CN 2021142656W WO 2023123110 A1 WO2023123110 A1 WO 2023123110A1
Authority
WO
WIPO (PCT)
Prior art keywords
image sensors
lenses
incident
image
camera system
Prior art date
Application number
PCT/CN2021/142656
Other languages
French (fr)
Inventor
Takahiro Okubo
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp., Ltd. filed Critical Guangdong Oppo Mobile Telecommunications Corp., Ltd.
Priority to PCT/CN2021/142656 priority Critical patent/WO2023123110A1/en
Publication of WO2023123110A1 publication Critical patent/WO2023123110A1/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

The camera system is provided to achieve improved color reproducibility, sensitivity and resolution at low cost, and the camera system includes a plurality of lenses, a plurality of image sensors provided for each of the lenses, a combiner which receives image signals from the image sensors and combines the image signals to generate a combined image signal, and an incident optical path selection circuit provided between the lenses and the image sensors, wherein the incident optical path selection circuit separates incident lights, based on a light intensity of the incident lights, and distributes the separated incident lights to each of the image sensors, the image sensors receive the separated incident lights and generate the image signals including their exposure times which are different from each other, and the combined image signal has the exposure times of the image signals.

Description

CAMERA SYSTEM INCLUDING MULTIPLE LENSES AND MULTIPLE IMAGE SENSORS, METHOD FOR CONTROLLING THE SAME, AND ELECTRONIC DEVICE TECHNICAL FIELD
There are various examples related to a camera system including multiple lenses and multiple image sensors to perform multiple exposures, resulting in a wide dynamic range.
BACKGROUND
In recent years, camera systems have been developed and widely used, for example, in mobile phones. Along with progresses in high-speed/large-capacity data communication or high-speed processors, high resolution is increasingly required.
In order to support various shooting situations, such as telescope, wide-angle and selfie, a camera system including a plurality of lenses and image sensors has been proposed.
The conventional wide dynamic range camera (WDR-Camera) suppresses blackouts in low-light areas and whiteouts in high-light areas by synthesizing multiple images taken by changing the exposure time in time divisions to achieve dynamic range shooting.
When α is the exposure ratio adjustment value and D is the image data, it can be calculated by DWDR = α0 × D0 + α1 × D1 +…+ αN × DN.
Various methods have been proposed for image composition, such as composition methods on 1-frame unit basis, 1-line unit basis, and 1-pixel unit basis. However, compared to normal shooting, which does not require image composition, such methods experience more moving subject artifacts and focal plane distortion, and lower resolution. Further, these methods lead to an increase in the cost of image sensors.
As explained above, conventional camera systems cannot provide a wide dynamic range, without moving subject artifacts and focal plane distortion, while suppressing cost.
SUMMARY
The present disclosure has been made in consideration of the above situation, and thus the present disclosure provides a camera system including multiple lenses and image sensors to perform multiple exposures, a method for controlling the same and an electronic device, which results in a wide dynamic range, without artifacts and distortion, at a low cost.
According to one aspect of the present disclosure, there is provided a camera system, comprising:
a plurality of lenses;
a plurality of image sensors provided for each of the lenses;
a combiner which receives image signals from the image sensors and combines the image signals to generate a combined image signal, and
an incident optical path selection circuit provided between the lenses and the image sensors;
wherein the incident optical path selection circuit separates incident lights, based on a light intensity of the incident lights, and distributes the separated incident lights to each of the image sensors,
the image sensors receive the separated incident lights and generate the image signals including their exposure times which are different from each other, and
the combined image signal has the exposure times of the image signals.
According to one aspect of the present disclosure, there is provided a method for controlling an apparatus including a plurality of lenses and a plurality of image sensors provided for each of the lenses, the method comprising:
selecting one of incident lights from one of the plurality of lenses;
transmitting the selected incident light to the plurality of image sensors so that multiple exposures are performed and image signals are generated; and
combining the image signals and generating a combined image signal,
wherein when selecting one of the incident lights, separating each of the incident lights is based on a light intensity of the incident lights,
the image signals have exposure times different from each other, and
the combined image signal has the exposure times of the image signals.
According to one aspect of the present disclosure, there is provided an electronic device comprising:
at least one processor; and
at least one memory including program codes;
the program codes being configured to, as operated by the at least one processor, cause the electronic device to perform the above method.
BRIEF DESCRIPTION OF THE DRAWINGS
These and/or other aspects and advantages of embodiments of the present disclosure will become apparent and more readily appreciated from the following descriptions made with reference to the drawings, in which:
Fig. 1 is an explanatory drawing showing a camera system according to a comparative  example using a frame unit composition method, which produces an edge multiplexing artifact;
Fig. 2 is an explanatory drawing showing a camera system according to a comparative example using a line unit composition method, which produces a focal plane distortion;
Fig. 3 is an explanatory drawing showing a camera system according to a comparative example using a pixel-by-pixel composition method, which produces a resolution deterioration;
Fig. 4A is a block diagram schematically showing an overall arrangement of a camera system according to a first embodiment of the present disclosure;
Fig. 4B is a block diagram schematically showing an overall arrangement of a camera system according to a second embodiment of the present disclosure;
Fig. 5 is an explanatory plan view of a configuration including a plurality of lenses, image sensors, a combiner and an incident optical path selection circuit of the camera system according to the first or second embodiment of the present disclosure;
Figs. 6A, 6B and 6C are explanatory plan views illustrating an operating principle of the camera system according to the first or second embodiment of the present disclosure, specifically a time division shutter;
Fig. 7 is an explanatory plan view illustrating an operating principle of the camera system according to the first or second embodiment of the present disclosure, specifically a shutter control based on a vertical blanking period;
Fig. 8 is an explanatory plan view illustrating an operating principle of the camera system according to the first or second embodiment of the present disclosure, specifically a weighted demultiplexer;
Fig. 9 is an explanatory plan view illustrating an operating principle of the camera system according to the first or second embodiment of the present disclosure, specifically a multiplexer; and
Fig. 10 is an explanatory drawing showing the camera system according to the first or second embodiment of the present disclosure, which does not produce edge multiplexing artifacts, focal plane distortion or resolution deterioration.
DETAILED DESCRIPTION
Embodiments of the present disclosure will be described in detail and examples of the embodiments of the present disclosure will be illustrated in the accompanying drawings. The same or similar elements and elements having same or similar functions are denoted by like reference numerals throughout the descriptions. The embodiments described herein with  reference to the drawings are explanatory, and aim to illustrate the present disclosure, but shall not be construed to limit the present disclosure.
Before explaining a camera system according to an embodiment of the present disclosure, a camera system having a plurality of lenses and image sensors, according to a comparative example, is explained for the sake of understanding the present disclosure.
[Edge multiplexing artifacts in a frame unit composition method]
Fig. 1 illustrates a landscape photograph including a building BL standing in shade, a mountain MT receiving strong sunlight, and a moving automobile AM receiving a certain amount of sunlight, and illustrates a schematic diagram of wide dynamic range image processing by frame composition of a first shooting with a long exposure time T L, a second shooting with a middle exposure time T M and a third shooting with a short exposure time T S.
In a photograph with the long exposure time T L, though the building BL is clearly shown, the mountain MT is not shown due to overexposure, and the automobile AM is shown to a certain extent but not clear.
In a photograph with the middle exposure time T M, the building BL is blacked out due to underexposure, the mountain MT is shown to a certain extent, and the automobile AM is shown clearly.
In a photograph with the short exposure time T S, the building BL is blacked out due to underexposure, the mountain MT is clearly shown, and the automobile AM is blacked out due to underexposure.
In the time-division shooting method, the position of the moving subject, such as the automobile AM, shifts with each shooting. Thus, artifacts such as edge multiplexing occur due to image composition. In combining plural images on a frame-by-frame basis, the artifacts are made conspicuous because the shutter interval between each image is long.
Since the imaging position shifts between the images due to the movement of the moving subject, if simply combined, it will show an artifact that looks like multiple cars.
Although it is possible to correct artifacts by signal processing, it is difficult to completely remove them, and the cost of arithmetic processing is high.
[Focal plane distortions in a line unit composition method]
In the frame-by-frame composition described above, multiplex artifacts of moving subjects appear clearly.
In order to suppress the occurrence of multiplex artifacts, a method of continuously shooting the same line by changing the exposure time has been created, as illustrated in Fig. 2. Fig. 2 shows a photograph with a middle exposure time T M, the building BL is blacked out due  to underexposure, the mountain MT is shown to a certain extent, and the automobile AM is shown clearly.
Since the shutter interval is shortened from the one frame of the above method to the one line of this method, the positional deviation of the moving subject is reduced and the edge multiplexing becomes inconspicuous.
The drawback is that, since the shutter start of the next imaging line is delayed, the focal plane distortion characteristic to the CMOS image sensor increases. As shown in Fig. 2, in this method of shooting with a wide dynamic range camera, the total exposure time T wdr, including a long exposure time T L, a middle exposure time T M and a short exposure time T S on the line N, is longer than the exposure time T nrm on the same line N in a normal camera.
As shown in Fig. 2, images are combined on a line-by-line basis. Images are sequentially captured, by using the raster scan method, from the upper part to the lower part of the image sensors.
Since the shutter start time of the lower line is delayed compared to the line at the upper part of the image, the imaging position at the lower part of the car is deviated in the traveling direction and the shape is distorted.
As with edge multiplexing artifacts, signal processing does not completely correct the distortions, and computational processing costs are high.
[Resolution deterioration in a pixel-by-pixel composition method]
Since the occurrence of artifacts is caused by the difference in imaging time, it can be suppressed by adjusting the exposure time on a pixel-by-pixel basis.
An image sensor equipped with a color filter of Bayer arrangement (shown in Fig. 3) has the RGB color unit (2 × 2 pixels) , and the strength of an ND filter is adjusted for each pixel.
More specifically, one green unit having 2 x 2 pixels includes two pixels with long exposure time T L, one pixel with middle exposure time T M and one pixel with short exposure time T S. Similar to this, one blue unit having 2 x 2 pixels includes two pixels with long exposure time T L, one pixel with middle exposure time T M and one pixel with short exposure time T S. Further, one red unit having 2 x 2 pixels includes two pixels with long exposure time T L, one pixel with middle exposure time T M and one pixel with short exposure time T S.
By combining signals generated from two green pixels with long exposure time T L, one green pixel with middle exposure time T M and one green pixel with short exposure time T S, a green signal is generated as one pixel. Similar to this, by combining signals generated from two blue pixels with long exposure time T L, one blue pixel with middle exposure time T M and one blue pixel with short exposure time T S, a blue signal is generated as one pixel. Further, by  combining signals generated from two red pixels with long exposure time T L, one red pixel with middle exposure time T M and one red pixel with short exposure time T S, a red signal is generated as one pixel.
By combining signals on a 2x2 unit basis, a wide dynamic range image can be realized with light arithmetic processing.
On the other hand, since the resolution of a wide dynamic range Bayer arrangement is reduced to 25%by combining images on a pixel-by-pixel basis, compared with a normal Bayer arrangement, it is necessary to use a high-resolution image sensor having a large number of pixels.
This type of an image sensor requires fine pixels, a special color filter, and an internal arithmetic circuit, which generally increases the cost of the parts.
The camera system according to the following embodiment of the present disclosure, which results in a wide dynamic range without artifacts at low cost, will be described hereinafter.
Referring to Fig. 4A, a camera system 1A according to a first embodiment of the present disclosure comprises a camera module 10 including an optical system 1, an imaging device 2, an image sensor driver 3, a processor 20, a memory 30, and a display unit 40. Images captured by the camera system 1A may be still images and/or moving images.
The optical system 1 includes a plurality of sets of lenses, preferably a plurality of lens groups having a plurality of optical lenses, shutters, demultiplexers, multiplexers, diaphragm adjustment mechanisms, zoom mechanisms, and auto focusing mechanisms.
The imaging device 2 includes three RGB image sensors, one for each of the three colors, such as a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) image sensor, having a plurality of photoelectric conversion elements arrayed along a horizontal direction and along a vertical direction, and a color filter arranged on the image sensor. The imaging device 2, driven by the image sensor driver 3, receives light from the optical system 1 and outputs color signals.
The processor 20 receives the color signals from the imaging device 2 and controls the optical path selection circuit 50 described later in detail.
The memory 30 receives and outputs data, from/to the camera module 10, the processor 20, and the display unit 40.
The display unit 40 receives data from the processor 20, and displays an image acquired by the camera module 10 and processed by the processor 20.
The camera system shown in Fig. 4A comprises one processor 20, the processor 20 performing not only image processing but also system management processing.
The camera system shown in Fig. 4B comprises an image signal processor 21 and a main processor 22. The image signal processor 21 performs image processing, and the main processor 22 performs mostly system management processing and may perform some image processing.
The camera system according to the first or second embodiment of the present disclosure comprises a plurality of lenses, such as an outer telescope lens 11A, an outer wide-angle lens 11B and an inner selfie lens 11C, an incident optical path selection circuit 50, a plurality of  image sensors  15A, 15B and 15C including RGB color filters of a Bayer arrangement to generate  image signals  16A, 16B and 16C, and a combiner 17 which receives the image signals 16A, 16B and 16C, and combines them to generate a combined image signal 18, as shown in Fig. 5.
Lenses are not limited to the above-mentioned telescope lens, wide-angle lens and selfie lens. The camera system may include a zoom lens (a standard zoom lens, a wide angle zoom lens or a telescope zoom lens) , and/or a macro lens.
An exposure time of the  image sensors  15A, 15B and 15C can be changed independently by the processor 20 or the main processor 22 to obtain an appropriate exposure time, as needed.
As described hereinafter, the camera system may further include an image sensor with a near-infrared transmission filter so as to realize multi-spectral shooting, and/or with a white (transparent) filter.
The incident optical path selection circuit 50 includes a plurality of  shutters  12A, 12B, and 12C, a plurality of  demultiplexers  13A, 13B, and 13C, and a plurality of  multiplexers  14A, 14B, and 14C.
Each of the  shutters  12A, 12B, and 12C is provided behind the  lenses  11A, 11B, and 11C, respectively, and has a function of transmitting or blocking an incident light from each of the  lenses  11A, 11B, and 11C. The  shutters  12A, 12B, and 12C may be, for example, mechanical shutters, LCD shutters, MEMS shutters, etc.
The opening and closing of the  shutters  12A, 12B, and 12C are performed by time-division and exclusive control.
As illustrated in Figs. 6A, 6B, and 6C, only one of the  shutters  12A, 12B, and 12C is transparent, and the others are light shielded in each exposure period.
As shown in Fig. 7, an opening and closing timing of the  shutters  12A, 12B, and 12C are synchronized with an exposure stop period, that is, a vertical blanking period, of the  image sensors  15A, 15B, and 15C.
Each of the demultiplexers 13A, 13B, and 13C is provided behind the  shutters  12A, 12B, and 12C, respectively, and has a function of separating the incident light from the lenses 8A, 8B, and 8C, respectively.
The  demultiplexers  13A, 13B, and 13C are composed by combining, for example, transparent mirrors and reflective mirrors.
There is a type of a demultiplexer which weights a light intensity of its output light using weight parameters, such as x, y and z, and separates the light into output lights of In * [x/ (x+y+z) ] , In * [y/ (x+y+z) ] and In * [z/ (x+y+z) ] , as shown in Fig. 8.
According to the type of demultiplexer weighting an intensity of its output light, it is possible to realize high dynamic range (HDR) . According to the type of demultiplexer controlling its refractive index, it is possible to achieve a camera system including three RGB image sensors, which is widely used in broadcasting, at low cost.
Each of the multiplexers 14A, 14B, and 14C is provided between the  demultiplexers  13A, 13B, and 13C and the  image sensors  15A, 15B, and 15C, respectively, and has a function of receiving the incident lights of the above plurality of incident optical paths.
The  multiplexers  14A, 14B, and 14C may be composed of, for example, reflective mirrors. The outputs of the multiplexers 14A, 14B, and 14C are directly connected to the  image sensors  15A, 15B, and 15C. In combination with the opening and closing functions of the  shutters  12A, 12B, and 12C, the  multiplexers  14A, 14B, and 14C function as optical selectors as shown in Fig. 9.
For example, as shown in Fig. 5, when the shutter 12A is open and the  other shutters  12B and 12C are closed, the incident light passing through the lens 11A enters into the demultiplexer 13A.
The demultiplexer 13A separates the incident light into three separate incident lights having light intensities different from each other, and distributes them to the  corresponding multiplexers  14A, 14B, and 14C, respectively.
Each of the multiplexers 14A, 14B, and 14C receives and transmits each incident light to the  image sensors  15A, 15B, and 15C to generate the image signals 16A, 16B, and 16C.
The image signals 16A, 16B, and 16C are generated on light intensities different from each other, namely, on exposure time different from each other.
The combiner 17 receives the image signals 16A, 16B, and 16C, combines them and generates the combined image signal 18 generated on different exposure times, having wide dynamic range.
Similar to this, when only the shutter 12B is open, the incident light passing through the lens 11B enters the demultiplexer 13B.
The demultiplexer 13B separates the incident light into three separate incident lights having light intensities different from each other, and distributes them to the  corresponding multiplexers  14A, 14B, and 14C, respectively.
Each of the multiplexers 14A, 14B, and 14C receives and transmits each incident light to the  image sensors  15A, 15B, and 15C to generate the image signals 16A, 16B, and 16C generated on exposure times different from each other.
The combiner 17 receives the image signals 16A, 16B, and 16C, combines them and generates the combined image signal 18 generated on the different exposure times, having wide dynamic range.
Further, when only the shutter 12C is open, the incident light passing through the lens 11C enters the demultiplexer 13C.
The demultiplexer 13C separates the incident light into three separate incident lights having light intensities different from each other, and distributes them to the  corresponding multiplexers  14A, 14B, and 14C, respectively.
Each of the multiplexers 14A, 14B, and 14C receives and transmits each incident light to the  image sensors  15A, 15B, and 15C to generate the image signals 16A, 16B, and 16C generated on exposure times different from each other.
The combiner 17 receives the image signals 16A, 16B, and 16C, combines them and generates the combined image signal 18 generated on the different exposure times, having wide dynamic range.
According to the camera system of the first or second embodiment of the present disclosure, a high-quality wide dynamic range (WDR) imaging camera with multi-lens and multiple exposure times, which enables sharing plural image sensors among plural lenses, separates incident light by means of weighting intensity, and enables simultaneous imaging with the multiple color image sensors, is provided.
As it is possible to acquire images at the same time with different exposure times, the high-definition camera system provided does not have artifacts due to moving subject deviation. The exposure amount is optically separated, and plural images are taken at the same time. Thus, it is possible to realize a wide dynamic range camera without artifacts, at low cost. Namely, the amount of light is separated by optically weighting based on a light intensity, images are taken at the same time by plural image sensors with color filters of a Bayer arrangement, and plural images are combined to create a wide dynamic range image.
Fig. 10 illustrates a landscape photograph including a building BL standing in the shade, a mountain MT receiving strong sunlight, and a moving automobile which receives sunlight to a certain extent, similar to Fig. 1 to Fig. 3.
The  demultiplexers  13A, 13B, and 13C receive incident light from the  lenses  11A, 11B, and 11C and distribute a light having strong intensity for a long exposure time T L, a light having middle intensity for a middle exposure time T M, and a light having low intensity for a short exposure time T S to the  corresponding image sensors  15A, 15B, and 15C.
In a photograph with a long exposure time T L, the building BL is clearly shown, the mountain MT is not shown due to overexposure, and the automobile AM is shown to a certain extent but not clear.
In a photograph with a middle exposure time T M, the building BL is blacked out due to underexposure, the mountain MT is shown to a certain extent, and the automobile AM is shown clearly.
In a photograph with a short exposure time T S, the building BL is blacked out due to underexposure, the mountain MT is clearly shown, and the automobile AM is blacked out due to underexposure.
By combining these three images, as shown in Fig. 10, a wide dynamic range composition having no blackouts and/or whiteouts, without reduced resolution or moving subject artifacts, is achieved.
On the other hand, since the amount of light emitted to each image sensor is reduced by separating the incident light, it may be possible to lengthen the shutter opening time, compared to normal shooting.
As a result, the moving subject appears blurred, but it looks natural as an image, so it is less likely to be a problem.
As described above, according to the camera system of the first or second embodiment of the present disclosure, it is possible to obtain a high-quality wide dynamic range camera having a plurality of lenses and image sensors, at low cost. Further, it is possible to obtain an appropriate exposure time for each of the  image sensors  15A, 15B, and 15C by having the processor 20 or the main processor 22 control each exposure time, as described above.
In the description of embodiments of the present disclosure, it is to be understood that terms such as "central" , "longitudinal" , "transverse" , "length" , "width" , "thickness" , "upper" , "lower" , "front" , "rear" , "left" , "right" , "vertical" , "horizontal" , "top" , "bottom" , "inner" , "outer" , "clockwise" and "counterclockwise" should be construed to refer to the orientation or the position as described or as shown in the drawings under discussion. These relative terms are  only used to simplify the description of the present disclosure, and do not indicate or imply that the device or element referred to must have a particular orientation or constructed or operated in a particular orientation. Thus, these terms cannot be construed to limit the present disclosure.
In addition, terms such as "first" and "second" are used herein for purposes of description and are not intended to indicate or imply relative importance or significance or to imply the number of indicated technical features. Thus, the feature defined with "first" and "second" may comprise one or more of this feature. In the description of the present disclosure, "a plurality of" means two or greater than two, unless specified otherwise.
In the description of embodiments of the present disclosure, unless specified or limited otherwise, the terms "mounted" , "connected" , "coupled" and the like are used broadly, and may be, for example, fixed connections, detachable connections, or integral connections; may also be mechanical or electrical connections; may also be direct connections or indirect connections via intervening structures; may also be inner communications of two elements, which can be understood by those skilled in the art according to specific situations.
In the embodiments of the present disclosure, unless specified or limited otherwise, a structure in which a first feature is "on" or "below" a second feature may include an embodiment in which the first feature is in direct contact with the second feature, and may also include an embodiment in which the first feature and the second feature are not in direct contact with each other, but are contacted via an additional feature formed therebetween. Furthermore, a first feature "on" , "above" or "on top of" a second feature may include an embodiment in which the first feature is right or obliquely "on" , "above" or "on top of" the second feature, or just means that the first feature is at a height higher than that of the second feature; while a first feature "below" , "under" or "on bottom of" a second feature may include an embodiment in which the first feature is right or obliquely "below" , "under" or "on bottom of" the second feature, or just means that the first feature is at a height lower than that of the second feature.
Various embodiments and examples are provided in the above description to implement different structures of the present disclosure. In order to simplify the present disclosure, certain elements and settings are described in the above. However, these elements and settings are only by way of example and are not intended to limit the present disclosure. In addition, reference numbers and/or reference letters may be repeated in different examples in the present disclosure. This repetition is for the purpose of simplification and clarity and does not refer to relations between different embodiments and/or settings. Furthermore, examples of different processes and materials are provided in the present disclosure. However, it would be appreciated by those skilled in the art that other processes and/or materials may be also applied.
Reference throughout this specification to "an embodiment" , "some embodiments" , "an exemplary embodiment" , "an example" , "a specific example" or "some examples" means that a particular feature, structure, material, or characteristic described in connection with the embodiment or example is included in at least one embodiment or example of the present disclosure. Thus, the appearances of the above phrases throughout this specification are not necessarily referring to the same embodiment or example of the present disclosure. Furthermore, the particular features, structures, materials, or characteristics may be combined in any suitable manner in one or more embodiments or examples.

Claims (14)

  1. A camera system, comprising:
    a plurality of lenses;
    a plurality of image sensors provided for each of the lenses;
    a combiner which receives image signals from the image sensors and combines the image signals to generate a combined image signal, and
    an incident optical path selection circuit provided between the lenses and the image sensors;
    wherein the incident optical path selection circuit separates incident lights, based on a light intensity of the incident lights, and distributes the separated incident lights to each of the image sensors,
    the image sensors receive the separated incident lights and generate the image signals including their exposure times which are different from each other, and
    the combined image signal has the exposure times of the image signals.
  2. The camera system according to claim 1, wherein the incident optical path selection circuit selects one of the incident lights from one of the lenses and transmits the selected incident light, having a light intensity different from that of other selected incident lights, to the plurality of image sensors so that a plurality of exposures having exposure times different from each other are performed.
  3. The camera system according to claim 1 or 2, wherein the image sensors include color filters with a Bayer arrangement.
  4. The camera system according to any one of claims 1 to 3, wherein the plurality of lenses include at least one type of a telescope lens, a wide-angle lens and a selfie lens.
  5. The camera system according to any one of claims 1 to 4, wherein
    the incident optical path selection circuit includes a plurality of shutters, one shutter being provided for each of the lenses, each of the shutters opening and closing for each of the lenses, with one of the shutters opening and the other shutters closing during a certain exposure period,
    a plurality of demultiplexers provided for each of the shutters, each of the demultiplexers separating an incident light from a corresponding lens, and
    a plurality of multiplexers provided for each of the demultiplexers, with each of the multiplexers receiving the incident lights from the demultiplexers to transmit the incident lights to each of the image sensors.
  6. The camera system according to claim 5, wherein each of the shutters opens and closes during an exposure period in accordance with a time division for each lens.
  7. The camera system according to claim 5 or 6, wherein each of the shutters opens and closes in synchronization with a timing of a vertical blanking period of the image sensors.
  8. The camera system according to any one of claims 1 to 7, wherein the camera system further comprises a processor, and the processor changes an exposure time of each of the image sensors.
  9. A method for controlling an apparatus including a plurality of lenses and a plurality of image sensors provided for each of the lenses, the method comprising:
    selecting one of incident lights from one of the plurality of lenses;
    transmitting the selected incident light to the plurality of image sensors so that multiple exposures are performed and image signals are generated; and
    combining the image signals and generating a combined image signal,
    wherein when selecting one of the incident lights, separating each of the incident lights is based on a light intensity of the incident lights,
    the image signals have exposure times different from each other, and
    the combined image signal has the exposure times of the image signals.
  10. The method according to claim 9, wherein,
    when transmitting the selected incident light, the selected incident light having light intensities different from each other is transmitted to the plurality of image sensors so that a plurality of exposures having exposure times different from each other are performed.
  11. The method according to claim 9 or 10, wherein,
    when selecting one of the incident lights, one of the incident lights is selected in each exposure period in accordance with a time division for each lens.
  12. The method according to any one of claims 9 to 11, wherein,
    when selecting one of incident lights, one of the incident lights is selected in synchronization with a timing of a vertical blanking period of the image sensors.
  13. The method according to any one of claims 9 to 12, wherein the method further comprises,
    changing an exposure time of each of the image sensors.
  14. An electronic device comprising:
    at least one processor; and
    at least one memory including program codes;
    the program codes being configured to, as operated by the at least one processor, cause the electronic device to perform the method according to any one of claims 9 to 13.
PCT/CN2021/142656 2021-12-29 2021-12-29 Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device WO2023123110A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/142656 WO2023123110A1 (en) 2021-12-29 2021-12-29 Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/142656 WO2023123110A1 (en) 2021-12-29 2021-12-29 Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device

Publications (1)

Publication Number Publication Date
WO2023123110A1 true WO2023123110A1 (en) 2023-07-06

Family

ID=86996917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/142656 WO2023123110A1 (en) 2021-12-29 2021-12-29 Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device

Country Status (1)

Country Link
WO (1) WO2023123110A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101816171A (en) * 2007-10-03 2010-08-25 诺基亚公司 Multi-exposure pattern for enhancing dynamic range of images
US20180041721A1 (en) * 2016-08-03 2018-02-08 Waymo Llc Beam Split Extended Dynamic Range Image Capture System
CN109104584A (en) * 2017-06-21 2018-12-28 比亚迪股份有限公司 The acquisition methods of imaging sensor and its high dynamic range images
CN113132597A (en) * 2021-04-01 2021-07-16 Oppo广东移动通信有限公司 Image acquisition system and terminal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101816171A (en) * 2007-10-03 2010-08-25 诺基亚公司 Multi-exposure pattern for enhancing dynamic range of images
US20180041721A1 (en) * 2016-08-03 2018-02-08 Waymo Llc Beam Split Extended Dynamic Range Image Capture System
CN109104584A (en) * 2017-06-21 2018-12-28 比亚迪股份有限公司 The acquisition methods of imaging sensor and its high dynamic range images
CN113132597A (en) * 2021-04-01 2021-07-16 Oppo广东移动通信有限公司 Image acquisition system and terminal

Similar Documents

Publication Publication Date Title
JP4311988B2 (en) Color filter for solid-state image sensor and color image pickup apparatus using the same
US8300111B2 (en) Highlight suppression image pickup apparatus
EP2190019B1 (en) Image pickup apparatus
JP3666900B2 (en) Imaging apparatus and imaging method
CN102292974B (en) Image capturing apparatus
CN104662887B (en) Image processing equipment, image processing method and the picture pick-up device with the image processing equipment
JP6319340B2 (en) Movie imaging device
JP2002171430A (en) Compound eye imaging system, imaging device and electronic apparatus
JP4983271B2 (en) Imaging device
US8441539B2 (en) Imaging apparatus
WO2017199557A1 (en) Imaging device, imaging method, program and non-transitory recording medium
JP2013223152A (en) Image pickup device
CN113132597B (en) Image acquisition system and terminal
WO2023123110A1 (en) Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device
JP2003179819A (en) Image pickup device
JP2001078213A (en) Image pickup device
WO2022213316A1 (en) Camera system including multiple lenses and multiple image sensors, and method for controlling the same
CN114666469B (en) Image processing device, method and lens module with image processing device
JP4530149B2 (en) High dynamic range camera system
JP5747510B2 (en) Imaging device
JP2010161739A (en) Compound-eye imaging apparatus, and imaging control method
WO2023123095A1 (en) Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic deivice
JP2012244533A (en) Imaging apparatus and image signal processing method
WO2022257084A1 (en) Imaging apparatus, imaging system and method for enhancing expected color, and medium storing software for implementing the method
US11122196B2 (en) Image processing apparatus