WO2020174978A1 - 撮像装置、撮像装置の画像データ処理方法、及びプログラム - Google Patents

撮像装置、撮像装置の画像データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2020174978A1
WO2020174978A1 PCT/JP2020/002929 JP2020002929W WO2020174978A1 WO 2020174978 A1 WO2020174978 A1 WO 2020174978A1 JP 2020002929 W JP2020002929 W JP 2020002929W WO 2020174978 A1 WO2020174978 A1 WO 2020174978A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image pickup
image
image sensor
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/002929
Other languages
English (en)
French (fr)
Inventor
長谷川　亮
智行 河合
小林　誠
仁史 桜武
一文 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021501768A priority Critical patent/JPWO2020174978A1/ja
Priority to CN202080016515.4A priority patent/CN113475054A/zh
Publication of WO2020174978A1 publication Critical patent/WO2020174978A1/ja
Priority to US17/400,132 priority patent/US11711595B2/en
Anticipated expiration legal-status Critical
Priority to US18/329,444 priority patent/US12273607B2/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • Imaging device image data processing method of imaging device, and program
  • the technology of the present disclosure relates to an imaging device, an image data processing method for the imaging device, and a program.
  • CMOS Complementary Metal Oxide Semiconductor
  • CMOS image sensor when a plurality of images obtained by picking up an image of an object with a uniform exposure period by a plurality of CMOS image sensors are combined, a single CMOS image sensor performs time-division imaging. Distortion in the combined image is less than that in the case where multiple images obtained by combining are combined.
  • CMOS image sensors are connected to a signal processing unit, and in the signal processing unit, signal processing is performed on an image obtained by each of the plurality of CMOS image sensors. Done.
  • the signal processing unit is located after the CMOS image sensor.
  • the following first to third connection methods are known as methods for connecting a plurality of CMOS image sensors to the signal processing unit.
  • FIG. 36 shows a CM O S image sensor 1 000 A, a CMOS image sensor 1 000 B, and an LSI (Larg eScale Integration) 1002.
  • LS ⁇ 1002 is a signal located after CMOS image sensor 1 000 A and CM ⁇ S image sensor 1 000 B. ⁇ 2020/174978 2 ⁇ (: 170? 2020 /002929)
  • 1_3 ⁇ 1 002 is connected to ⁇ 1 ⁇ /1 ⁇ 3 Image sensor 1 000 8 and ⁇ 1 ⁇ /1 ⁇ 3 Image sensor 1 000 M by the first connection method. ..
  • ! _3 ⁇ 1 002 ⁇ 1 ⁇ /1 ⁇ 3 Image sensor 1 000 8 is directly connected by communication line !_ 1 ⁇ 11 and ⁇ IV! ⁇ 3 image sensor 1 ⁇ ⁇ ⁇ is communication line Directly connected with 2.
  • ! _ 3 ⁇ Unit 1004 is a signal processing unit located at the post stage of ⁇ 1 ⁇ /1 ⁇ 3 image sensor 1 000 8 and ⁇ 1 ⁇ /1 ⁇ 3 image sensor 1 000 ⁇ .
  • ! _ 3 Unit 100 4 is! _ 3 ⁇ 100 4 and 8 _ 3 1 1 004.
  • 1-3 1 unit 1004 is connected with 0 1 ⁇ /1 0 3 image sensors 18,000 and 1,000,000 by the second connection method.
  • ! _3 I 1004 ⁇ 1 ⁇ /1 ⁇ 3 Image sensor 1 ⁇ ⁇ ⁇ 08 is directly connected by the communication line !_ 3 and 1 _3 ⁇ 100 4 ⁇ 3 Image sensor 100 00 is directly connected by communication line !_ 4.
  • the _ 3 I unit 1006 is a signal processing unit located after the 0 1 ⁇ /1 0 3 image sensor 10000 8 and the 1 ⁇ /1 03 image sensor 10000.
  • the _ 3 ⁇ unit 1006 is equipped with 1_3 1 1 006 and !_ 3 I 1 0006.
  • _ 3 1 1 006 eight,! _3 1 1 0006 Mi, ⁇ 1 ⁇ /1 ⁇ 3 Image sensor 1 000 8,000, and ⁇ 1 ⁇ /1 ⁇ 3 Image sensor 1 000 Mi are connected by the third connection method.
  • One embodiment according to the technology of the present disclosure is that, compared to a case where a plurality of interfaces corresponding to a plurality of image sensors are provided in the signal processor when the plurality of image sensors are connected to the signal processor.
  • an image pickup device capable of suppressing the number of wires required to connect a plurality of image pickup elements to a signal processing unit, an image data processing method for the image pickup device, and a program.
  • a first aspect according to the technology of the present disclosure includes a plurality of image pickup elements, at least one signal processing unit, and a transmission path, and each of the plurality of image pickup elements is capable of capturing an image of a subject. It has a storage unit that stores the obtained image data, outputs output image data based on the image data stored in the storage unit, and has an output unit that is built in the image pickup device.
  • the transmission line connects a plurality of image pickup devices and a single signal processing unit in series, and the output unit of each of the plurality of image pickup devices outputs the output image data via the transmission line to the image pickup device at the subsequent stage or It is an imaging device that outputs to the signal processing unit.
  • a second aspect according to the technique of the present disclosure is output image data output by an output unit of a front-stage image sensor that is a front-stage image sensor of adjacent image sensors included in a plurality of image sensors.
  • an image pickup apparatus according to the first aspect, which is stored in a storage unit of a subsequent-stage image pickup device which is a subsequent-stage image pickup device among adjacent image pickup devices and then output by an output unit of the subsequent-stage image pickup device.
  • This allows the post-stage image sensor to output the output image data received from the front-stage image sensor at an appropriate output timing, as compared with the case where the output image data is output without being stored in the storage section of the post-stage image sensor.
  • output image data is sequentially passed from an image pickup element on the far side to an image pickup element on the near side of the signal processing unit, Output image passed to the final image sensor of the image sensors ⁇ 2020/174978 4 ⁇ (: 170? 2020 /002929
  • the data is the image pickup apparatus according to the second aspect, which is output to the signal processing unit by the output unit of the image pickup element at the final stage.
  • a fourth aspect according to the technique of the present disclosure is that the signal processing unit captures each of the output image data output by the output unit of each of the plurality of image pickup devices in a time division manner. It is a device. As a result, even if not all image pickup devices are directly connected to the signal processing unit, the image data obtained by being picked up by each image pickup device can be received by the signal processing unit with the minimum number of wires. You can
  • a fifth aspect according to the technique of the present disclosure is that the signal processing unit includes a plurality of imaging devices, in which the imaging device of the plurality of imaging devices is arranged in the order of the imaging device on the side closer to the signal processing unit to the imaging device on the far side.
  • the imaging device according to a fourth aspect which receives each of the output image data output by each output unit in a time division manner.
  • a sixth aspect according to the technique of the present disclosure is that the post-stage image data obtained as image data by being imaged by the post-stage image sensor is stored in a storage unit of the post-stage image sensor,
  • the output unit of the post-stage image sensor further includes a synthesizer unit that synthesizes the pre-stage image data output to the post-stage image sensor by the output unit of the pre-stage image sensor and the post-stage image data stored in the storage unit.
  • the image capturing apparatus which outputs, as output image data, composite image data obtained by combining the former image data and the latter image data by the composition unit. This eliminates the need for the signal processing unit to combine the pre-stage image data and the post-stage image data.
  • a seventh aspect according to the technique of the present disclosure is that an image is captured by a subsequent-stage image sensor. ⁇ 2020/174978 5 ⁇ (: 170? 2020 /002929
  • the post-stage image data obtained as image data is stored in the storage section of the post-stage image sensor, and the post-stage image sensor stores the pre-stage image data output to the post-stage image sensor as output image data by the output section of the pre-stage image sensor.
  • the output unit of the second-stage image sensor further includes a connection unit that connects the second-stage image data stored in the second unit, and the output unit of the second-stage image sensor obtains a combined image obtained by connecting the first-stage image data and the second-stage image data by the connection unit. It is an imaging device according to a second aspect, which outputs data as output image data. This eliminates the need for the signal processing unit to connect the pre-stage image data and the post-stage image data.
  • An eighth aspect according to the technique of the present disclosure is that the exposure time of the latter-stage imaging element is longer than the exposure time of the former-stage imaging element, and the imaging according to one of the second to seventh aspects. It is a device. As a result, it is possible to obtain image data with a larger dynamic range than single image data obtained by the image pickup by the subsequent image pickup device or single image data obtained by the image pickup by the previous image pickup device. You can
  • a ninth aspect according to the technology of the present disclosure is that the signal processing unit is arranged in any one of the first to eighth aspects, which is located in a subsequent stage of the plurality of image pickup elements in the transmission path. It is such an imaging device. As a result, the signal processing unit can receive all the image data obtained by being imaged by the plurality of image pickup elements located in the preceding stage of the signal processing unit.
  • a tenth aspect according to the technology of the present disclosure is that any one of the first to ninth aspects, in which each of the output units of the plurality of image pickup devices outputs the output image data in synchronization with each other. It is an imaging device concerning one mode. As a result, it is possible to prevent the image data from staying in one of the plurality of image sensors.
  • a eleventh aspect according to the technique of the present disclosure is an imaging device according to any one of the first aspect to the tenth aspect, in which at least a photoelectric conversion element and a storage unit are integrated into one chip. Is. As a result, the portability of the image sensor is higher than that of an image sensor in which the photoelectric conversion element and the storage unit are not integrated into a single chip.
  • a twelfth aspect according to the technique of the present disclosure is that the image pickup device includes a photoelectric conversion device and a storage unit. ⁇ 2020/174978 6 ⁇ (: 170? 2020/002929
  • Is an image pickup apparatus which is a laminated image pickup element in which is laminated.
  • the wiring connecting the photoelectric conversion element 61 and the memory 1 12 can be shortened, so that the wiring delay can be reduced, and as a result, the photoelectric conversion element and the memory section are stacked.
  • the transfer rate of the image data from the photoelectric conversion element to the storage unit can be increased as compared with the case where it is not provided.
  • a thirteenth aspect according to the technology of the present disclosure further includes: a display control unit that controls the display unit to display an image based on the output image data input to the signal processing unit.
  • the imaging device according to any one of the aspects 1 to 12. This allows the user to visually recognize the image based on the output image data.
  • a fourteenth aspect according to the technology of the present disclosure is from the first aspect further including a storage control unit that controls the storage device to store the output image data input to the signal processing unit.
  • the imaging device according to any one of the thirteenth aspect. This allows the output image data input to the signal processing unit to be managed without excess or deficiency.
  • a fifteenth aspect according to the technique of the present disclosure includes a plurality of imaging elements, at least one signal processing unit, and a transmission path, and each of the plurality of imaging elements captures a subject.
  • the image data obtained by storing the image data is stored, and the storage unit built in the image sensor outputs the output image data based on the image data stored in the memory unit, and the output built in the image sensor is output.
  • An image data processing method for an image pickup device which includes outputting output image data to an image pickup element or a signal processing unit at a subsequent stage via the output image data.
  • a sixteenth aspect according to the technique of the present disclosure is to provide a plurality of image pickup devices, and at least one image pickup device. ⁇ 2020/174978 7 ⁇ (: 170? 2020/002929
  • each of the plurality of image pickup elements stores image data obtained by capturing an image of a subject, and a storage section built in the image pickup element, and a storage section.
  • the element and the single signal processing unit are connected in series by one transmission line, and the output unit of each of the multiple image pickup devices outputs the output image data via the transmission line to the subsequent image pickup device or signal processing unit. Is a program to output to.
  • a seventeenth aspect according to the technique of the present disclosure includes a plurality of imaging elements, at least one signal processing unit, and a transmission path, and each of the plurality of imaging elements captures a subject. It stores the image data obtained by doing so, outputs the output image data based on the image data stored in the memory and the memory incorporated in the image sensor, and has the processor incorporated in the image sensor.
  • the transmission line multiple image sensors and a single signal processing unit are connected in series, and each processor of the multiple image sensors captures the output image data at the subsequent stage via the transmission line. It is an imaging device that outputs to an element or a signal processing unit.
  • FIG. 1 is a rear perspective view showing an example of the outer appearance of the back side of the smart device according to the first embodiment.
  • FIG. 2 is a front perspective view showing an example of the outer appearance of the front side of the smart device shown in Fig. 1.
  • FIG. 3 is a block diagram showing an example of the configuration of the smart device according to the first embodiment.
  • FIG. 4 is a conceptual diagram for explaining a frame rate of an image pickup element included in the image pickup apparatus of the smart device according to the first embodiment. 20/174978 8 ⁇ (: 170? 2020 /002929
  • controller included in a smart device is a block diagram showing II I based devices, and _ example of the configuration of the electrical system of the surroundings.
  • FIG. 6 is a conceptual diagram showing an example of a laminated structure of each of the first image sensor and the second image sensor according to the first embodiment.
  • FIG. 7 is a block diagram showing an example of the configuration of the first image sensor and its periphery according to the first embodiment.
  • FIG. 8 is a block diagram showing an example of the configuration of the second image sensor and its surroundings according to the first embodiment.
  • FIG. 9 is a conceptual diagram showing an example of a flow of image data in the first image sensor and the second image sensor included in the image pickup apparatus according to the first embodiment.
  • FIG. 10 is a conceptual diagram showing an example of a flow of image data among a first image pickup element, a signal processing circuit, and a controller included in the image pickup apparatus according to the first embodiment.
  • Fig. 11 is a time chart showing an example of processing contents in each of the first image sensor and the second image sensor included in the image pickup apparatus according to the first embodiment.
  • FIG. 12 A flow chart showing an example of the flow of a former-stage imaging process according to the first embodiment.
  • FIG. 13 A flow chart showing an example of the flow of post-stage imaging processing according to the first embodiment.
  • FIG. 14 A time chart showing an example of the processing contents in the first image sensor and the second image sensor when the exposure period in the first image sensor and the exposure period in the second image sensor are aligned. is there.
  • FIG. 15 is a conceptual diagram showing a modified example of the configuration of the first image sensor according to the first embodiment.
  • FIG. 16 is a flow chart showing a modified example of the flow of the post-stage imaging process according to the first embodiment.
  • FIG. 17 is a rear perspective view showing an example of the outer appearance of the back side of the smart device according to the second embodiment.
  • FIG. 18 Block diagram showing an example of the configuration of the smart device according to the second embodiment. 20/174978 9 ⁇ (: 170? 2020 /002929
  • FIG. 19 is a block diagram showing a controller included in the smart device, II I based devices, and _ example of the configuration of an electrical system around the according to the second embodiment.
  • FIG. 20 is a block diagram showing an example of a configuration of a second image sensor and its periphery according to the second embodiment.
  • FIG. 21 is a block diagram showing an example of a configuration of a third image sensor and its periphery according to the second embodiment.
  • FIG. 22 is a conceptual diagram showing an example of the flow of image data in the second image sensor and the third image sensor included in the image pickup apparatus according to the second embodiment.
  • FIG. 23 A conceptual diagram showing an example of the flow of image data in a first imaging element and a second imaging element included in the imaging device according to the second embodiment.
  • FIG. 24 is a conceptual diagram showing an example of a flow of image data among a first image sensor, a signal processing circuit, and a controller included in the image pickup apparatus according to the second embodiment.
  • FIG. 25 is a time chart showing an example of the processing contents of each of the first image sensor, the second image sensor, and the third image sensor included in the image pickup apparatus according to the second embodiment.
  • FIG. 26 is a flow chart showing a modified example of the flow of the former-stage imaging process according to the second embodiment.
  • FIG. 27 is a flow chart showing a modified example of the flow of middle-stage imaging processing according to the second embodiment.
  • FIG. 28 is a flow chart showing a modified example of the flow of the latter-stage imaging process according to the second embodiment.
  • Fig. 30 is a conceptual diagram showing an example of the delivery state of digital image data in the time slot 1 shown in Fig. 29.
  • FIG. 31 An example of the delivery status of digital image data at time slot 2 shown in Fig. 29. ⁇ 2020/174978 10 ⁇ (: 170? 2020 /002929
  • Fig. 32 is a conceptual diagram showing an example of a delivery state of digital image data in a time zone T 3 shown in Fig. 29.
  • FIG. 33 is a conceptual diagram showing a modified example of the configuration of the first image sensor according to the second embodiment.
  • FIG. 34 is a conceptual diagram showing a modified example of the imaging device according to the second embodiment.
  • FIG. 35A is a schematic diagram showing an example of a manner in which the post-stage imaging program is installed in the computer in the first image sensor from the storage medium in which the post-stage imaging program is stored.
  • FIG. 35B is a conceptual diagram showing an example of how the pre-stage imaging program is installed in the computer in the second image sensor (third image sensor) from the storage medium storing the pre-stage imaging program.
  • FIG. 35C is a schematic diagram showing an example of a mode in which the middle-stage imaging program is installed in the computer in the second image-capturing device from the storage medium in which the middle-stage imaging program is stored.
  • FIG. 36 is a conceptual diagram showing an example of a connection mode by the first connection method according to the conventional technique.
  • FIG. 37 is a conceptual diagram showing an example of a connection mode by the second connection method according to the conventional technique.
  • FIG. 38 A conceptual diagram showing an example of a connection mode by a third connection method according to a conventional technique.
  • the CPU is an abbreviation of "Central Processing Unit”.
  • RAM is an abbreviation for “R and om Access Memory”.
  • ROM is an abbreviation for “R ead On Memory Me rv” Point to.
  • DRAM refers to the abbreviation of “Dynamic R andom Access Memory”.
  • S RAM is an abbreviation for “Static R andom Access Memory”.
  • L S I is an abbreviation of “L ar g e -S c a l e I n t e g r a t i o n ”.
  • AS I C is an abbreviation of “A p p l i c a t i o n S p e c i f i c I n t e g r a t e d C i r c u i t”.
  • P L D is an abbreviation for “P r o g r a mm a b l e L o g i c D e v i c e”.
  • F P GA is an abbreviation of “F i e l d—P r o g r a mm a b l e G a t e A r r a y ”.
  • S S is an abbreviation of "S o l i d S t a t e D r i v e ".
  • D V D—ROM is an abbreviation for “D i g i t a l V e r s a t i l e D i s c R e a d O n l y Me m o r y ”.
  • U S B is an abbreviation of “U n i v e r s a l S e r i a l B u s”.
  • H D D is an abbreviation for “H ard D i sk D r i v e ”.
  • E E P R ⁇ M is an abbreviation of “E l e ct r i c a l I y E r a s a b l e a n d P r o g r a mm a b l e R e a d O n l y Me m o r y”.
  • CCD is an abbreviation for "C h a r g e C o u p l e d D e v i c e ".
  • CMOS is an abbreviation of “C o m p l e m e n t a r y Me t a l 0 x i d e S e m i c o n d u c t o r”.
  • E L is an abbreviation of “E l e c t r o — L u m i n e s c e n c e”.
  • A/D is an abbreviation of “A n a l o g/D i g i t a l ”.
  • l/F is an abbreviation of “I n t e r f a c e”.
  • U I is an abbreviation of “U s er I n t er f a c e ”.
  • L V D S means “L ow V ⁇ I t a g e D i f f e r e n t i a I
  • PC I — e means the abbreviation of “P eriphera IC omponent I nterconnect E xpress”.
  • S ATA is an abbreviation for “Serial Advanced Technology Attachment”.
  • SL VS— with EC ⁇ 2020/174978 12 (: 170? 2020/002929) is an abbreviation for “Scalable Low Signaling with Embedded C lock.”
  • MIPI is an abbreviation for “Mobile I ndustry Prossor I nterface”. ..
  • the smart device 10 includes a housing 12, and the housing 12 houses the imaging device 14 therein.
  • the image pickup device 14 includes a first image pickup lens 16 and a second image pickup lens 18.
  • the first image pickup lens 16 and the second image pickup lens 18 are arranged at predetermined intervals along the vertical direction. They are arranged (for example, a few millimeters apart) and are exposed from the back side 12 A
  • an instruction key 22 and a touch panel display 24 are provided on the front face 12 of the casing 12.
  • An instruction key 22 is arranged at the lower part of the front face 12B when the smart device 10 is placed vertically, and a touch panel display 24 is arranged above the instruction key _22.
  • the instruction key 22 receives various instructions.
  • the "various instructions” used here mean, for example, instructions for displaying the unlock acceptance screen, instructions for displaying a menu screen from which various menus can be selected, instructions for selecting one or more menus, and selection contents. Refers to confirmation instructions and deletion of selected contents.
  • the unlock acceptance screen refers to the screen that accepts the code for unlocking the smart device 10.
  • the touch panel display 24 includes the display 26 and the touch panel.
  • An example of the display 26 is a liquid crystal display.
  • the display 26 may be another display such as an organic EL display instead of a liquid crystal display.
  • the display 26 is an example of the “display unit” according to the technology of the present disclosure. ⁇ 2020/174978 13 ⁇ (: 170? 2020/002929
  • the display 26 displays an image, character information, and the like.
  • the display 26 is used to display a live view image obtained by continuous imaging when the imaging device 14 is in the imaging mode.
  • the display 26 is also used to display a still image obtained by being imaged when a still image imaging instruction is given.
  • the display 26 is also used to display a reproduced image when the image pickup apparatus 14 is in the reproduction mode, a menu screen, and the like.
  • the touch panel 28 is a transmissive touch panel, and is placed on the surface of the display area of the display 26.
  • the touch panel 28 receives an instruction from the user by detecting a contact with an indicator such as a finger or a stylus pen.
  • the smart device 10 includes a controller 15 and a II-system device 17 in addition to the imaging device 14.
  • the controller 15 controls the electric system of the smart device 10.
  • the controller 15 is connected to the imaging device 14 and the II I system device 17.
  • the II I device 17 is a device that receives instructions from the user and displays various information to the user.
  • the controller 15 obtains various instructions received by the II-system device 17 and controls the II-system device 17.
  • the imaging device 14 captures an image of the subject to generate image data showing an image of the subject, and outputs the generated image data to the controller 15.
  • the controller 15 causes the II I device 17 to display an image based on the image data input from the imaging device 14.
  • the imaging device 14 includes a first imaging device 30, a second imaging device 32, and a signal processing circuit 34.
  • the signal processing circuit 34 is an electric circuit located in the subsequent stage of the imaging device 14. Specifically, the signal processing circuit 34 is an electric circuit located after the first imaging device 30.
  • the signal processing circuit 34 is connected to the controller 15 via a communication line 35.
  • the first imaging device 30 includes a first imaging lens 16 and a first imaging device body 36. ⁇ 2020/174978 14 ⁇ (: 170? 2020 /002929
  • the first imaging lens 16 includes an objective lens 16 8, a focus lens 16 and an aperture 16 (3.
  • the objective lens 16 8, a focus lens 16 and an aperture 16 (3 are From the subject side to the first image pickup device main body 36 side, the objective lens 168, the focus lens 16m, and the aperture 1660 are arranged in this order along the optical axis 1-1.
  • the 16 lens and the diaphragm 1600 operate by receiving power from a drive source (not shown) such as a motor, that is, the focus lens 16 lens and the diaphragm 1600 are the applied power. , And moves along the optical axis !_ 1.
  • the iris 1600 adjusts the exposure by operating according to the applied power.
  • the first image pickup device body 36 includes a first image pickup element 38 and a mechanical shirt 40.
  • the first image sensor 38 is adjacent to a second image sensor 52, which will be described later, and is an image sensor at a stage subsequent to the second image sensor 52.
  • the first imaging element 38 is an example of an imaging element included in “a plurality of imaging elements” according to the technology of the present disclosure, and is an example of “post-stage imaging element” and “post-stage imaging element” according to the technology of the present disclosure. Is.
  • the mechanical shirt 40 operates by receiving power from a drive source (not shown) such as a motor.
  • the first image sensor 38 includes a photoelectric conversion element 42 having a light receiving surface 42.
  • the subject light indicating the subject passes through the first imaging lens 16 and is imaged on the light-receiving surface 42 8 of the first imaging element 38 via the mechanical shirt 40.
  • the photoelectric conversion element 42 photoelectrically converts the subject light imaged on the light receiving surface 42 to generate first image data 70 indicating the image of the subject.
  • the first image sensor 38 is connected to the signal processing circuit 34 through the communication line 44.
  • the first image sensor 38 is connected to the controller 15 via the communication line 46.
  • the first image sensor 38 is controlled by the controller 15 via the communication line 46.
  • the first image sensor 38 captures an image of a subject under the control of the controller 15. Further, the first image sensor 38 outputs the first image data 70 obtained by capturing the image of the subject to the signal processing circuit 34 via the communication line 44.
  • the communication line 44 is connected to the “transmission ⁇ 2020/174978 1 5 ⁇ (: 170? 2020/002929
  • the second image pickup device 32 includes a second image pickup lens 18 and a second image pickup device body 50.
  • the second imaging lens 18 is provided with an objective lens 188, a focus lens 188, and a diaphragm 18 ( 3.
  • the objective lens 188, a focus lens 188, and a diaphragm 18 ( 3 is From the subject side to the second image pickup device main body 50 side, the objective lens 188, the focus lens 18m, and the aperture 1880 are arranged in this order along the optical axis 1_2. 8-8, focus lens 18 and aperture 18 ( 3 has the same function as the objective lens 16-8, focus lens 16 and aperture 1600 on the optical axis 1_2.
  • the lens 18 and the diaphragm 18 ( 3 operate on the optical axis 1_2 in the same manner as the lens 16 and the diaphragm 16 ( 3) of the focus lens.
  • the second image pickup device main body 50 includes a second image pickup element 52 and a mechanical shirt 53.
  • the second image pickup device 52 is adjacent to the first image pickup device 38 and is an image pickup device at a stage before the first image pickup device 38.
  • the first image sensor 38 and the second image sensor 52 are an example of “a plurality of image sensors” according to the technology of the present disclosure, and the second image sensor 52 is a “a plurality of image sensors” according to the technology of the present disclosure.
  • 2 is an example of an imaging element included in the “imaging element”.
  • the first image sensor 38 and the second image sensor 52 are an example of “adjacent image sensors” according to the technology of the present disclosure.
  • the second image sensor 52 is an example of the “pre-stage image sensor” according to the technology of the present disclosure.
  • the mechanical shirt 53 has the same function as the mechanical shirt 40, and operates similarly to the mechanical shirt 40.
  • the second image pickup element 52 includes a photoelectric conversion element 5 6 having a light receiving surface 5 68.
  • the subject light representing the subject passes through the second imaging lens 18 and is imaged on the light receiving surface 5 68 of the second imaging element 5 2 via the mechanical shutter 5 3.
  • the photoelectric conversion element 56 generates the second image data 80 indicating the image of the subject by photoelectrically converting the subject light imaged on the light receiving surface 56.
  • the second image sensor 52 is connected to the first image sensor 38 through the communication line 54. ⁇ 2020/174978 16 ⁇ (: 170? 2020/002929
  • the second image sensor 52 is connected to the controller 15 via a communication line 58.
  • the second image sensor 52 is controlled by the controller 15 via a communication line 58.
  • the second image sensor 52 captures an image of a subject under the control of the controller 15. Further, the second image sensor 52 outputs the second image data 80 obtained by capturing the image of the subject to the first image sensor 38 through the communication line 54.
  • the communication line 54 is an example of the “transmission path” according to the technology of the present disclosure.
  • the first image sensor 38 is positioned after the second image sensor 52, and
  • the signal processing circuit 34 is located in the subsequent stage of the image sensor 38.
  • the second image sensor 52 is connected to the first image sensor 38 through the communication line 54, and the first image sensor 38 is connected to the signal processing circuit 34 through the communication line 44. There is. That is, the first image sensor 38, the second image sensor 52, and the signal processing circuit 34 are connected in series by the communication lines 4 4 and 5 4.
  • a read synchronization signal is input to the first image sensor 38 from the controller 15 via the communication line 46.
  • the read sync signal includes a vertical sync signal and a horizontal sync signal.
  • the vertical sync signal is a sync signal that defines the timing for starting the reading of the first image data 70 from the photoelectric conversion element 42 for each frame.
  • the horizontal synchronization signal is a synchronization signal that defines the start timing of reading the first image data 70 from the photoelectric conversion element 42 for each horizontal line.
  • the first image data 70 is read out from the photoelectric conversion device 42 according to the frame rate determined according to the vertical synchronizing signal input from the controller 15 through the communication line 46. ..
  • a read synchronization signal is input to the second image sensor 52 from the controller 15 via the communication line 58.
  • the vertical synchronization signal is a synchronous signal that defines the start timing of reading the second image data 80 from the photoelectric conversion element 56 for each frame.
  • the horizontal sync signal is a sync signal that defines the start timing of reading the second image data 80 from the photoelectric conversion element 56 for each horizontal line.
  • the second image data 80 is read from the photoelectric conversion element 56 according to the frame rate determined according to the generated vertical synchronization signal.
  • Examples include, but are not limited to, frame rates above 120 3 and frame rates below 1 20 3.
  • the controller 15 has 0111 58, [3 ⁇ 4 ⁇ IV! It also has communications 1/1 501, 1 502, and 15. 091 ⁇ 5A s [3 ⁇ 4 ⁇ 1 ⁇ /11 5M, [3 ⁇ 48 1 ⁇ /1150M, and communication I / 1 501, 1 502, 1 5M are mutually connected via bus line 100. It is connected.
  • 0911 ]5 is an example of the “display control unit (display processor)” and the “storage control unit (storage processor)” according to the technology of the present disclosure.
  • ⁇ 111 58 Control the entire smart device 10 according to the various programs developed in ⁇ .
  • Each of communication 1/1501, 1502, 1515 is a communication device having 0.8.
  • a communication device having ⁇ 8 is adopted as each of the communication ⁇ /1 501, 1 502, 1 5 o, but this is merely an example, and the communication ⁇ /1 501, 1 502, 1
  • Each of the five may be a device containing 8 31 0, 08, and/or !_ 0.
  • ⁇ 11 may be singular or plural.
  • each of the communication services / 1 501, 1 502, and 15 may be realized by a combination of hardware configuration and software configuration. ⁇ 2020/174978 18 ⁇ (: 170? 2020 /002929
  • the communication box /1 501 is connected to the first image sensor 38 via a communication line 46.
  • [0911] 58 controls the first image sensor 38 through the communication / 1501.
  • 0911] 58 is a communication By supplying a read synchronization signal to the first image pickup device 38 via the, the read timing of the first image data 70 from the photoelectric conversion device 42 is controlled.
  • the communication 1/1 502 is connected to the second image sensor 52 via the communication line 58.
  • [0911] 58 controls the second image sensor 52 via the communication port / 15 port 2.
  • 0911] 58 controls the read timing of the second image data 80 from the photoelectric conversion element 56 by supplying the read synchronization signal to the second image sensor 52 via the communication port / 15 port 2. To do.
  • the communication 1/15 and 15 are connected to the signal processing circuit 34 via the communication line 35.
  • 091 ⁇ 5 eight is communication ⁇
  • Various kinds of information are exchanged with the signal processing circuit 34 via the mirror.
  • the signal processing circuit 34 is an example of a “single signal processing unit (single signal processing circuit)” according to the technology of the present disclosure.
  • the signal processing circuit 34 is! _ 3 ⁇ , specifically,
  • the signal processing circuit 34 may be a device including 8 3 0, 08, and/or !_ 0.
  • the signal processing circuit 34 And a computer including Eight IV!. ⁇ 11 may be singular or plural.
  • the signal processing circuit 34 may be realized by a combination of a hardware configuration and a software configuration.
  • image data is input to the signal processing circuit 34 from the first image sensor 38.
  • the signal processing circuit 34 performs various kinds of signal processing (details will be described later) on the image data input from the first image sensor 38.
  • the signal processing circuit 34 communicates the image data that has undergone various signal processings via the communication line 35. Outputs to 1/5. Communication from signal processing circuit 34 I
  • the image data input to the 15th port is transferred to the 0,111,8th port by the Communication Manager / 15th port. ⁇ 0 2020/174 978 19 ⁇ (: 17 2020 /002929
  • a secondary storage device 102 and an external storage device / 104 are connected to the bus line 100.
  • the secondary storage device 102 is a flash memory, 330, ! 0 0, It is a non-volatile memory such as. 0 9 1 ⁇ ⁇ 5 8 reads and writes various information from the secondary storage device 10 2.
  • the secondary storage device 102 is an example of the “storage device” according to the technology of the present disclosure.
  • the external device / 104 is a communication device having 0.8. It should be noted that, here, a device including ⁇ 8 is adopted as the external device/104, but this is merely an example.
  • the external device / 104 may be a device containing 8 3 0, 0, and/or !_ 0. Further, the external service/104 may be realized by a combination of a hardware configuration and a software configuration.
  • An external device such as a II 3 memory and a memory card is connected to the external storage / 104.
  • the external server / 104 controls the exchange of various information between 0 II 15 and external devices.
  • the external devices such as the memory and the memory card are examples of the “storage device” according to the technology of the present disclosure.
  • the II-system device 17 is equipped with a touch panel display 24 and a reception device 84.
  • the display 26 and the touch panel 28 are connected to the bus line 100. Therefore, 0 9 1 ⁇ ⁇ 5 8 displays various information on the display 26 and operates according to various instructions received by the touch panel 28.
  • the reception device 84 has a hard key unit 25.
  • the hard key unit 25 is a plurality of hard keys and has an instruction key 2 2 (see FIG. 2).
  • the hard key unit 25 is connected to the bus line 100, and the 011 158 acquires various instructions accepted by the hard key unit 25, and operates according to the acquired instructions.
  • the first image sensor 38 has a photoelectric conversion element 42, a processing circuit 110, and a memory 1 12 built therein.
  • Second image sensor 5 2 ⁇ 2020/174978 20 units (: 170? 2020 /002929
  • the photoelectric conversion element 56, the processing circuit 120, and the memory 1 22 are built in.
  • the photoelectric conversion element 5 6 is a device having the same function as the photoelectric conversion element 4 2 and the processing circuit 1 2 0 is a device having the same function as the processing circuit 1 1 0.
  • Memory 1 2 2 is a device that has the same functions as Memory 1 1 2. Therefore, the description of the example shown in FIG. 6 will be given below by taking the first image sensor 38 as an example and omitting the description of the second image sensor 52.
  • the first imaging element 38 includes a photoelectric conversion element 42, a processing circuit 110, and a memory 1.
  • the photoelectric conversion element 42, the processing circuit 110, and the memory 1 12 are packaged in one package.
  • the processing circuit 110 and the memory 1 12 are laminated on the photoelectric conversion element 42.
  • the photoelectric conversion element 42 and the processing circuit 110 are electrically connected to each other by conductive bumps (not shown) such as copper, and the processing circuit 110 and the memory 1 112. , Are electrically connected to each other by conductive bumps (not shown) such as copper.
  • the processing circuit 1 10 and the memory 11 may have a two-layer structure of a memory layer in which 2 is a single layer and a photoelectric conversion element 42.
  • the processing circuit 110 is, for example,! __3
  • the memory 1 1 2 is a memory having different write timing and read timing.
  • 0 8 1 ⁇ /1 is adopted as an example of the memory 1 12.
  • the processing circuit 1 1 0 According to the instruction from the controller 15 described above, the entire first image sensor 38 is controlled.
  • the processing circuit 1 the technology of the present disclosure is not limited to this, and, for example, It may be a device containing 0, 8, and/or !_ 0.
  • the processing circuit 110 ⁇ 11, Also, a computer including [1/8/1] may be adopted.
  • ⁇ 11 may be a singular ⁇ 2020/174978 21 ⁇ (: 170? 2020/002929
  • processing circuit 110 may be realized by a combination of a hardware configuration and a software configuration.
  • the photoelectric conversion element 42 has a plurality of photodiodes arranged in a matrix.
  • An example of the plurality of photodiodes is a photodiode for “4 8 9 6 X 3 2 6 5” pixels.
  • a color filter is arranged in each photodiode included in the photoelectric conversion element 42.
  • the color filter includes a filter corresponding to ⁇ 3 (green) that contributes most to obtain the luminance signal, a filter corresponding to 8 (red), and a filter corresponding to Mami (blue).
  • the photoelectric conversion element 42 has a pixel, a pixel, and a pixel.
  • the pixel is Pixel corresponding to the photodiode where the filter is arranged
  • ⁇ Pixel is the pixel corresponding to the photodiode where the filter is arranged
  • _Mixel pixel is the pixel corresponding to the photodiode where the Mitsumi filter is arranged.
  • Eight pixels, ⁇ pixels, and ⁇ pixels are arranged with a predetermined periodicity in each of the row direction (horizontal direction) and the column direction (vertical direction).
  • Pixels, ⁇ pixels, and Tatsumi pixels are arranged with a periodicity corresponding to the X-chome r 3 n 3 (registered trademark) arrangement.
  • _ 3 Although three arrays are illustrated, the technology of the present disclosure is not limited to this, and the array of pixels, ⁇ pixels, and ⁇ pixels may be a Bayer array or a honeycomb array.
  • the first image pickup device 38 has a so-called electronic shirt function, and by operating the electronic shirt function under the control of the controller 15 (see Fig. 5 and Fig. 7), the photoelectric conversion device 4 Controls the charge storage time of each photodiode in 2.
  • the charge storage time is the so-called shutter speed.
  • the first imaging device 14 captures a still image and a live view image by the mouth-to-shatter method. Imaging for still images is achieved by activating the electronic shirt function and activating the mechanical shirt 40 (see Figure 3), while imaging for live view images is performed without activating the mechanical shirt 40. Realized by activating the electronic shirt function ⁇ 2020/174978 22 ⁇ (: 170? 2020 /002929
  • mouth-to-shirt shirt method is illustrated here, the technique of the present disclosure is not limited to this, and a global shirt-to-eye method may be applied instead of the mouth-to-shirt shirt method.
  • Each of the memories 1 12 and 122 is an example of the "storage unit" according to the technique of the present disclosure.
  • the memory 1 1 2 is an example of the "storage unit” according to the technique of the present disclosure.
  • the memory 1 1 2 is an example of the "storage unit” according to the technique of the present disclosure.
  • each of the first image sensor 38 and the second image sensor 52 is an example of the “multilayer image sensor” according to the technology of the present disclosure.
  • each of the first image pickup element 38 and the second image pickup element 52 is a 0 1 ⁇ /1 0 3 image sensor.
  • the first image pickup device 38 and the second image pickup device 52 are exemplified by the ⁇ 1/1/3 image sensor, but the technology of the present disclosure is not limited to this, and, for example, the first image pickup device The technology of the present disclosure is established even if the element 38 and the second imaging element 52 are XX image sensors.
  • the signal processing circuit 34 is
  • the communication circuit/348 is connected to the processing circuit 110 of the first image sensor 38 via the communication line 44, and the signal processing circuit 34 is Then, it communicates with the processing circuit 110 of the first image sensor 38.
  • the communication department/348 receives the image data output from the first image sensor 38.
  • the Mimi is connected to the communication I Im of the controller 15 via the communication line 35, and the signal processing circuit 34 communicates with the controller 15 via the communication ⁇ /Mr. 34, 15m.
  • communication ⁇ /Mr. 34, 15m For example, communication
  • the image data obtained by performing various kinds of signal processing (details will be described later) by the signal processing circuit 34 is sent to the controller 15 via the communication line 35. It outputs to Mami.
  • the second image sensor 52 is 1 equipped with 2002.
  • Communications/ 1 2002 is an example of an “output unit (communications interface)” according to the technology of the present disclosure.
  • Telecommunications ⁇ /1 2001 is connected via communication line 58.
  • ⁇ 2020/174978 23 ⁇ (: 170? 2020/002929
  • the second image sensor 52 is connected to 1 Communicates with controller 15 through 2001.
  • the second image sensor 52 receives the read synchronization signal output from the communication device / 1 502 of the controller 15 via the communication line 58 by the communication I / 1 200 1.
  • the communication device / 1 2002 is connected to the processing circuit 110 of the first image sensor 38 via the communication line 54, and the second image device 52 is connected to the communication circuit / 1 It communicates with the processing circuit 110 of the first image sensor 38 via 2002.
  • the second image sensor 52 uses the second image data 80 obtained by imaging the subject as To the processing circuit 110 via the communication line 54.
  • the processing circuit 110 is composed of a readout circuit 110, a digital processing circuit 110, a control circuit 110 ( 3, and a communication circuit). It has 1 001, 1 1 002, 1 1 0 mouth 3.
  • the communication box / 1 1002 is an example of the "output unit (communication interface)" according to the technique of the present disclosure.
  • the read circuit 1 108 is connected to each of the photoelectric conversion element 42, the digital processing circuit 1 1 0, and the control circuit 1 1 0 ( 3.
  • the digital processing circuit 1 1 0 is Control circuit 1 1 0 ⁇ 3.
  • Control circuit 1 1 0 ⁇ 3 is connected to each of the memory 1 1 2 and communication / 1 1 001, 1 1 002, 1 1003.
  • first image data 70 is roughly classified into first analog image data 70 and first digital image data 70, as shown in FIG. 7 as an example. It should be noted that, for convenience of explanation, the first analog image data 70 and the first digital image data 70 will be referred to as “first image data 70” below unless it is necessary to distinguish them.
  • 1 001 is a communication device having ⁇ , and is connected to the communication box / 1 501 of the controller 15 via the communication line 46.
  • a communication line 46 connects between the processing circuit 110 and the controller 15. ⁇ 2020/174978 24 ⁇ (: 170? 2020 /002929
  • the read sync signal output via the signal line 46 is accepted, and the accepted read sync signal is output to the control circuit 1 1 0 ⁇ 3.
  • the communication device / 1 1002 is a communication device having O, and is connected to the communication device of the signal processing circuit 34 via the communication line 44 (according to the connection standard of 3 I_6. / 1 1002 controls communication between the signal processing circuit 34 and the control circuit 1 100.
  • a communication device having ⁇ 8 is adopted as a communication system / 1 100 2 This is merely an example, and the communication card / 1 1002 may be a device including 3 I (3, ⁇ , and/or !_ 0. Also, the communication card / 1 1002 may be 09
  • the communication service / 1102 may be realized by a combination of a hardware configuration and a software configuration.
  • the number may be singular or plural.
  • the communication service / 1103 may be realized by a combination of hardware configuration and software configuration.
  • the readout circuit 1 1 08 has a photoelectric conversion element 42 under the control of the control circuit 1 1 0. ⁇ 0 2020/174978 25 ⁇ (: 17 2020 /002929
  • the first analog image data 70 is read out from the photoelectric conversion element 42 by controlling.
  • the reading of the first analog image data 708 from the photoelectric conversion element 42 is performed according to the read synchronization signal input from the controller 15 to the processing circuit 110.
  • the communication engine / 1 1 0 0 1 accepts the read synchronous signal from the controller 15 and outputs the accepted read synchronizing signal to the control circuit 1 1 0 ⁇ 3.
  • the control circuit 1100 is the communication The read sync signal input from 1 1 0 1 is transferred to the read circuit 1 1 08. That is, the vertical synchronizing signal and the horizontal synchronizing signal are transferred to the reading circuit 1108.
  • the reading circuit 1108 starts to read the first analog image data 708 in frame units from the photoelectric conversion element 4 2 according to the vertical synchronizing signal transferred from the control circuit 1 1 0 ⁇ 3. Further, the reading circuit 1 1 1 0 starts to read the first analog image data 7 0 in units of horizontal lines according to the horizontal synchronizing signal transferred from the control circuit 1 1 0 ⁇ 3.
  • the reading circuit 1 108 performs analog signal processing on the first analog image data 7 0 read from the photoelectric conversion element 42.
  • the analog signal processing includes known processing such as noise canceling processing and analog gain processing.
  • the noise canceling process is a process of canceling noise caused by fluctuations in characteristics between pixels included in the photoelectric conversion element 42.
  • the analog gain process is a process for applying a gain to the first analog image data 70.
  • the first analog image data 70 having undergone the analog signal processing in this manner is output to the digital processing circuit 1 1 0 by the read circuit 1 108.
  • the digital processing circuit 11,000 is equipped with a /0 converter 1100.
  • Eight/Port converter 1 1 0 _ 1 converts /0 the first analog image data 70
  • the digital processing circuit 1 1 0 9 performs digital signal processing on the first analog image data 7 0 input from the reading circuit 1 108.
  • digital signal processing for example, correlated double sampling, 8/ ⁇ converter ⁇ 2020/174978 26 ⁇ (: 170? 2020/002929
  • Mouth conversion and digital gain processing are included.
  • Correlated double sampling is performed on the first analog image data 70 by the digital processing circuit 110.
  • the 8/o converter 1 10 0 1 performs the 8/o conversion, whereby the first analog image data is obtained.
  • Data 70 is digitized,
  • the first digital image data 70 0 is obtained as data.
  • the digital gain processing is performed on the first digital image data 70 by the digital processing circuit 110.
  • the digital gain process is a process for applying a gain to the first digital image data 70.
  • the first digital image data 70 obtained by performing the digital signal processing in this manner is output to the control circuit 1100 by the digital processing circuit 1100.
  • the second image sensor 52 also generates the second digital image data 80 indicating the image of the subject in the same manner as the first image sensor 38. Then, the second digital image data 80 generated by the second image sensor 52 is Processing circuit via communication line 5 4 by 1
  • the second digital image data 80 output by the 0 port 2 is the communication It is accepted by port 10 and transferred to control circuit 110 ⁇ 3.
  • the “second digital image data 80 0” mentioned here is an example of the “output image data” according to the technique of the present disclosure.
  • the memory 1 112 is a memory capable of storing digital image data of a plurality of frames.
  • the memory 1 1 1 2 has a memory area (not shown) in units of pixels, and digital image data is stored in the corresponding memory area of the memories 1 1 1 2 in units of pixels by the control circuit 1 1 0 ⁇ 3.
  • the control circuit 1100 is the first digital input from the digital processing circuit 1100. ⁇ 2020/174978 27 ⁇ (: 170? 2020/002929
  • control circuit 1 1 1 0 stores the second digital image data 80 input from the communication / 1 1 003 in the memory 1 1 2.
  • the control circuit 1 1 1 0 0 can randomly access the memory 1 1 2, and in response to a request from the signal processing circuit 34 via the communication 1/1 0 port 2, the memory 1 1 0. Get digital image data from 2.
  • the control circuit 1 1 0 ( 3 communicates the image data obtained by performing image processing on the digital image data acquired from the memory 1 1 2. Output to 1002.
  • the communication engine / 1 100 2 outputs the image data input from the control circuit 1 10 ⁇ 3 to the signal processing circuit 34 via the communication line 44.
  • Image data output from port 10 is communicated
  • the received image data is subjected to various signal processing (details will be described later).
  • Reference numeral 0 includes a read circuit 120 A s, a digital processing circuit 120, a control circuit 120 0, and a communication system / 1 2001, 1 2002.
  • the readout circuit 1208 is connected to each of the photoelectric conversion element 56, the digital processing circuit 120, and the control circuit 120 ( 3.
  • the digital processing circuit 120 is connected to the control circuit 120. ( Connected to 3.
  • Control circuit 1 20 ( 3 is connected to each of the memory 1 22 and communication/ 1 2001, 1 2002).
  • the second image data 80 described above is roughly classified into second analog image data 808 and second digital image data 80, as shown in FIG. 8 as an example. Note that, for convenience of description, the second analog image data 80 and the second digital image data 80 will be referred to as “second image data 80” below unless otherwise described.
  • Communication 1/1/2001 is a communication device having 0.8 and is connected to the communication port/15 port 2 of the controller 15 via the communication line 58.
  • a communication line 58 connects between the processing circuit 120 and the controller 15. ⁇ 2020/174978 28 ⁇ (: 170? 2020 /002929
  • the read sync signal output via the signal line 58 is accepted, and the accepted read sync signal is output to the control circuit 120 ( 3.
  • Communications / 1 2002 is a communications device having a
  • the communication device / 1 2002 may be a device including 8 3 0, 08, and/or !_ 0.
  • Communications/ 1 2002 may be a computer including ⁇ 11, [3 ⁇ 4 ⁇ IV!, and VIII IV!].
  • ⁇ 11 may be singular or plural.
  • Communication/ 1 2002 may be realized by a combination of hardware configuration and software configuration.
  • the read circuit 1208 controls the photoelectric conversion element 56 under the control of the control circuit 12000, and reads the second analog image data 808 from the photoelectric conversion element 56.
  • the readout of the second analog image data 808 from the photoelectric conversion element 56 is performed according to the readout synchronization signal input from the controller 15 to the processing circuit 120.
  • the communication engine / 1 2001 receives the read synchronous signal from the controller 15 and outputs the received read synchronous signal to the control circuit 120 ( 3.
  • the control circuit 120 ( 3 transfers the read synchronous signal input from the communication engine / 1 2001 to the read circuit 1 208. That is, the vertical synchronous signal and the horizontal synchronous signal are transferred to the read circuit 1 208.
  • the read circuit 120 8 starts reading the second analog image data 80 8 in frame units from the photoelectric conversion element 56 according to the vertical synchronizing signal transferred from the control circuit 120 ( 3. Starts reading the second analog image data 80 in horizontal line units according to the horizontal sync signal transferred from the control circuit 120 ( 3. ⁇ 2020/174 978 29 ⁇ (: 170? 2020 /002929
  • the read circuit 1208 performs the above-described analog signal processing on the second analog image data 80 read from the photoelectric conversion element 56.
  • the second analog image data 808 subjected to the analog signal processing in this manner is output to the digital processing circuit 120 by the reading circuit 1208.
  • the digital processing circuit 1 20 m is equipped with an 8/o converter 1 20 m 1. Eight
  • Mouth converter 1 20 M 1 converts the second analog image data 80 / ⁇
  • the digital processing circuit 120 M performs digital signal processing on the second analog image data 808 input from the reading circuit 1 208. Compared with the digital signal processing for the first analog image data 70, the digital signal processing for the second analog image data 80 is compared with the digital signal processing for the first analog image data 70/8. The difference is that the / ⁇ conversion by Minami 1 is included.
  • the 8/o converter 1 10 0 1 performs the 8/o conversion, whereby the second 2
  • the analog image data 808 was digitized
  • the second digital image data 80 obtained by the digital signal processing is output to the control circuit 120 by the digital processing circuit 120.
  • the memory 122 is a memory capable of storing 80 frames of the second digital image data of a plurality of frames.
  • the memory 122 has a storage area (not shown) in units of pixels, and the second digital image data 80 is stored in the control circuit 120 ( by 3 in units of pixels, corresponding to the storage of the memories 122.
  • the control circuit 120 ( 3 stores the second digital image data 80 input from the digital processing circuit 120) in the memory 122.
  • the control circuit 1200 can randomly access the memory 122, and obtains the second digital image data 80 from the memory 122.
  • Control circuit 120 ( 3 communicates the second digital image data 80 acquired from the memory 122. ⁇ 2020/174978 30 ⁇ (: 170? 2020/002929
  • the second digital image data 80 0 input from the control circuit 1 200 is sent via the communication line 54. Output to 1 0 3
  • the second digital image data 8 0 obtained by imaging the subject by the second image sensor 5 2 is stored in the memory 1 2 2 and then stored. It is output to the first image sensor 38 through the communication line 54. That is, the first image sensor 38 and the second image sensor 52 are the adjacent image sensors, and the communication I 1 of the second image sensor 52, which is the preceding image sensor of the adjacent image sensors.
  • the second digital image data 80 0 is output by 2 0 2.
  • the second digital image data 800 output by the communication device / 1 202 0 2 is the communication image of the 1st image pickup device 3 8 which is the latter image pickup device of the adjacent image pickup devices.
  • the second digital image data 8 0 received by the 1 0 port 3 is stored in the memory 1 1 2.
  • the first digital image data 70 obtained by being imaged by the first image sensor 38 is also stored in the memory 1 12.
  • the first digital image data 70 M is an example of "post-stage image data” according to the technique of the present disclosure.
  • the second digital image data 80 0 is an example of “pre-stage image data” according to the technology of the present disclosure.
  • the control circuit 1 in the first image sensor 38, the control circuit 1
  • the combination unit 1 1 0 0 2 is an example of a “composition circuit” according to the technology of the present disclosure.
  • the section 1 1 0 0 1 obtains the first digital image data 70 0 and the second digital image data 8 0 from the memory 1 12.
  • the second digital image data 8 0 is stored in the memory 1 1.
  • the present invention has been described with reference to an example in which the second digital image data 80 0 is acquired from the memory 1 1 2 by the acquisition unit 1 1 0 1 once it is stored in 1 2, the technology of the present disclosure is disclosed.
  • the second digital image data 8 is not limited to this. ⁇ 2020/174978 31 ⁇ (: 170? 2020/002929
  • the 0th count may be acquired by the acquisition section 1 1 0 1 without being stored in the memory 1 1 1.
  • the synthesizing unit 1100 2 synthesizes the first digital image data 70 0 and the second digital image data 8 0 obtained by the obtaining unit 1 10 (31.
  • the synthesizing unit 1100 2 calculates the first digital image data 70 0 and the second digital image data 70 0 and the second digital image data 80 0 by adding and averaging pixel by pixel. Image data is combined with 80.
  • the averaging is described as an example of the combining method, but the combining method is not limited to this.
  • alpha blending may be performed using the first digital image data 70 and the second digital image data 80.
  • the first digital image data 70 and the second digital image data 80 may be simply added in pixel units.
  • the method of synthesizing the first digital image data 70 and the second digital image data 80 can be any method, and the technique of the present disclosure is established.
  • the synthesizing section 1100 2 is synthetic image data obtained by synthesizing the first digital image data 70 and the second digital image data 80. Output to 1 0 0 2. 1 0 0 2 outputs the combined image data 1 3 0 input from the combining unit 1 1 0 2 to the signal processing circuit 3 4 via the communication line 4 4.
  • the composite image data 130 is an example of “output image data” according to the technique of the present disclosure.
  • the signal processing circuit 34 performs various kinds of signal processing on the combined image data 1 30 and outputs the combined image data 1 30 subjected to the various signal processing to the controller 15.
  • the composite image data 1300 is stored in the secondary storage device 102 by 0911]5, or the external storage device /110 It is also stored in an external device (not shown) via the.
  • An image based on the composite image data 1 3 0 is displayed on the display 26 as a still image or a live view image by ⁇ 5.
  • Various kinds of signal processing performed by the signal processing circuit 34 include known signal processing such as demosaicing processing, digital thinning processing, and digital addition processing.
  • the demosaic process is a process of calculating all color information for each pixel from the mosaic image corresponding to the array of color filters. For example, in the case of an image sensor consisting of a color filter of three colors All the color information of each of the pixels is calculated for each pixel from the mosaic image of the pixels.
  • the digital thinning-out process is a process of thinning out the pixels included in the composite image data 130 on a line-by-line basis.
  • the line unit refers to, for example, a horizontal line unit and/or a vertical line unit.
  • the digital addition process is, for example, a process of adding and averaging pixel values of a plurality of pixels included in the composite image data 130.
  • the various kinds of signal processing performed by the signal processing circuit 34 may include other publicly known signal processing.
  • Other known signal processing includes, for example, white balance adjustment, sharpness adjustment, gamma correction, color space conversion processing, and color difference correction.
  • various kinds of signal processing may be performed in a distributed manner by the signal processing circuit 34 and the first image sensor 38. That is, at least a part of the various kinds of signal processing performed by the signal processing circuit 34 may be performed by the processing circuit 110 of the first image sensor 38.
  • the photoelectric conversion element 5 As shown in FIG. 11 as an example, in the second image sensor 52, the photoelectric conversion element 5
  • the second analog image data 808 is generated by exposing 6 and when the vertical synchronizing signal is input, the second analog image data 808 is read from the photoelectric conversion element 56 and the photoelectric conversion element is read. 5 6 is reset.
  • the reset for the photoelectric conversion element 5 6 means an operation of erasing the residual charge of each pixel in the photoelectric conversion element 5 6.
  • the exposure by the photoelectric conversion element 5 6 is performed after the previous reset by the readout circuit 1208 for the photoelectric conversion element 5 6 until the reading is performed.
  • the second digital image data 80 is generated by performing digital signal processing on the second analog image data 80, and the generated second digital image data is generated. ⁇ 2020/174978 33 ⁇ (: 170? 2020/002929
  • the image data 8 0 is stored in the memory 1 2 2. Then, the second digital image data 8 0 stored in the memory 1 2 2 is output to the first image sensor 3 8.
  • the photoelectric conversion element 42 is exposed to generate the first analog image data 70, and when the vertical synchronizing signal is input, the photoelectric conversion element 42 outputs the first analog image data 70.
  • the first analog image data 70 is read out and the photoelectric conversion element 42 is reset.
  • the reset to the photoelectric conversion element 42 means an operation of erasing the residual charge of each pixel in the photoelectric conversion element 42.
  • the exposure by the photoelectric conversion element 42 is performed after the previous reset by the readout circuit 110 for the photoelectric conversion element 4 2 until the reading is performed.
  • the first analog image data 70 is generated by performing digital signal processing on the first analog image data 70.
  • the first digital image data 70 0 is temporarily stored in the memory 1 12 so as to be synchronized with the second digital image data 80 0 output from the second image sensor 52.
  • the second digital image data 80 0 is stored in the memory 1 1 2
  • the first digital image data 7 0 and the second digital image data 8 0 stored in the memory 1 12 are combined.
  • Composite image data 1 3 0 is generated.
  • the composite image data 1 3 0 is output to the signal processing circuit 3 4.
  • the input timing of the vertical synchronizing signal input to the first image sensor 38 is better than the input timing of the vertical synchronizing signal input to the second image sensor 52. Is slow. As a result, the exposure time by the photoelectric conversion element 42 in the first image sensor 38 is longer than the exposure time by the photoelectric conversion element 56 in the second image sensor 52.
  • step 3-10 the control circuit 1
  • step 3-10 the vertical sync signal from the controller 15 is determined. Is communication If it has not been accepted by 1 2 0 0 1, the determination is negative and the pre-stage imaging process proceeds to step 3 2 2. In step 3-10, the vertical sync signal from the controller 15 is transmitted. If it is accepted by 1 2 0 0 1, the determination is affirmative and the pre-stage imaging process proceeds to step 3-12.
  • step 3-12 the readout circuit 1208 reads out the second analog image data 8/8 and resets the photoelectric conversion element 56, and thereafter, the pre-stage imaging processing is performed in step 3-4. Go to 1 4.
  • step 3-14 the digital processing circuit 1120 performs digital signal processing for the second analog image data 80, and then the pre-stage imaging processing is performed in step 3-16. Move to.
  • the second digital image data 8 0 obtained by performing the digital signal processing on the second analog image data 80 8 in Steps 3 to 14 is the control circuit 1 2 0 ( 3 Transferred to.
  • step 3-16 the control circuit 1200 stores the second digital image data 80 0 in the memory 1 2 2 and then the pre-stage imaging process moves to step 3-18. ..
  • Step 3-18 the control circuit 1200 determines whether or not the timing (output timing) at which the second digital image data 80 is output to the first image sensor 38 is reached. To do. As an example of the output timing, there is a timing in which the control circuit 1200 can read out the second digital image data 80 0 from the memory 1 22 2. Memory Writing to and reading from memory 1 2 2 cannot be performed at the same time. Therefore, the timing at which the control circuit 1200 can read out the second digital image data 80 from the memory 1 22 is, for example, the second data for one frame to the memory 1 22. ⁇ 2020/174978 35 ⁇ (: 170? 2020 /002929
  • step 3-18 If the output timing has not come in step 3-18, the determination is denied and the determination in step 3- 18 is performed again. If the output timing arrives at step 3-18, the determination is affirmative, and the pre-stage imaging process proceeds to step 3-20.
  • step 3-20 the control circuit 1200 acquires the second digital image data 80 0 from the memory 1 22 and acquires the acquired second digital image data 80 0, To the first image sensor 38, and then the pre-stage image processing shifts to Step 3-22.
  • Step 3-22 it is determined whether or not the control circuit 120 (3 is a condition for ending the pre-stage imaging process (hereinafter, referred to as "pre-stage imaging process termination condition") is satisfied.
  • An example of the imaging process end condition is that the instruction to end the pre-stage imaging process has been received by the receiving device 84 (see Fig. 5). If the conditions are not satisfied, the determination is negative and the pre-stage imaging process proceeds to step 3-10. In step 3-22, if the pre-stage imaging process termination condition is satisfied, the determination is affirmative. Then, the first-stage imaging process ends.
  • step 3-30 the control circuit 1
  • step 3-30 the vertical sync signal from controller 15 is transmitted. If it is not accepted by 1 1 0 0 1, the determination is negative, and the post-stage imaging process proceeds to step 3-4.
  • step 3-30 the vertical sync signal from the controller 15 is transmitted. If it is accepted by 1 1 0 0 1, the determination is affirmative, and the post-stage imaging process proceeds to step 3 3 2.
  • the readout circuit 1 1 08 is the first analog image data 7 0. ⁇ 2020/174978 36 ⁇ (: 170? 2020/002929
  • Steps 3 to 34 the digital processing circuit 1 1 0 9 performs digital signal processing on the first analog image data 70, and then the subsequent imaging processing is performed in Steps 3 to 3 6. Move to.
  • the first digital image data 70 obtained by performing the digital signal processing on the first analog image data 70 in Steps 3 to 34 is the control circuit 1 1 0 (3 Transferred to.
  • step 3 to 36 the control circuit 1 1 1 0 0 stores the first digital image data 70 0 in the memory 1 1 2 and then the subsequent imaging processing moves to step 3 to 3 8. ..
  • step 3 38 the control circuit 1 1 1 00 determines whether or not the second digital image data 8 0 has been input from the second image sensor 5 2. If the second digital image data 80 0 is not input from the second image sensor 52 in step 3 38, the determination is denied, and the determination in step 3 38 is performed again. If the second digital image data set 80 is input from the second image sensor 52 in step 3 to 38, the determination is affirmative, and the post-stage imaging processing shifts to step 3 to 40. ..
  • step 3-40 the control circuit 1 1 0000 combines the first digital image data 7 0 and the second digital image data 8 0 to generate the composite image data 1 30. After that, the latter-stage imaging process moves to Step 3-4.
  • step 3 42 the control circuit 1 1 1 0 outputs the composite image data 1 3 0 to the signal processing circuit 3 4 via the communication 1/1 1 0 port 2, and then the subsequent stage.
  • the imaging process proceeds to step 3-4.
  • Steps 3 and 4 4 the control circuit 1 1 1 1 0 0 determines whether or not the condition for ending the post-stage imaging process (hereinafter, referred to as "post-stage imaging process end condition") is satisfied.
  • post-stage imaging process end condition there is a condition that an instruction to end the post-stage imaging process is received by the receiving device 84 (see Fig. 5). ⁇ 2020/174978 37 ⁇ (: 170? 2020 /002929
  • step 3-4 if the post-stage imaging process end condition is not satisfied, the determination is negative, and the post-stage imaging process proceeds to step 3-40.
  • step 3-44 if the post-stage imaging process end condition is satisfied, the determination is affirmative and the post-stage imaging process ends.
  • the image pickup apparatus 14 is provided with the signal processing circuit 34, the first image pickup element 38, and the second image pickup element 52.
  • the second image sensor 52 is connected to the first image sensor 38 via the communication line 54
  • the first image sensor 38 is connected to the signal processing circuit 34 via the communication line 44.
  • the signal processing circuit 34, the first image sensor 38, and the second image sensor 52 are connected in series by the communication lines 4 4, 5 4.
  • the second digital image data 80 obtained by the subject being imaged by the second image sensor 52 is the first image taken via the communication line 5 4 by the communication engine / 1 2 0 2 Output to element 38.
  • the first digital image data 70 0 obtained by the subject being imaged by the first image sensor 38 is combined with the second digital image data 80 0.
  • the composite image data 1 3 0 obtained by combining the first digital image data 70 and the second digital image data 80 It is output to the signal processing circuit 3 4 through the communication line 4 4 by the 10 port 2. Therefore, as compared with the case where the first image sensor 38 and the second image sensor 52 are directly connected to the signal processing circuit 34, the first image sensor 38 and the second image sensor 52 are connected to the signal processing circuit 34. Can reduce the number of wiring required
  • the synthesizing unit 1 1 002 synthesizes the first digital image data 70 0 and the second digital image data 80 0 to obtain the result.
  • Composite image data 1 0 0 2 outputs to the signal processing circuit 34 via the communication line 4 4. Therefore, it is not necessary for the signal processing circuit 34 to combine the first digital image data 70 and the second digital image data 80.
  • the photoelectric conversion element 42 in the first image pickup element 38 is used. ⁇ 2020/174978 38 ⁇ (: 170? 2020 /002929
  • the exposure time is longer than the exposure time by the photoelectric conversion element 5 6 in the second image pickup element 52. Therefore, the dynamic range of the composite image data 130 obtained by combining the first digital image data 70 and the second digital image data 80 is more than the dynamic range of a single digital image data. Also becomes louder. That is, the composite image data 130 becomes image data that can express the luminance more precisely than the single digital image data.
  • the signal processing circuit 34 includes the first image pickup element 38 and the first image pickup element 38.
  • the signal processing circuit 34 can receive all the image data obtained by being imaged by each of the first image sensor 38 and the second image sensor 52.
  • the image pickup apparatus 14 as the first image pickup element 38, an image pickup element in which the photoelectric conversion element 42, the processing circuit 110, and the memory 1 12 are integrated into one chip is adopted.
  • the portability of the first image sensor 38 is higher than that of the image sensor in which the photoelectric conversion element 42, the processing circuit 110, and the memory 112 are not integrated into one chip.
  • the degree of freedom in design can be increased as compared with an image pickup element in which the photoelectric conversion element 42, the processing circuit 110, and the memory 1 12 are not integrated into one chip.
  • the image pickup device 14 can contribute to downsizing of the image pickup device 14 as compared with an image pickup device in which the photoelectric conversion element 42, the processing circuit 110, and the memory 1 12 are not formed in one chip. It should be noted that the same effects as those of the first image sensor 38 are obtained for the second image sensor 52.
  • the first image pickup element 38 a laminated type image pickup element in which a memory 1 1 2 is laminated on a photoelectric conversion element 4 2 is adopted.
  • the transfer speed of image data from the photoelectric conversion element 4 2 to the memory 1 1 2 can be increased as compared with the case where the photoelectric conversion element 4 2 and the memory 1 1 2 are not stacked. Improving the transfer speed also contributes to speeding up the processing of the entire processing circuit 110. ⁇ 2020/174978 39 ⁇ (: 170? 2020/002929
  • the degree of freedom in design can be increased as compared with the case where the photoelectric conversion element 4 2 and the memory 1 12 are not stacked. Further, it can contribute to downsizing of the imaging device 14 as compared with the case where the photoelectric conversion element 4 2 and the memory 1 12 are not stacked. It should be noted that the same effect as that of the first image sensor 38 can be obtained for the second image sensor 52.
  • a live view image based on the combined image data 1300 is displayed on the display 26. This allows the user to visually recognize the image represented by the composite image data 1300.
  • the composite image data input to the signal processing circuit 34 is input.
  • the combined image data 1300 input to the signal processing circuit 34 can be managed without excess or deficiency.
  • the exposure start timings of the first image sensor 38 and the second image sensor 52 are aligned, and the exposure time of the first image sensor 38 is set to the second image sensor.
  • the technique of the present disclosure is not limited thereto.
  • the exposure period of the first image sensor 38 and the exposure period of the second image sensor 52 may be aligned. That is, the exposure start timings of the first image sensor 38 and the second image sensor 52 are aligned, and as shown in FIG. 14, the exposure time of the first image sensor 38 and the exposure time of the second image sensor 52 are You may make it align with exposure time.
  • the input timing at which the vertical synchronization signal is input to the first image sensor 38 and the input timing at which the vertical synchronization signal is input to the second image sensor 52 may be aligned.
  • the technique of the present disclosure is not limited to this. Not done.
  • the first digital image data 70 and the second digital image data 80 may be connected.
  • the control circuit 1100 has a connecting part 1100 3 instead of the combining part 1100 2.
  • the connecting portion 1103 is related to the technology of the present disclosure. ⁇ 2020/174978 40 ⁇ (: 170? 2020 /002929
  • the linking unit 1 1 0 0 3 connects the first digital image data 7 0 and the second digital image data 8 0 acquired by the acquisition unit 1 1 0 ( 3 1 and links the linked image data obtained by linking.
  • the combined image data 1 3 0 generated in this way is output to the signal processing circuit 3 4 via the communication line 4 4 by the communication engine / 1 1 0 0 2.
  • first digital image data 70 and the second digital image data 80 are connected in the vertical direction, but not limited to this.
  • the first digital image data 70 and the second digital image data 80 may be laterally connected.
  • the connection direction of the first digital image data 70 and the second digital image data 80 can be any direction.
  • the first digital image data 70 and the second digital image data 80 are formed by partially overlapping the first digital image data 70 and the second digital image data 80. It may be connected.
  • the pixel value of the arithmetic mean of the first digital image data 70 and the second digital image data 80 can be used.
  • FIG. 16 shows an example of the flow of the latter-stage imaging process when the concatenated image data 1380 shown in FIG. 15 is generated and output.
  • the post-stage imaging process shown in FIG. 16 has steps 3-40 in place of step 3-40, and step 3 in place of step 3-4. The difference is that it has a Ding 428.
  • step 3408 the control circuit 1100 connects the first digital image data 70 and the second digital image data 80.
  • Concatenated image data 1 3 0 is generated, and then the post-stage imaging processing shifts to Step 3 4 28.
  • step 3 42 the control circuit 1 1 0 0 outputs the concatenated image data 1 30 to the signal processing circuit 34, and then the post-stage imaging process shifts to step 3 4 4 4.
  • the first digital image data 70 and the second digital image data 8 are identical to each other.
  • the signal processing circuit 3 4 connects the first digital image data 7 ⁇ 2020/174978 41 ⁇ (: 170? 2020/002929
  • the second digital image data 80 obtained from the memory 122 by the control circuit 1200 is communicated.
  • the control circuit 1 2 0 ( 3 performs some image processing on the second digital image data 8 0 acquired from the memory 1 2 2 by the control circuit 1 2 0 ( 3).
  • the image data obtained in step 1 may be output to the first image sensor 38 through the communication/120 port 2.
  • the image processing described above includes, for example, decimation processing and addition processing. The well-known image processing of is mentioned.
  • the image data obtained by performing some image processing on the second digital image data 80 is an example of "output image data" according to the technique of the present disclosure.
  • connection standard of ⁇ 3 _ ⁇ 1 and are connected according to the connection standard of ⁇ 3 _ ⁇ .
  • communication 5 port 2 and communication 1/1 2 0 0 1 are connected according to the connection standard of ( 3 1 _ 6).
  • communication 1/3 48 and communication 1/1 0 0 2 are connected. It is connected according to the connection standard of 6.
  • communication 1 1 0 0 3 and the communication standard / 1 2 0 2 are connected according to the connection standard of ( 3, 16).
  • the technology of the present disclosure is not limited to this.
  • _ V 0 3, 3, 8 chome Other connection standards, such as ⁇ or IV! ⁇ may be adopted.
  • communication between the first image sensor 38 and the second image sensor 52, communication between the first image sensor 38 and the signal processing circuit 34, control The communication between the controller 15 and the second image sensor 52, and the communication between the controller 15 and the first image sensor 38 are wired communication.
  • the technique of the present disclosure is not limited to this. Communication between the first image sensor 38 and the second image sensor 52, the first image sensor ⁇ 2020/174978 42 ⁇ (: 170? 2020 /002929
  • At least one of the communication between the controller 3 and the first image sensor 3 8 and the communication between the controller 15 and the second image sensor 5 2 is wireless communication. May be
  • the photoelectric conversion element 4 is used as the first imaging element 38.
  • the processing circuit 1 10 and the memory 1 12 at least the photoelectric conversion element
  • the smart device 10 in which the two image pickup devices, that is, the first image pickup device 38 and the second image pickup device 52, are mounted is exemplified, but in the second embodiment, the three smart device 10 A smart device equipped with an imaging device will be described.
  • the same components as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted. In the following, parts different from the first embodiment will be described.
  • the smart device 500 is different from the smart device 10 described in the first embodiment above in that the imaging device 5 14 is used instead of the imaging device 14.
  • the difference is that it has.
  • the image pickup device 5 14 differs from the image pickup device 14 described in the first embodiment in that it has a third image pickup lens 5 18.
  • the first image pickup lens 16, the second image pickup lens 18 and the third image pickup lens 5 1 8 are laid out at regular intervals along the vertical direction (for example, a few millimeters apart), and are exposed from the back surface 128.
  • the smart device 500 has a controller 5 15 instead of the controller 15 as compared with the smart device 10 described in the first embodiment. Is different. Further, the imaging device 5 14 has a third imaging device 5 3 2 as compared with the imaging device 14 described in the first embodiment. ⁇ 2020/174978 43 ⁇ (: 170? 2020 /002929
  • the imaging device 5 14 differs from the imaging device 14 described in the first embodiment above in that it has a second imaging device 4 32 instead of the second imaging device 32.
  • the third imaging device 532 is an imaging device located in the preceding stage of the second imaging device 432.
  • the third image pickup device 5 32 includes a third image pickup lens 5 18 and a third image pickup device main body 5 50.
  • the third image pickup lens 5 1 8 is provided with an objective lens 5 1 8 8 and a focus lens 5 1 8 m, and a diaphragm 5 1 8 ( 3. Objective lens 5 1 8 8 and focus lens 5 1 8 m, And diaphragm 5 18 ( 3 is the objective lens 5 1 8, focus lens 5 1 8 m, and diaphragm 5 1 along the optical axis 1_3 from the subject side to the 3rd imaging device main body 5 50 side. 8 ( arranged in order of 3.
  • the objective lens 5 1 8 8, the focus lens 5 1 8 m, and the diaphragm 5 1 8 0 are located on the optical axis !_ 3 and are the objectives described in the first embodiment. It has the same functions as the lens 18, focus lens 18 and aperture 1808.
  • the focus lens 5 1 8 and aperture 5 1800 are the focus lens 1 8 on the optical axis 1_3.
  • diaphragm 18 Operates in the same way as 3.
  • the main body of the third imaging device 550 is a mechanical shirt 553 and a third imaging device.
  • the mechanical shirt 53 has the same function as the mechanical shirt 40 and operates in the same manner as the mechanical shirt 40.
  • the image pickup device 5 52 has the same laminated structure as the first image pickup device 38 and the second image pickup device 5 2 described in the first embodiment (see FIG. 6). Therefore, the description of the laminated structure of the third image sensor 5 52 is omitted here.
  • the first image sensor 38, the second image sensor 45 2, and the third image sensor 5 52 are examples of the "plurality of image sensors” according to the technology of the present disclosure.
  • the third image sensor 552 is an example of the image sensor included in the “plurality of image sensors” according to the technology of the present disclosure.
  • the second image sensor 45 2 and the third image sensor 5 52 are examples of “adjacent image sensors” in the technique of the present disclosure.
  • the third image sensor 5 52 is the same as the second image sensor 4 52 and the third image sensor 5 52 in terms of the positional relationship between the second image sensor 4 52 and the third image sensor 5 52.
  • the third image sensor 5 52 is an example of the “pre-stage image sensor” and the “pre-stage image sensor” according to the technology of the present disclosure.
  • the third image sensor 552 includes a photoelectric conversion element 556 having a light receiving surface 5556.
  • the subject light indicating the subject passes through the third imaging lens 5 18 and is imaged on the light receiving surface 5 5 6 8 of the third imaging element 5 5 2 via the mechanical shutter 5 5 3.
  • the photoelectric conversion element 5 5 6 photoelectrically converts the subject light imaged on the light receiving surface 5 5 6 to generate third image data 5 8 0 showing an image of the subject.
  • the third image sensor 552 is connected to the second image sensor 452 via a communication line 554. Further, the third image pickup device 5 52 is connected to the controller 5 15 via a communication line 5 58. Note that the communication line 5554 is an example of “transmission path” according to the technology of the present disclosure.
  • the third image sensor 5 52 is controlled by the controller 5 15 via the communication line 5 58.
  • the third image sensor 5 52 captures an image of a subject under the control of the controller 5 15. Further, the third image sensor 552 outputs the third image data 580 obtained by imaging the subject to the second image sensor 452 via the communication line 554.
  • the second image sensor 4 52 is located after the third image sensor 5 52, and the first image sensor 38 is located after the second image sensor 4 52.
  • the signal processing circuit 34 is located after the stage 38.
  • the third image sensor 5 52 is connected to the second image sensor 4 52 via the communication line 5 54, and
  • the fourth image sensor 4 52 is connected to the first image sensor 3 8 via a communication line 54, and the first image sensor 38 is connected to a signal processing circuit 3 4 via a communication line 4 4. That is, the first image sensor 38, the second image sensor 45 2, the third image sensor 5 52, and the signal processing circuit 34 are connected in series by the communication lines 4 4, 5 4, 5 5 4. Has been done.
  • the second image sensor 45 2 is located farther from the signal processing circuit 34 than the first image sensor 38, and the third image sensor 5 52 is closer to the second image sensor 45 2. Is also located far from the signal processing circuit 34. In other words, the second image sensor 45 2 ⁇ 2020/174978 45 ⁇ (: 170? 2020 /002929
  • the image pickup device 5 52 is located closer to the signal processing circuit 34, and the first image pickup device 38 is located closer to the signal processing circuit 34 than the second image pickup device 45 2.
  • a read synchronization signal is input from the controller 15 to the third image sensor 5 52 via the communication line 5 58.
  • the vertical synchronization signal is a synchronization signal that defines the start timing of reading the third image data 580 from the photoelectric conversion element 556 for each frame.
  • the horizontal synchronization signal is a synchronization signal that defines the start timing of reading the third image data 580 for each horizontal line from the photoelectric conversion element 556.
  • the photoelectric conversion element 5 5 6 outputs the third image data 5 0 8 according to the frame rate determined according to the vertical synchronizing signal input from the controller 15 via the communication line 5 58. Is read.
  • the controller 5 15 differs from the controller 15 described in the first embodiment above in that the controller 5 15 has a communication socket/150 3.
  • the Communications/1503 is connected to the Busline 100.
  • the communication device / 1503 is a communication device having 0.8.
  • the communication device / 1503 may be a device including 8 3 0, 08, and/or !_ 0. Further, the Communication/1503 may be a computer including 011, [3 ⁇ 40 IV!, and 8 IV!. ⁇ 11 may be singular or plural. Further, the communication / 1503 may be realized by a combination of hardware configuration and software configuration.
  • 0 9 1 ⁇ ] 5 8 is The 3rd imaging element 5 52 is controlled via.
  • 0 9 1 ⁇ 5 8 is a communication
  • the read timing of the third image data 5 8 0 from the photoelectric conversion device 5 5 6 is controlled.
  • the second image sensor 45 2 is different from the second image sensor 52 described in the first embodiment in that the processing circuit 1 2 0 is replaced by a processing circuit 1 2 0.
  • the difference is that it has 53.
  • the processing circuit 453 is different from the processing circuit 120 in that it has a communication I/F 120 D3 and that it has a control circuit 72 OC instead of the control circuit 12 OC.
  • Communication I/F 1 20 D3 is connected to the control circuit 720C.
  • Communication I/F 120 D3 is a communication device with F P G A.
  • a communication device having an FPGA is used as the communication I/F 120 D3, but this is only an example, and the communication I/F 120 D3 is an AS IC, F PGA, and/or PLD. It may be a device including.
  • the communication/F 120 D3 may be a computer including CPU, ROM, and RAM. C PU may be singular or plural.
  • the communication/F 120 D 3 may be realized by a combination of a hardware configuration and a software configuration.
  • the third image sensor 552 includes communication I/Fs 620 D 1 and 620 D 2.
  • the communication I/F 620 D 2 is an example of the “output unit (communication interface)” according to the technology of the present disclosure.
  • the communication device / F 620 D 1 is a communication device having an FPGA, is connected to the communication I/F 15 D 3 of the controller 15 via the communication line 558, and the third image sensor 552 is the communication I / F 15 D3, 620 Communicates with controller 15 via D1.
  • the third image sensor 552 receives the read synchronization signal output from the communication line /F 15 D 3 of the controller 15 via the communication line 558 by the communication I /F 620 D 1.
  • the communication I/F 620 D 2 is a communication device having an FPGA, and is connected to the communication I/F 1 20 D 3 of the second image sensor 452 according to the connection standard of PC I _e via the communication line 554. It is connected.
  • the communication I/F 620 D 2 controls communication between the third image sensor 552 and the control circuit 720C.
  • a communication device having an FPGA is adopted as the communication ⁇ / F 620 D 2, but it is just an example, and the communication I / F 620 D 2 is an AS IC, F PGA, and/or It may be a device including a PLD.
  • the communication I/F 620 D 2 may be a computer including a CPU, ROM, and RAM.
  • C ⁇ 2020/174978 47 (: 170? 2020/002929 11 may be a singular number or plural numbers. It may be realized by a combination.
  • the third digital image data 5802 showing the image of the subject is obtained by the same method as the first image sensor 38 described in the first embodiment. Minami is created. Then, the third digital image data 580 generated by the third image sensor 5 52 is the communication data.
  • the third digital image data 5800 is referred to as "digital image data” without reference numerals.
  • the third digital image data 5 8 0 Snake is a _ example of the "output image data" according to the techniques of this disclosure.
  • the control circuit 720 stores the second digital image data 80 0 input from the digital processing circuit 120 0 in the memory 1 22.
  • the control circuit 12000 also stores the third digital image data 5800 input from the communication device /1203 in the memory 1202.
  • the control circuit 720 is capable of random access to the memory 1 2 2 and acquires digital image data from the memory 1 2 2.
  • the control circuit 720 communicates the image data obtained by performing image processing on the digital image data obtained from the memory 1 2 2. Output to.
  • the communication system / 1 2 0 2 0 2 sends the image data input from the control circuit 7 2 0 ( 3 to the first via the communication line 4 4. Output to 1 0 2 (see Figure 7 and Figure 8).
  • the third image sensor 5 52 is a photoelectric conversion element 5 ⁇ 2020/174 978 48 ⁇ (: 170? 2020 /002929
  • the processing circuit 620 includes a reading circuit 620, a digital processing circuit 620, a control circuit 620 ( 3, and communication I/6200201, 620201).
  • the read circuit 6208 is connected to each of the photoelectric conversion element 556, the digital processing circuit 620, and the control circuit 620 ( 3.
  • the digital processing circuit 6208 is , Control circuit 6 2 0 ( 3 is connected to control circuit 6 2 0 ( 3 is connected to each of memory 6 2 2 and communication I / 6 2 0 0 1 and 6 2 0 2).
  • third image data 580 is roughly classified into third analog image data 580 and third digital image data 580.
  • third image data 5800 To call.
  • the read sync signal output via the signal line 5 58 is accepted, and the accepted read sync signal is output to the control circuit 6 2 0 ( 3.
  • the readout circuit 6208 controls the photoelectric conversion element 556 under the control of the control circuit 6208, and reads the third analog image data 5808 from the photoelectric conversion element 556. put out.
  • the reading of the third analog image data 5808 from the photoelectric conversion element 556 is performed in accordance with the read synchronization signal input from the controller 15 to the processing circuit 620.
  • the communication engine / 6201 accepts the read synchronization signal from the controller 15 and outputs the accepted read synchronization signal to the control circuit 620 ( 3.
  • Control circuit 6 2 0 3 is the communication
  • the read synchronization signal input from the signal 620 is transferred to the read circuit 620. That is, the vertical synchronizing signal and the horizontal synchronizing signal are transferred to the read circuit 620.
  • the reading circuit 6208 starts reading the third analog image data 5808 from the photoelectric conversion element 556 in frame units according to the vertical synchronizing signal transferred from the control circuit 6208 ( 3.
  • the read circuit 6208 reads the third analog image data 5808 in units of horizontal lines according to the horizontal sync signal transferred from the control circuit 620 ( 3. ⁇ 2020/174 978 49 ⁇ (: 170? 2020 /002929
  • the readout circuit 6208 performs the above-described analog signal processing on the third analog image data 5800 read out from the photoelectric conversion element 556.
  • the third analog image data 5808 subjected to the analog signal processing in this manner is output to the digital processing circuit 6280 by the read circuit 6208.
  • the digital processing circuit 6200 is equipped with a /O converter 6200.
  • the eight/unit converter 6200 converts the third analog image data 5800 into /0.
  • the digital processing circuit 6280 performs digital signal processing on the third analog image data 5808 input from the reading circuit 6208. Compared to the digital signal processing for the second analog image data 808, the digital signal processing for the third analog image data 580 is compared with the digital signal processing for the second analog image data 808. The difference is that the conversion by converter 6 20 0 1 is included.
  • the 8/ ⁇ converter 620 0 1 performs the 8/ ⁇ conversion, whereby the third analog image data 5808 is digitized and converted to the third as the data.
  • Digital image data 5800 is obtained.
  • the third digital image data 580 obtained by the digital signal processing is output to the control circuit 620 by the digital processing circuit 620.
  • the memory 6 2 2 is a memory capable of storing 3rd digital image data 5800 of a plurality of frames.
  • the memory 1 2 2 has a storage area (not shown) in units of pixels, and the second digital image data 80 0 is controlled by the control circuit 6 2 0 ( 3, in units of pixels, of the memories 6 2 2. It is stored in the corresponding storage area.
  • the control circuit 1 2 0 ( 3 stores the third digital image data 5 8 0 input from the digital processing circuit 6 2 0 in memory 6 2 2.
  • the control circuit 620 is capable of random access to the memory 622 and acquires the third digital image data 580 from the memory 622.
  • Communication / 6200 is the third digital image data 5800 acquired from the memory 6222. Output to. Communication / 6200 is the third digital image data 5800 input from the control circuit 6200 and the communication of the second image sensor 4522 via the communication line 554. Output to.
  • the third digital image data 580 obtained by the subject being imaged by the third image sensor 5 52 is stored in the memory 6 2 2. Then, it is output to the second image sensor 4 52 via the communication line 5 54 (see FIGS. 20 and 21). That is, the second image sensor 4 52 and the third image sensor 5 52 are adjacent image sensors, and the first image sensor that is the preceding image sensor of the adjacent image sensors.
  • the third digital image data 5800 is output by. Then, the third digital image data 5800 output by the communication engine / 6202 is the communication of the second image sensor 452 which is the image sensor at the latter stage of the adjacent image sensors.
  • the third digital image data 5800 received by is stored in the memory 1 22. Further, the second digital image data 80 obtained by being imaged by the second image sensor 45 2 is also stored in the memory 1 12.
  • the second digital image data 80 is defined as the "second stage image data” according to the technology of the present disclosure. This is an example. Further, in the relationship between the second digital image data 80 and the third digital image data 5800, the third digital image data 5800 is an example of “preceding stage image data” according to the technology of the present disclosure. Is.
  • the acquisition unit 7 2 0 0 (3 has an acquisition unit 7 2 0 0 1 and a compositing unit 7 2 0 2 0.
  • the acquisition unit 7 2 0 0 1 is from the memory 1 2 2 to the second digital image data 80 0 and 3rd.
  • the third digital image data is acquired. ⁇ 2020/174978 51 ⁇ (: 170? 2020/002929
  • the third digital image data 5 8 0 is acquired from the memory 1 2 2 by the acquisition unit 7 2 0 1.
  • the third digital image data 5800 may be acquired by the acquisition unit 7200 without being stored in the memory 122.
  • the synthesizing unit 720 2 synthesizes the second digital image data 80 0 and the third digital image data 5 80 obtained by the obtaining unit 7202. Specifically, the synthesizing unit 720 2 calculates the second digital image data by averaging the second digital image data 80 and the third digital image data 580 in pixel units. The 0th and 3rd digital image data 580 0ths are combined.
  • the averaging is taken as an example of the synthesizing method, but the synthesizing method is not limited to this.
  • alpha blending may be performed using the second digital image data 880 and the third digital image data 580.
  • the second digital image data 80 and the third digital image data 5800 may be simply added in pixel units.
  • the technique of the present disclosure is established regardless of the method of synthesizing the second digital image data 80 and the third digital image data 580.
  • the synthesizing unit 720 2 communicates the first synthetic image data 7 30 obtained by synthesizing the second digital image data 80 0 and the third digital image data 5 8 0 I 1 Output to 2 0 2
  • the first combined image data 7 30 input from the combiner 7 20 2 is sent via the communication line 54 (see Fig. 7) to the first image sensor. Output to 1 0 3 Note that the first composite image data
  • Evening 730 is an example of “output image data” according to the technique of the present disclosure.
  • the 1st composite image data 7 30 received by the communication / 110 port 3 is stored in the memory 1 1 2 of the 1st image sensor 38.
  • the first image sensor 38 and the second image sensor 452 are arranged such that ⁇ 2020/174978 52 ⁇ (: 170? 2020/002929
  • Communication of the second image sensor 4 52 which is the child of the adjacent image sensor and is the preceding image sensor Outputs the first composite image data 7 30.
  • the first composite image data 7300 output by the communication device / 1 200 2 is the communication image / 1 1 0 of the first image sensor 38, which is the image sensor at the latter stage of the adjacent image sensors.
  • the first combined image data 7 30 received by the mouth 3 is stored in the memory 1 22.
  • the first digital image data 70 obtained by being imaged by the first image sensor 38 is also stored in the memory 1 12.
  • the first digital image data 7 This is an example. Further, in the relationship between the first digital image data 70 and the first composite image data 73 0, the first composite image data 7 30 is an example of “pre-stage image data” according to the technology of the present disclosure. is there.
  • the acquisition unit 1 1 in the first image sensor 38, the acquisition unit 1 1
  • the first composite image data 7300 may be acquired by the acquisition unit 1 1 X 0 1 without being stored in the memory 1 1 2.
  • the synthesizing unit 1100 2 synthesizes the first digital image data 70 0 and the first synthesized image data 7 30 obtained by the obtaining unit 1 10 ( 3 1).
  • the synthesizing unit 1100 2 adds the 1st digital image data 70 0 and the 1st synthetic image data 7 30 in pixel units and averages them to obtain the 1st digital image data 7 0 9 and the 1st synthetic image data. 7 30 and are combined.
  • the averaging is described as an example of the combining method, but the combining method is not limited to this.
  • the first digital image data 70 and the first composite ⁇ 2020/174978 53 ⁇ (: 170? 2020/002929
  • the first digital image data 70 0 and the first combined image data 7 30 may be simply added in pixel units.
  • the technique of the present disclosure is established regardless of the method of synthesizing the first digital image data 70 and the first synthetic image data 730.
  • the compositing unit 1102 combines the first digital image data 70 and the first composite image data 730 to obtain the first digital image data 730. Output to 1 0 0 2. 1 0 0 2 outputs the second combined image data 8 30 input from the combining unit 1 1 0 2 to the signal processing circuit 3 4 via the communication line 4 4. It should be noted that the second composite image data 1330 is an example of “output image data” according to the technique of the present disclosure.
  • the various kinds of signal processing described in the first embodiment are performed on the second combined image data 830, and the various kinds of signal processed second combined image data Output 8 30 to controller 15.
  • the controller 15 when the second combined image data 830 is input, the second combined image data 830 is stored in the secondary storage device 1 0 2 by 0 9 ⁇ ⁇ 58, or externally. It is also stored in an external device (not shown) via ⁇ / 104. Further, in the controller 15, when the second combined image data 830 is input, the image based on the second combined image data 8300 is displayed as a still image or a live view image according to 011158. Displayed for 2 6
  • the third analog image data 5808 is generated by exposing 556, and when the vertical sync signal is input, the third analog image data from the photoelectric conversion element 556 is read. Eighth read and reset for photoelectric conversion elements 5 5 6 are performed.
  • the reset for the photoelectric conversion element 5 5 6 means an operation of erasing the residual charge of each pixel in the photoelectric conversion element 5 5 6.
  • the exposure by the photoelectric conversion element 5 5 6 is performed between the time when the readout circuit 6 28 8 for the photoelectric conversion element 5 5 6 was previously reset and the time when the readout is performed. ⁇ 2020/174978 54 ⁇ (: 170? 2020 /002929
  • Third digital image data 5800 is generated by performing digital signal processing on the third analog image data 5808, and the generated third digital image data 5800. Is stored in memory 6 22. Then, the third digital image data 580 stored in the memory 622 is output to the second image sensor 452.
  • the second photoelectric conversion element 5 6 is exposed to generate the second analog image data 80 8, and the timing is slower than that of the third image sensor 5 52 in the vertical direction.
  • the second analog image data 808 is read out from the photoelectric conversion element 56, and the photoelectric conversion element 5 6 is reset.
  • the reset for the photoelectric conversion element 56 means an operation of erasing the residual charge of each pixel in the photoelectric conversion element 56.
  • the exposure by the photoelectric conversion element 5 6 is performed between the time when the readout circuit 1208 for the photoelectric conversion element 5 6 was previously reset and the time when the readout is performed.
  • the second digital image data 80 is generated by performing digital signal processing on the second analog image data 80.
  • the second digital image data 80 0 is temporarily stored in the memory 1 22 2 for synchronization with the third digital image data 5 80 output from the third image sensor 5 52.
  • the third digital image data 5800 is stored in the memory 1 2 2
  • the second digital image data 8 0 and the third digital image data 5 8 0 stored in the memory 1 2 2 are combined.
  • the first composite image data 730 is generated.
  • the first composite image data 730 is output to the first image sensor 38.
  • the photoelectric conversion element 42 is exposed to generate the first analog image data 70, and the vertical sync signal is generated at a timing later than that of the second image sensor 45 2.
  • the first analog image data 70 8 is read from the photoelectric conversion element 42, and reset for the photoelectric conversion element 42 is performed.
  • the reset for the photoelectric conversion element 42 means an operation of erasing the residual charge of each pixel in the photoelectric conversion element 42.
  • the exposure by the photoelectric conversion element 42 is performed after the previous reset by the readout circuit 110 for the photoelectric conversion element 42. ⁇ 2020/174978 55 ⁇ (: 170? 2020 /002929
  • the first analog image data 70 is generated by performing digital signal processing on the first analog image data 70.
  • the first digital image data set 70 is temporarily stored in the memory 1 12 so as to be synchronized with the first combined image data 7 30 output from the second image sensor 4 52.
  • the first composite image data 7 3 0 is stored in the memory 1 1 2
  • the first digital image data 7 0 and the first composite image data 7 3 0 stored in the memory 1 1 2 are composited
  • the second composite image data 830 is generated.
  • the composite image data 830 is output to the signal processing circuit 34.
  • the input timing of the vertical synchronizing signal input to the second image sensor 4 52 is more than that of the vertical synchronizing signal input to the third image sensor 5 52. Slower. Further, the input timing of the vertical synchronizing signal input to the first image sensor 38 is later than the input timing of the vertical synchronizing signal input to the second image sensor 45 2. As a result, the photoelectric conversion element in the second image sensor 4 52 is
  • the exposure time by 5 6 is longer than the exposure time by the photoelectric conversion element 5 5 6 of the third image sensor 5 52.
  • the exposure time by the photoelectric conversion element 42 in the first image sensor 38 is longer than the exposure time by the photoelectric conversion element 56 in the second image sensor 45 2.
  • step 3100 the control circuit
  • step 3 100 the vertical sync signal from the controller 15 is received. If it is not received by the communication / 6 2 0 0 1, the determination is negative, and the preceding stage imaging processing moves to step 3 1 1 0 2.
  • step 3 1 1 0 the controller 1 5 of ⁇ 2020/174978 56 ⁇ (: 170? 2020 /002929
  • step 3 102 the readout circuit 6208 is the third analog image data 5
  • step 3104 the digital processing circuit 620 performs digital signal processing on the third analog image data 580, and then the pre-stage imaging processing proceeds to step 3106. Transition.
  • the third digital image data 580 obtained by performing the digital signal processing on the third analog image data 508 in step 3104 is the control circuit 620. ( Transferred to 3.
  • step 3 106 the control circuit 6 2 0 ( 3 is the third digital image data 5
  • step 3108 the control circuit 6200 sets the third digital image data 5
  • the timing for outputting 80 to the second image sensor 45 2 (the output timing according to the second embodiment) has arrived.
  • An example of the output timing according to the present second embodiment is the timing at which the control circuit 620 can read the third digital image data 5800 from the memory 622.
  • Memory 6 2 2 is 0 8 IV! and writing to and reading from memory 6 2 2 cannot be performed at the same time. Therefore, the timing at which the control circuit 6200 can read the third digital image data 5800 from the memory 622 is, for example, the third digital image data for one frame to the memory 622. 5 8 0 It means the timing when the memory is completed.
  • step 3108 If the output timing according to the second embodiment has not arrived at step 3108, the determination is denied, and the determination at step 3108 is performed again. If the output timing comes in step 3108, the determination is affirmative, and the pre-stage imaging process proceeds to step 3110. ⁇ 2020/174978 57 ⁇ (: 170? 2020/002929
  • step 3100 the control circuit 6200 acquires the third digital image data 5800 from the memory 622, and acquires the acquired third digital image data 5800. , Telecommunications Then, the image is output to the second image sensor 45 2, and thereafter, the preceding-stage image capturing process proceeds to step 3 1 1 1.
  • step 3 1 1 12 the control circuit 6200 determines whether or not the pre-stage imaging process end condition described in the first embodiment is satisfied. If the conditions for ending the first-stage imaging process are not satisfied in step 3-11, the determination is negative and the previous-stage imaging process proceeds to step 3-110. In step 3 1 1 1 2, if the pre-stage imaging process end condition is satisfied, the determination is affirmative and the pre-stage imaging process ends.
  • step 3 130 the control circuit
  • step 3 1 3 the vertical sync signal from the controller 15 is checked. If it is not received by the communication / 1 2 0 0 1, the determination is negative, and the post-stage imaging process proceeds to step 3 1 4 4.
  • step 3 1 3 the controller 1 5 If the vertical synchronization signal of is received by the communication engine / 1 2 0 0 1, the determination is affirmative and the middle stage imaging process proceeds to step 3 1 3 2.
  • step 3 132 the readout circuit 1208 is the second analog image data 8
  • step 08 After that, the read operation of step 08 and the reset of the photoelectric conversion element 56 are performed, and then the middle-stage imaging process proceeds to step 3 1 3 4.
  • step 3 1 3 4 the digital processing circuit 1 2 0 performs digital signal processing on the second analog image data 8 0, and then the middle imaging processing proceeds to step 3 1 3 6. Transition.
  • the second digital image data 8 0 obtained by performing the digital signal processing on the second analog image data 8 08 in step 3 1 3 4 is ⁇ 2020/174978 58 ⁇ (: 170? 2020 /002929
  • Control circuit 7 2 0 (transferred to 3.
  • Step 3 1 3 6 the control circuit 720 sets the second digital image data 8
  • Step 3 1 3 8 8 the control circuit 7200 is connected to the third image sensor 552 through the third image sensor 552.
  • step 3 Determine whether digital image data 5800 has been input. If the third digital image data 5 8 0 has not been input from the third image sensor 5 52 in step 3 1 3 8 8, the determination is negative and the determination in step 3 1 3 8 is repeated. Done. If the third digital image data 580 0 is input from the third image sensor 5 52 in step 3 1 3 8 8, the determination is affirmative, and the middle stage imaging process proceeds to step 3 1 4 0. To do.
  • Step 3 140 the control circuit 7200 has the second digital image data 7
  • the first composite image data 7 3 0 is generated by compositing 0 m 3 and the third digital image data 5 8 m 0, and then the middle-stage imaging process moves to step 3 4 2.
  • step 3 1 4 2 the control circuit 7200 sends the first composite image data 7300 to Then, the image is output to the first image sensor 38, and then the middle-stage image capturing process proceeds to step 3 1 144.
  • step 3 1 144 the control circuit 7200 determines whether or not the condition for ending the middle-stage imaging process (hereinafter, referred to as "middle-stage imaging process end condition") is satisfied. ..
  • the middle stage imaging process end condition there is a condition that an instruction to end the middle stage imaging process is received by the receiving device 84 (see FIG. 5). If the conditions for ending the middle-stage imaging process are not satisfied in step 3-1444, the determination is negative, and the middle-stage imaging process proceeds to step 3-130. If the conditions for ending the middle-stage imaging process are satisfied in Steps 3 to 1 44, the determination is affirmative, and the middle-stage imaging process ends.
  • step 3150 the control circuit
  • step 3 1 1 0 determines whether the vertical sync signal from the controller 15 has been accepted by the communication engine / 1 1 0 0 1.
  • step 3 1 5 the vertical sync signal from the controller 15 is determined. Is not received by the communication / 1 1 0 0 1, the determination is negative, and the post-stage imaging process proceeds to step 3 1 164.
  • step 3 1 5 the controller 1 5 If the vertical synchronization signal of is received by the communication engine / 1 1 0 0 1, the determination is affirmative, and the post-stage imaging process proceeds to step 3 1 5 2.
  • step 3 1 5 2 the readout circuit 1 1 08 is the first analog image data 7
  • the photoelectric conversion element 42 is reset and the subsequent-stage imaging process proceeds to step 3 1 5 4.
  • step 3 1 54 the digital processing circuit 1 1 0 9 performs digital signal processing on the first analog image data 70, and then the subsequent imaging processing proceeds to step 3 1 5 6. Transition.
  • the first digital image data 7 0 obtained by performing the digital signal processing on the first analog image data 70 8 in step 3 1 54 is the control circuit 1 1 0 ⁇ 3. Transferred to.
  • step 3 156 the control circuit 1 1 0 0 is the first digital image data 7
  • step 3 158 the control circuit 1 1 0
  • step 3 1 It is determined whether the composite image data 730 has been input. If the first combined image data 7 30 is not input from the second image sensor 4 52 in step 3 1 5 8 8, the determination is denied and the determination in step 3 1 5 8 is performed again. .. If the first composite image data 7 30 is input from the second image sensor 4 52 in step 3 158, the determination is affirmative, and the post-stage imaging process proceeds to step 3 160. Transition.
  • Step 3160 the control circuit 1100 has the first digital image data 7 ⁇ 2020/174978 60 ⁇ (: 170? 2020 /002929
  • the second combined image data 830 is generated by combining the 0th image and the first combined image data 7300, and then the second-stage imaging process proceeds to step 3-16.
  • step 3 1 6 2 the control circuit 1 1 1 0 0 outputs the second composite image data 8 3 0 to the signal processing circuit 3 4 via the communication 1/1 1 0 port 2 and thereafter.
  • the latter-stage imaging processing moves to step 3-1664.
  • step 3164 the control circuit 1100 determines whether or not the post-stage imaging process end condition described in the first embodiment is satisfied. If the conditions for ending the latter-stage imaging process are not satisfied in step 3 164, the determination is negative, and the latter-stage imaging process proceeds to step 3 1 550. If the conditions for terminating the post-stage imaging process are satisfied in steps 3 to 164, the determination is affirmative and the post-stage imaging process ends.
  • the imaging device 5 14 is provided with the signal processing circuit 34, the first imaging element 38, the second imaging element 4 52, and the third imaging element 5 52.
  • the third image sensor 5 52 is connected to the second image sensor 4 52 via a communication line 5 54.
  • the second image sensor 45 2 is connected to the first image sensor 38 through the communication line 54.
  • the first image sensor 38 is connected to the signal processing circuit 34 via the communication line 44. That is, the signal processing circuit 3 4, the first image sensor 38, the second image sensor 45 2, and the third image sensor 5 52 are connected in series by communication lines 4 4, 5 4, 5 5 4. ing.
  • the third image sensor 5 52 obtains an image of the subject
  • Digital image data 5 8 0 It is output to the second image sensor 4 52 via the communication line 5 5 4 by 6 2 0 2.
  • the second digital image data 80 0 obtained by the subject being imaged by the second image sensor 4 52 is combined with the third digital image data 5 80.
  • the first combined image data obtained by combining the second digital image data 80 and the third digital image data 5800 Output to the first image sensor 3 8 via the communication line 5 4.
  • the image data 7 0 is combined with the first combined image data 7 30.
  • the first digital image data 7 0 and the first composite image data 7 30 It is output to the signal processing circuit 34 through the communication line 44 by the port 10. Therefore, as compared with the case where each of the first image pickup device 38, the second image pickup device 45 2, and the third image pickup device 52 is directly connected to the signal processing circuit 34, the first image pickup device 38, The number of wires required to connect the image pickup device 45 2 and the third image pickup device 5 52 to the signal processing circuit 34 can be suppressed.
  • the synthesizing unit 720 2 synthesizes the second digital image data 80 0 and the third digital image data 5800 and synthesizes them.
  • the first combined image data 730 obtained in step 3 is output to the first image sensor 38.
  • the first digital image data 70 0 and the first combined image data 7 30 are combined by the combining unit 1 1 0 2 and the second combined image data obtained by combining them.
  • the exposure time by the photoelectric conversion element 5 6 in the second image pickup element 4 52 is determined by the exposure time by the photoelectric conversion element 5 5 6 in the third image pickup element 5 52. Is also long. Further, the exposure time by the photoelectric conversion element 42 in the first image sensor 38 is longer than the exposure time by the photoelectric conversion element 5 6 in the second image sensor 45 2. Therefore, the dynamic range of the second composite image data 83 0 obtained by combining the first digital image data 70, the second digital image data 80 0, and the third digital image data 5 80 Is larger than the dynamic range of a single digital image data. That is, the second composite image data 830 is an image data that can express the luminance more closely than the single digital image data.
  • the signal processing circuit 3 4 includes the first image pickup device 3 8 ⁇ 2020/174978 62 ⁇ (: 170? 2020/002929
  • Image sensor 4 52, and 3rd image sensor 5 52 are connected in series, and more than 1st image sensor 38, 2nd image sensor 4 52, and 3rd image sensor 5 52. It is located in the rear stage. Specifically, the third image pickup device 52, the second image pickup device 45 2, the first image pickup device 38, and the signal processing circuit 34 are arranged in this order from the front stage side to the rear stage side. Therefore, the signal processing circuit 34 receives all image data obtained by being imaged by each of the first image sensor 38, the second image sensor 45 2, and the third image sensor 5 52. You can
  • the first imaging element 3 described in the first embodiment is used.
  • the third image sensor 552 is an image sensor in which the photoelectric conversion element 556, the processing circuit 620, and the memory 6222 are integrated into one chip. Has been done. As a result, the same effects as those of the first image sensor 38 and the second image sensor 52 described in the first embodiment can be obtained.
  • the third image pickup device 52 As the third image pickup device 52, a laminated image pickup device in which a memory 6 22 is laminated on a photoelectric conversion element 5 56 is adopted. As a result, the same effects as those of the first image sensor 38 and the second image sensor 52 described in the first embodiment can be obtained.
  • a live view image based on the second combined image data 8 30 is displayed on the display 26. This allows the user to visually recognize the image shown by the second composite image data 830.
  • the second combined image data 8 30 input to the signal processing circuit 3 4 is transferred to the secondary storage device 1 0 2 11 3 by the memory 1 58. / Or stored in a memory card or the like.
  • the second composite image data 830 input to the signal processing circuit 34 can be managed without excess or deficiency.
  • the first digital image data 70, the second digital image data 80, and the third digital image data 5800 are combined.
  • the technology of the present disclosure is not limited thereto.
  • the first digital image data 70, the second digital image data 80, and the third digital image data 80 ⁇ 2020/174978 63 ⁇ (: 170? 2020 /002929
  • the digital image data 580 may be output to the signal processing circuit 34 without being combined.
  • the digital image data is sequentially transferred from the image pickup device on the far side to the image pickup device on the near side to the signal processing circuit 34, and the digital image data passed to the image pickup device at the final stage is transferred to the image pickup device at the final stage.
  • the signal may be output to the signal processing circuit 34 by the communication I.
  • the exposure is performed in time zone by the first image sensor 38, the second image sensor 45 2, and the third image sensor 5 52. Be broken.
  • the first digital image data 70 obtained by being imaged by the first image sensor 38 is
  • the second digital image data 80 obtained by being imaged by the second image sensor 45 2 is the communication information of the second image sensor 45 2. 2 is output to the first image sensor 38. Furthermore, the third digital image data 5800 obtained by being imaged by the third image sensor 552 at time zone 1 is obtained. Is output to the second image sensor 45 2.
  • the second digital image data 80 0 input from the second image sensor 45 2 in time zone 1 to the first image sensor 38 is the first image sensor. It is output to the signal processing circuit 34 by the 10 port 2.
  • the third digital image data 580 input from the third image sensor 5 52 in time zone 1 to the second image sensor 4 52 is the second image sensor. 4 5 2 communication Is output to the first image sensor 38.
  • the first image sensor 38 is set in time zone 2.
  • the third digital image data 580 input from the image sensor 4 52 is the first image sensor It is output to the signal processing circuit 34 by the 10 port 2. Therefore, even if the first image sensor 38, the second image sensor 45 2, and the third image sensor 5 52 are not directly connected to the signal processing circuit 34, the first digital device ⁇ 2020/174978 64 ⁇ (: 170? 2020 /002929
  • the image data 70, the second digital image data 80, and the third digital image data 5800 can be received by the signal processing circuit 34 from a single path.
  • time zone 1 the output of the first digital image data 70, the output of the second digital image data 80, and the output of the third digital image data 5800 are synchronized with each other. Done. Also, in time zone 2, the output of the second digital image data 880 and the output of the third digital image data 580 are performed in synchronization with each other. Therefore, it is possible to prevent the image data from staying in one of the first image sensor 38, the second image sensor 45 2, and the third image sensor 52.
  • the communication of the first image sensor 3 8 is 1/1/1 0 2 and the communication of the second image sensor 45 2 is communication.
  • each of the digital image data output by each of the communication I/620 2 of the third image sensor 5 52 is received by the signal processing circuit 34 in a time division manner. That is, the first digital image data 70, the second digital image data 80, and the third digital image data 58 0 are received by the signal processing circuit 34 in a time division manner.
  • the signal processing circuit 34 can sequentially perform various kinds of signal processing on the digital image data sequentially received from the first image sensor 38.
  • the third digital image data 580 is from the memory 6 2 2 of the third image sensor 5 5 2. It is moved to the memory 1 2 2 of the second imaging element 45 2. Further, in the time zone 1, the second digital image data 80 0 is moved from the memory 1 22 of the second image sensor 45 2 to the memory 1 12 of the first image sensor 38. Further, in the time slot 1, the first digital image data 70 is transferred from the memory 1 12 of the first image sensor 38 to the signal processing circuit 34. ⁇ 2020/174978 65 ⁇ (: 170? 2020/002929
  • the first image pickup device 38, the second image pickup device 452, and the third image pickup device 552, which are located closest to the signal processing circuit 34, are arranged.
  • the first digital image data 70 generated by the image pickup device 38 is received by the signal processing circuit 34.
  • the third digital image data 5800 is read from the memory 1 2 2 of the second image sensor 4 52 to the memory 1 2 2. 1 Moved to memory 1 1 2 of image sensor 3 8. In the time zone 2, the second digital image data 80 0 is transferred from the memory 1 1 2 of the first image sensor 38 to the signal processing circuit 34.
  • the signal processing circuit 3 is provided next to the first image sensor 3 8 among the first image sensor 38, the second image sensor 45 2, and the third image sensor 5 52.
  • the second digital image data 8 0 generated by the second image sensor 4 52 located near 4 is received by the signal processing circuit 3 4.
  • the third digital image data 5800 is processed by the signal processing from the memory 1 1 2 of the first image sensor 3 8. Moved to circuit 34.
  • the third image sensor 38, the second image sensor 452, and the third image sensor 522 which are located farthest from the signal processing circuit 34, are located.
  • the third digital image data 5800 generated by the image sensor 552 is received by the signal processing circuit 34.
  • the second image sensor 4 52 receives from the third image sensor 5 52 as compared with the case where the third digital image data 5800 is output without being stored in the memory 1 2 2. It is possible to output the third digital image data 5800 at an appropriate output timing. Further, the first image sensor 38 outputs the second digital image data received from the second image sensor 45 2 as compared with the case where the second digital image data 80 is output without being stored in the memory 1 12. 80 can be output at an appropriate output timing. In addition, the first image sensor 38 has a second image sensor 4 as compared with the case where the third digital image data 580 is output without being stored in the memory 1 12. ⁇ 2020/174 978 66 ⁇ (: 170? 2020 /002929
  • the third digital image data 5800 received from 5 2 can be output at an appropriate timing.
  • the digital image data is arranged in the order of the image pickup device on the side closer to the signal processing circuit 34 and the image pickup device on the far side. Are time-divisionally received by the signal processing circuit 34. Therefore, compared to the case where each digital image data generated by each of the plurality of image pickup devices is temporarily collected in the image pickup device closest to the signal processing circuit 34 and then output to the signal processing circuit 34, The digital image data generated by each of the image pickup devices can be received quickly by the signal processing circuit 34.
  • the control circuit 1100 has a connecting part 1100 3 instead of the combining part 1100 2.
  • the connecting unit 1 103 is the first digital image data 70 0, the second digital image data 80 0, and the third digital image data 5 8 acquired by the acquiring unit 1 10 ( 3 1.
  • the 0 image is concatenated and the concatenated image data 1 30 obtained by concatenating is generated.
  • the concatenated image data 1 30 generated in this way is connected to the communication line / 1 1 0 port 2 by the communication line 4 It is output to the signal processing circuit 3 4 via 4.
  • the first digital image data 70, the second digital image data 80, and the third digital image data 58 0 are vertically connected.
  • the first digital image data 70, the second digital image data 80, and the third digital image data 58 0 may be connected in the horizontal direction. In this way, the first digital image data 70, the second digital image data 80, and the third digital image data 58 0 can be connected in any direction.
  • the second digital image data 8000 and the third digital image data 580 may be connected.
  • the third digital image data 5800 acquired from the memory 6222 by the control circuit 6200 is communicated.
  • Is communication I The image may be output to the second image sensor 45 2 by the port 2620.
  • examples of the above-mentioned image processing include known image processing such as thinning processing and addition processing.
  • Image data obtained by image processing or any is applied to the third digital image data 5 8 0 Snake is an _ example of the "output image data" according to the techniques of this disclosure.
  • connection standard of ⁇ 3 _ ⁇ 3 I_6.
  • connection standard of 3 I_6 3 I_6.
  • the technology of the present disclosure is not limited to this.
  • other connection standards such as !_ 0 3, 3 8 chome, 3 !_ ⁇ 3 _ _, and IV! ⁇ may be adopted.
  • the technology of the present disclosure is not limited to this.
  • At least one of the communication between the second image pickup device 45 2 and the third image pickup device 52 2 and the communication between the controller 15 and the third image pickup device 45 2 is performed in a wireless format. It may be communication.
  • the photoelectric conversion element is used as the third image sensor 552. ⁇ 2020/174978 68 ⁇ (: 170? 2020/002929
  • the technique of the present disclosure is not limited to this.
  • at least the photoelectric conversion element 5 56 and the memory 6 2 2 among the photoelectric conversion element 5 56, the processing circuit 6 20 and the memory 6 2 2 may be integrated into one chip. The same applies to the second image sensor 45 2.
  • the subject light is picked up from each of the three image pickup lenses, namely the first image pickup lens 16, the second image pickup lens 18 and the third image pickup lens 5 18.
  • the technology of the present disclosure is not limited thereto.
  • the technique of the present disclosure is established even if an image capturing device 900 is used instead of the image capturing device 5 14.
  • the imaging device 900 has a first imaging lens 16 of the first imaging lens 16, the second imaging lens 18 and the third imaging lens 5 18 as compared with the imaging device 5 14. The only difference is that Further, the image pickup device 900 is different from the image pickup device 5 14 in that it has an optical path separator 90 2.
  • the optical path separator 90 2 is equipped with a beam splitter 90 2, a mirror 90 2 and a reflecting mirror 90 2 ( 3.
  • the optical path separator 90 2 is incident on the first imaging lens 16 6.
  • the light path of the subject light is separated, and the subject light is received on the light receiving surface 4 28 of the first image sensor 38, the light receiving surface 5 68 of the second image sensor 45 2, and the light receiving surface of the third image sensor 5 52. Lead to each of 5 5 6 8
  • the optical path separator 90 2 is composed of the first imaging lens 16 and the light-receiving surface 4 2 8, 5 6 8, 5 5
  • the beam splitter 92 is provided at a position corresponding to the light receiving surface 42.
  • the beam splitter 90 2 is provided at a position facing the light receiving surface 5 68.
  • the reflecting mirror 90 2 ( 3 is provided at a position facing the light receiving surface 5 56 8).
  • the beam splitter 9 02 8 guides the subject light incident from the first imaging lens 16 to the light-receiving surface 4 2 and also transmits the subject light incident from the first imaging lens 16. Is reflected to lead to the beam splitter 9 0 2.
  • the beam splitter 9 0 2 reflects the object light guided by the beam splitter 9 0 2 8 to guide it to the light receiving surface 5 6 8 and also the beam splitter 9 0 2 ⁇ 2020/174978 69 ⁇ (: 170? 2020/002929
  • the reflected light is guided to the reflection mirror 9 0 2 ( 3 by transmitting the subject light guided by the eight.
  • the reflection mirror 9 0 2 0 reflects the subject light guided by the beam splitter 9 0 2
  • the light from the subject is received by the light receiving surface.
  • the light is received by each of 425, 568, and 556, and the subject is imaged by the first image sensor 38, the second image sensor 452, and the third image sensor 552.
  • the technique of the present disclosure is applicable to two image pickup devices or four or more image pickup devices.
  • one or more image sensors having the same configuration as the second image sensor 45 2 should be provided between the first image sensor 38 and the third image sensor 52.
  • a plurality of image pickup devices are connected in series so that image data is sequentially transferred from the image pickup device farthest from the signal processing circuit 34 to the image pickup device closest to the signal processing circuit 34. Good.
  • the signal processing circuit 34 is illustrated, but the technique of the present disclosure is not limited to this, and one or more signal processing circuits may be used in addition to the signal processing circuit 34. May be.
  • the first image pickup device 38 may be directly connected to each of the plurality of signal processing circuits.
  • the processing circuits 1 1 0, 1 2 0, 4 5 3 and 6 2 0 are realized by a device including 8 3 ⁇ 3 and 08.
  • the technology of the present disclosure is not limited to this.
  • at least the control circuit 1100 among the plurality of devices included in the processing circuit 110 may be realized by a software configuration by a computer.
  • at least the control circuit 1200 among the plurality of devices included in the processing circuit 120 may be realized by a software configuration of a computer.
  • at least the control circuit 720 among the plurality of devices included in the processing circuit 453 may be realized by the software configuration of the computer.
  • only a few of the devices included in the processing circuit 620 are included. ⁇ 2020/174978 70 ⁇ (: 170? 2020/002929
  • control circuit 62 ⁇ may be realized by a software configuration by a computer.
  • the first image sensor 38 has a built-in computer 1852, and the computer 1852 has the second-stage imaging processing according to the first or second embodiment.
  • the second-stage imaging program 1902 for executing the above is stored in the storage medium 19008.
  • the computer 1 852 is equipped with ⁇ 111 852 8 and [3 ⁇ 4 1 ⁇ /11 852 Min, and 8 1 ⁇ /11 852 ⁇ .
  • the post-stage imaging program 1902 28 stored in the storage medium 1900 is installed in the computer 1852.
  • 091 ⁇ ⁇ 8528 executes the post-stage imaging process according to the first or second embodiment in accordance with the post-stage imaging program 1 9028.
  • the second-stage imaging program 1 90 8 is not the storage medium 1 900 8
  • ⁇ 111 852 8 is
  • the second-stage imaging program 1 9028 is read from 852, and the read second-stage imaging program 1 9028 is expanded to [3 ⁇ 4 1 ⁇ /11 852 ⁇ . Then, 091 ⁇ 1 852 8 executes the post-stage imaging process according to the first or second embodiment in accordance with the post-stage imaging program 1 9028 developed in [8/8/1/8/11852].
  • a computer 1 852 is built in each of the second image sensor 52 and the third image sensor 552.
  • the computer 1 854 of the second imaging element 52 stores the pre-stage imaging program 1 902 _ 1 for executing the pre-stage imaging process according to the first embodiment in the storage medium 1 900 _.
  • the pre-stage imaging program 1902 for causing the computer 1852 of the third image sensor 552 to execute the pre-stage imaging process according to the second embodiment is stored in the storage medium 1900.
  • pre-stage imaging program 1 902 If there is no need to do so, it will be referred to as "pre-stage imaging program 1 902."
  • the computer 1 854 is equipped with ⁇ 111 854 8 and [3 ⁇ 4 ⁇ 1 ⁇ /11 854, and 8 1 ⁇ /11 854 ⁇ .
  • the pre-stage imaging program 1902 which is stored in the storage medium 1900, is installed in the computer 1854.
  • ⁇ II 1 852 8 executes the pre-stage imaging process according to the first or second embodiment according to the pre-stage imaging program 1 902.
  • the pre-stage imaging program 1 9026 is not the storage medium 1 900 ⁇ IV! 1
  • ⁇ 111 854 8 is
  • the second image sensor 452 has a
  • the middle-stage imaging program 1 902 (3 is stored in the storage medium 1 900 ⁇ for causing the computer 1 856 to execute the above-mentioned middle-stage imaging processing.
  • the middle-stage imaging program 1 9020 stored in the storage medium 1 9000 is installed in the computer 1 856.
  • ⁇ 111 856 8 executes the above-mentioned middle-stage imaging processing according to the middle-stage imaging program 1 902 ⁇ .
  • the middle-stage imaging program 1 9020 is not a storage medium 1 900
  • ⁇ 111 856 8 is
  • Each of the 56 8 is a singular number, but the technology of the present disclosure is not limited thereto, and at least one of the 111 8 852, 1 854 8 and 1 856 8 s is a plurality. II may be adopted.
  • the storage media 1900, 1900, and 1900 are all non-transitory storage media.
  • an arbitrary portable storage medium such as 330 or II 3 memory can be cited.
  • a computer 1 852, 1 854, 1 via a communication network (not shown)
  • computer 856 (hereinafter, referred to as “computer” without a reference numeral) is connected to each computer or a storage device such as a server device in which various programs (the above-mentioned post-stage imaging program 1 902 and the preceding stage imaging program 1 902) are stored. , And the middle-stage imaging program 1 9020) are stored, and various programs are converted to a computer according to the request of the above-mentioned imaging devices 1 4, 5 1 4 (hereinafter, referred to as “imaging device” without reference numerals). May be downloaded to. In this case, the downloaded programs will be executed by the computer II.
  • the computer may be provided outside the first image sensor 38, the second image sensors 52, 452, and the third image sensor 552 (hereinafter, simply referred to as “image sensor”). In this case, the computer may control the image sensor according to various programs.
  • processors can be used as the hardware resources for executing.
  • the processor for example, as described above, there is a general-purpose processor that functions as a hardware resource that executes various processes by executing software, that is, a program, as described above.
  • a processor for example, ⁇ 2020/174978 73 ⁇ (: 170? 2020/002929
  • a dedicated electric circuit which is a processor having a specific circuit configuration, can be used.
  • the hardware resource that executes various processes may be composed of one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, multiple processors). Or a combination of ⁇ 11 and ⁇ 8).
  • the hardware resource that executes various processes may be one processor.
  • one processor is configured with one or more combination of 11 and software, as represented by a client and a server. There is a mode in which this processor functions as a hardware resource that executes the processing in the image sensor.
  • the smart devices 10 and 500 are exemplified as the device in which the imaging device is incorporated, but the technology of the present disclosure is not limited thereto.
  • the technology of the present disclosure can be applied to various electronic devices such as an interchangeable lens camera with a built-in image pickup device, a fixed lens camera, a personal computer, or a wearable terminal device. Even if it is a device, the same operation and effect as those of the imaging device described in each of the above embodiments can be obtained.
  • the display 26 is illustrated in each of the above-described embodiments, the technique of the present disclosure is not limited to this.
  • a separate display attached to the image pickup device is used as the “display unit” according to the technique of the present disclosure. ⁇ 2020/174978 74 ⁇ (: 170? 2020/002929

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、複数の撮像素子と、少なくとも１つの信号処理回路と、伝送路と、を含み、複数の撮像素子の各々は、被写体を撮像することで得た画像データを記憶し、かつ、撮像素子に内蔵されたメモリ、及びメモリに記憶された画像データに基づく出力画像データを出力し、かつ、撮像素子に内蔵された通信インタフェースを有し、伝送路は、複数の撮像素子及び単一の信号処理回路を直列に接続しており、複数の撮像素子の各々の通信インタフェースは、伝送路を介して出力画像データを後段の撮像素子又は信号処理回路に出力する。

Description

明 細 書
発明の名称 ：
撮像装置、 撮像装置の画像データ処理方法、 及びプログラム
技術分野
[0001] 本開示の技術は、 撮像装置、 撮像装置の画像データ処理方法、 及びプログ ラムに関する。
背景技術
[0002] CMOS (Com p l e me n t a r y Me t a l Ox i d e S e m i c o n d u c t o r) イメージセンサ等の撮像素子が 1つのみ搭載され ている撮像装置により複数フレーム分の撮像が行われる場合、 時分割で撮像 が行われる。 そのため、 例えば、 動き続けている被写体に対して複数フレー ム分の撮像が行われることで得られた複数の画像の合成が行われると、 合成 後の画像内に乱れが生じることがある。
[0003] これに対し、 複数の CMOSイメージセンサにより露光期間を揃えて被写 体が撮像されることで得られた複数の画像が合成されると、 単一の CMOS イメージセンサにより時分割で撮像されることで得られた複数の画像が合成 された場合に比べ、 合成後の画像内の乱れが少なくなる。
[0004] ところで、 複数の CMOSイメージセンサは、 信号処理部に接続されてお り、 信号処理部では、 複数の CMOSイメージセンサの各々によって撮像さ れることで得られた画像に対して信号処理が行われる。 一般的に、 信号処理 部は、 CMOSイメージセンサの後段に位置している。 複数の CMOSイメ —ジセンサを信号処理部に接続する方法としては、 次の第 1〜第 3接続方法 が知られている。
[0005] 図 36には、 CM〇 Sイメージセンサ 1 000 A、 CMOSイメージセン サ 1 000 B、 及び LS I (L a r g e-S c a l e I n t e g r a t i o n) 1 002が示されている。 L S 丨 1 002は、 CMOSイメージセン サ 1 000 A及び CM〇 Sイメージセンサ 1 000 Bの後段に位置する信号 〇 2020/174978 2 卩（：170? 2020 /002929
処理部である。 図 36に示す例では、 1_3 丨 1 002に対して、 〇1\/1〇3イ メージセンサ 1 000八及び〇1\/1〇 3イメージセンサ 1 000巳が第 1接続 方法で接続されている。 具体的には、 ！_3 丨 1 002に対して、 〇1\/1〇3イ メージセンサ 1 000八が通信ライン !_ 1\11で直接接続され、 かつ、 〇 IV!〇 3イメージセンサ 1 〇〇〇巳が通信ライン 2で直接接続されている。
[0006] 図 37には、 〇1\/1〇 3イメージセンサ 1 000八、 〇1\/1〇3イメージセン サ 1 000巳、 及び !_ 3 丨ユニッ ト 1 004が示されている。 ！_ 3 丨ユニッ 卜 1 004は、 〇1\/1〇3イメージセンサ 1 000八及び〇1\/1〇 3イメージセ ンサ 1 000巳の後段に位置する信号処理部である。 ！_ 3 丨ユニッ ト 1 00 4は、 ！_ 3 丨 1 004八及び !_ 3 1 1 004巳を備えている。 図 37に示す 例では、 1-3 丨ユニッ ト 1 004に対して〇1\/1〇 3イメージセンサ 1 000 八， 1 000巳が第 2接続方法で接続されている。 具体的には、 ！_3 I 1 0 04八に対して〇1\/1〇3イメージセンサ 1 〇〇〇八が通信ライン !_ 3で直 接接続され、 かつ、 1_3 丨 1 004巳に対して〇1\/1〇3イメージセンサ 1 0 00巳が通信ライン !_ 4で直接接続されている。
[0007] 第 3接続方法は特開 201 6- 1 439 1 5号公報に開示されている。 図
38には、 特開 201 6- 1 439 1 5号公報に開示されている第 3接続方 法を簡略的に示した概念図が示されている。 図 38に示す例において、 ！_ 3 Iユニッ ト 1 006は、 〇1\/1〇3イメージセンサ 1 000八及び〇1\/1〇3イ メージセンサ 1 000巳の後段に位置する信号処理部である。 ！_ 3 丨ユニッ 卜 1 006は、 1_3 1 1 006八及び !_ 3 I 1 0006巳を備えている。 ！_ 3 1 1 006八、 ！_3 1 1 0006巳、 〇1\/1〇 3イメージセンサ 1 000八 、 及び〇1\/1〇3イメージセンサ 1 000巳は第 3接続方法で接続されている 。 具体的には、 ！_3 丨 1 006八に対して〇1\/1〇 3イメージセンサ 1 000 八が通信ライン 5で直接接続され、 ！_3 1 1 006巳に対して〇1\/1〇3 イメージセンサ 1 000巳が通信ライン 6で直接接続され、 ！_ 3 丨 1 0 06八と1_3 丨 1 0006巳とが通信ライン 7で直接接続されている。 発明の概要 〇 2020/174978 3 卩（：170? 2020 /002929
[0008] 本開示の技術に係る _つの実施形態は、 複数の撮像素子を信号処理部に接 続する場合に複数の撮像素子に対応する複数のインタフェースが信号処理部 に設けられる場合に比べ、 複数の撮像素子を信号処理部に接続するのに要す る配線数を抑制することができる撮像装置、 撮像装置の画像データ処理方法 、 及びプログラムを提供する。
課題を解決するための手段
[0009] 本開示の技術に係る第 1の態様は、 複数の撮像素子と、 少なくとも 1つの 信号処理部と、 伝送路と、 を含み、 複数の撮像素子の各々は、 被写体を撮像 することで得た画像データを記憶し、 かつ、 撮像素子に内蔵された記憶部、 及び記憶部に記憶された画像データに基づく出力画像データを出力し、 かつ 、 撮像素子に内蔵された出力部を有し、 伝送路は、 複数の撮像素子及び単一 の信号処理部を直列に接続しており、 複数の撮像素子の各々の出力部は、 伝 送路を介して出力画像データを後段の撮像素子又は信号処理部に出力する撮 像装置である。 これにより、 複数の撮像素子を信号処理部に接続する場合に 複数の撮像素子に対応する複数のインタフェースが信号処理部に設けられる 場合に比べ、 複数の撮像素子を信号処理部に接続するのに要する配線数を抑 制することができる。
[0010] 本開示の技術に係る第 2の態様は、 複数の撮像素子に含まれる隣接する撮 像素子のうちの前段の撮像素子である前段撮像素子の出力部によって出力さ れた出力画像データが隣接する撮像素子のうちの後段の撮像素子である後段 撮像素子の記憶部に記憶されてから後段の撮像素子の出力部によって出力さ れる第 1の態様に係る撮像装置である。 これにより、 後段撮像素子は、 出力 画像データを後段撮像素子の記憶部に記憶させずに出力する場合に比べ、 前 段撮像素子から受け取った出力画像データを適切な出カタイミングで出力す ることができる。
[001 1 ] 本開示の技術に係る第 3の態様は、 複数の撮像素子のうち、 信号処理部に 遠い側の撮像素子から近い側の撮像素子にかけて出力画像データが順に受け 渡され、 複数の撮像素子のうちの最終段の撮像素子に受け渡された出力画像 〇 2020/174978 4 卩（：170? 2020 /002929
データは、 最終段の撮像素子の出力部によって信号処理部に出力される第 2 の態様に係る撮像装置である。 これにより、 信号処理部に対して全ての撮像 素子が直接接続されていなくても、 各撮像素子によって撮像されることで得 られた画像データを信号処理部に単一の経路から受け取らせることができる
[0012] 本開示の技術に係る第 4の態様は、 信号処理部は、 複数の撮像素子の各々 の出力部によって出力された出力画像データの各々を時分割で受け取る第 3 の態様に係る撮像装置である。 これにより、 信号処理部に対して全ての撮像 素子が直接接続されていなくても、 各撮像素子によって撮像されることで得 られた画像データを最小限の配線数で信号処理部に受け取らせることができ る。
[0013] 本開示の技術に係る第 5の態様は、 信号処理部は、 複数の撮像素子のうち 、 信号処理部に近い側の撮像素子から遠い側の撮像素子の順に、 複数の撮像 素子の各々の出力部によって出力された出力画像データの各々を時分割で受 け取る第 4の態様に係る撮像装置である。 これにより、 複数の撮像素子の各 々で生成された各画像データを信号処理部に最も近い側の撮像素子に一旦集 めてから信号処理部に出力する場合に比べ、 複数の撮像素子の各々で生成さ れた各画像データを信号処理部に早く受け取らせることができる。
[0014] 本開示の技術に係る第 6の態様は、 後段撮像素子により撮像されることで 画像データとして得られた後段画像データは後段撮像素子の記憶部に記憶さ れ、 後段撮像素子は、 前段撮像素子の出力部によって出力画像データとして 後段撮像素子に出力された前段画像データと、 記憶部に記憶されている後段 画像データとを合成する合成部を更に含み、 後段撮像素子の出力部は、 合成 部により前段画像データと後段画像データとが合成されることで得られた合 成画像データを出力画像データとして出力する第 2の態様に係る撮像装置で ある。 これにより、 信号処理部で前段画像データと後段画像データとを合成 させる必要がなくなる。
[0015] 本開示の技術に係る第 7の態様は、 後段撮像素子により撮像されることで 〇 2020/174978 5 卩（：170? 2020 /002929
画像データとして得られた後段画像データは後段撮像素子の記憶部に記憶さ れ、 後段撮像素子は、 前段撮像素子の出力部によって出力画像データとして 後段撮像素子に出力された前段画像データと、 記憶部に記憶されている後段 画像データとを連結する連結部を更に含み、 後段撮像素子の出力部は、 連結 部により前段画像データと後段画像データとが連結されることで得られた連 結画像データを出力画像データとして出力する第 2の態様に係る撮像装置で ある。 これにより、 信号処理部で前段画像データと後段画像データとを連結 させる必要がなくなる。
[0016] 本開示の技術に係る第 8の態様は、 後段撮像素子の露光時間は、 前段撮像 素子の露光時間よりも長い第 2の態様から第 7の態様のうちの 1つの態様に 係る撮像装置である。 これにより、 後段撮像素子により撮像されることで得 られた単一の画像データ又は前段撮像素子により撮像されることで得られた 単一の画像データに比べ、 ダイナミックレンジの大きな画像データを得るこ とができる。
[0017] 本開示の技術に係る第 9の態様は、 信号処理部は、 伝送路において複数の 撮像素子よりも後段に位置する第 1の態様から第 8の態様の何れか 1つの態 様に係る撮像装置である。 これにより、 信号処理部は、 信号処理部の前段に 位置する複数の撮像素子によって撮像されることで得られた全ての画像デー 夕を受け取ることができる。
[0018] 本開示の技術に係る第 1 0の態様は、 複数の撮像素子の出力部の各々は、 互いに同期して出力画像データを出力する第 1の態様から第 9の態様の何れ か 1つの態様に係る撮像装置である。 これにより、 画像データが複数の撮像 素子のうちの 1つの撮像素子に滞留することを回避することができる。
[0019] 本開示の技術に係る第 1 1の態様は、 少なくとも光電変換素子と記憶部と が 1チップ化された第 1の態様から第 1 0の態様の何れか 1つの態様に係る 撮像装置である。 これにより、 光電変換素子と記憶部とが 1チップ化されて いない撮像素子に比べ、 撮像素子の可搬性が高くなる。
[0020] 本開示の技術に係る第 1 2の態様は、 撮像素子は、 光電変換素子に記憶部 〇 2020/174978 6 卩（：170? 2020 /002929
が積層された積層型撮像素子である第 1 1の態様に係る撮像装置である。 こ れにより、 電変換素子 6 1 とメモリ 1 1 2とを接続する配線を短くすること ができるため、 配線遅延を減らすことができ、 この結果、 光電変換素子と記 憶部とが積層されていない場合に比べ、 光電変換素子から記憶部への画像デ —夕の転送速度を高めることができる。
[0021 ] 本開示の技術に係る第 1 3の態様は、 信号処理部に入力された出力画像デ —夕に基づく画像を表示部に対して表示させる制御を行う表示制御部を更に 含む第 1の態様から第 1 2の態様の何れか 1つの態様に係る撮像装置である 。 これにより、 出力画像データに基づく画像をユーザに視認させることがで きる。
[0022] 本開示の技術に係る第 1 4の態様は、 信号処理部に入力された出力画像デ —夕を記憶装置に対して記憶させる制御を行う記憶制御部を更に含む第 1の 態様から第 1 3の態様の何れか 1つの態様に係る撮像装置である。 これによ り、 信号処理部に入力された出力画像データを過不足なく管理することがで きる。
[0023] 本開示の技術に係る第 1 5の態様は、 複数の撮像素子と、 少なくとも 1つ の信号処理部と、 伝送路と、 を含み、 複数の撮像素子の各々は、 被写体を撮 像することで得た画像データを記憶し、 かつ、 撮像素子に内蔵された記憶部 、 及び記憶部に記憶された画像データに基づく出力画像データを出力し、 か つ、 撮像素子に内蔵された出力部を有する撮像装置の画像データ処理方法で あって、 複数の撮像素子及び単一の信号処理部を 1つの伝送路で直列に接続 し、 複数の撮像素子の各々の出力部は、 伝送路を介して出力画像データを後 段の撮像素子又は信号処理部に出力することを含む撮像装置の画像データ処 理方法である。 これにより、 複数の撮像素子を信号処理部に接続する場合に 複数の撮像素子に対応する複数のインタフェースが信号処理部に設けられる 場合に比べ、 複数の撮像素子を信号処理部に接続するのに要する配線数を抑 制することができる。
[0024] 本開示の技術に係る第 1 6の態様は、 複数の撮像素子と、 少なくとも 1つ 〇 2020/174978 7 卩（：170? 2020 /002929
の信号処理部と、 伝送路と、 を含み、 複数の撮像素子の各々は、 被写体を撮 像することで得た画像データを記憶し、 かつ、 撮像素子に内蔵された記憶部 、 及び記憶部に記憶された画像データに基づく出力画像データを出力し、 か つ、 撮像素子に内蔵された出力部を有する撮像装置に含まれる出力部として コンビユータを機能させるためのプログラムであって、 複数の撮像素子及び 単一の信号処理部は 1つの伝送路で直列に接続されており、 複数の撮像素子 の各々の出力部は、 伝送路を介して出力画像データを後段の撮像素子又は信 号処理部に出力するプログラムである。 これにより、 複数の撮像素子を信号 処理部に接続する場合に複数の撮像素子に対応する複数のインタフェースが 信号処理部に設けられる場合に比べ、 複数の撮像素子を信号処理部に接続す るのに要する配線数を抑制することができる。
［0025］ 本開示の技術に係る第 1 7の態様は、 複数の撮像素子と、 少なくとも 1つ の信号処理部と、 伝送路と、 を含み、 複数の撮像素子の各々は、 被写体を撮 像することで得た画像データを記憶し、 かつ、 撮像素子に内蔵されたメモリ 、 及びメモリに記憶された画像データに基づく出力画像データを出力し、 か つ、 撮像素子に内蔵されたプロセッサを有し、 伝送路は、 複数の撮像素子及 び単一の信号処理部を直列に接続しており、 複数の撮像素子の各々のプロセ ッサは、 伝送路を介して出力画像データを後段の撮像素子又は信号処理部に 出力する撮像装置である。
図面の簡単な説明
［0026］ ［図 1］第 1実施形態に係るスマートデバイスの背面側の外観の一例を示す背面 視斜視図である。
［図 2］図 1 に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図 である。
［図 3］第 1実施形態に係るスマートデバイスの構成の一例を示すブロック図で ある。
［図 4］第 1実施形態に係るスマートデバイスの撮像装置に含まれる撮像素子の フレームレートの説明に供する概念図である。 20/174978 8 卩（：170? 2020 /002929
［図 5］第 1実施形態に係るスマートデバイスに含まれるコントローラ、 II I系 デバイス、 及びその周辺の電気系の構成の _例を示すブロック図である。
［図 6］第 1実施形態に係る第 1撮像素子及び第 2撮像素子の各々の積層構造の 一例を示す概念図である。
［図 7］第 1実施形態に係る第 1撮像素子及びその周辺の構成の一例を示すブロ ック図である。
［図 8］第 1実施形態に係る第 2撮像素子及びその周辺の構成の一例を示すブロ ック図である。
［図 9］第 1実施形態に係る撮像装置に含まれる第 1撮像素子及び第 2撮像素子 での画像データの流れの一例を示す概念図である。
［図 10］第 1実施形態に係る撮像装置に含まれる第 1撮像素子、 信号処理回路 、 及びコントローラの間での画像データの流れの一例を示す概念図である。 ［図 1 1］第 1実施形態に係る撮像装置に含まれる第 1撮像素子及び第 2撮像素 子の各々での処理内容の一例を示すタイムチヤートである。
［図 12］第 1実施形態に係る前段撮像処理の流れの一例を示すフローチヤート である。
［図 13］第 1実施形態に係る後段撮像処理の流れの一例を示すフローチヤート である。
［図 14］第 1撮像素子での露光期間と第 2撮像素子での露光期間とを揃えた場 合の第 1撮像素子及び第 2撮像素子内での処理内容の一例を示すタイムチヤ —卜である。
［図 15］第 1実施形態に係る第 1撮像素子の構成の変形例を示す概念図である
［図 16］第 1実施形態に係る後段撮像処理の流れの変形例を示すフローチヤー 卜である。
［図 17］第 2実施形態に係るスマートデバイスの背面側の外観の一例を示す背 面視斜視図である。
［図 18］第 2実施形態に係るスマートデバイスの構成の一例を示すブロック図 20/174978 9 卩（：170? 2020 /002929
である。
［図 19］第 2実施形態に係るスマートデバイスに含まれるコントローラ、 II I 系デバイス、 及びその周辺の電気系の構成の _例を示すブロック図である。 ［図 20］第 2実施形態に係る第 2撮像素子及びその周辺の構成の一例を示すブ ロック図である。
［図 21］第 2実施形態に係る第 3撮像素子及びその周辺の構成の一例を示すブ ロック図である。
［図 22］第 2実施形態に係る撮像装置に含まれる第 2撮像素子及び第 3撮像素 子での画像データの流れの一例を示す概念図である。
［図 23］第 2実施形態に係る撮像装置に含まれる第 1撮像素子及び第 2撮像素 子での画像データの流れの一例を示す概念図である。
［図 24］第 2実施形態に係る撮像装置に含まれる第 1撮像素子、 信号処理回路 、 及びコントローラの間での画像データの流れの一例を示す概念図である。 ［図 25］第 2実施形態に係る撮像装置に含まれる第 1撮像素子、 第 2撮像素子 、 及び第 3撮像素子の各々での処理内容の一例を示すタイムチヤートである
［図 26］第 2実施形態に係る前段撮像処理の流れの変形例を示すフローチヤー 卜である。
［図 27］第 2実施形態に係る中段撮像処理の流れの変形例を示すフローチヤー 卜である。
［図 28］第 2実施形態に係る後段撮像処理の流れの変形例を示すフローチヤー 卜である。
［図 29］直列に接続された第 1〜第 3撮像素子の各々から信号処理回路にデジ タル画像データを伝送する場合の第 1撮像素子内、 第 2撮像素子内、 及び第 3撮像素子内での処理内容の一例を示すタイムチヤートである。
［図 30］図 2 9に示す時間帯丁 1でのデジタル画像データの受け渡し状態の一 例を示す概念図である。
［図 31］図 2 9に示す時間帯丁 2でのデジタル画像データの受け渡し状態の一 〇 2020/174978 10 卩（：170? 2020 /002929
例を示す概念図である。
［図 32］図 29に示す時間帯 T 3でのデジタル画像データの受け渡し状態の一 例を示す概念図である。
［図 33］第 2実施形態に係る第 1撮像素子の構成の変形例を示す概念図である
［図 34］第 2実施形態に係る撮像装置の変形例を示す概念図である。
［図 35A］後段撮像プログラムが記憶された記憶媒体から、 後段撮像プログラム が第 1撮像素子内のコンピュータにインストールされる態様の一例を示す概 念図である。
［図 35B］前段撮像プログラムが記憶された記憶媒体から、 前段撮像プログラム が第 2撮像素子 （第 3撮像素子） 内のコンピュータにインストールされる態 様の一例を示す概念図である。
［図 35C］中段撮像プログラムが記憶された記憶媒体から、 中段撮像プログラム が第 2撮像素子内のコンピュータにインストールされる態様の一例を示す概 念図である。
［図 36］従来技術に係る第 1接続方法による接続態様の一例を示す概念図であ る。
［図 37］従来技術に係る第 2接続方法による接続態様の一例を示す概念図であ る。
［図 38］従来技術に係る第 3接続方法による接続態様の一例を示す概念図であ る。
発明を実施するための形態
［0027］ 以下、 添付図面に従って本開示の技術に係る撮像装置の実施形態の一例に ついて説明する。
［0028］ 先ず、 以下の説明で使用される文言について説明する。
［0029］ C P Uとは、 “Ce n t r a l P r o c e s s i n g U n i t” の略 称を指す。 RAMとは、 “R a n d om Ac c e s s Me mo r y” の 略称を指す。 ROMとは、 “R e a d O n l y Me mo r v” の略称を 指す。 D RAMとは、 “D y n a m i c R a n d o m A c c e s s M e m o r y” の略称を指す。 S RAMとは、 “S t a t i c R a n d o m A c c e s s Me m o r y” の略称を指す。
[0030] L S I とは、 “L a r g e -S c a l e I n t e g r a t i o n” の略 称を指す。 AS I Cとは、 “A p p l i c a t i o n S p e c i f i c I n t e g r a t e d C i r c u i t” の略称を指す。 P L Dとは、 “ P r o g r a mm a b l e L o g i c D e v i c e” の略称を指す。 F P GAとは、 “F i e l d— P r o g r a mm a b l e G a t e A r r a y” の略称を指す。
[0031] S S とは、 “S o l i d S t a t e D r i v e” の略称を指す。 D V D— ROMとは、 “D i g i t a l V e r s a t i l e D i s c R e a d O n l y Me m o r y” の略称を指す。 U S Bとは、 “ U n i v e r s a l S e r i a l B u s” の略称を指す。 H D Dとは、 “H a r d D i s k D r i v e” の略称を指す。 E E P R〇 Mとは、 “E l e c t r i c a l I y E r a s a b l e a n d P r o g r a mm a b l e R e a d O n l y Me m o r y” の略称を指す。
[0032] CC Dとは、 “C h a r g e C o u p l e d D e v i c e” の略称を 指す。 CMOSとは、 “C o m p l e m e n t a r y Me t a l 0 x i d e S e m i c o n d u c t o r” の略称を指す。 E Lとは、 “E l e c t r o— L u m i n e s c e n c e” の略称を指す。 A / Dとは、 “A n a l o g/D i g i t a l ” の略称を指す。 l /Fとは、 “ I n t e r f a c e” の略称を指す。 U I とは、 “U s e r I n t e r f a c e” の略称を 指す。
[0033] L V D Sとは、 “L ow V〇 I t a g e D i f f e r e n t i a I
S i g n a l i n g” の略称を指す。 PC I — eとは、 “P e r i p h e r a I C o m p o n e n t I n t e r c o n n e c t E x p r e s s の略称を指す。 S ATAとは、 “S e r i a l A d v a n c e d T e c h n o l o g y A t t a c h m e n t” の略称を指す。 S L VS— ECと 〇 2020/174978 12 卩（：170? 2020 /002929 は、 “S c a l a b l e L ow S i g n a l i n g w i t h Em b e d d e d C l o c k” の略称を指す。 M I P I とは、 “Mo b i l e I n d u s t r y P r o s s o r I n t e r f a c e” の略称を指す。
[0034] [第 1実施形態]
—例として図 1 に示すように、 スマートデバイス 1 0は、 筐体 1 2を備え ており、 筐体 1 2に撮像装置 1 4が収容されている。 撮像装置 1 4は、 第 1 撮像レンズ 1 6及び第 2撮像レンズ 1 8を備えている。 スマートデバイス 1 0を縦置きの状態にした場合の筐体 1 2の背面 1 2 Aの右上部において、 第 1撮像レンズ 1 6及び第 2撮像レンズ 1 8は、 鉛直方向に沿って既定の間隔 （例えば、 数ミリの間隔） で配置されており、 背面 1 2 Aから露出している
[0035] —例として図 2に示すように、 筐体 1 2の前面 1 2巳には、 指示キー22 及びタッチパネル ·ディスプレイ 24が設けられている。 スマートデバイス 1 〇を縦置きの状態にした場合の前面 1 2 Bの下部には、 指示キー22が配 置されており、 指示キ _22の上方にタッチパネル ·ディスプレイ 24が配 置されている。
[0036] 指示キー22は、 各種の指示を受け付ける。 ここで言う 「各種の指示」 と は、 例えば、 ロック解除受付画面の表示の指示、 各種メニューを選択可能な メニュー画面の表示の指示、 1つ又は複数のメニューの選択の指示、 選択内 容の確定の指示、 及び選択内容の消去の指示等を指す。 なお、 ロック解除受 付画面とは、 スマートデバイス 1 0のロックを解除するための暗号を受け付 ける画面を指す。
[0037] タッチパネル ·ディスプレイ 24は、 ディスプレイ 26及びタッチパネル
28 （図 5も参照） を備えている。 ディスプレイ 26の一例としては、 液晶 ディスプレイが挙げられる。 ディスプレイ 26は、 液晶ディスプレイではな く、 有機 E Lディスプレイなどの他のディスプレイであってもよい。 なお、 ディスプレイ 26は、 本開示の技術に係る 「表示部 （ディスプレイ） 」 の一 例である。 〇 2020/174978 13 卩（：170? 2020 /002929
[0038] ディスプレイ 2 6は、 画像及び文字情報等を表示する。 ディスプレイ 2 6 は、 撮像装置 1 4が撮像モードの場合に連続的な撮像により得られたライブ ビュー画像の表示に用いられる。 また、 ディスプレイ 2 6は、 静止画像用の 撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示に も用いられる。 更に、 ディスプレイ 2 6は、 撮像装置 1 4が再生モードの場 合の再生画像の表示及びメニュー画面等の表示にも用いられる。
[0039] タッチパネル 2 8は、 透過型のタッチパネルであり、 ディスプレイ 2 6の 表示領域の表面に重ねられている。 タッチパネル 2 8は、 指又はスタイラス ぺン等の指示体による接触を検知することで、 ユーザからの指示を受け付け る。
[0040] —例として図 3に示すように、 スマートデバイス 1 0は、 撮像装置 1 4の 他に、 コントローラ 1 5及び II 丨系デバイス 1 7を備えている。 コントロー ラ 1 5は、 スマートデバイス 1 0の電気系を制御する。 コントローラ 1 5は 、 撮像装置 1 4及び II I系デバイス 1 7に接続されている。 II I系デバイス 1 7は、 ユーザからの指示を受け付けたり、 ユーザに対して各種情報を表示 したりするデバイスである。 コントローラ 1 5は、 II 丨系デバイス 1 7によ つて受け付けられた各種の指示の取得、 及び II 丨系デバイス 1 7の制御を行 う。
[0041 ] 撮像装置 1 4は、 被写体を撮像することで、 被写体の画像を示す画像デー 夕を生成し、 生成した画像データをコントローラ 1 5に出力する。 コントロ —ラ 1 5は、 撮像装置 1 4から入力された画像データに基づく画像を II I系 デバイス 1 7に対して表示させる。
[0042] 撮像装置 1 4は、 第 1撮像装置 3 0、 第 2撮像装置 3 2、 及び信号処理回 路 3 4を備えている。 信号処理回路 3 4は、 撮像装置 1 4の後段に位置する 電気回路である。 具体的には、 信号処理回路 3 4は、 第 1撮像装置 3 0の後 段に位置する電気回路である。 信号処理回路 3 4は、 通信ライン 3 5を介し てコントローラ 1 5に接続されている。
[0043] 第 1撮像装置 3 0は、 第 1撮像レンズ 1 6及び第 1撮像装置本体 3 6を備 〇 2020/174978 14 卩（：170? 2020 /002929
えている。 第 1撮像レンズ 1 6は、 対物レンズ 1 6八、 フォーカスレンズ 1 6巳、 及び絞り 1 6（3を備えている。 対物レンズ 1 6八、 フォーカスレンズ 1 6巳、 及び絞り 1 6（3は、 被写体側から第 1撮像装置本体 3 6側にかけて 、 光軸 1- 1 に沿って、 対物レンズ 1 6八、 フォーカスレンズ 1 6巳、 及び絞 り 1 6〇の順に配置されている。 フォーカスレンズ 1 6巳及び絞り 1 6〇は 、 モータ等の駆動源 （図示省略） からの動力を受けることで作動する。 すな わち、 フォーカスレンズ 1 6巳及び絞り 1 6〇は、 付与された動力に応じて 光軸 !_ 1 に沿って移動する。 また、 絞り 1 6 0は、 付与された動力に応じて 作動することで露出を調節する。
[0044] 第 1撮像装置本体 3 6は、 第 1撮像素子 3 8及びメカニカルシャツタ 4 0 を備えている。 第 1撮像素子 3 8は、 後述の第 2撮像素子 5 2と隣接してお り、 第 2撮像素子 5 2よりも後段側の撮像素子である。 第 1撮像素子 3 8は 、 本開示の技術に係る 「複数の撮像素子」 に含まれる撮像素子の一例であり 、 本開示の技術に係る 「後段の撮像素子」 及び 「後段撮像素子」 の一例であ る。
[0045] メカニカルシャツタ 4 0は、 モータ等の駆動源 （図示省略） からの動力を 受けることで作動する。 第 1撮像素子 3 8は、 受光面 4 2八を有する光電変 換素子 4 2を備えている。 被写体を示す被写体光は、 第 1撮像レンズ 1 6を 透過し、 メカニカルシャツタ 4 0を介して第 1撮像素子 3 8の受光面 4 2八 に結像される。 光電変換素子 4 2は、 受光面 4 2 に結像された被写体光を 光電変換することで、 被写体の画像を示す第 1画像データ 7 0を生成する。
[0046] 第 1撮像素子 3 8は、 通信ライン 4 4を介して信号処理回路 3 4に接続さ れている。 また、 第 1撮像素子 3 8は、 通信ライン 4 6を介してコントロー ラ 1 5に接続されている。 第 1撮像素子 3 8は、 通信ライン 4 6を介してコ ントローラ 1 5によって制御される。 第 1撮像素子 3 8は、 コントローラ 1 5の制御下で、 被写体を撮像する。 また、 第 1撮像素子 3 8は、 被写体を撮 像することで得た第 1画像データ 7 0を、 通信ライン 4 4を介して信号処理 回路 3 4に出力する。 なお、 通信ライン 4 4は、 本開示の技術に係る 「伝送 〇 2020/174978 1 5 卩（：170? 2020 /002929
路」 の一例である。
[0047] 第 2撮像装置 3 2は、 第 2撮像レンズ 1 8及び第 2撮像装置本体 5 0を備 えている。 第 2撮像レンズ 1 8は、 対物レンズ 1 8八、 フォーカスレンズ 1 8巳、 及び絞り 1 8 (3を備えている。 対物レンズ 1 8八、 フォーカスレンズ 1 8巳、 及び絞り 1 8 (3は、 被写体側から第 2撮像装置本体 5 0側にかけて 、 光軸 1_ 2に沿って、 対物レンズ 1 8八、 フォーカスレンズ 1 8巳、 及び絞 り 1 8〇の順に配置されている。 対物レンズ 1 8八、 フォーカスレンズ 1 8 巳、 及び絞り 1 8 (3は、 光軸 1_ 2上において、 対物レンズ 1 6八、 フォーカ スレンズ 1 6巳、 及び絞り 1 6〇と同様の機能を有する。 フォーカスレンズ 1 8巳及び絞り 1 8 (3は、 光軸 1_ 2上において、 フォーカスレンズ 1 6巳及 び絞り 1 6 (3と同様に作動する。
[0048] 第 2撮像装置本体 5 0は、 第 2撮像素子 5 2及びメカニカルシャツタ 5 3 を備えている。 第 2撮像素子 5 2は、 第 1撮像素子 3 8と隣接しており、 第 1撮像素子 3 8よりも前段の撮像素子である。 第 1撮像素子 3 8及び第 2撮 像素子 5 2は、 本開示の技術に係る 「複数の撮像素子」 の一例であり、 第 2 撮像素子 5 2は、 本開示の技術に係る 「複数の撮像素子」 に含まれる撮像素 子の一例である。 また、 第 1撮像素子 3 8及び第 2撮像素子 5 2は、 本開示 の技術に係る 「隣接する撮像素子」 の一例である。 また、 第 1撮像素子 3 8 と第 2撮像素子 5 2との位置関係において、 第 2撮像素子 5 2は、 本開示の 技術に係る 「前段撮像素子」 の一例である。 メカニカルシャツタ 5 3は、 メ カニカルシャツタ 4 0と同様の機能を有しており、 メカニカルシャツタ 4 0 と同様に作動する。
[0049] 第 2撮像素子 5 2は、 受光面 5 6八を有する光電変換素子 5 6を備えてい る。 被写体を示す被写体光は、 第 2撮像レンズ 1 8を透過し、 メカニカルシ ャツタ 5 3を介して第 2撮像素子 5 2の受光面 5 6八に結像される。 光電変 換素子 5 6は、 受光面 5 6八に結像された被写体光を光電変換することで、 被写体の画像を示す第 2画像データ 8 0を生成する。
[0050] 第 2撮像素子 5 2は、 通信ライン 5 4を介して第 1撮像素子 3 8に接続さ 〇 2020/174978 16 卩（：170? 2020 /002929
れている。 また、 第 2撮像素子 5 2は、 通信ライン 5 8を介してコントロー ラ 1 5に接続されている。 第 2撮像素子 5 2は、 通信ライン 5 8を介してコ ントローラ 1 5によって制御される。 第 2撮像素子 5 2は、 コントローラ 1 5の制御下で、 被写体を撮像する。 また、 第 2撮像素子 5 2は、 被写体を撮 像することで得た第 2画像データ 8 0を、 通信ライン 5 4を介して第 1撮像 素子 3 8に出力する。 なお、 通信ライン 5 4は、 本開示の技術に係る 「伝送 路」 の一例である。
[0051 ] このように、 第 2撮像素子 5 2の後段には第 1撮像素子 3 8が位置し、 第
1撮像素子 3 8の後段には信号処理回路 3 4が位置する。 そして、 第 2撮像 素子 5 2は通信ライン 5 4を介して第 1撮像素子 3 8に接続され、 第 1撮像 素子 3 8は、 通信ライン 4 4を介して信号処理回路 3 4に接続されている。 つまり、 第 1撮像素子 3 8、 第 2撮像素子 5 2、 及び信号処理回路 3 4は、 通信ライン 4 4 , 5 4によって直列に接続されている。
[0052] —例として図 4に示すように、 第 1撮像素子 3 8にはコントローラ 1 5か ら通信ライン 4 6を介して読出同期信号が入力される。 読出同期信号には、 垂直同期信号及び水平同期信号が含まれている。 垂直同期信号は、 光電変換 素子 4 2からの 1 フレーム毎の第 1画像データ 7 0の読み出しの開始タイミ ングを規定する同期信号である。 水平同期信号は、 光電変換素子 4 2からの 水平ライン毎の第 1画像データ 7 0の読み出しの開始タイミングを規定する 同期信号である。 第 1撮像素子 3 8では、 コントローラ 1 5から通信ライン 4 6を介して入力された垂直同期信号に応じて定まるフレームレートに従っ て、 光電変換素子 4 2から第 1画像データ 7 0が読み出される。
[0053] 一方、 第 2撮像素子 5 2にはコントローラ 1 5から通信ライン 5 8を介し て読出同期信号が入力される。 垂直同期信号は、 光電変換素子 5 6からの 1 フレーム毎の第 2画像データ 8 0の読み出しの開始タイミングを規定する同 期信号である。 水平同期信号は、 光電変換素子 5 6からの水平ライン毎の第 2画像データ 8 0の読み出しの開始タイミングを規定する同期信号である。 第 2撮像素子 5 2では、 コントローラ 1 5から通信ライン 5 8を介して入力 〇 2020/174978 17 卩（：170? 2020 /002929
された垂直同期信号に応じて定まるフレームレートに従って、 光電変換素子 56から第 2画像データ 80が読み出される。
[0054] 図 4に示す例では、 第 1撮像素子 38及び第 2撮像素子 52の双方のフレ —ムレートとして、 期間丁内に光電変換素子 42, 56の各々から 8フレー ム分の読み出しが行われるフレームレートが示されている。 具体的なフレー ムレートの一例としては、 1 20 干 3 （〒 「 ㊀ 6 「 3 6〇〇 11
〇〇 が挙げられるが、 これに限らず、 1 20 干 3を超えるフレームレート であってもよいし、 1 20 干 3未満のフレームレートであってもい。
[0055] —例として図 5に示すように、 コントローラ 1 5は、 〇 111 5八、 [¾〇 IV! 1 5巳、
Figure imgf000019_0001
及び通信 1 / 1 501 , 1 502, 1 5巳を備 えている。 091\ ^ 5 As [¾〇1\/11 5巳、 [¾八1\/11 5〇、 及び通信 I / 1 501 , 1 502, 1 5巳は、 バスライン 1 00を介して相互に接続されて いる。 なお、 0911 ] 5 は、 本開示の技術に係る 「表示制御部 （表示プロ セッサ） 」 及び 「記憶制御部 （記憶プロセッサ） 」 の一例である。
[0056] 巳には、 各種プログラムが記憶されている。 091\ ^ 5八は、
5巳から各種プログラムを読み出し、 読み出した各種プログラムを [¾八1\/11 5〇に展開する。 〇 111 5八は、
Figure imgf000019_0002
〇に展開した各種プ ログラムに従ってスマートデバイス 1 0の全体を制御する。
[0057] 通信 1 / 1 501 , 1 502, 1 5巳の各々は、 〇八を有する通信 デバイスである。 なお、 ここでは、 通信丨 / 1 501 , 1 502, 1 5 º の各々として ◦八を有する通信デバイスが採用されているが、 あくまで も一例に過ぎず、 通信丨 / 1 501 , 1 502, 1 5巳の各々は、 八3 1 〇、 〇八、 及び/又は !_ 0を含むデバイスであってもよい。 また、 通 信 1 / 1 501 , 1 502, 1 5巳の各々は、 〇 II、
Figure imgf000019_0003
及び 八 IV!を含むコンビュータであってもよい。 〇 11は、 単数であってもよいし、 複数であってもよい。 また、 通信丨 / 1 501 , 1 502, 1 5巳の各々 は、 ハードウェア構成及びソフトウェア構成の組み合わせによって実現され てもよい。 〇 2020/174978 18 卩（：170? 2020 /002929
[0058] 通信丨 / 1 501は、 通信ライン 46を介して第 1撮像素子 38に接続 されている。 0911 ] 5八は、 通信丨 / 1 501 を介して第 1撮像素子 3 8を制御する。 例えば、 0911 ] 5八は、 通信丨
Figure imgf000020_0001
を介して第 1 撮像素子 38に対して読出同期信号を供給することで光電変換素子 42から の第 1画像データ 70の読出タイミングを制御する。
[0059] 通信 1 / 1 502は、 通信ライン 58を介して第 2撮像素子 52に接続 されている。 0911 ] 5八は、 通信丨 / 1 5口 2を介して第 2撮像素子 5 2を制御する。 例えば、 0911 ] 5八は、 通信丨 / 1 5口 2を介して第 2 撮像素子 52に対して読出同期信号を供給することで光電変換素子 56から の第 2画像データ 80の読出タイミングを制御する。
[0060] 通信 1 / 1 5巳は、 通信ライン 35を介して信号処理回路 34に接続さ れている。 091\ ^ 5八は、 通信丨
Figure imgf000020_0002
巳を介して信号処理回路 34と の間で各種情報の授受を行う。 信号処理回路 34は、 本開示の技術に係る 「 単一の信号処理部 （単一の信号処理回路） 」 の一例である。
[0061] 信号処理回路 34は、 ！_ 3 丨であり、 具体的には、
Figure imgf000020_0003
スである。 なお、 ここでは、 信号処理回路 34として八3 丨 〇を含むデバイ スが採用されているが、 これは、 あくまでも一例に過ぎない。 信号処理回路 34は、 八3 丨 〇、 〇八、 及び/又は !_ 0を含むデバイスであっても よい。 また、 信号処理回路 34は、 〇 11、
Figure imgf000020_0004
及び 八 IV!を含むコン ピュータであってもよい。 〇 11は、 単数であってもよいし、 複数であって もよい。 また、 信号処理回路 34は、 ハードウェア構成及びソフトウェア構 成の組み合わせによって実現されてもよい。
[0062] 詳しくは後述するが、 信号処理回路 34には、 第 1撮像素子 38から画像 データが入力される。 信号処理回路 34は、 第 1撮像素子 38から入力され た画像データに対して各種の信号処理 （詳しくは後述） を行う。 信号処理回 路 34は、 各種の信号処理を行った画像データを、 通信ライン 35を介して 通信 I
Figure imgf000020_0005
1 5巳に出力する。 信号処理回路 34から通信 I
Figure imgf000020_0006
1 5巳に入 力された画像データは、 通信丨 / 1 5巳によって〇 111 5八に転送され \¥0 2020/174978 19 卩（：17 2020 /002929
る。
[0063] バスライン 1 0 0には、 二次記憶装置 1 0 2及び外部丨 / 1 0 4が接続 されている。 二次記憶装置 1 0 2は、 フラッシュメモリ、 3 3 0 , ! ! 0 0、
Figure imgf000021_0001
などの不揮発性のメモリである。 0 9 1\ ^ 5八は、 二次記 憶装置 1 0 2に対して各種情報の読み書きを行う。 なお、 二次記憶装置 1 0 2は、 本開示の技術に係る 「記憶装置」 の一例である。
[0064] 外部丨 / 1 0 4は、 〇八を有する通信デバイスである。 なお、 ここ では、 外部丨 / 1 0 4として ◦八を含むデバイスが採用されているが 、 これは、 あくまでも一例に過ぎない。 外部丨 / 1 0 4は、 八3 丨 〇、 〇 、 及び/又は !_ 0を含むデバイスであってもよい。 また、 外部丨 / 1 0 4は、 ハードウェア構成及びソフトウェア構成の組み合わせによって 実現されてもよい。
[0065] 外部丨 / 1 0 4には、 II 3巳メモリ及びメモリカード等の外部装置 （図 示省略） が接続される。 外部丨 / 1 0 4は、 0 II 1 5 と外部装置との 間の各種情報の授受を司る。 なお、 11 3巳メモリ及びメモリカード等の外部 装置は、 本開示の技術に係る 「記憶装置」 の一例である。
[0066] II 丨系デバイス 1 7は、 タッチパネル ディスプレイ 2 4及び受付デバイ ス 8 4を備えている。 ディスプレイ 2 6及びタッチパネル 2 8は、 バスライ ン 1 0 0に接続されている。 従って、 0 9 1\ ^ 5八は、 ディスプレイ 2 6に 対して各種情報を表示させ、 タッチパネル 2 8によって受け付けられた各種 指示に従って動作する。
[0067] 受付デバイス 8 4は、 ハードキー部 2 5を備えている。 ハードキー部 2 5 は、 複数のハードキーであり、 指示キー2 2 （図 2参照） を有する。 ハード キー部 2 5は、 バスライン 1 0 0に接続されており、 〇 11 1 5八は、 ハー ドキー部 2 5によって受け付けられた各種指示を取得し、 取得した指示に従 って動作する。
[0068] 一例として図 6に示すように、 第 1撮像素子 3 8には、 光電変換素子 4 2 、 処理回路 1 1 0、 及びメモリ 1 1 2が内蔵されている。 第 2撮像素子 5 2 〇 2020/174978 20 卩（：170? 2020 /002929
には、 光電変換素子 5 6、 処理回路 1 2 0、 及びメモリ 1 2 2が内蔵されて いる。 第 2撮像素子 5 2において、 光電変換素子 5 6は、 光電変換素子 4 2 と同様の機能を有するデバイスであり、 処理回路 1 2 0は、 処理回路 1 1 0 と同様の機能を有するデバイスであり、 メモリ 1 2 2は、 メモリ 1 1 2と同 様の機能を有するデバイスである。 そのため、 以下、 図 6に示す例の説明に ついては、 第 1撮像素子 3 8を例に挙げて説明し、 第 2撮像素子 5 2の説明 は省略する。
[0069] 第 1撮像素子 3 8は、 光電変換素子 4 2、 処理回路 1 1 0、 及びメモリ 1
1 2が 1チップ化された撮像素子である。 すなわち、 光電変換素子 4 2、 処 理回路 1 1 0、 及びメモリ 1 1 2は 1パッケージ化されている。 第 1撮像素 子 3 8では、 光電変換素子 4 2に対して処理回路 1 1 0及びメモリ 1 1 2が 積層されている。 具体的には、 光電変換素子 4 2及び処理回路 1 1 0は、 銅 等の導電性を有するバンプ （図示省略） によって互いに電気的に接続されて おり、 処理回路 1 1 0及びメモリ 1 1 2、 銅等の導電性を有するバンプ （図 示省略） によって互いに電気的に接続されている。 ここでは、 光電変換素子 4 2、 処理回路 1 1 0、 及びメモリ 1 1 2の 3層構造が例示されているが、 本開示の技術はこれに限らず、 処理回路 1 1 0とメモリ 1 1 2とを 1層とし たメモリ層と、 光電変換素子 4 2との 2層構造であってもよい。
[0070] 処理回路 1 1 0は、 例えば、 ！_ 3 丨である。 メモリ 1 1 2は、 書き込み夕 イミングと読み出しタイミングとが異なるメモリである。 ここでは、 メモリ 1 1 2の一例として、 0 八1\/1が採用されている。
[0071 ] 処理回路 1 1 0は、
Figure imgf000022_0001
上述の コントローラ 1 5の指示に従って、 第 1撮像素子 3 8の全体を制御する。 な お、 ここでは、 処理回路 1
Figure imgf000022_0002
を含むデバイスによ って実現される例を挙げているが、 本開示の技術はこれに限定されるもので はなく、 例えば、
Figure imgf000022_0003
〇八、 及び/又は !_ 0を含むデバイスで あってもよい。 また、 処理回路 1 1 0として、 〇 11、
Figure imgf000022_0004
及び [¾八1\/1 を含むコンビユータが採用されてもよい。 〇 11は、 単数であってもよいし 〇 2020/174978 21 卩（：170? 2020 /002929
、 複数であってもよい。 また、 処理回路 1 1 0は、 ハードウェア構成及びソ フトウェア構成の組み合わせによって実現されてもよい。
[0072] 光電変換素子 4 2は、 マトリクス状に配置された複数のフォトダイオード を有している。 複数のフォトダイオードの一例としては、 “4 8 9 6 X 3 2 6 5” 画素分のフォトダイオードが挙げられる。
[0073] 光電変換素子 4 2に含まれる各フォトダイオードには、 カラーフィルタが 配置されている。 カラーフィルタは、 輝度信号を得るために最も寄与する <3 （緑） に対応する◦フィルタ、 8 （赤） に対応する フィルタ、 及び巳 （青 ） に対応する巳フィルタを含む。 光電変換素子 4 2は、 画素、 ◦画素、 及 び巳画素を有する。
[0074] 画素は、
Figure imgf000023_0001
フィルタが配置されたフォトダイオードに対応する画素であ り、 ◦画素は、 ◦フィルタが配置されたフォトダイオードに対応する画素で あり、 巳画素は、 巳フィルタが配置されたフォトダイオードに対応する画素 である。 8画素、 ◦画素、 及び巳画素は、 行方向 （水平方向） 及び列方向 （ 垂直方向） の各々に既定の周期性で配置されている。 本実施形態では、
Figure imgf000023_0002
素、 ◦画素、 及び巳画素が X -丁 r 3 n 3 （登録商標） 配列に対応した周期 性で配列されている。 なお、 ここでは、 乂_丁 「 3
Figure imgf000023_0003
3配列を例示している が、 本開示の技術はこれに限定されず、 画素、 ◦画素、 及び巳画素の配列 は、 ベイヤ配列又はハニカム配列などであってもよい。
[0075] 第 1撮像素子 3 8は、 いわゆる電子シャツタ機能を有しており、 コントロ —ラ 1 5 （図 5及び図 7参照） の制御下で電子シャツタ機能を働かせること で、 光電変換素子 4 2内の各フォトダイオードの電荷蓄積時間を制御する。 電荷蓄積時間とは、 いわゆるシャツタスピードを指す。
[0076] 第 1撮像装置 1 4 （図 3参照） では、 口ーリングシャツタ方式で、 静止画 像用の撮像と、 ライブビュー画像用の撮像とが行われる。 静止画像用の撮像 は、 電子シャツタ機能を働かせ、 かつ、 メカニカルシャツタ 4 0 （図 3参照 ） を作動させることで実現され、 ライブビュー画像用の撮像は、 メカニカル シャツタ 4 0を作動させずに、 電子シャツタ機能を働かせることで実現され 〇 2020/174978 22 卩（：170? 2020 /002929
る。 なお、 ここでは、 口ーリングシャツタ方式が例示されているが、 本開示 の技術はこれに限らず、 口ーリングシャツタ方式に代えてグローバルシャツ 夕方式を適用してもよい。
[0077] なお、 メモリ 1 1 2, 1 22の各々は、 本開示の技術に係る 「記憶部」 の —例である。 本実施形態において、 メモリ 1 1 2,
Figure imgf000024_0001
採用されているが、 本開示の技術はこれに限らず、 メモリ 1 1 2, 1 22は 、 3 [¾ 1\/1であっても本開示の技術は成立する。 また、 第 1撮像素子 38及 び第 2撮像素子 52の各々は、 本開示の技術に係る 「積層型撮像素子」 の一 例である。 本実施形態において、 第 1撮像素子 38及び第 2撮像素子 52の 各々は、 〇1\/1〇3イメージセンサである。 また、 ここでは、 第 1撮像素子 3 8及び第 2撮像素子 52として〇1\/1〇 3イメージセンサを例示しているが、 本開示の技術はこれに限定されず、 例えば、 第 1撮像素子 38及び第 2撮像 素子 52が〇〇〇イメージセンサであっても本開示の技術は成立する。
[0078] 一例として図 7に示すように、 信号処理回路 34は、 通信丨 / 34八，
34巳を備えている。 詳しくは後述するが、 通信丨 / 34八は、 通信ライ ン 44を介して第 1撮像素子 38の処理回路 1 1 0と接続されており、 信号 処理回路 34は、
Figure imgf000024_0002
して第 1撮像素子 38の処理回路 1 1 0と通信を行う。 例えば、 通信丨 / 34八は、 第 1撮像素子 38から出 力された画像データを受け付ける。
[0079]
Figure imgf000024_0003
巳は、 通信ライン 35を介してコントローラ 1 5の通信 I 巳に接続されており、 信号処理回路 34は、 通信丨 / 34巳， 1 5巳を介してコントローラ 1 5と通信を行う。 例えば、 通信丨
Figure imgf000024_0004
、 信号処理回路 34によって各種の信号処理 （詳しくは後述） が行われるこ とで得られた画像データを、 通信ライン 35を介してコントローラ 1 5の通
Figure imgf000024_0005
巳に出力する。
[0080] 第 2撮像素子 52は、
Figure imgf000024_0006
1 2002を備えている。
通信丨 / 1 2002は、 本開示の技術に係る 「出力部 （通信インタフエー ス） 」 の一例である。 通信丨 / 1 2001は、 通信ライン 58を介してコ 〇 2020/174978 23 卩（：170? 2020 /002929
ントローラ
Figure imgf000025_0001
と接続されており、 第 2撮像素子 52 は、
Figure imgf000025_0002
1 2001 を介してコントローラ 1 5と通信を行 う。 例えば、 第 2撮像素子 52は、 コントローラ 1 5の通信丨 / 1 502 から通信ライン 58を介して出力された読出同期信号を通信 I / 1 200 1で受け付ける。
[0081] 詳しくは後述するが、 通信丨 / 1 2002は、 通信ライン 54を介して 第 1撮像素子 38の処理回路 1 1 0に接続されており、 第 2撮像素子 52は 、 通信丨 / 1 2002を介して第 1撮像素子 38の処理回路 1 1 0と通信 を行う。 例えば、 第 2撮像素子 52は、 被写体を撮像することで得た第 2画 像データ 80を、
Figure imgf000025_0003
から通信ライン 54を介して処理回 路 1 1 0に出力する。
[0082] 第 1撮像素子 38において、 処理回路 1 1 0は、 読出回路 1 1 0八、 デジ タル処理回路 1 1 0巳、 制御回路 1 1 0 (3、 及び通信丨
Figure imgf000025_0004
1 001 , 1 1 002, 1 1 0口 3を備えている。 通信丨 / 1 1 002は、 本開示の技 術に係る 「出力部 (通信インタフェース) 」 の一例である。
[0083] 読出回路 1 1 〇八は、 光電変換素子 42、 デジタル処理回路 1 1 〇巳、 及 び制御回路 1 1 0(3の各々に接続されている。 デジタル処理回路 1 1 0巳は 、 制御回路 1 1 〇<3に接続されている。 制御回路 1 1 0<3は、 メモリ 1 1 2 及び通信丨 / 1 1 001 , 1 1 002, 1 1 003の各々に接続されてい る。
[0084] 上述の第 1画像データ 70は、 一例として図 7に示すように、 第 1 アナロ グ画像データ 70八と第 1デジタル画像データ 70巳とに大別される。 なお 、 以下では、 説明の便宜上、 第 1 アナログ画像データ 7〇八と第 1デジタル 画像データ 70巳とを区別して説明する必要がない場合、 「第 1画像データ 70」 と称する。
[0085]
Figure imgf000025_0005
1 001は、 ◦ を有する通信デバイスであり、 通信ラ イン 46を介してコントローラ 1 5の通信丨 / 1 501 に接続されている 。 処理回路 1 1 0とコントローラ 1 5との間は、 通信ライン 46を介して通 〇 2020/174978 24 卩（：170? 2020 /002929
信 1 / 1 501 , 1
Figure imgf000026_0001
によって？（3 1 _6の接続規格に従って接続 されている。
[0086]
Figure imgf000026_0002
1 001は、 コントローラ
Figure imgf000026_0003
信ライン 46を介して出力された読出同期信号を受け付け、 受け付けた読出 同期信号を制御回路 1 1 〇 <3に出力する。
[0087] 通信丨 / 1 1 002は、 〇 を有する通信デバイスであり、 通信ラ イン 44を介して （3 I _ 6の接続規格に従って信号処理回路 34の通信丨 に接続されている。 通信丨 / 1 1 002は、 信号処理回路 34 と制御回路 1 1 〇〇との間での通信を司る。 ここでは、 通信丨 / 1 1 00 2として ◦八を有する通信デバイスが採用されているが、 あくまでも一 例に過ぎず、 通信丨 / 1 1 002は、 3 I （3、 ◦ 、 及び/又は !_ 0を含むデバイスであってもよい。 また、 通信丨 / 1 1 002は、 09
Figure imgf000026_0004
数であってもよいし、 複数であってもよい。 また、 通信丨 / 1 1 002は 、 ハードウェア構成及びソフトウェア構成の組み合わせによって実現されて もよい。
[0088] 通信丨 / 1 1 003は、
Figure imgf000026_0005
を有する通信デバイスであり、 通信ラ イン 54を介して （3 I _ 6の接続規格に従って第 2撮像素子 52の通信 I
Figure imgf000026_0006
52と制御回路 1 1 〇〇との間での通信を司る。 ここでは、 通信丨 / 1 1 0口 3として ◦八を有する通信デバイスが採用されているが、 あくまで も一例に過ぎず、 通信丨 / 1 1 003は、 八 3 丨 〇、 ◦八、 及び/又 は !_ 0を含むデバイスであってもよい。 また、 通信丨 / 1 1 003は、
Figure imgf000026_0007
、 単数であってもよいし、 複数であってもよい。 また、 通信丨 / 1 1 00 3は、 ハードウェア構成及びソフトウェア構成の組み合わせによって実現さ れてもよい。
[0089] 読出回路 1 1 〇八は、 制御回路 1 1 〇〇の制御下で、 光電変換素子 42を \¥0 2020/174978 25 卩（：17 2020 /002929
制御し、 光電変換素子 4 2から第 1 アナログ画像データ 7 0 を読み出す。 光電変換素子 4 2からの第 1 アナログ画像データ 7 0八の読み出しは、 コン トローラ 1 5から処理回路 1 1 0に入力された読出同期信号に従って行われ る。
[0090] 具体的には、 先ず、 通信丨 / 1 1 0 0 1がコントローラ 1 5から読出同 期信号を受け付け、 受け付けた読出同期信号を制御回路 1 1 〇<3に出力する 。 次に、 制御回路 1 1 〇〇は、 通信丨
Figure imgf000027_0001
1 1 0 0 1から入力された読出同 期信号を読出回路 1 1 〇八に転送する。 すなわち、 読出回路 1 1 〇八には、 垂直同期信号及び水平同期信号が転送される。 そして、 読出回路 1 1 0八は 、 制御回路 1 1 〇 <3から転送された垂直同期信号に従って光電変換素子 4 2 からフレーム単位での第 1 アナログ画像データ 7 0八の読み出しを開始する 。 また、 読出回路 1 1 〇 は、 制御回路 1 1 0 <3から転送された水平同期信 号に従って水平ライン単位での第 1 アナログ画像データ 7 0 の読み出しを 開始する。
[0091 ] 読出回路 1 1 〇八は、 光電変換素子 4 2から読み出された第 1 アナログ画 像データ 7 0 に対してアナログ信号処理を行う。 アナログ信号処理には、 ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる 。 ノイズキャンセル処理は、 光電変換素子 4 2に含まれる画素間の特性のば らつきに起因するノイズをキャンセルする処理である。 アナログゲイン処理 は、 第 1 アナログ画像データ 7 0八に対してゲインをかける処理である。 こ のようにしてアナログ信号処理が行われた第 1 アナログ画像データ 7 0八は 、 読出回路 1 1 0八によってデジタル処理回路 1 1 0巳に出力される。
[0092] デジタル処理回路 1 1 〇巳は、 /〇変換器 1 1 0巳 1 を備えている。 八 /口変換器 1 1 〇巳 1は、 第 1 アナログ画像データ 7〇 を /〇変換する
[0093] デジタル処理回路 1 1 〇巳は、 読出回路 1 1 0八から入力された第 1 アナ ログ画像データ 7 0 に対してデジタル信号処理を行う。 デジタル信号処理 には、 例えば、 相関二重サンプリング、 八/〇変換器 1 1 0巳 1 による八/ 〇 2020/174978 26 卩（：170? 2020 /002929
口変換、 及びデジタルゲイン処理が含まれる。
[0094] 第 1 アナログ画像データ 7 0八に対しては、 デジタル処理回路 1 1 0巳に よって相関二重サンプリングが行われる。 相関二重サンプリングの信号処理 が行われた第 1 アナログ画像データ 7〇八に対しては、 八/〇変換器 1 1 0 巳 1 によって八/〇変換が行われ、 これによって、 第 1 アナログ画像データ 7 0八がデジタル化され、
Figure imgf000028_0001
データとして第 1デジタル画像データ 7 0 巳が得られる。 そして、 第 1デジタル画像データ 7 0巳に対しては、 デジタ ル処理回路 1 1 0巳によってデジタルゲイン処理が行われる。 デジタルゲイ ン処理とは、 第 1デジタル画像データ 7 0巳に対してゲインをかける処理を 指す。 このようにデジタル信号処理が行われることによって得られた第 1デ ジタル画像データ 7 0巳は、 デジタル処理回路 1 1 0巳によって制御回路 1 1 〇〇に出力される。
[0095] —方、 詳しくは後述するが、 第 2撮像素子 5 2でも、 第 1撮像素子 3 8と 同様の方法で被写体の画像を示す第 2デジタル画像データ 8 0巳が生成され る。 そして、 第 2撮像素子 5 2で生成された第 2デジタル画像データ 8 0巳 は、
Figure imgf000028_0002
によって通信ライン 5 4を介 して処理回路 1
Figure imgf000028_0003
0口 2によって出力された第 2デジタル画像データ 8 0巳は、 通信丨
Figure imgf000028_0004
1 0口 3によって受け付けられ、 制御回路 1 1 0 <3に転送される。
[0096] なお、 本第 1実施形態では、 第 1デジタル画像データ 7 0巳及び第 2デジ タル画像データ 8 0巳を区別して説明する必要がない場合、 符号を付さずに 「デジタル画像データ」 と称する。 ここで言う 「第 2デジタル画像データ 8 0巳」 は、 本開示の技術に係る 「出力画像データ」 の一例である。
[0097] メモリ 1 1 2は、 複数フレームのデジタル画像データを記憶可能なメモリ である。 メモリ 1 1 2は、 画素単位の記憶領域 （図示省略） を有しており、 デジタル画像データが制御回路 1 1 0 <3によって、 画素単位で、 メモリ 1 1 2のうちの対応する記憶領域に記憶される。
[0098] 制御回路 1 1 〇〇は、 デジタル処理回路 1 1 0巳から入力された第 1デジ 〇 2020/174978 27 卩（：170? 2020 /002929
タル画像データ 70巳をメモリ 1 1 2に記憶する。 また、 制御回路 1 1 〇〇 は、 通信丨 / 1 1 003から入力された第 2デジタル画像データ 80巳も メモリ 1 1 2に記憶する。
[0099] 制御回路 1 1 〇〇は、 メモリ 1 1 2に対してランダムアクセス可能であり 、 通信丨 / 1 1 0口 2を介した信号処理回路 34からの要求に応じて、 メ モリ 1 1 2からデジタル画像データを取得する。 制御回路 1 1 0(3は、 メモ リ 1 1 2から取得したデジタル画像データに対して画像処理を施して得た画 像データを通信
Figure imgf000029_0001
1 002に出力する。
[0100] 通信丨 / 1 1 002は、 制御回路 1 1 0<3から入力された画像データを 、 通信ライン 44を介して信号処理回路 34に出力する。 信号処理回路 34 では、
Figure imgf000029_0003
1 0口 2から出力された画像データが通信
Figure imgf000029_0002
によって受け付けられ、 受け付けられた画像データに対して各種の信号処理 (詳しくは後述) が行われる。
[0101] —例として図 8に示すように、 第 2撮像素子 52において、 処理回路 1 2
0は、 読出回路 1 20 As デジタル処理回路 1 20巳、 制御回路 1 20〇、 及び通信丨 / 1 2001 , 1 2002を備えている。
[0102] 読出回路 1 20八は、 光電変換素子 56、 デジタル処理回路 1 20巳、 及 び制御回路 1 20(3の各々に接続されている。 デジタル処理回路 1 20巳は 、 制御回路 1 20(3に接続されている。 制御回路 1 20(3は、 メモリ 1 22 及び通信丨 / 1 2001 , 1 2002の各々に接続されている。
[0103] 上述の第 2画像データ 80は、 一例として図 8に示すように、 第 2アナロ グ画像データ 80八と第 2デジタル画像データ 80巳とに大別される。 なお 、 以下では、 説明の便宜上、 第 2アナログ画像データ 80八と第 2デジタル 画像データ 80巳とを区別して説明する必要がない場合、 「第 2画像データ 80」 と称する。
[0104] 通信 1 / 1 2001は、 〇八を有する通信デバイスであり、 通信ラ イン 58を介してコントローラ 1 5の通信丨 / 1 5口 2に接続されている 。 処理回路 1 20とコントローラ 1 5との間は、 通信ライン 58を介して通 〇 2020/174978 28 卩（：170? 2020 /002929
信 1 / 1 502,
Figure imgf000030_0001
によって？(3 1 _6の接続規格に従って接続 されている。
［0105］
Figure imgf000030_0002
コントローラ
Figure imgf000030_0003
信ライン 58を介して出力された読出同期信号を受け付け、 受け付けた読出 同期信号を制御回路 1 20(3に出力する。
［0106］ 通信丨 / 1 2002は、 〇八を有する通信デバイスであり、 ここで
Figure imgf000030_0004
ているが、 あくまでも一例に過ぎず、 通信丨 / 1 2002は、 八3 丨 〇、 〇八、 及び/又は !_ 0を含むデバイスであってもよい。 また、 通信丨 / 1 2002は、 〇 11、 ［¾〇 IV!、 及び 八 IV!を含むコンビユータであっ てもよい。 〇 11は、 単数であってもよいし、 複数であってもよい。 また、 通信丨 / 1 2002は、 ハードウエア構成及びソフトウエア構成の組み合 わせによって実現されてもよい。
［0107］ 読出回路 1 20八は、 制御回路 1 2〇〇の制御下で、 光電変換素子 56を 制御し、 光電変換素子 56から第 2アナログ画像データ 80八を読み出す。 光電変換素子 56からの第 2アナログ画像データ 8〇八の読み出しは、 コン トローラ 1 5から処理回路 1 20に入力された読出同期信号に従って行われ る。
［0108］ 具体的には、 先ず、 通信丨 / 1 2001がコントローラ 1 5から読出同 期信号を受け付け、 受け付けた読出同期信号を制御回路 1 20(3に出力する 。 次に、 制御回路 1 20(3は、 通信丨 / 1 2001から入力された読出同 期信号を読出回路 1 20八に転送する。 すなわち、 読出回路 1 20八には、 垂直同期信号及び水平同期信号が転送される。 そして、 読出回路 1 20八は 、 制御回路 1 20(3から転送された垂直同期信号に従って光電変換素子 56 からフレーム単位での第 2アナログ画像データ 80八の読み出しを開始する 。 また、 読出回路 1 20 は、 制御回路 1 20(3から転送された水平同期信 号に従って水平ライン単位での第 2アナログ画像データ 80 の読み出しを 開始する。 〇 2020/174978 29 卩（：170? 2020 /002929
[0109] 読出回路 1 20八は、 光電変換素子 56から読み出された第 2アナログ画 像データ 80 に対して、 上述のアナログ信号処理を行う。 このようにして アナログ信号処理が行われた第 2アナログ画像データ 80八は、 読出回路 1 20八によってデジタル処理回路 1 20巳に出力される。
[0110] デジタル処理回路 1 20巳は、 八/〇変換器 1 20巳 1 を備えている。 八
/口変換器 1 20巳 1は、 第 2アナログ画像データ 80 を /〇変換する
[0111] デジタル処理回路 1 20巳は、 読出回路 1 20八から入力された第 2アナ ログ画像データ 80八に対してデジタル信号処理を行う。 第 2アナログ画像 データ 80 に対するデジタル信号処理は、 第 1 アナログ画像データ 70八 に対するデジタル信号処理に比べ、 /〇変換器 1 1 0巳 1 による /〇変 換に代えて、 /〇変換器 1 20巳 1 による /〇変換が含まれる点が異な る。
[0112] 相関二重サンプリングの信号処理が行われた第 2アナログ画像データ 80 八に対しては、 八/〇変換器 1 1 0巳 1 によって八/〇変換が行われ、 これ によって、 第 2アナログ画像データ 8〇八がデジタル化され、
Figure imgf000031_0001
として第 2デジタル画像データ 80巳が得られる。 デジタル信号処理が行わ れることによって得られた第 2デジタル画像データ 80巳は、 デジタル処理 回路 1 20巳によって制御回路 1 2〇〇に出力される。
[0113] メモリ 1 22は、 複数フレームの第 2デジタル画像データ 80巳を記憶可 能なメモリである。 メモリ 1 22は、 画素単位の記憶領域 (図示省略) を有 しており、 第 2デジタル画像データ 80巳が制御回路 1 20(3によって、 画 素単位で、 メモリ 1 22のうちの対応する記憶領域に記憶される。 制御回路 1 20(3は、 デジタル処理回路 1 20巳から入力された第 2デジタル画像デ -夕 80巳をメモリ 1 22に記憶する。
[0114] 制御回路 1 20〇は、 メモリ 1 22に対してランダムアクセス可能であり 、 メモリ 1 22から第 2デジタル画像データ 80巳を取得する。 制御回路 1 20(3は、 メモリ 1 22から取得した第 2デジタル画像データ 80巳を通信 〇 2020/174978 30 卩（：170? 2020 /002929
Figure imgf000032_0001
制御回路 1 2 0 0 から入力された第 2デジタル画像データ 8 0巳を、 通信ライン 5 4を介して
Figure imgf000032_0002
1 0 0 3に出力する。
[01 15] ここで、 画像データの伝送経路及び処理方法の一例について図 9及び図 1
0を参照しながら説明する。
[01 16] 一例として図 9に示すように、 第 2撮像素子 5 2によって被写体が撮像さ れることで得られた第 2デジタル画像データ 8 0巳は、 メモリ 1 2 2に記憶 されてから、 通信ライン 5 4を介して第 1撮像素子 3 8に出力される。 すな わち、 第 1撮像素子 3 8及び第 2撮像素子 5 2は、 隣接する撮像素子であり 、 隣接する撮像素子のうちの前段の撮像素子である第 2撮像素子 5 2の通信 I 1 2 0 0 2によって第 2デジタル画像データ 8 0巳が出力される。 そ して、 通信丨 / 1 2 0 0 2によって出力された第 2デジタル画像データ 8 〇巳は、 隣接する撮像素子のうちの後段の撮像素子である第 1撮像素子 3 8 の通信丨 / 1 1 0口 3によって受け付けられ、 受け付けられた第 2デジタ ル画像データ 8 0巳はメモリ 1 1 2に記憶される。 また、 第 1撮像素子 3 8 によって撮像されることで得られた第 1デジタル画像データ 7 0巳もメモリ 1 1 2に記憶される。
[01 17] なお、 第 1デジタル画像データ 7 0巳は、 本開示の技術に係る 「後段画像 データ」 の一例である。 また、 第 2デジタル画像データ 8 0巳は、 本開示の 技術に係る 「前段画像データ」 の一例である。
[01 18] 一例として図 1 0に示すように、 第 1撮像素子 3 8において、 制御回路 1
1 0 (3は、 取得部 1 1 0 <3 1及び合成部 1 1 0 0 2を有する。 合成部 1 1 0 〇2は、 本開示の技術に係る 「合成回路」 の一例である。 取得部 1 1 0〇 1 は、 メモリ 1 1 2から第 1デジタル画像データ 7 0巳及び第 2デジタル画像 データ 8 0巳を取得する。 なお、 ここでは、 第 2デジタル画像データ 8 0巳 がメモリ 1 1 2に一旦記憶されてから、 取得部 1 1 0 0 1 によってメモリ 1 1 2から第 2デジタル画像データ 8 0巳が取得される形態例を挙げて説明し ているが、 本開示の技術はこれに限定されない。 第 2デジタル画像データ 8 〇 2020/174978 31 卩（：170? 2020 /002929
0巳は、 メモリ 1 1 2に記憶されることなく取得部 1 1 0〇 1 によって取得 されるようにしてもよい。
[01 19] 合成部 1 1 0 0 2は、 取得部 1 1 0（3 1 によって取得された第 1デジタル 画像データ 7 0巳及び第 2デジタル画像データ 8 0巳を合成する。 具体的に は、 合成部 1 1 0〇 2は、 第 1デジタル画像データ 7 0巳と第 2デジタル画 像データ 8 0巳とを画素単位で加算平均することで第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳とを合成する。
[0120] なお、 ここで、 合成方法として加算平均を例に挙げて説明したが、 合成方 法はこれに限らない。 例えば、 第 1デジタル画像データ 7 0巳及び第 2デジ タル画像データ 8 0巳によるアルファブレンドを行うようにしてもよい。 ま た、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳とを画 素単位で単に加算するようにしてもよい。 このように、 第 1デジタル画像デ —夕 7 0巳と第 2デジタル画像データ 8 0巳とを合成する方法は、 如何なる 方法であっても本開示の技術は成立する。
[0121 ] 合成部 1 1 0〇2は、 第 1デジタル画像データ 7 0巳と第 2デジタル画像 データ 8 0巳とを合成して得た合成画像データ
Figure imgf000033_0001
1 0 0 2に出力する。
Figure imgf000033_0002
1 0 0 2は、 合成部 1 1 0 0 2から入力された 合成画像データ 1 3 0を通信ライン 4 4を介して信号処理回路 3 4に出力す る。 なお、 合成画像データ 1 3 0は、 本開示の技術に係る 「出力画像データ 」 の一例である。
[0122] 信号処理回路 3 4では、 合成画像データ 1 3 0に対して各種の信号処理を 行い、 各種の信号処理を行った合成画像データ 1 3 0をコントローラ 1 5に 出力する。 コントローラ 1 5では、 合成画像データ 1 3 0が入力されると、 0 9 11 ] 5 によって合成画像データ 1 3 0が二次記憶装置 1 0 2に対して 記憶されたり、 外部丨 / 1 0 4を介して外部装置 （図示省略） に記憶され たりする。 また、 コントローラ 1 5では、 合成画像データ 1 3 0が入力され ると、
Figure imgf000033_0003
^ 5 によって合成画像データ 1 3 0に基づく画像が静止画像 又はライブビュー画像としてディスプレイ 2 6に対して表示される。 〇 2020/174978 32 卩（：170? 2020 /002929
［0123］ 信号処理回路 3 4によって行われる各種の信号処理には、 例えば、 デモザ イク処理、 デジタル間引き処理、 及びデジタル加算処理などの公知の信号処 理が含まれる。
［0124］ デモザイク処理は、 カラーフイルタの配列に対応したモザイク画像から画 素毎に全ての色情報を算出する処理である。 例えば、 ［¾〇巳3色のカラーフ イルタからなる撮像素子の場合、
Figure imgf000034_0001
巳からなるモザイク画像から画素毎に 巳全ての色情報が算出される。 デジタル間引き処理は、 合成画像データ 1 3 0に含まれる画素をライン単位で間引く処理である。 ライン単位とは、 例えば、 水平ライン単位及び/又は垂直ライン単位を指す。 デジタル加算処 理は、 例えば、 合成画像データ 1 3 0に含まれる複数の画素について画素値 を加算平均する処理である。
［0125］ なお、 信号処理回路 3 4によって行われる各種の信号処理は、 その他の公 知の信号処理を含んでいてもよい。 その他の公知の信号処理としては、 例え ば、 ホワイ トバランス調整、 シャープネス調整、 ガンマ補正、 色空間変換処 理、 及び色差補正などが挙げられる。 また、 各種の信号処理が信号処理回路 3 4と第1撮像素子 3 8とで分散して行われるようにしてもよい。 すなわち 、 信号処理回路 3 4によって行われる各種の信号処理のうちの少なくとも一 部を第 1撮像素子 3 8の処理回路 1 1 0に担わせるようにしてもよい。
［0126］ 一例として図 1 1 に示すように、 第 2撮像素子 5 2では、 光電変換素子 5
6が露光されることで第 2アナログ画像データ 8〇八が生成され、 垂直同期 信号が入力されると、 光電変換素子 5 6からの第 2アナログ画像データ 8 0 八の読み出し、 及び光電変換素子 5 6に対するリセッ トが行われる。 光電変 換素子 5 6に対するリセッ トとは、 光電変換素子 5 6内の各画素の残留電荷 を消去する動作を指す。 光電変換素子 5 6による露光は、 光電変換素子 5 6 に対する読出回路 1 2 0八による前回のリセッ トが行われてから読み出しが 行われるまでの間に行われる。
［0127］ 第 2アナログ画像データ 8 0八に対してデジタル信号処理が行われること によって第 2デジタル画像データ 8 0巳が生成され、 生成された第 2デジタ 〇 2020/174978 33 卩（：170? 2020 /002929
ル画像データ 8 0巳はメモリ 1 2 2に記憶される。 そして、 メモリ 1 2 2に 記憶されている第 2デジタル画像データ 8 0巳は第 1撮像素子 3 8に出力さ れる。
[0128] 一方、 第 1撮像素子 3 8では、 光電変換素子 4 2が露光されることで第 1 アナログ画像データ 7〇 が生成され、 垂直同期信号が入力されると、 光電 変換素子 4 2からの第 1 アナログ画像データ 7 0八の読み出し、 及び光電変 換素子 4 2に対するリセッ トが行われる。 光電変換素子 4 2に対するリセッ 卜とは、 光電変換素子 4 2内の各画素の残留電荷を消去する動作を指す。 光 電変換素子 4 2による露光は、 光電変換素子 4 2に対する読出回路 1 1 0八 による前回のリセッ トが行われてから読み出しが行われるまでの間に行われ る。
[0129] 第 1 アナログ画像データ 7 0八に対してデジタル信号処理が行われること によって第 1デジタル画像データ 7 0巳が生成される。 第 1デジタル画像デ —夕 7 0巳は、 第 2撮像素子 5 2から出力された第 2デジタル画像データ 8 〇巳と同期させるために、 メモリ 1 1 2に一旦記憶される。 第 2デジタル画 像データ 8 0巳がメモリ 1 1 2に記憶されると、 メモリ 1 1 2に記憶されて いる第 1デジタル画像データ 7 0巳及び第 2デジタル画像データ 8 0巳が合 成され、 合成画像データ 1 3 0が生成される。 合成画像データ 1 3 0は、 信 号処理回路 3 4に出力される。
[0130] また、 図 1 1 に示す例では、 第 2撮像素子 5 2に入力される垂直同期信号 の入カタイミングよりも第 1撮像素子 3 8に入力される垂直同期信号の入力 タイミングの方が遅い。 これにより、 第 1撮像素子 3 8での光電変換素子 4 2による露光時間が、 第 2撮像素子 5 2での光電変換素子 5 6による露光時 間よりも長くなる。
[0131 ] 次に、 スマートデバイス 1 0の本開示の技術に係る部分の作用について説 明する。
[0132] 先ず、 第 2撮像素子 5 2の処理回路 1 2 0によって実行される前段撮像処 理の流れについて図 1 2を参照しながら説明する。 〇 2020/174978 34 卩（：170? 2020 /002929
[0133] 図 1 2に示す前段撮像処理では、 先ず、 ステップ 3丁 1 0で、 制御回路 1
2 0 (3は、 コントローラ 1 5からの垂直同期信号が通信丨 / 1 2 0 0 1 に よって受け付けられたか否かを判定する。 ステップ 3丁 1 0において、 コン トローラ 1 5からの垂直同期信号が通信丨
Figure imgf000036_0001
1 2 0 0 1 によって受け付け られていない場合は、 判定が否定されて、 前段撮像処理はステップ3丁 2 2 へ移行する。 ステップ 3丁 1 0において、 コントローラ 1 5からの垂直同期 信号が通信丨
Figure imgf000036_0002
1 2 0 0 1 によって受け付けられた場合は、 判定が肯定さ れて、 前段撮像処理はステップ 3丁 1 2へ移行する。
[0134] ステップ 3丁 1 2で、 読出回路 1 2 0八は、 第 2アナログ画像データ 8 0 八の読み出し及び光電変換素子 5 6のリセッ トを行い、 その後、 前段撮像処 理はステップ 3丁 1 4へ移行する。
[0135] ステップ 3丁 1 4で、 デジタル処理回路 1 2 0巳は、 第 2アナログ画像デ —夕 8〇 に対してデジタル信号処理を行い、 その後、 前段撮像処理はステ ップ 3丁 1 6へ移行する。
[0136] ステップ 3丁 1 4において第 2アナログ画像データ 8〇八に対してデジタ ル信号処理が行われることで得られた第 2デジタル画像データ 8 0巳は、 制 御回路 1 2 0 (3に転送される。
[0137] ステップ 3丁 1 6で、 制御回路 1 2 0〇は、 第 2デジタル画像データ 8 0 巳をメモリ 1 2 2に記憶し、 その後、 前段撮像処理はステップ 3丁 1 8へ移 行する。
[0138] ステップ 3丁 1 8で、 制御回路 1 2 0〇は、 第 2デジタル画像データ 8 0 巳を第 1撮像素子 3 8に出力するタイミング (出カタイミング) が到来した か否かを判定する。 出カタイミングの一例としては、 制御回路 1 2 0〇がメ モリ 1 2 2から第 2デジタル画像データ 8 0巳を読み出すことが可能なタイ ミングが挙げられる。 メモリ
Figure imgf000036_0003
メモリ 1 2 2に対す る書き込みと読み出しとを同時に行うことはできない。 そのため、 制御回路 1 2〇〇がメモリ 1 2 2から第 2デジタル画像データ 8 0巳を読み出すこと が可能なタイミングとは、 例えば、 メモリ 1 2 2への 1 フレーム分の第 2デ 〇 2020/174978 35 卩（：170? 2020 /002929
ジタル画像データ 8 0巳の記憶が完了したタイミングを指す。
[0139] ステップ 3丁 1 8において、 出カタイミングが到来していない場合は、 判 定が否定されて、 ステップ 3丁 1 8の判定が再び行われる。 ステップ 3丁 1 8において、 出カタイミングが到来した場合は、 判定が肯定されて、 前段撮 像処理はステップ 3丁 2 0へ移行する。
[0140] ステップ 3丁 2 0で、 制御回路 1 2 0〇は、 メモリ 1 2 2から第 2デジタ ル画像データ 8 0巳を取得し、 取得した第 2デジタル画像データ 8 0巳を、
Figure imgf000037_0001
を介して第 1撮像素子 3 8に出力し、 その後、 前段撮 像処理はステップ 3丁 2 2へ移行する。
[0141 ] ステップ 3丁 2 2で、 制御回路 1 2 0（3は、 前段撮像処理を終了する条件 （以下、 「前段撮像処理終了条件」 と称する） を満足したか否かを判定する 。 前段撮像処理終了条件の一例としては、 前段撮像処理を終了させる指示が 受付デバイス 8 4 （図 5参照） によって受け付けられた、 との条件が挙げら れる。 ステップ3丁 2 2において、 前段撮像処理終了条件を満足していない 場合は、 判定が否定されて、 前段撮像処理はステップ 3丁 1 0へ移行する。 ステップ 3丁 2 2において、 前段撮像処理終了条件を満足した場合は、 判定 が肯定されて、 前段撮像処理が終了する。
[0142] 次に、 第 1撮像素子 3 8の処理回路 1 1 0によって実行される後段撮像処 理の流れについて図 1 3を参照しながら説明する。
[0143] 図 1 3に示す後段撮像処理では、 先ず、 ステップ 3丁 3 0で、 制御回路 1
1 0 <3は、 コントローラ 1 5からの垂直同期信号が通信丨 / 1 1 0 0 1 に よって受け付けられたか否かを判定する。 ステップ 3丁 3 0において、 コン トローラ 1 5からの垂直同期信号が通信丨
Figure imgf000037_0002
1 1 0 0 1 によって受け付け られていない場合は、 判定が否定されて、 後段撮像処理はステップ3丁 4 4 へ移行する。 ステップ 3丁 3 0において、 コントローラ 1 5からの垂直同期 信号が通信丨
Figure imgf000037_0003
1 1 0 0 1 によって受け付けられた場合は、 判定が肯定さ れて、 後段撮像処理はステップ3丁 3 2へ移行する。
[0144] ステップ 3丁 3 2で、 読出回路 1 1 〇八は、 第 1 アナログ画像データ 7 0 〇 2020/174978 36 卩（：170? 2020 /002929
八の読み出し及び光電変換素子 4 2のリセッ トを行い、 その後、 後段撮像処 理はステップ 3丁 3 4へ移行する。
[0145] ステップ 3丁 3 4で、 デジタル処理回路 1 1 〇巳は、 第 1 アナログ画像デ —夕 7〇 に対してデジタル信号処理を行い、 その後、 後段撮像処理はステ ップ 3丁 3 6へ移行する。
[0146] ステップ 3丁 3 4において第 1 アナログ画像データ 7 0八に対してデジタ ル信号処理が行われることで得られた第 1デジタル画像データ 7 0巳は、 制 御回路 1 1 0（3に転送される。
[0147] ステップ 3丁 3 6で、 制御回路 1 1 〇〇は、 第 1デジタル画像データ 7 0 巳をメモリ 1 1 2に記憶し、 その後、 後段撮像処理はステップ 3丁 3 8へ移 行する。
[0148] ステップ 3丁3 8で、 制御回路 1 1 〇〇は、 第 2撮像素子 5 2から第 2デ ジタル画像データ 8 0巳が入力されたか否かを判定する。 ステップ3丁 3 8 において、 第 2撮像素子 5 2から第 2デジタル画像データ 8 0巳が入力され ていない場合は、 判定が否定されて、 ステップ 3丁 3 8の判定が再び行われ る。 ステップ 3丁 3 8において、 第 2撮像素子 5 2から第 2デジタル画像デ —夕 8 0巳が入力された場合は、 判定が肯定されて、 後段撮像処理はステッ プ3丁4 0へ移行する。
[0149] ステップ 3丁 4 0で、 制御回路 1 1 〇〇は、 第 1デジタル画像データ 7 0 巳と第 2デジタル画像データ 8 0巳とを合成し、 合成画像データ 1 3 0を生 成し、 その後、 後段撮像処理はステップ 3丁 4 2へ移行する。
[0150] ステップ 3丁 4 2で、 制御回路 1 1 〇〇は、 合成画像データ 1 3 0を、 通 信 1 / 1 1 0口 2を介して信号処理回路 3 4に出力し、 その後、 後段撮像 処理はステップ 3丁 4 4へ移行する。
[0151 ] ステップ 3丁 4 4で、 制御回路 1 1 〇〇は、 後段撮像処理を終了する条件 （以下、 「後段撮像処理終了条件」 と称する） を満足したか否かを判定する 。 後段撮像処理終了条件の一例としては、 後段撮像処理を終了させる指示が 受付デバイス 8 4 （図 5参照） によって受け付けられた、 との条件が挙げら 〇 2020/174978 37 卩（：170? 2020 /002929
れる。 ステップ 3丁 4 4において、 後段撮像処理終了条件を満足していない 場合は、 判定が否定されて、 後段撮像処理はステップ 3丁 3 0へ移行する。 ステップ 3丁 4 4において、 後段撮像処理終了条件を満足した場合は、 判定 が肯定されて、 後段撮像処理が終了する。
[0152] 以上説明したように、 撮像装置 1 4には、 信号処理回路 3 4、 第 1撮像素 子 3 8、 及び第 2撮像素子 5 2が設けられている。 第 2撮像素子 5 2は通信 ライン 5 4を介して第 1撮像素子 3 8に接続されており、 第 1撮像素子 3 8 は、 通信ライン 4 4を介して信号処理回路 3 4に接続されている。 すなわち 、 信号処理回路 3 4、 第 1撮像素子 3 8、 及び第 2撮像素子 5 2は、 通信ラ イン 4 4 , 5 4によって直列に接続されている。
[0153] そして、 第 2撮像素子 5 2により被写体が撮像されることで得られた第 2 デジタル画像データ 8 0巳は通信丨 / 1 2 0 0 2により通信ライン 5 4を 介して第 1撮像素子 3 8に出力される。 第 1撮像素子 3 8により被写体が撮 像されることで得られた第 1デジタル画像データ 7 0巳は第 2デジタル画像 データ 8 0巳と合成される。 第 1デジタル画像データ 7 0巳と第 2デジタル 画像データ 8 0巳とが合成されることによって得られた合成画像データ 1 3 〇は通信
Figure imgf000039_0001
1 0口 2により通信ライン 4 4を介して信号処理回路 3 4 に出力される。 従って、 第 1撮像素子 3 8及び第 2撮像素子 5 2を信号処理 回路 3 4に直接接続する場合に比べ、 第 1撮像素子 3 8及び第 2撮像素子 5 2を信号処理回路 3 4に接続するのに要する配線数を抑制することができる
[0154] また、 撮像装置 1 4では、 合成部 1 1 〇〇 2により第 1デジタル画像デー 夕 7 0巳と第 2デジタル画像データ 8 0巳とが合成され、 合成されることで 得られた合成画像データ
Figure imgf000039_0002
1 0 0 2 によって通信ライン 4 4を介して信号処理回路 3 4に出力される。 従って、 信号処理回路 3 4で第 1デジタル画像データ 7 0巳と第 2デジタル画像デー 夕 8 0巳とを合成させる必要がなくなる。
[0155] また、 撮像装置 1 4では、 第 1撮像素子 3 8での光電変換素子 4 2による 〇 2020/174978 38 卩（：170? 2020 /002929
露光時間が、 第 2撮像素子 5 2での光電変換素子 5 6による露光時間よりも 長い。 従って、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳とが合成されることによって得られた合成画像データ 1 3 0のダイナミ ックレンジは、 単一のデジタル画像データのダイナミックレンジよりも、 大 きくなる。 つまり、 合成画像データ 1 3 0は、 単一のデジタル画像データよ りも輝度を綿密に表現可能な画像データとなる。
[0156] また、 撮像装置 1 4では、 信号処理回路 3 4は、 第 1撮像素子 3 8及び第
2撮像素子 5 2に直列に接続されており、 かつ、 第 1撮像素子 3 8及び第 2 撮像素子 5 2よりも後段に位置している。 具体的には、 第 2撮像素子 5 2が 前段に位置し、 第 1撮像素子 3 8が中段に位置し、 信号処理回路 3 4が後段 に位置している。 従って、 信号処理回路 3 4は、 第 1撮像素子 3 8及び第 2 撮像素子 5 2の各々によって撮像されることで得られた全ての画像データを 受け取ることができる。
[0157] また、 撮像装置 1 4では、 第 1撮像素子 3 8として、 光電変換素子 4 2、 処理回路 1 1 0、 及びメモリ 1 1 2が 1チップ化された撮像素子が採用され ている。 これにより、 光電変換素子 4 2、 処理回路 1 1 0、 及びメモリ 1 1 2が 1チップ化されていない撮像素子に比べ、 第 1撮像素子 3 8の可搬性が 高くなる。 また、 光電変換素子 4 2、 処理回路 1 1 0、 及びメモリ 1 1 2が 1チップ化されていない撮像素子に比べ、 設計の自由度も高めることができ る。 更に、 光電変換素子 4 2、 処理回路 1 1 0、 及びメモリ 1 1 2が 1チッ プ化されていない撮像素子に比べ、 撮像装置 1 4の小型化にも寄与すること ができる。 なお、 第 2撮像素子 5 2についても第 1撮像素子 3 8と同様の効 果が得られる。
[0158] また、 図 6に示すように、 第 1撮像素子 3 8として、 光電変換素子 4 2に メモリ 1 1 2が積層された積層型撮像素子が採用されている。 これにより、 光電変換素子 4 2とメモリ 1 1 2とが積層されていない場合に比べ、 光電変 換素子 4 2からメモリ 1 1 2への画像データの転送速度を高めることができ る。 転送速度の向上は、 処理回路 1 1 0全体での処理の高速化にも寄与する 〇 2020/174978 39 卩（：170? 2020 /002929
。 また、 光電変換素子 4 2とメモリ 1 1 2とが積層されていない場合に比べ 、 設計の自由度も高めることができる。 更に、 光電変換素子 4 2とメモリ 1 1 2とが積層されていない場合に比べ、 撮像装置 1 4の小型化にも寄与する ことができる。 なお、 第 2撮像素子 5 2についても第 1撮像素子 3 8と同様 の効果が得られる。
[0159] また、 撮像装置 1 4では、 合成画像データ 1 3 0に基づくライブビュー画 像等がディスプレイ 2 6に表示される。 これにより、 合成画像データ 1 3 0 により示される画像をユーザに視認させることができる。
[0160] 更に、 撮像装置 1 4では、 信号処理回路 3 4に入力された合成画像データ
1 3 0が 0 II 1 5八によって二次記憶装置 1 0 2、 II 3巳メモリ、 及び/ 又はメモリカード等に記憶される。 これにより、 信号処理回路 3 4に入力さ れた合成画像データ 1 3 0を過不足なく管理することができる。
[0161 ] なお、 上記第 1実施形態では、 第 1撮像素子 3 8及び第 2撮像素子 5 2の 露光開始のタイミングを揃え、 かつ、 第 1撮像素子 3 8の露光時間が第 2撮 像素子 5 2の露光時間よりも長く した場合について説明したが、 本開示の技 術はこれに限定されない。 例えば、 第 1撮像素子 3 8の露光期間と第 2撮像 素子 5 2の露光期間とを揃えるようにしてもよい。 すなわち、 第 1撮像素子 3 8及び第 2撮像素子 5 2の露光開始のタイミングを揃え、 かつ、 図 1 4に 示すように、 第 1撮像素子 3 8の露光時間と第 2撮像素子 5 2の露光時間と を揃えるようにしてもよい。 この場合、 第 1撮像素子 3 8に垂直同期信号が 入力される入カタイミングと第 2撮像素子 5 2に垂直同期信号が入力される 入カタイミングとを揃えるようにすればよい。
[0162] また、 上記第 1実施形態では、 第 1デジタル画像データ 7 0巳と第 2デジ タル画像データ 8 0巳とが合成される場合について説明したが、 本開示の技 術はこれに限定されない。 例えば、 第 1デジタル画像データ 7 0巳と第 2デ ジタル画像データ 8 0巳とが連結されるようにしてもよい。 この場合、 一例 として図 1 5に示すように、 制御回路 1 1 〇〇は、 合成部 1 1 0〇2に代え て連結部 1 1 〇〇 3を有する。 連結部 1 1 0 0 3は、 本開示の技術に係る 「 〇 2020/174978 40 卩（：170? 2020 /002929
連結回路」 の一例である。 連結部 1 1 0 0 3は、 取得部 1 1 0 (3 1 によって 取得された第 1デジタル画像データ 7 0巳及び第 2デジタル画像データ 8 0 巳を連結し、 連結して得た連結画像データ 1 3 0 を生成する。 このように 生成された連結画像データ 1 3 0 は、 通信丨 / 1 1 0 0 2によって通信 ライン 4 4を介して信号処理回路 3 4に出力される。
[0163] 図 1 5に示す例では、 第 1デジタル画像データ 7 0巳と第 2デジタル画像 データ 8 0巳とが縦方向に連結されている形態例が示されているが、 これに 限らず、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳と が横方向に連結されていてもよい。 このように、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳との連結方向は如何なる方向であって もよい。 また、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳との互いの一部を重ねるようにして、 第 1デジタル画像データ 7 0巳と 第 2デジタル画像データ 8 0巳とが連結されるようにしてもよい。 この場合 の重複領域については、 例えば、 第 1デジタル画像データ 7 0巳と第 2デジ タル画像データ 8 0巳との加算平均の画素値を用いればよい。
[0164] 図 1 6には、 図 1 5に示す連結画像データ 1 3〇八を生成して出力する場 合の後段撮像処理の流れの一例が示されている。 図 1 6に示す後段撮像処理 は、 図 1 3に示す後段撮像処理に比べ、 ステップ 3丁 4 0に代えてステップ 3丁4 0八を有する点、 及びステップ 3丁 4 2に代えてステップ 3丁4 2八 を有する点が異なる。
[0165] 図 1 6に示す後段撮像処理では、 ステップ 3丁4 0八で、 制御回路 1 1 0 〇は、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8 0巳とを 連結し、 連結画像データ 1 3 0 を生成し、 その後、 後段撮像処理はステッ プ3丁4 2八へ移行する。 ステップ 3丁 4 2で、 制御回路 1 1 〇〇は、 連結 画像データ 1 3 0 を信号処理回路 3 4に出力し、 その後、 後段撮像処理は ステップ 3丁 4 4へ移行する。
[0166] このように、 第 1デジタル画像データ 7 0巳と第 2デジタル画像データ 8
0巳とが連結されることで、 信号処理回路 3 4で第 1デジタル画像データ 7 〇 2020/174978 41 卩（：170? 2020 /002929
0巳と第 2デジタル画像データ 8 0巳とを連結させる必要がなくなる。 また 、 第 1デジタル画像データ 7 0巳に基づく画像と第 2デジタル画像データ 8 0巳に基づく画像とをまとめて視覚的に確認することが可能となる。
[0167] また、 上記第 1実施形態では、 メモリ 1 2 2から制御回路 1 2 0〇によっ て取得された第 2デジタル画像データ 8 0巳が通信
Figure imgf000043_0001
によっ て第 1撮像素子 3 8に出力される形態例を挙げて説明したが、 本開示の技術 はこれに限定されない。 例えば、 メモリ 1 2 2から制御回路 1 2 0 (3によっ て取得された第 2デジタル画像データ 8 0巳に対して制御回路 1 2 0 (3によ って何らかの画像処理が施されることで得た画像データが通信丨 / 1 2 0 口 2によって第 1撮像素子 3 8に出力されるようにしてもよい。 ここで、 上 記の画像処理としては、 例えば、 間引き処理及び加算処理等の公知の画像処 理が挙げられる。
[0168] 第 2デジタル画像データ 8 0巳に対して何らかの画像処理が施されることで 得た画像データは、 本開示の技術に係る 「出力画像データ」 の一例である。
[0169] また、 上記第 1実施形態では、 通信 I / 1 5 0 1 と通信 I / 1 1 0 0
1 とが ＜3 丨 _㊀の接続規格に従って接続されている。 また、 通信丨
Figure imgf000043_0002
5口 2と通信 1 / 1 2 0 0 1 とが (3 1 _ 6の接続規格に従って接続され ている。 また、 通信丨 / 3 4八と通信丨 / 1 1 0 0 2とが 〇 丨 一 6の 接続規格に従って接続されている。 更に、 通信丨
Figure imgf000043_0003
1 1 0 0 3と通信丨 / 1 2 0 0 2とが (3 丨 一 6の接続規格に従って接続されている。 しかし、 本開示の技術はこれに限定されない。 ＜3 丨 の接続規格に代えて、 ！_ V 0 3 , 3八丁八、
Figure imgf000043_0004
巳〇、 又は IV! 丨 丨等の他の接続規格が採用さ れてもよい。
[0170] また、 上記第 1実施形態では、 第 1撮像素子 3 8と第 2撮像素子 5 2との 間の通信、 第 1撮像素子 3 8と信号処理回路 3 4との間の通信、 コントロー ラ 1 5と第 1撮像素子 3 8、 及びコントローラ 1 5と第 2撮像素子 5 2との 通信は何れも有線形式の通信である。 しかし、 本開示の技術はこれに限定さ れない。 第 1撮像素子 3 8と第 2撮像素子 5 2との間の通信、 第 1撮像素子 〇 2020/174978 42 卩（：170? 2020 /002929
3 8と信号処理回路 3 4との間の通信、 コントローラ 1 5と第 1撮像素子 3 8、 及びコントローラ 1 5と第 2撮像素子 5 2との通信のうちの少なくとも 1つを無線形式の通信としてもよい。
[0171 ] また、 上記第 1実施形態では、 第 1撮像素子 3 8として、 光電変換素子 4
2、 処理回路 1 1 0、 及びメモリ 1 1 2が 1チップ化された撮像素子が例示 されているが、 本開示の技術はこれに限定されない。 例えば、 光電変換素子
4 2、 処理回路 1 1 0、 及びメモリ 1 1 2のうち、 少なくとも光電変換素子
4 2及びメモリ 1 1 2が 1チップ化されていればよい。 なお、 第 2撮像素子
5 2についても同様のことが言える。
[0172] [第 2実施形態]
上記第 1実施形態では、 第 1撮像素子 3 8及び第 2撮像素子 5 2という 2 個の撮像素子が搭載されているスマートデバイス 1 〇を例示したが、 本第 2 実施形態では、 3個の撮像装置が搭載されているスマートデバイスについて 説明する。 なお、 本第 2実施形態では、 上記第 1実施形態と同一の構成要素 については同一の符号を付し、 その説明を省略する。 以下では、 上記第 1実 施形態と異なる部分について説明する。
[0173] —例として図 1 7に示すように、 スマートデバイス 5 0 0は、 上記第 1実 施形態で説明したスマートデバイス 1 〇に比べ、 撮像装置 1 4に代えて撮像 装置 5 1 4を有する点が異なる。 撮像装置 5 1 4は、 上記第 1実施形態で説 明した撮像装置 1 4に比べ、 第 3撮像レンズ 5 1 8を有する点が異なる。 ス マートデバイス 1 0を縦置きの状態にした場合の筐体 1 2の背面 1 2 の右 上部において、 第 1撮像レンズ 1 6、 第 2撮像レンズ 1 8、 及び第 3撮像レ ンズ 5 1 8は、 鉛直方向に沿って既定の間隔 （例えば、 数ミリの間隔） で配 置されており、 背面 1 2八から露出している。
[0174] —例として図 1 8に示すように、 スマートデバイス 5 0 0は、 上記第 1実 施形態で説明したスマートデバイス 1 〇に比べ、 コントローラ 1 5に代えて コントローラ 5 1 5を有する点が異なる。 また、 撮像装置 5 1 4は、 上記第 1実施形態で説明した撮像装置 1 4に比べ、 第 3撮像装置 5 3 2を有する点 〇 2020/174978 43 卩（：170? 2020 /002929
が異なる。 また、 撮像装置 5 1 4は、 上記第 1実施形態で説明した撮像装置 1 4に比べ、 第 2撮像装置 3 2に代えて第 2撮像装置 4 3 2を有する点が異 なる。
[0175] 第 3撮像装置 5 3 2は、 第 2撮像装置 4 3 2の前段に位置する撮像装置で ある。 第 3撮像装置 5 3 2は、 第 3撮像レンズ 5 1 8及び第 3撮像装置本体 5 5 0を備えている。 第 3撮像レンズ 5 1 8は、 対物レンズ 5 1 8八、 フォ —カスレンズ 5 1 8巳、 及び絞り 5 1 8 (3を備えている。 対物レンズ 5 1 8 八、 フォーカスレンズ 5 1 8巳、 及び絞り 5 1 8 (3は、 被写体側から第 3撮 像装置本体 5 5 0側にかけて、 光軸 1_ 3に沿って、 対物レンズ 5 1 8 、 フ ォーカスレンズ 5 1 8巳、 及び絞り 5 1 8 (3の順に配置されている。 対物レ ンズ 5 1 8八、 フォーカスレンズ 5 1 8巳、 及び絞り 5 1 8〇は、 光軸 !_ 3 上において、 上記第 1実施形態で説明した対物レンズ 1 8 、 フォーカスレ ンズ 1 8巳、 及び絞り 1 8〇と同様の機能を有する。 フォーカスレンズ 5 1 8巳、 及び絞り 5 1 8〇は、 光軸 1_ 3上において、 フォーカスレンズ 1 8巳 及び絞り 1 8 (3と同様に作動する。
[0176] 第 3撮像装置本体 5 5 0は、 メカニカルシャツタ 5 5 3及び第 3撮像素子
5 5 2を備えている。 メカニカルシャツタ 5 3は、 メカニカルシャツタ 4 0 と同様の機能を有しており、 メカニカルシャツタ 4 0と同様に作動する。 撮 像素子 5 5 2は、 上記第 1実施形態で説明した第 1撮像素子 3 8及び第 2撮 像素子 5 2と同様の積層構造を有している (図 6参照) 。 そのため、 ここで は、 第 3撮像素子 5 5 2の積層構造についての説明は省略する。
[0177] なお、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2 は、 本開示の技術に係る 「複数の撮像素子」 の一例である。 また、 第 3撮像 素子 5 5 2は、 本開示の技術に係る 「複数の撮像素子」 に含まれる撮像素子 の一例である。 また、 第 2撮像素子 4 5 2及び第 3撮像素子 5 5 2は、 本開 示の技術の 「隣接する撮像素子」 の一例である。 また、 第 3撮像素子 5 5 2 は、 第 2撮像素子 4 5 2及び第 3撮像素子 5 5 2の位置関係において、 第 2 撮像素子 4 5 2は、 本開示の技術に係る 「後段の撮像素子」 及び 「後段撮像 〇 2020/174978 44 卩（：170? 2020 /002929
素子」 の一例であり、 第 3撮像素子 5 5 2は、 本開示の技術に係る 「前段の 撮像素子」 及び 「前段撮像素子」 の一例である。
[0178] 第 3撮像素子 5 5 2は、 受光面 5 5 6八を有する光電変換素子 5 5 6を備 えている。 被写体を示す被写体光は、 第 3撮像レンズ 5 1 8を透過し、 メカ ニカルシヤツタ 5 5 3を介して第 3撮像素子 5 5 2の受光面 5 5 6八に結像 される。 光電変換素子 5 5 6は、 受光面 5 5 6 に結像された被写体光を光 電変換することで、 被写体の画像を示す第 3画像データ 5 8 0を生成する。
[0179] 第 3撮像素子 5 5 2は、 通信ライン 5 5 4を介して第 2撮像素子 4 5 2に 接続されている。 また、 第 3撮像素子 5 5 2は、 通信ライン 5 5 8を介して コントローラ 5 1 5に接続されている。 なお、 通信ライン 5 5 4は、 本開示 の技術に係る 「伝送路」 の _例である。
[0180] 第 3撮像素子 5 5 2は、 通信ライン 5 5 8を介してコントローラ 5 1 5に よって制御される。 第 3撮像素子 5 5 2は、 コントローラ 5 1 5の制御下で 、 被写体を撮像する。 また、 第 3撮像素子 5 5 2は、 被写体を撮像すること で得た第 3画像データ 5 8 0を、 通信ライン 5 5 4を介して第 2撮像素子 4 5 2に出力する。
[0181 ] このように、 第 3撮像素子 5 5 2の後段には第 2撮像素子 4 5 2が位置し 、 第 2撮像素子 4 5 2の後段には第 1撮像素子 3 8が位置し、 第 1撮像素子
3 8の後段には信号処理回路 3 4が位置する。 そして、 第 3撮像素子 5 5 2 は通信ライン 5 5 4を介して第 2撮像素子 4 5 2が接続され、 第 2撮像素子
4 5 2は通信ライン 5 4を介して第 1撮像素子 3 8に接続され、 第 1撮像素 子 3 8は通信ライン 4 4を介して信号処理回路 3 4に接続されている。 つま り、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 第 3撮像素子 5 5 2、 及び信 号処理回路 3 4は、 通信ライン 4 4 , 5 4 , 5 5 4によって直列に接続され ている。
[0182] 第 2撮像素子 4 5 2は、 第 1撮像素子 3 8よりも信号処理回路 3 4から遠 い側に位置し、 第 3撮像素子 5 5 2は、 第 2撮像素子 4 5 2よりも信号処理 回路 3 4から遠い側に位置する。 換言すると、 第 2撮像素子 4 5 2は、 第 3 〇 2020/174978 45 卩（：170? 2020 /002929
撮像素子 5 5 2よりも信号処理回路 3 4に近い側に位置し、 第 1撮像素子 3 8は、 第 2撮像素子 4 5 2よりも信号処理回路 3 4に近い側に位置する。
[0183] 第 3撮像素子 5 5 2にはコントローラ 1 5から通信ライン 5 5 8を介して 読出同期信号が入力される。 垂直同期信号は、 光電変換素子 5 5 6からの 1 フレーム毎の第 3画像データ 5 8 0の読み出しの開始タイミングを規定する 同期信号である。 水平同期信号は、 光電変換素子 5 5 6からの水平ライン毎 の第 3画像データ 5 8 0の読み出しの開始タイミングを規定する同期信号で ある。 第 3撮像素子 5 5 2では、 コントローラ 1 5から通信ライン 5 5 8を 介して入力された垂直同期信号に応じて定まるフレームレートに従って、 光 電変換素子 5 5 6から第 3画像データ 5 8 0が読み出される。
[0184] —例として図 1 9に示すように、 コントローラ 5 1 5は、 上記第 1実施形 態で説明したコントローラ 1 5に比べ、 通信丨 / 1 5 0 3を有する点が異 なる。 通信丨 / 1 5 0 3は、 バスライン 1 0 0に接続されている。
[0185] 通信丨 / 1 5 0 3は、 〇八を有する通信デバイスである。 なお、 こ こでは、
Figure imgf000047_0001
れているが、 あくまでも一例に過ぎず、 通信丨 / 1 5 0 3は、 八3 丨 〇、 〇八、 及び/又は !_ 0を含むデバイスであってもよい。 また、 通信丨 / 1 5 0 3は、 〇 11、 [¾〇 IV!、 及び 八 IV!を含むコンビュータであって もよい。 〇 11は、 単数であってもよいし、 複数であってもよい。 また、 通 信丨 / 1 5 0 3は、 ハードウェア構成及びソフトウェア構成の組み合わせ によって実現されてもよい。
[0186]
Figure imgf000047_0002
通信ライン 5 5 8を介して第 3撮像素子 5 5 2に 接続されている。 0 9 1\ ] 5八は、
Figure imgf000047_0003
を介して第 3撮像素 子 5 5 2を制御する。 例えば、 0 9 1\ ^ 5八は、 通信丨
Figure imgf000047_0004
て第 3撮像素子 5 5 2に対して読出同期信号を供給することで光電変換素子 5 5 6からの第 3画像データ 5 8 0の読出タイミングを制御する。
[0187] 一例として図 2 0に示すように、 第 2撮像素子 4 5 2は、 上記第 1実施形 態で説明した第 2撮像素子 5 2に比べ、 処理回路 1 2 0に代えて処理回路 4 〇 2020/174978 46 卩（：170? 2020 /002929
53を有する点が異なる。 処理回路 453は、 処理回路 1 20に比べ、 通信 I /F 1 20 D3を有する点、 及び制御回路 1 2 OCに代えて制御回路 72 OCを有する点が異なる。 通信 I /F 1 20 D3は、 制御回路 720 Cに接 続されている。
[0188] 通信 I /F 1 20 D3は、 F P G Aを有する通信デバイスである。 ここで は、 通信丨 / F 1 20 D 3として F P G Aを有する通信デバイスが採用され ているが、 あくまでも一例に過ぎず、 通信 I /F 1 20 D3は、 AS I C、 F PGA、 及び/又は P L Dを含むデバイスであってもよい。 また、 通信丨 /F 1 20 D3は、 C P U、 ROM、 及び RAMを含むコンビュータであっ てもよい。 C P Uは、 単数であってもよいし、 複数であってもよい。 また、 通信丨 / F 1 20 D 3は、 ハードウエァ構成及びソフトウエァ構成の組み合 わせによって実現されてもよい。
[0189] 一方、 第 3撮像素子 552は、 通信 I /F 620 D 1 , 620 D 2を備え ている。 通信 I /F 620 D 2は、 本開示の技術に係る 「出力部 （通信イン タフエース） 」 の一例である。 通信丨 / F 620 D 1は、 F P G Aを有する 通信デバイスであり、 通信ライン 558を介してコントローラ 1 5の通信 I /F 1 5 D 3と接続されており、 第 3撮像素子 552は、 通信 I / F 1 5 D 3, 620 D 1 を介してコントローラ 1 5と通信を行う。 例えば、 第 3撮像 素子 552は、 コントローラ 1 5の通信丨 / F 1 5 D 3から通信ライン 55 8を介して出力された読出同期信号を通信 I /F 620 D 1で受け付ける。
[0190] 通信 I /F 620 D 2は、 F P G Aを有する通信デバイスであり、 通信ラ イン 554を介して PC I _eの接続規格に従って第 2撮像素子 452の通 信 I /F 1 20 D 3に接続されている。 通信 I /F 620 D 2は、 第 3撮像 素子 552と制御回路 720Cとの間での通信を司る。 ここでは、 通信丨 / F 620 D 2として F P G Aを有する通信デバイスが採用されているが、 あ くまでも一例に過ぎず、 通信 I /F 620 D 2は、 AS I C、 F PGA、 及 び/又は P L Dを含むデバイスであってもよい。 また、 通信 I /F 620 D 2は、 C P U、 ROM、 及び RAMを含むコンビュータであってもよい。 C 〇 2020/174978 47 卩（：170? 2020 /002929 11は、 単数であってもよいし、 複数であってもよい。 また、 通信丨 / 6 2 0 0 2は、 ハードウェア構成及びソフトウェア構成の組み合わせによって 実現されてもよい。
[0191 ] 詳しくは後述するが、 第 3撮像素子 5 5 2でも、 上記第 1実施形態で説明 した第 1撮像素子 3 8と同様の方法で被写体の画像を示す第 3デジタル画像 データ 5 8 0巳が生成される。 そして、 第 3撮像素子 5 5 2で生成された第 3デジタル画像データ 5 8 0巳は、 通信丨
Figure imgf000049_0001
ン 5 5 4を介して処理回路
Figure imgf000049_0002
通
Figure imgf000049_0003
れる。
[0192] なお、 本第 2実施形態では、 第 1デジタル画像データ 7 0巳、 第 2デジタ ル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳を区別して説明 する必要がない場合、 符号を付さずに 「デジタル画像データ」 と称する。 こ こで言う 「第 3デジタル画像データ 5 8 0巳」 は、 本開示の技術に係る 「出 力画像データ」 の _例である。
[0193] 制御回路 7 2〇〇は、 デジタル処理回路 1 2 0巳から入力された第 2デジ タル画像データ 8 0巳をメモリ 1 2 2に記憶する。 また、 制御回路 1 2 0 0 は、 通信丨 / 1 2 0 0 3から入力された第 3デジタル画像データ 5 8 0巳 もメモリ 1 2 2に記憶する。
[0194] 制御回路 7 2 0〇は、 メモリ 1 2 2に対してランダムアクセス可能であり 、 メモリ 1 2 2からデジタル画像データを取得する。 制御回路 7 2〇〇は、 メモリ 1 2 2から取得したデジタル画像データに対して画像処理を施して得 た画像データを通信
Figure imgf000049_0004
に出力する。
[0195] 通信丨 / 1 2 0 0 2は、 制御回路 7 2 0 (3から入力された画像データを 、 通信ライン 4 4を介して第
Figure imgf000049_0005
1 0 0 2 (図 7 及び図 8参照) に出力する。
[0196] 一例として図 2 1 に示すように、 第 3撮像素子 5 5 2は、 光電変換素子 5 〇 2020/174978 48 卩（：170? 2020 /002929
5 6、 処理回路 6 2 0、 及びメモリ 6 2 2を備えている。 処理回路 6 2 0は 、 読出回路 6 2〇八、 デジタル処理回路 6 2 0巳、 制御回路 6 2 0 (3、 及び 通信 I / 6 2 0 0 1 , 6 2 0 0 2を備えている。
[0197] 読出回路 6 2 0八は、 光電変換素子 5 5 6、 デジタル処理回路 6 2 0巳、 及び制御回路 6 2 0 (3の各々に接続されている。 デジタル処理回路 6 2 0巳 は、 制御回路 6 2 0 (3に接続されている。 制御回路 6 2 0 (3は、 メモリ 6 2 2及び通信 I / 6 2 0 0 1 , 6 2 0 0 2の各々に接続されている。
[0198] 上述の第 3画像データ 5 8 0は、 第 3アナログ画像データ 5 8 0八と第 3 デジタル画像データ 5 8 0巳とに大別される。 なお、 以下では、 説明の便宜 上、 第 3アナログ画像データ 5 8 0八と第 3デジタル画像データ 5 8 0巳と を区別して説明する必要がない場合、 「第 3画像データ 5 8 0」 と称する。
[0199] 通信丨 / 6 2 0 0 1は、 コントローラ
Figure imgf000050_0001
信ライン 5 5 8を介して出力された読出同期信号を受け付け、 受け付けた読 出同期信号を制御回路 6 2 0 (3に出力する。
[0200] 読出回路 6 2〇八は、 制御回路 6 2〇〇の制御下で、 光電変換素子 5 5 6 を制御し、 光電変換素子 5 5 6から第 3アナログ画像データ 5 8 0八を読み 出す。 光電変換素子 5 5 6からの第 3アナログ画像データ 5 8 0八の読み出 しは、 コントローラ 1 5から処理回路 6 2 0に入力された読出同期信号に従 って行われる。
[0201 ] 具体的には、 先ず、 通信丨 / 6 2 0 0 1がコントローラ 1 5から読出同 期信号を受け付け、 受け付けた読出同期信号を制御回路 6 2 0 (3に出力する 。 次に、 制御回路 6 2 0 (3は、 通信丨
Figure imgf000050_0002
6 2 0 0 1から入力された読出同 期信号を読出回路 6 2 0八に転送する。 すなわち、 読出回路 6 2 0八には、 垂直同期信号及び水平同期信号が転送される。 そして、 読出回路 6 2 0八は 、 制御回路 6 2 0 (3から転送された垂直同期信号に従って光電変換素子 5 5 6からフレーム単位での第 3アナログ画像データ 5 8 0八の読み出しを開始 する。 また、 読出回路 6 2 0八は、 制御回路 6 2 0 (3から転送された水平同 期信号に従って水平ライン単位での第 3アナログ画像データ 5 8 0八の読み 〇 2020/174978 49 卩（：170? 2020 /002929
出しを開始する。
[0202] 読出回路 6 2〇八は、 光電変換素子 5 5 6から読み出された第 3アナログ 画像データ 5 8 0 に対して、 上述のアナログ信号処理を行う。 このように してアナログ信号処理が行われた第 3アナログ画像データ 5 8 0八は、 読出 回路 6 2 0八によってデジタル処理回路 6 2 0巳に出力される。
[0203] デジタル処理回路 6 2 0巳は、 /〇変換器 6 2 0巳 1 を備えている。 八 /口変換器 6 2 0巳 1は、 第 3アナログ画像データ 5 8 0 を /〇変換す る。
[0204] デジタル処理回路 6 2 0巳は、 読出回路 6 2 0八から入力された第 3アナ ログ画像データ 5 8 0八に対してデジタル信号処理を行う。 第 3アナログ画 像データ 5 8 0 に対するデジタル信号処理は、 第 2アナログ画像データ 8 0八に対するデジタル信号処理に比べ、 /〇変換器 1 2 0巳 1 による八/ 口変換に代えて、 /〇変換器 6 2 0巳 1 による /〇変換が含まれる点が 異なる。
[0205] 相関二重サンプリングの信号処理が行われた第 3アナログ画像データ 5 8
0八に対しては、 八/〇変換器 6 2 0巳 1 によって八/〇変換が行われ、 こ れによって、 第 3アナログ画像データ 5 8 0八がデジタル化され、 デ —夕として第 3デジタル画像データ 5 8 0巳が得られる。 デジタル信号処理 が行われることによって得られた第 3デジタル画像データ 5 8 0巳は、 デジ タル処理回路 6 2 0巳によって制御回路 6 2 0〇に出力される。
[0206] メモリ 6 2 2は、 複数フレームの第 3デジタル画像データ 5 8 0巳を記憶 可能なメモリである。 メモリ 1 2 2は、 画素単位の記憶領域 (図示省略) を 有しており、 第 2デジタル画像データ 8 0巳が制御回路 6 2 0 (3によって、 画素単位で、 メモリ 6 2 2のうちの対応する記憶領域に記憶される。 制御回 路 1 2 0 (3は、 デジタル処理回路 6 2 0巳から入力された第 3デジタル画像 データ 5 8 0巳をメモリ 6 2 2に記憶する。
[0207] 制御回路 6 2 0〇は、 メモリ 6 2 2に対してランダムアクセス可能であり 、 メモリ 6 2 2から第 3デジタル画像データ 5 8 0巳を取得する。 制御回路 〇 2020/174978 50 卩（：170? 2020 /002929
6 2 0〇は、 メモリ 6 2 2から取得した第 3デジタル画像データ 5 8 0巳を
Figure imgf000052_0001
に出力する。 通信丨 / 6 2 0 0 2は、 制御回路 6 2 〇〇から入力された第 3デジタル画像データ 5 8 0巳を、 通信ライン 5 5 4 を介して第 2撮像素子 4 5 2の通信
Figure imgf000052_0002
に出力する。
[0208] ここで、 画像データの伝送経路及び処理方法の一例について図 2 2〜図 2 4を参照しながら説明する。
[0209] 一例として図 2 2に示すように、 第 3撮像素子 5 5 2によって被写体が撮 像されることで得られた第 3デジタル画像データ 5 8 0巳は、 メモリ 6 2 2 に記憶されてから、 通信ライン 5 5 4 （図 2 0及び図 2 1参照） を介して第 2撮像素子 4 5 2に出力される。 すなわち、 第 2撮像素子 4 5 2及び第 3撮 像素子 5 5 2は、 隣接する撮像素子であり、 隣接する撮像素子のうちの前段 の撮像素子である第
Figure imgf000052_0003
によって第 3 デジタル画像データ 5 8 0巳が出力される。 そして、 通信丨 / 6 2 0 0 2 によって出力された第 3デジタル画像データ 5 8 0巳は、 隣接する撮像素子 のうちの後段の撮像素子である第 2撮像素子 4 5 2の通信
Figure imgf000052_0004
によって受け付けられ、 受け付けられた第 3デジタル画像データ 5 8 0巳は メモリ 1 2 2に記憶される。 また、 第 2撮像素子 4 5 2によって撮像される ことで得られた第 2デジタル画像データ 8 0巳もメモリ 1 1 2に記憶される
[0210] なお、 第 2デジタル画像データ 8 0巳と第 3デジタル画像データ 5 8 0巳 との関係において、 第 2デジタル画像データ 8 0巳は、 本開示の技術に係る 「後段画像データ」 の一例である。 また、 第 2デジタル画像データ 8 0巳と 第 3デジタル画像データ 5 8 0巳との関係において、 第 3デジタル画像デー 夕 5 8 0巳は、 本開示の技術に係る 「前段画像データ」 の一例である。
[021 1 ] 一例として図 2 3に示すように、 第 2撮像素子 4 5 2において、 制御回路
7 2 0（3は、 取得部 7 2 0 0 1及び合成部 7 2 0 0 2を有する。 取得部 7 2 0〇 1は、 メモリ 1 2 2から第 2デジタル画像データ 8 0巳及び第 3デジタ ル画像データ 5 8 0巳を取得する。 なお、 ここでは、 第 3デジタル画像デー 〇 2020/174978 51 卩（：170? 2020 /002929
夕 5 8 0巳がメモリ 1 2 2に一旦記憶されてから、 取得部 7 2 0 0 1 によっ てメモリ 1 2 2から第 3デジタル画像データ 5 8 0巳が取得される形態例を 挙げて説明しているが、 本開示の技術はこれに限定されない。 第 3デジタル 画像データ 5 8 0巳は、 メモリ 1 2 2に記憶されることなく取得部 7 2 0 0 1 によって取得されるようにしてもよい。
[0212] 合成部 7 2〇〇 2は、 取得部 7 2〇〇 1 によって取得された第 2デジタル 画像データ 8 0巳及び第 3デジタル画像データ 5 8 0巳を合成する。 具体的 には、 合成部 7 2〇〇 2は、 第 2デジタル画像データ 8 0巳と第 3デジタル 画像データ 5 8 0巳とを画素単位で加算平均することで第 2デジタル画像デ —夕 8 0巳と第 3デジタル画像データ 5 8 0巳とを合成する。
[0213] なお、 ここで、 合成方法として加算平均を例に挙げて説明したが、 合成方 法はこれに限らない。 例えば、 第 2デジタル画像データ 8 0巳及び第 3デジ タル画像データ 5 8 0巳によるアルファブレンドを行うようにしてもよい。 また、 第 2デジタル画像データ 8 0巳と第 3デジタル画像データ 5 8 0巳と を画素単位で単に加算するようにしてもよい。 このように、 第 2デジタル画 像データ 8 0巳と第 3デジタル画像データ 5 8 0巳とを合成する方法は、 如 何なる方法であっても本開示の技術は成立する。
[0214] 合成部 7 2〇〇 2は、 第 2デジタル画像データ 8 0巳と第 3デジタル画像 データ 5 8 0巳とを合成して得た第 1合成画像データ 7 3 0を通信 I / 1 2 0 0 2に出力する。
Figure imgf000053_0001
合成部 7 2〇〇 2から入力 された第 1合成画像データ 7 3 0を通信ライン 5 4 （図 7参照） を介して第 1撮像素子
Figure imgf000053_0002
1 0 0 3に出力する。 なお、 第 1合成画像デ
—夕 7 3 0は、 本開示の技術に係る 「出力画像データ」 の一例である。
Figure imgf000053_0003
によって受け付けられる。 通信丨 / 1 1 0口 3によって受け付けられた第 1合成画像データ 7 3 0は、 第 1撮像素子 3 8のメモリ 1 1 2に記憶される
[0216] すなわち、 第 1撮像素子 3 8及び第 2撮像素子 4 5 2は、 隣接する撮像素 〇 2020/174978 52 卩（：170? 2020 /002929
子であり、 隣接する撮像素子のうちの前段の撮像素子である第 2撮像素子 4 5 2の通信
Figure imgf000054_0001
によって第 1合成画像データ 7 3 0が出力され る。 そして、 通信丨 / 1 2 0 0 2によって出力された第 1合成画像データ 7 3 0は、 隣接する撮像素子のうちの後段の撮像素子である第 1撮像素子 3 8の通信丨 / 1 1 0口 3によって受け付けられ、 受け付けられた第 1合成 画像データ 7 3 0はメモリ 1 2 2に記憶される。 また、 第 1撮像素子 3 8に よって撮像されることで得られた第 1デジタル画像データ 7 0巳もメモリ 1 1 2に記憶される。
[0217] なお、 第 1デジタル画像データ 7 0巳と第 1合成画像データ 7 3 0との関 係において、 第 1デジタル画像データ 7 0巳は、 本開示の技術に係る 「後段 画像データ」 の一例である。 また、 第 1デジタル画像データ 7 0巳と第 1合 成画像データ 7 3 0との関係において、 第 1合成画像データ 7 3 0は、 本開 示の技術に係る 「前段画像データ」 の一例である。
[0218] 一例として図 2 4に示すように、 第 1撮像素子 3 8において、 取得部 1 1
0〇 1は、 メモリ 1 1 2から第 1デジタル画像データ 7 0巳及び第 1合成画 像データ 7 3 0を取得する。 なお、 ここでは、 第 1合成画像データ 7 3 0が メモリ 1 1 2に一旦記憶されてから、 取得部 1 1 0〇 1 によってメモリ 1 1 2から第 1合成画像データ 7 3 0が取得される形態例を挙げて説明している が、 本開示の技術はこれに限定されない。 第 1合成画像データ 7 3 0は、 メ モリ 1 1 2に記憶されることなく取得部 1 1 〇〇 1 によって取得されるよう にしてもよい。
[0219] 合成部 1 1 0 0 2は、 取得部 1 1 0 (3 1 によって取得された第 1デジタル 画像データ 7 0巳及び第 1合成画像データ 7 3 0を合成する。 具体的には、 合成部 1 1 0〇 2は、 第 1デジタル画像データ 7 0巳と第 1合成画像データ 7 3 0とを画素単位で加算平均することで第 1デジタル画像データ 7〇巳と 第 1合成画像データ 7 3 0とを合成する。
[0220] なお、 ここで、 合成方法として加算平均を例に挙げて説明したが、 合成方 法はこれに限らない。 例えば、 第 1デジタル画像データ 7 0巳及び第 1合成 〇 2020/174978 53 卩（：170? 2020 /002929
画像データ 7 3 0によるアルフアブレンドを行うようにしてもよい。 また、 第 1デジタル画像データ 7 0巳と第 1合成画像データ 7 3 0とを画素単位で 単に加算するようにしてもよい。 このように、 第 1デジタル画像データ 7 0 巳と第 1合成画像データ 7 3 0とを合成する方法は、 如何なる方法であって も本開示の技術は成立する。
[0221 ] 合成部 1 1 0 0 2は、 第 1デジタル画像データ 7 0巳と第 1合成画像デー 夕 7 3 0とを合成して得た第
Figure imgf000055_0001
1 0 0 2に出力する。
Figure imgf000055_0002
1 0 0 2は、 合成部 1 1 0 0 2から入力された 第 2合成画像データ 8 3 0を通信ライン 4 4を介して信号処理回路 3 4に出 力する。 なお、 第 2合成画像データ 1 3 0は、 本開示の技術に係る 「出力画 像データ」 の _例である。
[0222] 信号処理回路 3 4では、 第 2合成画像データ 8 3 0に対して、 上記第 1実 施形態で説明した各種の信号処理を行い、 各種の信号処理を行った第 2合成 画像データ 8 3 0をコントローラ 1 5に出力する。 コントローラ 1 5では、 第 2合成画像データ 8 3 0が入力されると、 0 9 ^ ^ 5八によって第 2合成 画像データ 8 3 0が二次記憶装置 1 0 2に対して記憶されたり、 外部丨 / 1 0 4を介して外部装置 （図示省略） に記憶されたりする。 また、 コントロ —ラ 1 5では、 第 2合成画像データ 8 3 0が入力されると、 〇 11 1 5八に よって第 2合成画像データ 8 3 0に基づく画像が静止画像又はライブビュー 画像としてディスプレイ 2 6に対して表示される。
[0223] 一例として図 2 5に示すように、 第 3撮像素子 5 5 2では、 光電変換素子
5 5 6が露光されることで第 3アナログ画像データ 5 8 0八が生成され、 垂 直同期信号が入力されると、 光電変換素子 5 5 6からの第 3アナログ画像デ —夕 5 8 0八の読み出し、 及び光電変換素子 5 5 6に対するリセッ トが行わ れる。 光電変換素子 5 5 6に対するリセッ トとは、 光電変換素子 5 5 6内の 各画素の残留電荷を消去する動作を指す。 光電変換素子 5 5 6による露光は 、 光電変換素子 5 5 6に対する読出回路 6 2〇八による前回のリセッ トが行 われてから読み出しが行われるまでの間に行われる。 〇 2020/174978 54 卩（：170? 2020 /002929
[0224] 第 3アナログ画像データ 5 8 0八に対してデジタル信号処理が行われるこ とによって第 3デジタル画像データ 5 8 0巳が生成され、 生成された第 3デ ジタル画像データ 5 8 0巳はメモリ 6 2 2に記憶される。 そして、 メモリ 6 2 2に記憶されている第 3デジタル画像データ 5 8 0巳は第 2撮像素子 4 5 2に出力される。
[0225] 第 2撮像素子 4 5 2では、 光電変換素子 5 6が露光されることで第 2アナ ログ画像データ 8 0八が生成され、 第 3撮像素子 5 5 2よりも遅いタイミン グで垂直同期信号が入力されると、 光電変換素子 5 6からの第 2アナログ画 像データ 8 0八の読み出し、 及び光電変換素子 5 6に対するリセッ トが行わ れる。 光電変換素子 5 6に対するリセッ トとは、 光電変換素子 5 6内の各画 素の残留電荷を消去する動作を指す。 光電変換素子 5 6による露光は、 光電 変換素子 5 6に対する読出回路 1 2 0八による前回のリセッ トが行われてか ら読み出しが行われるまでの間に行われる。
[0226] 第 2アナログ画像データ 8 0八に対してデジタル信号処理が行われること によって第 2デジタル画像データ 8 0巳が生成される。 第 2デジタル画像デ —夕 8 0巳は、 第 3撮像素子 5 5 2から出力された第 3デジタル画像データ 5 8 0巳と同期させるために、 メモリ 1 2 2に一旦記憶される。 第 3デジタ ル画像データ 5 8 0巳がメモリ 1 2 2に記憶されると、 メモリ 1 2 2に記憶 されている第 2デジタル画像データ 8 0巳及び第 3デジタル画像データ 5 8 〇巳が合成され、 第 1合成画像データ 7 3 0が生成される。 第 1合成画像デ —夕 7 3 0は、 第 1撮像素子 3 8に出力される。
[0227] 第 1撮像素子 3 8では、 光電変換素子 4 2が露光されることで第 1 アナロ グ画像データ 7 0八が生成され、 第 2撮像素子 4 5 2よりも遅いタイミング で垂直同期信号が入力されると、 光電変換素子 4 2からの第 1 アナログ画像 データ 7 0八の読み出し、 及び光電変換素子 4 2に対するリセッ トが行われ る。 光電変換素子 4 2に対するリセッ トとは、 光電変換素子 4 2内の各画素 の残留電荷を消去する動作を指す。 光電変換素子 4 2による露光は、 光電変 換素子 4 2に対する読出回路 1 1 0八による前回のリセッ トが行われてから 〇 2020/174978 55 卩（：170? 2020 /002929
読み出しが行われるまでの間に行われる。
[0228] 第 1 アナログ画像データ 7 0八に対してデジタル信号処理が行われること によって第 1デジタル画像データ 7 0巳が生成される。 第 1デジタル画像デ —夕 7 0巳は、 第 2撮像素子 4 5 2から出力された第 1合成画像データ 7 3 0と同期させるために、 メモリ 1 1 2に一旦記憶される。 第 1合成画像デー 夕 7 3 0がメモリ 1 1 2に記憶されると、 メモリ 1 1 2に記憶されている第 1デジタル画像データ 7 0巳及び第 1合成画像データ 7 3 0が合成され、 第 2合成画像データ 8 3 0が生成される。 合成画像データ 8 3 0は、 信号処理 回路 3 4に出力される。
[0229] 図 2 5に示す例では、 第 3撮像素子 5 5 2に入力される垂直同期信号の入 カタイミングよりも第 2撮像素子 4 5 2に入力される垂直同期信号の入カタ イミングの方が遅い。 また、 第 2撮像素子 4 5 2に入力される垂直同期信号 の入カタイミングよりも第 1撮像素子 3 8に入力される垂直同期信号の入力 タイミングの方が遅い。 これにより、 第 2撮像素子 4 5 2での光電変換素子
5 6による露光時間が、 第 3撮像素子 5 5 2の光電変換素子 5 5 6による露 光時間より長くなる。 また、 第 1撮像素子 3 8での光電変換素子 4 2による 露光時間が、 第 2撮像素子 4 5 2での光電変換素子 5 6による露光時間より も長くなる。
[0230] 次に、 スマートデバイス 5 0 0の本開示の技術に係る部分の作用について 説明する。
[0231 ] 先ず、 第 3撮像素子 5 5 2の処理回路 6 2 0によって実行される前段撮像 処理の流れについて図 2 6を参照しながら説明する。
[0232] 図 2 6に示す前段撮像処理では、 先ず、 ステップ 3丁 1 0 0で、 制御回路
6 2 0 (3は、 コントローラ 1 5からの垂直同期信号が通信丨 / 6 2 0 0 1 によって受け付けられたか否かを判定する。 ステップ 3丁 1 0 0において、 コントローラ 1 5からの垂直同期信号が通信丨 / 6 2 0 0 1 によって受け 付けられていない場合は、 判定が否定されて、 前段撮像処理はステップ 3丁 1 1 2へ移行する。 ステップ 3丁 1 0 0において、 コントローラ 1 5からの 〇 2020/174978 56 卩（：170? 2020 /002929
垂直同期信号が通信丨 / 6 2 0 0 1 によって受け付けられた場合は、 判定 が肯定されて、 前段撮像処理はステップ 3丁 1 0 2へ移行する。
[0233] ステップ 3丁 1 0 2で、 読出回路 6 2 0八は、 第 3アナログ画像データ 5
8〇八の読み出し及び光電変換素子 5 5 6のリセッ トを行い、 その後、 前段 撮像処理はステップ 3丁 1 0 4へ移行する。
[0234] ステップ 3丁 1 0 4で、 デジタル処理回路 6 2 0巳は、 第 3アナログ画像 データ 5 8 0 に対してデジタル信号処理を行い、 その後、 前段撮像処理は ステップ 3丁 1 0 6へ移行する。
[0235] ステップ 3丁 1 0 4において第 3アナログ画像データ 5 8 0八に対してデ ジタル信号処理が行われることで得られた第 3デジタル画像データ 5 8 0巳 は、 制御回路 6 2 0 (3に転送される。
[0236] ステップ 3丁 1 0 6で、 制御回路 6 2 0 (3は、 第 3デジタル画像データ 5
8 0巳をメモリ 6 2 2に記憶し、 その後、 前段撮像処理はステップ3丁 1 0 8へ移行する。
[0237] ステップ 3丁 1 0 8で、 制御回路 6 2 0〇は、 第 3デジタル画像データ 5
8 0巳を第 2撮像素子 4 5 2に出力するタイミング (本第 2実施形態に係る 出カタイミング) が到来したか否かを判定する。 本第 2実施形態に係る出力 タイミングの一例としては、 制御回路 6 2 0〇がメモリ 6 2 2から第 3デジ タル画像データ 5 8 0巳を読み出すことが可能なタイミングが挙げられる。 メモリ 6 2 2は 0 八 IV!であり、 メモリ 6 2 2に対する書き込みと読み出し とを同時に行うことはできない。 そのため、 制御回路 6 2〇〇がメモリ 6 2 2から第 3デジタル画像データ 5 8 0巳を読み出すことが可能なタイミング とは、 例えば、 メモリ 6 2 2への 1 フレーム分の第 3デジタル画像データ 5 8 0巳の記憶が完了したタイミングを指す。
[0238] ステップ 3丁 1 0 8において、 本第 2実施形態に係る出カタイミングが到 来していない場合は、 判定が否定されて、 ステップ 3丁 1 0 8の判定が再び 行われる。 ステップ 3丁 1 0 8において、 出カタイミングが到来した場合は 、 判定が肯定されて、 前段撮像処理はステップ 3丁 1 1 0へ移行する。 〇 2020/174978 57 卩（：170? 2020 /002929
[0239] ステップ 3丁 1 0 0で、 制御回路 6 2 0〇は、 メモリ 6 2 2から第 3デジ タル画像データ 5 8 0巳を取得し、 取得した第 3デジタル画像データ 5 8 0 巳を、 通信丨
Figure imgf000059_0001
して第 2撮像素子 4 5 2に出力し、 その後 、 前段撮像処理はステップ 3丁 1 1 2へ移行する。
[0240] ステップ 3丁 1 1 2で、 制御回路 6 2 0〇は、 上記第 1実施形態で説明し た前段撮像処理終了条件を満足したか否かを判定する。 ステップ 3丁 1 1 2 において、 前段撮像処理終了条件を満足していない場合は、 判定が否定され て、 前段撮像処理はステップ 3丁 1 0 0へ移行する。 ステップ 3丁 1 1 2に おいて、 前段撮像処理終了条件を満足した場合は、 判定が肯定されて、 前段 撮像処理が終了する。
[0241 ] 次に、 第 2撮像素子 4 5 2の処理回路 4 5 3によって実行される中段撮像 処理の流れについて図 2 7を参照しながら説明する。
[0242] 図 2 7に示す中段撮像処理では、 先ず、 ステップ 3丁 1 3 0で、 制御回路
7 2 0 (3は、 コントローラ 1 5からの垂直同期信号が通信丨 / 1 2 0 0 1 によって受け付けられたか否かを判定する。 ステップ 3丁 1 3 0において、 コントローラ 1 5からの垂直同期信号が通信丨 / 1 2 0 0 1 によって受け 付けられていない場合は、 判定が否定されて、 後段撮像処理はステップ 3丁 1 4 4へ移行する。 ステップ 3丁 1 3 0において、 コントローラ 1 5からの 垂直同期信号が通信丨 / 1 2 0 0 1 によって受け付けられた場合は、 判定 が肯定されて、 中段撮像処理はステップ 3丁 1 3 2へ移行する。
[0243] ステップ 3丁 1 3 2で、 読出回路 1 2 0八は、 第 2アナログ画像データ 8
0八の読み出し及び光電変換素子 5 6のリセッ トを行い、 その後、 中段撮像 処理はステップ 3丁 1 3 4へ移行する。
[0244] ステップ 3丁 1 3 4で、 デジタル処理回路 1 2 0巳は、 第 2アナログ画像 データ 8 0 に対してデジタル信号処理を行い、 その後、 中段撮像処理はス テップ3丁 1 3 6へ移行する。
[0245] ステップ 3丁 1 3 4において第 2アナログ画像データ 8 0八に対してデジ タル信号処理が行われることで得られた第 2デジタル画像データ 8 0巳は、 〇 2020/174978 58 卩（：170? 2020 /002929
制御回路 7 2 0（3に転送される。
[0246] ステップ 3丁 1 3 6で、 制御回路 7 2 0〇は、 第 2デジタル画像データ 8
0巳をメモリ 1 2 2に記憶し、 その後、 中段撮像処理はステップ3丁 1 3 8 へ移行する。
[0247] ステップ 3丁 1 3 8で、 制御回路 7 2 0〇は、 第 3撮像素子 5 5 2から第
3デジタル画像データ 5 8 0巳が入力されたか否かを判定する。 ステップ 3 丁 1 3 8において、 第 3撮像素子 5 5 2から第 3デジタル画像データ 5 8 0 巳が入力されていない場合は、 判定が否定されて、 ステップ 3丁 1 3 8の判 定が再び行われる。 ステップ 3丁 1 3 8において、 第 3撮像素子 5 5 2から 第 3デジタル画像データ 5 8 0巳が入力された場合は、 判定が肯定されて、 中段撮像処理はステップ3丁 1 4 0へ移行する。
[0248] ステップ 3丁 1 4 0で、 制御回路 7 2 0〇は、 第 2デジタル画像データ 7
0巳と第 3デジタル画像データ 5 8 0巳とを合成することで第 1合成画像デ —夕 7 3 0を生成し、 その後、 中段撮像処理はステップ 3丁 4 2へ移行する
[0249] ステップ 3丁 1 4 2で、 制御回路 7 2 0〇は、 第 1合成画像データ 7 3 0 を、
Figure imgf000060_0001
して第 1撮像素子 3 8に出力し、 その後、 中 段撮像処理はステップ3丁 1 4 4へ移行する。
[0250] ステップ 3丁 1 4 4で、 制御回路 7 2 0〇は、 中段撮像処理を終了する条 件 （以下、 「中段撮像処理終了条件」 と称する） を満足したか否かを判定す る。 中段撮像処理終了条件の一例としては、 中段撮像処理を終了させる指示 が受付デバイス 8 4 （図 5参照） によって受け付けられた、 との条件が挙げ られる。 ステップ 3丁 1 4 4において、 中段撮像処理終了条件を満足してい ない場合は、 判定が否定されて、 中段撮像処理はステップ 3丁 1 3 0へ移行 する。 ステップ3丁 1 4 4において、 中段撮像処理終了条件を満足した場合 は、 判定が肯定されて、 中段撮像処理が終了する。
[0251 ] 次に、 第 1撮像素子 3 8の処理回路 1 1 0によって実行される後段撮像処 理の流れについて図 2 8を参照しながら説明する。 〇 2020/174978 59 卩（：170? 2020 /002929
[0252] 図 2 8に示す後段撮像処理では、 先ず、 ステップ 3丁 1 5 0で、 制御回路
1 1 0 (3は、 コントローラ 1 5からの垂直同期信号が通信丨 / 1 1 0 0 1 によって受け付けられたか否かを判定する。 ステップ 3丁 1 5 0において、 コントローラ 1 5からの垂直同期信号が通信丨 / 1 1 0 0 1 によって受け 付けられていない場合は、 判定が否定されて、 後段撮像処理はステップ 3丁 1 6 4へ移行する。 ステップ 3丁 1 5 0において、 コントローラ 1 5からの 垂直同期信号が通信丨 / 1 1 0 0 1 によって受け付けられた場合は、 判定 が肯定されて、 後段撮像処理はステップ 3丁 1 5 2へ移行する。
[0253] ステップ 3丁 1 5 2で、 読出回路 1 1 〇八は、 第 1 アナログ画像データ 7
0八の読み出し及び光電変換素子 4 2のリセッ トを行い、 その後、 後段撮像 処理はステップ 3丁 1 5 4へ移行する。
[0254] ステップ 3丁 1 5 4で、 デジタル処理回路 1 1 0巳は、 第 1 アナログ画像 データ 7〇 に対してデジタル信号処理を行い、 その後、 後段撮像処理はス テップ3丁 1 5 6へ移行する。
[0255] ステップ 3丁 1 5 4において第 1 アナログ画像データ 7 0八に対してデジ タル信号処理が行われることで得られた第 1デジタル画像データ 7 0巳は、 制御回路 1 1 0 <3に転送される。
[0256] ステップ3丁 1 5 6で、 制御回路 1 1 0〇は、 第 1デジタル画像データ 7
0巳をメモリ 1 1 2に記憶し、 その後、 後段撮像処理はステップ 3丁 1 5 8 へ移行する。
[0257] ステップ 3丁 1 5 8で、 制御回路 1 1 〇〇は、 第 2撮像素子 4 5 2から第
1合成画像データ 7 3 0が入力されたか否かを判定する。 ステップ 3丁 1 5 8において、 第 2撮像素子 4 5 2から第 1合成画像データ 7 3 0が入力され ていない場合は、 判定が否定されて、 ステップ 3丁 1 5 8の判定が再び行わ れる。 ステップ 3丁 1 5 8において、 第 2撮像素子 4 5 2から第 1合成画像 データ 7 3 0が入力された場合は、 判定が肯定されて、 後段撮像処理はステ ップ 3丁 1 6 0へ移行する。
[0258] ステップ3丁 1 6 0で、 制御回路 1 1 0〇は、 第 1デジタル画像データ 7 〇 2020/174978 60 卩（：170? 2020 /002929
0巳と第 1合成画像データ 7 3 0とを合成することで第 2合成画像データ 8 3 0を生成し、 その後、 後段撮像処理はステップ 3丁 1 6 2へ移行する。
[0259] ステップ 3丁 1 6 2で、 制御回路 1 1 〇〇は、 第 2合成画像データ 8 3 0 を、 通信丨 / 1 1 0口 2を介して信号処理回路 3 4に出力し、 その後、 後 段撮像処理はステップ3丁 1 6 4へ移行する。
[0260] ステップ 3丁 1 6 4で、 制御回路 1 1 0〇は、 上記第 1実施形態で説明し た後段撮像処理終了条件を満足したか否かを判定する。 ステップ 3丁 1 6 4 において、 後段撮像処理終了条件を満足していない場合は、 判定が否定され て、 後段撮像処理はステップ3丁 1 5 0へ移行する。 ステップ3丁 1 6 4に おいて、 後段撮像処理終了条件を満足した場合は、 判定が肯定されて、 後段 撮像処理が終了する。
[0261 ] 以上説明したように、 撮像装置 5 1 4には、 信号処理回路 3 4、 第 1撮像 素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2が設けられている 。 第 3撮像素子 5 5 2は通信ライン 5 5 4を介して第 2撮像素子 4 5 2に接 続されている。 また、 第 2撮像素子 4 5 2は通信ライン 5 4を介して第 1撮 像素子 3 8に接続されている。 更に、 第 1撮像素子 3 8は、 通信ライン 4 4 を介して信号処理回路 3 4に接続されている。 すなわち、 信号処理回路 3 4 、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2は、 通 信ライン 4 4 , 5 4 , 5 5 4によって直列に接続されている。
[0262] そして、 第 3撮像素子 5 5 2により被写体が撮像されることで得られた第
3デジタル画像データ 5 8 0巳は通信丨
Figure imgf000062_0001
6 2 0 0 2によって通信ライン 5 5 4を介して第 2撮像素子 4 5 2に出力される。 第 2撮像素子 4 5 2によ り被写体が撮像されることで得られた第 2デジタル画像データ 8 0巳は第 3 デジタル画像データ 5 8 0巳と合成される。 第 2デジタル画像データ 8 0巳 と第 3デジタル画像データ 5 8 0巳とが合成されることによって得られた第 1合成画像データ
Figure imgf000062_0002
り通信ライン 5 4を介 して第 1撮像素子 3 8に出力される。
[0263] 第 1撮像素子 3 8により被写体が撮像されることで得られた第 1デジタル 〇 2020/174978 61 卩（：170? 2020 /002929
画像データ 7 0巳は第 1合成画像データ 7 3 0と合成される。 第 1デジタル 画像データ 7 0巳と第 1合成画像データ 7 3 0とが合成されることによって 得られた第
Figure imgf000063_0001
1 0口 2により通信ライ ン 4 4を介して信号処理回路 3 4に出力される。 従って、 第 1撮像素子 3 8 、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2の各々を信号処理回路 3 4 に直接接続する場合に比べ、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び 第 3撮像素子 5 5 2を信号処理回路 3 4に接続するのに要する配線数を抑制 することができる。
[0264] また、 撮像装置 5 1 4では、 合成部 7 2 0 0 2により第 2デジタル画像デ —夕 8 0巳と第 3デジタル画像データ 5 8 0巳とが合成され、 合成されるこ とで得られた第 1合成画像データ 7 3 0が第 1撮像素子 3 8に出力される。 そして、 合成部 1 1 〇〇 2により第 1デジタル画像データ 7 0巳と第 1合成 画像データ 7 3 0とが合成され、 合成されることで得られた第 2合成画像デ
Figure imgf000063_0002
4 4を介して信号処理回路 3 4に出力される。 従って、 信号処理回路 3 4で の第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳の合成が不要になる。
[0265] また、 撮像装置 5 1 4では、 第 2撮像素子 4 5 2での光電変換素子 5 6に よる露光時間が第 3撮像素子 5 5 2での光電変換素子 5 5 6による露光時間 よりも長い。 また、 第 1撮像素子 3 8での光電変換素子 4 2による露光時間 が、 第 2撮像素子 4 5 2での光電変換素子 5 6による露光時間よりも長い。 従って、 第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳が合成されることによって得られた第 2合成画像データ 8 3 0のダイナミックレンジは、 単一のデジタル画像デー 夕のダイナミックレンジよりも、 大きくなる。 つまり、 第 2合成画像データ 8 3 0は、 単一のデジタル画像データよりも輝度を綿密に表現可能な画像デ —夕となる。
[0266] また、 撮像装置 5 1 4では、 信号処理回路 3 4は、 第 1撮像素子 3 8、 第 〇 2020/174978 62 卩（：170? 2020 /002929
2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2に直列に接続されており、 かつ 、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2よりも 後段に位置している。 具体的には、 前段側から後段側にかけて第 3撮像素子 5 5 2、 第 2撮像素子 4 5 2、 第 1撮像素子 3 8、 及び信号処理回路 3 4の 順に配置されている。 従って、 信号処理回路 3 4は、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2の各々によって撮像されること で得られた全ての画像データを受け取ることができる。
[0267] また、 撮像装置 5 1 4でも、 上記第 1実施形態で説明した第 1撮像素子 3
8及び第 2撮像素子 5 2と同様に、 第 3撮像素子 5 5 2として、 光電変換素 子 5 5 6、 処理回路 6 2 0、 及びメモリ 6 2 2が 1チップ化された撮像素子 が採用されている。 これにより、 上記第 1実施形態で説明した第 1撮像素子 3 8及び第 2撮像素子 5 2と同様の効果が得られる。
[0268] また、 撮像装置 5 1 4でも、 上記第 1実施形態で説明した第 1撮像素子 3
8及び第 2撮像素子 5 2と同様に、 第 3撮像素子 5 5 2として、 光電変換素 子 5 5 6にメモリ 6 2 2が積層された積層型撮像素子が採用されている。 こ れにより、 上記第 1実施形態で説明した第 1撮像素子 3 8及び第 2撮像素子 5 2と同様の効果が得られる。
[0269] また、 撮像装置 5 1 4では、 第 2合成画像データ 8 3 0に基づくライブビ ュー画像等がディスプレイ 2 6に表示される。 これにより、 第 2合成画像デ —夕 8 3 0により示される画像をユーザに視認させることができる。
[0270] 更に、 撮像装置 5 1 4では、 信号処理回路 3 4に入力された第 2合成画像 データ 8 3 0が〇 リ 1 5八によって二次記憶装置 1 0 2、 11 3巳メモリ、 及び/又はメモリカード等に記憶される。 これにより、 信号処理回路 3 4に 入力された第 2合成画像データ 8 3 0を過不足なく管理することができる。
[0271 ] なお、 上記第 2実施形態では、 第 1デジタル画像データ 7 0巳、 第 2デジ タル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳が合成される 形態例を挙げて説明したが、 本開示の技術はこれに限定されない。 例えば、 第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3 〇 2020/174978 63 卩（：170? 2020 /002929
デジタル画像データ 5 8 0巳が合成されることなく信号処理回路 3 4に出力 されるようにしてもよい。 この場合、 信号処理回路 3 4に遠い側の撮像素子 から近い側の撮像素子にかけてデジタル画像データが順に受け渡され、 最終 段の撮像素子に受け渡されたデジタル画像データが最終段の撮像素子の通信 I によって信号処理回路 3 4に出力されるようにすればよい。
[0272] 例えば、 図 2 9に示すように、 先ず、 時間帯丁〇に、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2の各々によって露光が行われ る。 次に、 時間帯丁 1 において、 第 1撮像素子 3 8によって撮像されること で得られた第 1デジタル画像データ 7 0巳が第
Figure imgf000065_0001
1 1 0口 2によって信号処理回路 3 4に出力される。 また、 時間帯丁 1 にお いて、 第 2撮像素子 4 5 2によって撮像されることで得られた第 2デジタル 画像データ 8 0巳が第 2撮像素子 4 5 2の通信丨 / 1 2 0 0 2によって第 1撮像素子 3 8に出力される。 更に、 時間帯丁 1 において、 第 3撮像素子 5 5 2によって撮像されることで得られた第 3デジタル画像データ 5 8 0巳が
Figure imgf000065_0002
によって第 2撮像素子 4 5 2に 出力される。
[0273] 次に、 時間帯丁 2において、 第 1撮像素子 3 8に対して時間帯丁 1 に第 2 撮像素子 4 5 2から入力された第 2デジタル画像データ 8 0巳は、 第 1撮像
Figure imgf000065_0003
1 0口 2によって信号処理回路 3 4に出力される。 また、 時間帯丁 2において、 第 2撮像素子 4 5 2に対して時間帯丁 1 に第 3 撮像素子 5 5 2から入力された第 3デジタル画像データ 5 8 0巳は、 第 2撮 像素子 4 5 2の通信
Figure imgf000065_0004
によって第 1撮像素子 3 8に出力され る。
[0274] そして、 時間帯丁 3において、 第 1撮像素子 3 8に対して時間帯丁 2に第
2撮像素子 4 5 2から入力された第 3デジタル画像データ 5 8 0巳は、 第 1 撮像素子
Figure imgf000065_0005
1 0口 2によって信号処理回路 3 4に出力され る。 従って、 信号処理回路 3 4に対して第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2が直接接続されていなくても、 第 1デジタル 〇 2020/174978 64 卩（：170? 2020 /002929
画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像 データ 5 8 0巳を信号処理回路 3 4に単一の経路から受け取らせることがで きる。
[0275] また、 時間帯丁 1 において、 第 1デジタル画像データ 7 0巳の出力、 第 2 デジタル画像データ 8 0巳の出力、 及び第 3デジタル画像データ 5 8 0巳の 出力は互いに同期して行われる。 また、 時間帯丁 2において、 第 2デジタル 画像データ 8 0巳の出力、 及び第 3デジタル画像データ 5 8 0巳の出力は互 いに同期して行われる。 従って、 画像データが第 1撮像素子 3 8、 第 2撮像 素子 4 5 2、 及び第 3撮像素子 5 5 2のうちの 1つの撮像素子に滞留するこ とを回避することができる。
[0276] 図 2 9に示す例では、 第1撮像素子3 8の通信 1 / 1 1 0 0 2、 第 2撮 像素子 4 5 2の通信
Figure imgf000066_0001
及び第 3撮像素子 5 5 2の通信 I / 6 2 0 0 2の各々によって出力されたデジタル画像データの各々が信号処 理回路 3 4により時分割で受け取られる。 すなわち、 第 1デジタル画像デー 夕 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳が信号処理回路 3 4によって時分割で受け取られる。
[0277] これにより、 信号処理回路 3 4に対して全ての撮像素子の各々が直接接続 されていなくても、 各撮像素子によって撮像されることで得られた画像デー 夕を最小限の配線数で信号処理部に受け取らせることができる。 そして、 信 号処理回路 3 4は、 第 1撮像素子 3 8から順次に受け取ったデジタル画像デ —夕に対して順次に各種の信号処理を施すことができる。
[0278] —例として図 3 0に示すように、 時間帯丁 1 （図 2 9参照） では、 第 3デ ジタル画像データ 5 8 0巳が第 3撮像素子 5 5 2のメモリ 6 2 2から第 2撮 像素子 4 5 2のメモリ 1 2 2に移される。 また、 時間帯丁 1では、 第 2デジ タル画像データ 8 0巳が第 2撮像素子 4 5 2のメモリ 1 2 2から第 1撮像素 子 3 8のメモリ 1 1 2に移される。 更に、 時間帯丁 1では、 第 1デジタル画 像データ 7 0巳が第 1撮像素子 3 8のメモリ 1 1 2から信号処理回路 3 4に 移される。 〇 2020/174978 65 卩（：170? 2020 /002929
[0279] つまり、 時間帯丁 1では、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び 第 3撮像素子 5 5 2のうち、 信号処理回路 3 4の最も近くに位置する第 1撮 像素子 3 8で生成された第 1デジタル画像データ 7 0巳が信号処理回路 3 4 によって受け取られる。
[0280] 一例として図 3 1 に示すように、 時間帯丁 2 （図 2 9参照） では、 第 3デ ジタル画像データ 5 8 0巳が第 2撮像素子 4 5 2のメモリ 1 2 2から第 1撮 像素子 3 8のメモリ 1 1 2に移される。 また、 時間帯丁 2では、 第 2デジタ ル画像データ 8 0巳が第 1撮像素子 3 8のメモリ 1 1 2から信号処理回路 3 4に移される。
[0281 ] つまり、 時間帯丁 2では、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び 第 3撮像素子 5 5 2のうち、 第 1撮像素子 3 8の次に信号処理回路 3 4の近 くに位置する第 2撮像素子 4 5 2で生成された第 2デジタル画像データ 8 0 巳が信号処理回路 3 4によって受け取られる。
[0282] 一例として図 3 2に示すように、 時間帯丁 3 （図 2 9参照） では、 第 3デ ジタル画像データ 5 8 0巳が第 1撮像素子 3 8のメモリ 1 1 2から信号処理 回路 3 4に移される。
[0283] つまり、 時間帯丁 3では、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び 第 3撮像素子 5 5 2のうち、 信号処理回路 3 4から最も遠くに位置する第 3 撮像素子 5 5 2で生成された第 3デジタル画像データ 5 8 0巳が信号処理回 路 3 4によって受け取られる。
[0284] 従って、 第 2撮像素子 4 5 2は、 第 3デジタル画像データ 5 8 0巳をメモ リ 1 2 2に記憶させずに出力する場合に比べ、 第 3撮像素子 5 5 2から受け 取った第 3デジタル画像データ 5 8 0巳を適切な出カタイミングで出力する ことができる。 また、 第 1撮像素子 3 8は、 第 2デジタル画像データ 8 0巳 をメモリ 1 1 2に記憶させずに出力する場合に比べ、 第 2撮像素子 4 5 2か ら受け取った第 2デジタル画像データ 8 0巳を適切な出カタイミングで出力 することができる。 また、 第 1撮像素子 3 8は、 第 3デジタル画像データ 5 8 0巳をメモリ 1 1 2に記憶させずに出力する場合に比べ、 第 2撮像素子 4 〇 2020/174978 66 卩（：170? 2020 /002929
5 2から受け取った第 3デジタル画像データ 5 8 0巳を適切なタイミングで 出力することができる。
[0285] また、 一例として図 3 0〜図 3 2に示すように、 複数の撮像素子のうち、 信号処理回路 3 4に近い側の撮像素子から遠い側の撮像素子の順にデジタル 画像データの各々が時分割で信号処理回路 3 4によって受け取られる。 従っ て、 複数の撮像素子の各々で生成された各デジタル画像データを信号処理回 路 3 4に最も近い側の撮像素子に一旦集めてから信号処理回路 3 4に出力す る場合に比べ、 複数の撮像素子の各々で生成された各デジタル画像データを 信号処理回路 3 4に早く受け取らせることができる。
[0286] また、 上記第 2実施形態では、 第 1デジタル画像データ 7 0巳、 第 2デジ タル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳が合成される 場合について説明したが、 本開示の技術はこれに限定されない。 例えば、 第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デ ジタル画像データ 5 8 0巳が連結されるようにしてもよい。 この場合、 一例 として図 3 3に示すように、 制御回路 1 1 〇〇は、 合成部 1 1 0〇2に代え て連結部 1 1 〇〇 3を有する。 連結部 1 1 0 0 3は、 取得部 1 1 0 (3 1 によ って取得された第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 〇巳、 及び第 3デジタル画像データ 5 8 0巳を連結し、 連結して得た連結画 像データ 1 3 0巳を生成する。 このように生成された連結画像データ 1 3 0 巳は、 通信丨 / 1 1 0口 2によって通信ライン 4 4を介して信号処理回路 3 4に出力される。
[0287] 図 3 3に示す例では、 第 1デジタル画像データ 7 0巳、 第 2デジタル画像 データ 8〇巳、 及び第 3デジタル画像データ 5 8 0巳が縦方向に連結されて いる形態例が示されているが、 これに限らず、 第 1デジタル画像データ 7 0 巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳 が横方向に連結されていてもよい。 このように、 第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0 巳の連結方向は如何なる方向であってもよい。 また、 第 1デジタル画像デー 〇 2020/174978 67 卩（：170? 2020 /002929
夕 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デジタル画像データ 5 8 0巳のうち、 隣接するデジタル画像データ間の一部を重ねるようにして第 1デジタル画像データ 7 0巳、 第 2デジタル画像データ 8 0巳、 及び第 3デ ジタル画像データ 5 8 0巳が連結されるようにしてもよい。
[0288] また、 上記第 2実施形態では、 メモリ 6 2 2から制御回路 6 2〇〇によっ て取得された第 3デジタル画像データ 5 8 0巳が通信
Figure imgf000069_0001
って第 2撮像素子 4 5 2に出力される形態例を挙げて説明したが、 本開示の 技術はこれに限定されない。 例えば、 メモリ 6 2 2から制御回路 6 2〇〇に よって取得された第 3デジタル画像データ 5 8 0巳に対して制御回路 6 2 0 〇によって何らかの画像処理が施されることで得た画像データが通信 I
Figure imgf000069_0002
6 2 0口 2によって第 2撮像素子 4 5 2に出力されるようにしてもよい。 こ こで、 上記の画像処理としては、 例えば、 間引き処理及び加算処理等の公知 の画像処理が挙げられる。 第 3デジタル画像データ 5 8 0巳に対して何らか の画像処理が施されることで得た画像データは、 本開示の技術に係る 「出力 画像データ」 の _例である。
[0289] また、 上記第 2実施形態では、 通信丨 / 1 5 0 3と通信 I / 6 2 0 0
1 とが ＜3 丨 _㊀の接続規格に従って接続されている。 また、 通信丨
Figure imgf000069_0003
2 0 0 3と通信 1 / 6 2 0 0 2とが （3 I _ 6の接続規格に従って接続さ れている。 しかし、 本開示の技術はこれに限定されない。 〇 丨 一 6の接続 規格に代えて、 ！_ 0 3、 3八丁八、 3 !_▽3 _巳〇、 及び IV! 丨 丨等の他 の接続規格が採用されてもよい。
[0290] また、 上記第 2実施形態では、 第 2撮像素子 4 5 2と第 3撮像素子 5 5 2 との間の通信、 及びコントローラ 1 5と第 3撮像素子 4 5 2との間の通信は 何れも有線形式の通信である。 しかし、 本開示の技術はこれに限定されない 。 第 2撮像素子 4 5 2と第 3撮像素子 5 5 2との間の通信、 及びコントロー ラ 1 5と第 3撮像素子 4 5 2との間の通信のうちの少なくとも一方の通信を 無線形式の通信としてもよい。
[0291 ] また、 上記第 2実施形態では、 第 3撮像素子 5 5 2として、 光電変換素子 〇 2020/174978 68 卩（：170? 2020 /002929
5 5 6、 処理回路 6 2 0、 及びメモリ 6 2 2が 1チップ化された撮像素子が 例示されているが、 本開示の技術はこれに限定されない。 例えば、 光電変換 素子 5 5 6、 処理回路 6 2 0、 及びメモリ 6 2 2のうち、 少なくとも光電変 換素子 5 5 6及びメモリ 6 2 2が 1チップ化されていればよい。 なお、 第 2 撮像素子 4 5 2についても同様のことが言える。
[0292] また、 上記第 2実施形態では、 第 1撮像レンズ 1 6、 第 2撮像レンズ 1 8 、 及び第 3撮像レンズ 5 1 8という 3個の撮像レンズの各々から被写体光を 撮像装置 5 1 4に取り込む形態例を挙げて説明したが、 本開示の技術はこれ に限定されない。 例えば、 図 3 4に示すように、 撮像装置 5 1 4に代えて撮 像装置 9 0 0を用いても本開示の技術は成立する。
[0293] 撮像装置 9 0 0は、 撮像装置 5 1 4に比べ、 第 1撮像レンズ 1 6、 第 2撮 像レンズ 1 8、 及び第 3撮像レンズ 5 1 8のうちの第 1撮像レンズ 1 6のみ を有する点が異なる。 また、 撮像装置 9 0 0は、 撮像装置 5 1 4に比べ、 光 路分離器 9 0 2を有する点が異なる。 光路分離器 9 0 2は、 ビームスプリッ 夕 9 0 2八， 9 0 2巳及び反射ミラー 9 0 2 (3を備えている。 光路分離器 9 0 2は、 第 1撮像レンズ 1 6に入射された被写体光の光路を分離し、 被写体 光を第 1撮像素子 3 8の受光面 4 2八、 第 2撮像素子 4 5 2の受光面 5 6八 、 及び第 3撮像素子 5 5 2の受光面 5 5 6八の各々に導く。
[0294] 光路分離器 9 0 2は、 第 1撮像レンズ 1 6と受光面 4 2八， 5 6八， 5 5
6八との間に配置されている。 ビームスブリッタ 9 0 2八は、 受光面 4 2八 に対応する位置に設けられている。 ビームスブリッタ 9 0 2巳は、 受光面 5 6八に対向する位置に設けられている。 反射ミラー 9 0 2 (3は、 受光面 5 5 6八に対向する位置に設けられている。
[0295] ビームスブリッタ 9 0 2八は、 第 1撮像レンズ 1 6から入射された被写体 光を透過することで受光面 4 2 に導き、 かつ、 第 1撮像レンズ 1 6から入 射された被写体光を反射することでビームスプリッタ 9 0 2巳に導く。 ビー ムスブリッタ 9 0 2巳は、 ビームスブリッタ 9 0 2八によつて導かれた被写 体光を反射することで受光面 5 6八に導き、 かつ、 ビームスブリッタ 9 0 2 〇 2020/174978 69 卩（：170? 2020 /002929
八によって導かれた被写体光を透過することで反射ミラー 9 0 2 (3に導く。 反射ミラー 9 0 2〇は、 ビームスプリッタ 9 0 2巳によって導かれた被写体 光を反射することで受光面 5 5 6 に導く。 これにより、 被写体光が受光面
4 2八， 5 6八， 5 5 6八の各々によって受光され、 第 1撮像素子 3 8、 第 2撮像素子 4 5 2、 及び第 3撮像素子 5 5 2によって被写体が撮像される。
[0296] また、 図 1 7〜図 3 4に示す例では、 第 1撮像素子 3 8、 第 2撮像素子 4
5 2、 及び第 3撮像素子 5 5 2という 3個の撮像素子を示したが、 これらは 、 あくまでも一例に過ぎず、 本開示の技術はこれに限定されない。 例えば、
2個の撮像素子であっても、 4個以上の撮像素子であっても本開示の技術は 成立する。 4個以上の撮像素子を用いる場合は、 第 1撮像素子 3 8と第 3撮 像素子 5 5 2との間に第 2撮像素子 4 5 2と同様の構成を有する 1つ以上の 撮像素子を介在させる。 そして、 信号処理回路 3 4から最も遠い撮像素子か ら信号処理回路 3 4に最も近い撮像素子にかけて画像データが順次に転送さ れるように、 複数の撮像素子が直列に接続されるようにすればよい。
[0297] また、 上記各実施形態では、 信号処理回路 3 4を例示したが、 本開示の技 術はこれに限定されず、 信号処理回路 3 4の他に 1つ以上の信号処理回路を 用いてもよい。 この場合、 第 1撮像素子 3 8を複数の信号処理回路の各々に 対して直接接続するようにすればよい。
[0298] また、 上記各実施形態では、 処理回路 1 1 0 , 1 2 0 , 4 5 3 , 6 2 0が 八3 丨 <3及び 〇八を含むデバイスによって実現される形態例を挙げて説 明したが、 本開示の技術はこれに限定されない。 例えば、 処理回路 1 1 0に 含まれる複数のデバイスのうちの少なくとも制御回路 1 1 〇〇はコンピュー 夕によるソフトウェア構成により実現されるようにしてもよい。 また、 処理 回路 1 2 0に含まれる複数のデバイスのうちの少なくとも制御回路 1 2 0 0 はコンピュータによるソフトウェア構成により実現されるようにしてもよい 。 また、 処理回路 4 5 3に含まれる複数のデバイスのうちの少なくとも制御 回路 7 2〇〇はコンビュータによるソフトウェア構成により実現されるよう にしてもよい。 更に、 処理回路 6 2 0に含まれる複数のデバイスのうちの少 〇 2020/174978 70 卩（：170? 2020 /002929
なくとも制御回路 62〇〇はコンビュータによるソフトウェア構成により実 現されるようにしてもよい。
［0299］ この場合、 例えば、 図 35八に示すように、 第 1撮像素子 38にはコンビ ュータ 1 852が内蔵されており、 コンビュータ 1 852に上記第 1又は第 2実施形態に係る後段撮像処理を実行させるための後段撮像プログラム 1 9 02八を記憶媒体 1 900八に記憶させておく。 コンビュータ 1 852は、 〇 111 852八、 ［¾〇1\/11 852巳、 及び 八1\/11 852〇を備えている 。 そして、 記憶媒体 1 900 に記憶されている後段撮像プログラム 1 90 2八は、 コンピュータ 1 852にインストールされる。 091} ^ 852八は 、 後段撮像プログラム 1 902八に従って、 第 1又は第 2実施形態に係る後 段撮像処理を実行する。
［0300］ 後段撮像プログラム 1 902八は記憶媒体 1 900八ではなく、
Figure imgf000072_0001
852巳に記憶されていてもよい。 この場合、 〇 111 852八は、
Figure imgf000072_0002
1 852巳から後段撮像プログラム 1 902八を読み出し、 読み出した後段 撮像プログラム 1 902八を［¾八1\/11 852〇に展開する。 そして、 091\ 1 852八は、 ［¾八1\/11 852〇に展開した後段撮像プログラム 1 902八 に従って、 第 1又は第 2実施形態に係る後段撮像処理を実行する。
［0301］ また、 一例として図 35巳に示すように、 第 2撮像素子 52及び第 3撮像 素子 552の各々にはコンピュータ 1 852が内蔵されている。 第 2撮像素 子 52のコンピュータ 1 854に第 1実施形態に係る前段撮像処理を実行さ せるための前段撮像プログラム 1 902巳 1 を記憶媒体 1 900巳に記憶さ せておく。 また、 第 3撮像素子 552のコンピュータ 1 852に第 2実施形 態に係る前段撮像処理を実行させるための前段撮像プログラム 1 902巳を 記憶媒体 1 900巳に記憶させておく。
［0302］ なお、 以下では、 説明の便宜上、 第 2撮像素子 52のコンビュータ 1 85 4と第 3撮像素子 552のコンビュータ 1 854とを区別して説明する必要 がない場合、 「コンビュータ 1 854」 と称する。 また、 以下では、 説明の 便宜上、 前段撮像プログラム 1 90261 , 1 902巳 2を区別して説明す 〇 2020/174978 71 卩（：170? 2020 /002929
る必要がない場合、 「前段撮像プログラム 1 902巳」 と称する。
［0303］ コンビュータ 1 854は、 〇 111 854八、 ［¾〇1\/11 854巳、 及·び 八1\/11 854〇を備えている。 そして、 記憶媒体 1 900巳に記憶されてい る前段撮像プログラム 1 902巳は、 コンビュータ 1 854にインストール される。 〇 II 1 852八は、 前段撮像プログラム 1 902巳に従って、 第 1又は第 2実施形態に係る前段撮像処理を実行する。
［0304］ 前段撮像プログラム 1 9026は記憶媒体 1 900巳ではなく、
Figure imgf000073_0001
〇 IV! 1
854〇に記憶されていてもよい。 この場合、 〇 111 854八は、
Figure imgf000073_0002
1 854巳から前段撮像プログラム 1 902巳を読み出し、 読み出した前段 撮像プログラム 1 902巳を［¾八1\/11 854〇に展開する。 そして、 第 2撮 像素子 52の場合、 〇 111 854八は、 ［¾八1\/11 854〇に展開した前段 撮像プログラム 1 902巳に従って、 上記第 1実施形態に係る前段撮像処理 を実行する。 また、 第 3撮像素子 552の場合、 〇 111 854八は、 ［¾八 IV! 1 854〇に展開した前段撮像プログラム 1 902巳に従って、 上記第 2 実施形態に係る前段撮像処理を実行する。
［0305］ —例として図 35〇に示すように、 第 2撮像素子 452にはコンビュータ
1 856が内蔵されており、 コンピュータ 1 856に上述した中段撮像処理 を実行させるための中段撮像プログラム 1 902(3を記憶媒体 1 900〇に 記憶させておく。 コンピュータ 1 856は、 〇 111 856八、
Figure imgf000073_0003
56巳、 及び 八1\/11 856〇を備えている。 そして、 記憶媒体 1 9000 に記憶されている中段撮像プログラム 1 902〇は、 コンビュータ 1 856 にインストールされる。 〇 111 856八は、 中段撮像プログラム 1 902 〇に従って、 上述した中段撮像処理を実行する。
［0306］ 中段撮像プログラム 1 9020は記憶媒体 1 900〇ではなく、
Figure imgf000073_0004
856巳に記憶されていてもよい。 この場合、 〇 111 856八は、
Figure imgf000073_0005
1 856巳から中段撮像プログラム 1 902(3を読み出し、 読み出した中段 撮像プログラム 1 902〇を［¾八1\/11 856〇に展開する。 そして、 091\ 1 856八は、 ［¾八1\/11 856〇に展開した中段撮像プログラム 1 902〇 〇 2020/174978 72 卩（：170? 2020 /002929
に従って、 上述した中段撮像処理を実行する。
[0307] 図 35八~図 35〇に示す例では、 〇 111 852八， 1 854八， 1 8
56八の各々は、 単数の〇 11であるが、 本開示の技術はこれに限定されず 、 〇 111 852八， 1 854八， 1 856八のうちの少なくとも 1つにつ いて、 複数の〇 IIを採用してもよい。 記憶媒体 1 900八， 1 900巳， 1 900〇は何れも、 非一時的記憶媒体である。 なお、 記憶媒体 1 900八 , 1 900巳， 1 900〇の一例としては、 330又は II 3巳メモリなどの 任意の可搬型の記憶媒体が挙げられる。
[0308] また、 通信網 （図示省略） を介してコンピュータ 1 852, 1 854, 1
856 （以下、 符号を付さずに 「コンピュータ」 と称する） の各々に接続さ れる他のコンピュータ又はサーバ装置等の記憶部に各種プログラム （上述の 後段撮像プログラム 1 902 、 前段撮像プログラム 1 902巳、 及び中段 撮像プログラム 1 9020） を記憶させておき、 上述の撮像装置 1 4, 5 1 4 （以下、 符号を付さずに 「撮像装置」 と称する） の要求に応じて各種プロ グラムがコンビュータにダウンロードされるようにしてもよい。 この場合、 ダウンロードされた各種プログラムがコンビュータの〇 IIによって実行さ れる。
[0309] また、 コンピュータは、 第 1撮像素子 38、 第 2撮像素子 52, 452、 及び第 3撮像素子 552 （以下、 単に 「撮像素子」 と称する） の外部に設け られるようにしてもよい。 この場合、 コンビュータが各種プログラムに従っ て撮像素子を制御するようにすればよい。
[0310] 上記第 1実施形態で説明した前段撮像処理及び後段撮像処理、 並びに上記 第 2実施形態で説明した前段撮像処理、 中段撮像処理、 及び後段撮像処理 （ 以下、 「各種処理」 と称する） を実行するハードウェア資源としては、 次に 示す各種のプロセッサを用いることができる。 プロセッサとしては、 例えば 、 上述したように、 ソフトウェア、 すなわち、 プログラムを実行することで 、 各種処理を実行するハードウェア資源として機能する汎用的なプロセッサ である〇 IIが挙げられる。 また、 プロセッサとしては、 例えば、 〇八 〇 2020/174978 73 卩（：170? 2020 /002929
Figure imgf000075_0001
れた回路構成を有するプロセッサである専用電気回路が挙げられる。
[031 1 ] 各種処理を実行するハードウェア資源は、 これらの各種のプロセッサのう ちの 1つで構成されてもよいし、 同種または異種の 2つ以上のプロセッサの 組み合わせ （例えば、 複数の ◦八の組み合わせ、 又は〇 11と 〇八 との組み合わせ） で構成されてもよい。 また、 各種処理を実行するハードウ ェア資源は 1つのプロセッサであってもよい。
[0312] 1つのプロセッサで構成する例としては、 第 1 に、 クライアント及びサー バなどのコンビュータに代表されるように、 1つ以上の〇 11とソフトウェ アの組み合わせで 1つのプロセッサを構成し、 このプロセッサが、 撮像素子 内処理を実行するハードウェア資源として機能する形態がある。 第 2に、 3 〇〇 （3ソ 3 6 111
Figure imgf000075_0002
1 ） などに代表されるように、 各種 処理を実行する複数のハードウェア資源を含むシステム全体の機能を 1つの I 〇チップで実現するプロセッサを使用する形態がある。 このように、 撮像 素子内処理は、 ハードウェア資源として、 上記各種のプロセッサの 1つ以上 を用いて実現される。
[0313] 更に、 これらの各種のプロセッサのハードウェア的な構造としては、 より 具体的には、 半導体素子などの回路素子を組み合わせた電気回路を用いるこ とができる。
[0314] また、 上記各実施形態では、 撮像装置が内蔵されたデバイスとしてスマー トデバイス 1 0 , 5 0 0を例示したが、 本開示の技術はこれに限定されない 。 例えば、 撮像装置が内蔵されたレンズ交換式カメラ、 レンズ固定式カメラ 、 パーソナル · コンピュータ、 又はウェアラブル端末装置等の各種の電子機 器に対しても本開示の技術は適用可能であり、 これらの電子機器であっても 、 上記各実施形態で説明した撮像装置と同様の作用及び効果が得られる。
[0315] また、 上記各実施形態では、 ディスプレイ 2 6を例示したが、 本開示の技 術はこれに限定されない。 例えば、 撮像装置に対して後付けされた別体のデ ィスプレイを、 本開示の技術に係る 「表示部 （ディスプレイ） 」 として用い 〇 2020/174978 74 卩（：170? 2020 /002929
るようにしてもよい。
[0316] また、 上記の各種処理はあくまでも一例である。 従って、 主旨を逸脱しな い範囲内において不要なステップを削除したり、 新たなステップを追加した り、 処理順序を入れ替えたりしてもよいことは言うまでもない。
[0317] 以上に示した記載内容及び図示内容は、 本開示の技術に係る部分について の詳細な説明であり、 本開示の技術の一例に過ぎない。 例えば、 上記の構成 、 機能、 作用、 及び効果に関する説明は、 本開示の技術に係る部分の構成、 機能、 作用、 及び効果の一例に関する説明である。 よって、 本開示の技術の 主旨を逸脱しない範囲内において、 以上に示した記載内容及び図示内容に対 して、 不要な部分を削除したり、 新たな要素を追加したり、 置き換えたりし てもよいことは言うまでもない。 また、 錯綜を回避し、 本開示の技術に係る 部分の理解を容易にするために、 以上に示した記載内容及び図示内容では、 本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関す る説明は省略されている。
[0318] 本明細書において、 「八及び/又は巳」 は、 「八及び巳のうちの少なくと も 1つ」 と同義である。 つまり、 「八及び/又は巳」 は、 八だけであっても よいし、 巳だけであってもよいし、 八及び巳の組み合わせであってもよい、 という意味である。 また、 本明細書において、 3つ以上の事柄を 「及び/又 は」 で結び付けて表現する場合も、 「 及び/又は巳」 と同様の考え方が適 用される。
[0319] 本明細書に記載された全ての文献、 特許出願及び技術規格は、 個々の文献 、 特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に 記された場合と同程度に、 本明細書中に参照により取り込まれる。

Claims

\¥0 2020/174978 75 卩（：17 2020 /002929 請求の範囲
[請求項 1 ] 複数の撮像素子と、
少なくとも 1つの信号処理回路と、
伝送路と、 を含み、
前記複数の撮像素子の各々は、 被写体を撮像することで得た画像デ —夕を記憶し、 かつ、 前記撮像素子に内蔵されたメモリ、 及び前記メ モリに記憶された前記画像データに基づく出力画像データを出力し、 かつ、 前記撮像素子に内蔵された通信インタフェースを有し、 前記伝送路は、 前記複数の撮像素子及び単一の前記信号処理回路を 直列に接続しており、
前記複数の撮像素子の各々の前記通信インタフェースは、 前記伝送 路を介して前記出力画像データを後段の撮像素子又は前記信号処理回 路に出力する
撮像装置。
[請求項 2] 前記複数の撮像素子に含まれる隣接する撮像素子のうちの前段の撮 像素子である前段撮像素子の前記通信インタフヱースによって出力さ れた前記出力画像データが前記隣接する撮像素子のうちの後段の撮像 素子である後段撮像素子の前記メモリに記憶されてから前記後段の撮 像素子の前記通信インタフェースによって出力される請求項 1 に記載 の撮像装置。
[請求項 3] 前記複数の撮像素子のうち、 前記信号処理回路に遠い側の撮像素子 から近い側の撮像素子にかけて前記出力画像データが順に受け渡され 、 前記複数の撮像素子のうちの最終段の撮像素子に受け渡された前記 出力画像データは、 前記最終段の撮像素子の前記通信インタフェース によって前記信号処理回路に出力される請求項 2に記載の撮像装置。
[請求項 4] 前記信号処理回路は、 前記複数の撮像素子の各々の前記通信インタ フェースによって出力された前記出力画像データの各々を時分割で受 け取る請求項 3に記載の撮像装置。 〇 2020/174978 76 卩（：170? 2020 /002929
[請求項 5] 前記信号処理回路は、 前記複数の撮像素子のうち、 前記信号処理回 路に近い側の撮像素子から遠い側の撮像素子の順に、 前記複数の撮像 素子の各々の前記通信インタフエースによって出力された前記出力画 像データの各々を時分割で受け取る請求項 4に記載の撮像装置。
[請求項 6] 前記後段撮像素子により撮像されることで前記画像データとして得 られた後段画像データは前記後段撮像素子の前記メモリに記憶され、 前記後段撮像素子は、 前記前段撮像素子の前記通信インタフエース によって前記出力画像データとして前記後段撮像素子に出力された前 段画像データと、 前記メモリに記憶されている前記後段画像データと を合成する合成回路を更に含み、
前記後段撮像素子の前記通信インタフエースは、 前記合成回路によ り前記前段画像データと前記後段画像データとが合成されることで得 られた合成画像データを前記出力画像データとして出力する請求項 2 に記載の撮像装置。
[請求項 7] 前記後段撮像素子により撮像されることで前記画像データとして得 られた後段画像データは前記後段撮像素子の前記メモリに記憶され、 前記後段撮像素子は、 前記前段撮像素子の前記通信インタフエース によって前記出力画像データとして前記後段撮像素子に出力された前 段画像データと、 前記メモリに記憶されている前記後段画像データと を連結する連結回路を更に含み、
前記後段撮像素子の前記通信インタフエースは、 前記連結回路によ り前記前段画像データと前記後段画像データとが連結されることで得 られた連結画像データを前記出力画像データとして出力する請求項 2 に記載の撮像装置。
[請求項 8] 前記後段撮像素子の露光時間は、 前記前段撮像素子の露光時間より も長い請求項 2から請求項 7の何れか一項に記載の撮像装置。
[請求項 9] 前記信号処理回路は、 前記伝送路において前記複数の撮像素子より も後段に位置する請求項 1から請求項 8の何れか一項に記載の撮像装 〇 2020/174978 77 卩（：170? 2020 /002929
置。
[請求項 1 0] 前記複数の撮像素子の前記通信インタフヱースの各々は、 互いに同 期して前記出力画像データを出力する請求項 1 から請求項 9の何れか —項に記載の撮像装置。
[請求項 1 1 ] 少なくとも光電変換素子と前記メモリとが 1 チップ化された請求項
1 から請求項 1 〇の何れか一項に記載の撮像装置。
[請求項 12] 前記撮像素子は、 前記光電変換素子に前記メモリが積層された積層 型撮像素子である請求項 1 1 に記載の撮像装置。
[請求項 13] 前記信号処理回路に入力された前記出力画像データに基づく画像を ディスプレイに対して表示させる制御を行う表示プロセッサを更に含 む請求項 1 から請求項 1 2の何れか一項に記載の撮像装置。
[請求項 14] 前記信号処理回路に入力された前記出力画像データを記憶装置に対 して記憶させる制御を行う記憶プロセッサを更に含む請求項 1 から請 求項 1 3の何れか一項に記載の撮像装置。
[請求項 1 5] 複数の撮像素子と、 少なくとも 1 つの信号処理回路と、 伝送路と、 を含み、 前記複数の撮像素子の各々は、 被写体を撮像することで得た 画像データを記憶し、 かつ、 前記撮像素子に内蔵されたメモリ、 及び 前記メモリに記憶された前記画像データに基づく出力画像データを出 力し、 かつ、 前記撮像素子に内蔵された通信インタフェースを有する 撮像装置の画像データ処理方法であって、
前記複数の撮像素子及び単 _の前記信号処理回路を 1 つの前記伝送 路で直列に接続し、
前記複数の撮像素子の各々の前記通信インタフェースは、 前記伝送 路を介して前記出力画像データを後段の撮像素子又は前記信号処理回 路に出力することを含む
撮像装置の画像データ処理方法。
[請求項 16] 複数の撮像素子と、 少なくとも 1 つの信号処理回路と、 伝送路と、 を含み、 前記複数の撮像素子の各々は、 被写体を撮像することで得た 78 卩（：170? 2020 /002929
画像データを記憶し、 かつ、 前記撮像素子に内蔵されたメモリ、 及び 前記メモリに記憶された前記画像データに基づく出力画像データを出 力し、 かつ、 前記撮像素子に内蔵された通信インタフェースを有する 撮像装置に含まれる前記通信インタフェースとしてコンピュータを機 能させるためのプログラムであって、
前記複数の撮像素子及び単一の前記信号処理回路は 1つの前記伝送 路で直列に接続されており、
前記複数の撮像素子の各々の前記通信インタフエースは、 前記伝送 路を介して前記出力画像データを後段の撮像素子又は前記信号処理回 路に出力する
プログラム。
PCT/JP2020/002929 2019-02-27 2020-01-28 撮像装置、撮像装置の画像データ処理方法、及びプログラム Ceased WO2020174978A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021501768A JPWO2020174978A1 (ja) 2019-02-27 2020-01-28 撮像装置、撮像装置の画像データ処理方法、及びプログラム
CN202080016515.4A CN113475054A (zh) 2019-02-27 2020-01-28 摄像装置、摄像装置的图像数据处理方法及程序
US17/400,132 US11711595B2 (en) 2019-02-27 2021-08-12 Imaging apparatus, image data processing method of imaging apparatus, and program
US18/329,444 US12273607B2 (en) 2019-02-27 2023-06-05 Imaging apparatus, image data processing method of imaging apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019034708 2019-02-27
JP2019-034708 2019-02-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/400,132 Continuation US11711595B2 (en) 2019-02-27 2021-08-12 Imaging apparatus, image data processing method of imaging apparatus, and program

Publications (1)

Publication Number Publication Date
WO2020174978A1 true WO2020174978A1 (ja) 2020-09-03

Family

ID=72239386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002929 Ceased WO2020174978A1 (ja) 2019-02-27 2020-01-28 撮像装置、撮像装置の画像データ処理方法、及びプログラム

Country Status (4)

Country Link
US (2) US11711595B2 (ja)
JP (1) JPWO2020174978A1 (ja)
CN (1) CN113475054A (ja)
WO (1) WO2020174978A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113454977B (zh) * 2019-02-20 2023-05-09 富士胶片株式会社 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质
EP4415380A4 (en) * 2021-10-08 2024-11-27 Sony Semiconductor Solutions Corporation Image sensor, data processing device, and image sensor system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079142A (ja) * 2006-09-22 2008-04-03 Fujifilm Corp カメラシステム
WO2018003124A1 (ja) * 2016-07-01 2018-01-04 マクセル株式会社 撮像装置、撮像方法及び撮像プログラム
JP2018137592A (ja) * 2017-02-21 2018-08-30 株式会社リコー 撮像装置、撮像方法およびプログラム
JP2019009783A (ja) * 2018-07-11 2019-01-17 株式会社ニコン 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201101476A (en) * 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP4475225B2 (ja) * 2005-09-08 2010-06-09 ソニー株式会社 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
JP5302058B2 (ja) * 2009-03-17 2013-10-02 富士フイルム株式会社 撮像装置および撮像方法
US9706908B2 (en) * 2010-10-28 2017-07-18 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
JP5701707B2 (ja) 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
US9124801B2 (en) 2012-07-26 2015-09-01 Omnivision Technologies, Inc. Image processing system and method using multiple imagers for providing extended view
CN103699861B (zh) 2012-09-27 2018-09-28 霍尼韦尔国际公司 具有多个成像组件的编码信息读取终端
JP2016143915A (ja) 2015-01-29 2016-08-08 オリンパス株式会社 撮像装置、撮像システム撮像方法およびプログラム
JP2018164136A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 撮像装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079142A (ja) * 2006-09-22 2008-04-03 Fujifilm Corp カメラシステム
WO2018003124A1 (ja) * 2016-07-01 2018-01-04 マクセル株式会社 撮像装置、撮像方法及び撮像プログラム
JP2018137592A (ja) * 2017-02-21 2018-08-30 株式会社リコー 撮像装置、撮像方法およびプログラム
JP2019009783A (ja) * 2018-07-11 2019-01-17 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
US20210377430A1 (en) 2021-12-02
US12273607B2 (en) 2025-04-08
US20230328343A1 (en) 2023-10-12
JPWO2020174978A1 (ja) 2021-11-25
CN113475054A (zh) 2021-10-01
US11711595B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
US11196923B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US11356629B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US11206353B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program for setting image-capture conditions of image sensor
CN102857712B (zh) 具有高动态范围捕捉能力的图像传感器
US10841512B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
US8154610B2 (en) Image sensor with built-in ISP and dual camera system
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
JP2015041792A (ja) 画像処理装置および撮像装置
US12160678B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
US10009544B2 (en) Image capturing apparatus, control method of the same and image sensor
JP7790452B2 (ja) 撮像装置
US12273607B2 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
JP6248468B2 (ja) 撮像装置および電子機器
CN105376476A (zh) 摄像装置及其控制方法
KR102904533B1 (ko) 이미지 센서를 포함하는 전자 장치 및 이에 대한 제어 방법
JP6669196B2 (ja) 撮像素子及び撮像装置
CN105391921A (zh) 摄像装置、摄像装置的控制方法及图像传感器
KR20250013072A (ko) 듀얼 리모자이크 기반의 이미지 프로세싱 방법 및 이를 이용하는 장치
JP2004165876A (ja) 画像処理装置、デジタルカメラ及び複眼システム
JP2018029404A (ja) 撮像素子および撮像装置
JP2007295492A (ja) 撮影システム、撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763635

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501768

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20763635

Country of ref document: EP

Kind code of ref document: A1