WO2020137662A1 - 撮像装置、撮像装置の画像データ処理方法、及びプログラム - Google Patents

撮像装置、撮像装置の画像データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2020137662A1
WO2020137662A1 PCT/JP2019/049218 JP2019049218W WO2020137662A1 WO 2020137662 A1 WO2020137662 A1 WO 2020137662A1 JP 2019049218 W JP2019049218 W JP 2019049218W WO 2020137662 A1 WO2020137662 A1 WO 2020137662A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
signal processing
processing unit
captured
Prior art date
Application number
PCT/JP2019/049218
Other languages
English (en)
French (fr)
Inventor
小林　誠
智行 河合
長谷川　亮
仁史 桜武
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020563102A priority Critical patent/JP7004851B2/ja
Priority to CN201980086347.3A priority patent/CN113228612A/zh
Publication of WO2020137662A1 publication Critical patent/WO2020137662A1/ja
Priority to US17/351,273 priority patent/US11546561B2/en
Priority to JP2021209412A priority patent/JP7460595B2/ja
Priority to US18/058,243 priority patent/US11902701B2/en
Priority to US18/507,347 priority patent/US20240080410A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor

Definitions

  • the technology of the present disclosure relates to an imaging device, an image data processing method of the imaging device, and a program.
  • Japanese Patent Laying-Open No. 2016-158294 discloses an electronic device including an image sensor, an image processing unit, and a control unit.
  • the image pickup device has a first image pickup area and a second image pickup area.
  • pixels are arranged in the first imaging region and the second imaging region.
  • the imaging element performs imaging in the first imaging region under the first imaging condition, and performs imaging in the second imaging region under the second imaging condition different from the first imaging condition.
  • the image data composed of the pixel signals of the first imaging region and the image data composed of the pixel signals of the second imaging region are output to the image processing unit in the subsequent stage via one system of output line.
  • the image processing unit generates the first image data by performing various image processes on the image data composed of the pixel signals of the first imaging area, and variously processes the image data composed of the pixel signals of the second imaging area.
  • the second image data is generated by performing the image processing of.
  • the control unit causes the display unit to display a live view image or a still image in which the first image represented by the first image data and the second image represented by the second image data are combined.
  • One embodiment according to the technique of the present disclosure is an imaging device capable of realizing high-speed image processing, as compared with a case where image data is output to a plurality of signal processing units from an imaging element using only one output line.
  • An image data processing method for an imaging device and a program are provided.
  • An imaging device is an imaging device including an imaging element, which stores captured image data obtained by capturing an image of a subject by the imaging element, and A storage unit built in the image sensor, an output unit built in the image sensor, and a plurality of signal processing units provided outside the image sensor.
  • the output unit is provided for each of the plurality of signal processing units. It has a plurality of output lines provided corresponding to each other, and the plurality of image data obtained by dividing the captured image data stored in the storage unit from the plurality of output lines corresponds to one of the plurality of signal processing units.
  • To the signal processing unit, and one of the plurality of signal processing units synthesizes the plurality of image data. As a result, it is possible to realize high-speed image processing, as compared with the case where image data is output to a plurality of signal processing units from the image sensor using only one system of output line.
  • each of the plurality of image data is image data indicating an image having an overlapping region between adjacent images among the images based on each of the plurality of image data. is there.
  • the occurrence of the boundary area between the two images is suppressed as compared with the case of joining the two images obtained by simply dividing the captured image.
  • a plurality of images are divided into a designated image and an image different from the designated image.
  • the manifestation of the boundary region between the designated image and the image different from the designated image is suppressed.
  • the detection part which detects the face image data which shows the image of a face from captured image data is further included, and the designated image is the captured image shown by captured image data. It is an image including the image of the face indicated by the face image data detected by the detection unit of the. This suppresses the occurrence of the boundary area between the image including the face image and the image not including the face image.
  • how to divide captured image data is different between the recording imaging mode and the display moving image imaging mode.
  • the balance of image quality, power consumption, and processing speed can be made different between the recording imaging mode and the display moving image imaging mode.
  • the captured image data is divided into a plurality of overlapping image data as a plurality of image data in the recording imaging mode, and the captured image data is line by line in the display moving image imaging mode. Divided by.
  • the recording image capturing mode the image quality can be improved as compared with the display moving image capturing mode, and in the display moving image capturing mode, the power consumption can be suppressed and the processing speed can be increased as compared with the recording image capturing mode. ..
  • each of the plurality of overlapping image data is image data indicating an image having an overlapping region between adjacent images of the plurality of images.
  • the recording image pickup mode is an operation mode that causes the image pickup element to pick up a still image.
  • the captured image data is color image data indicating a color captured image in which a plurality of primary color pixels are periodically arranged, and the color image data is a plurality of images.
  • the data is divided into a plurality of primary color pixel array image data, and each of the plurality of primary color pixel array image data is image data showing an image in which a plurality of primary color pixels are arrayed periodically.
  • the plurality of primary color pixel array image data are a plurality of divided image data obtained by thinning and dividing the color image data. Accordingly, it is possible to realize high-speed processing as compared with a case where a plurality of image data obtained by dividing the color image data without being thinned out is processed by a plurality of signal processing units.
  • the plurality of divided image data is a set of pixels in odd columns among the thinned image data obtained by thinning out the color image data row by row.
  • the odd-numbered column image data is shown, and the even-numbered column image data is a set of pixels in the even-numbered column.
  • any of the plurality of signal processing units performs demosaic processing on the combined image data obtained by combining the plurality of image data. As a result, it is possible to obtain a high quality image as compared with the case where the demosaic process is not performed.
  • the plurality of image data are a plurality of compressed image data obtained by compressing the captured image data by dividing the captured image data in a plurality of bit ranges.
  • each of the plurality of signal processing units can realize high-speed processing as compared with the case of processing the image data obtained by being irregularly divided.
  • the plurality of compressed image data are image data of upper bits and image data of lower bits of the captured image data.
  • the imaging element is an imaging element in which at least a photoelectric conversion element and a storage unit are integrated into one chip.
  • the imaging device is a stacked imaging device in which the storage unit is stacked on the photoelectric conversion element.
  • the imaging device further includes a control unit that controls the display unit to display an image based on the plurality of image data output by the output unit. This allows the user to visually recognize an image based on the plurality of image data output by the output unit.
  • An image data processing method stores an image sensor, captured image data obtained by capturing an image of a subject by the image sensor, and a storage built in the image sensor.
  • An image data processing method for an image pickup apparatus comprising: an image pickup device, an output unit built in the image pickup device, and a plurality of signal processing units provided outside the image pickup device.
  • a plurality of output lines provided corresponding to each of the plurality of output lines, and the plurality of image data obtained by dividing the captured image data stored in the storage unit from the plurality of output lines are subjected to a plurality of signal processings.
  • a program stores an image sensor, a storage unit that stores captured image data obtained by capturing an image of a subject by the image sensor, and that is embedded in the image sensor.
  • An imaging device is an imaging device including an imaging element, which stores captured image data obtained by capturing an image of a subject by the imaging element, and An internal memory, a processor incorporated in the image pickup device, and a plurality of signal processing units provided outside the image pickup device.
  • the processor is associated with each of the plurality of signal processing units.
  • Each of the plurality of image data obtained by dividing the captured image data stored in the memory from the plurality of output lines.
  • any one of the plurality of signal processing units synthesizes a plurality of image data.
  • FIG. 3 is a block diagram showing a data flow in the image pickup apparatus according to the first embodiment. It is a conceptual diagram which shows the characteristic of the left side image and right side image contained in a captured image.
  • FIG. 3 is a block diagram showing a configuration of a controller and a UI system device included in the image pickup apparatus, and peripheral components of the controller and the UI system device. It is a schematic block diagram which shows the structure of a hybrid finder.
  • FIG. 6 is a flowchart showing a flow of image pickup processing according to the first embodiment. It is a flow chart which shows the flow of the 1st signal processing concerning a 1st embodiment. It is a flow chart which shows the flow of the 2nd signal processing concerning a 1st embodiment. It is a block diagram which shows the flow of the data in the imaging device which concerns on 2nd Embodiment. It is an image figure which shows the relationship between a face area image and a background area image. It is an image figure which shows the relationship between a face area image, a background area image, and an overlap area. It is a flow chart which shows the flow of the image pick-up processing concerning a 2nd embodiment.
  • FIG. 7 is an explanatory diagram for explaining a method of generating vertical thinned-out image data from captured image data. It is a conceptual diagram which shows the relationship between vertical thinned-out image data, odd-numbered column image data, and even-numbered column image data. It is a conceptual diagram which shows the aspect which separates vertical thinned-out image data into odd-numbered column image data and even-numbered column image data.
  • FIG. 6 is an explanatory diagram for explaining a method of generating vertical thinned-out image data from captured image data in a Bayer array. It is a conceptual diagram which shows the relationship between vertical thinned-out image data, 1st horizontal thinned-out image data, and 2nd horizontal thinned-out image data.
  • FIG. 3 is a block diagram showing a mode in which captured image data is separated into upper bit data and lower bit data and then processed. It is a conceptual diagram which shows the relationship with an image sensor, a some signal processing part, and a controller at the time of using three or more signal processing parts.
  • FIG. 1 It is a conceptual diagram which shows an example of the aspect in which the imaging processing program is installed in the computer in an image pick-up element from the storage medium which stored the imaging processing program. It is a block diagram which shows an example of schematic structure of the smart device with which the imaging element which concerns on embodiment is incorporated.
  • the CPU refers to the abbreviation of "Central Processing Unit”.
  • RAM refers to an abbreviation of “Random Access Memory”.
  • ROM is an abbreviation for “Read Only Memory”.
  • DRAM is an abbreviation of “Dynamic Random Access Memory”.
  • SRAM refers to an abbreviation of “Static Random Access Memory”.
  • IC refers to an abbreviation of “Integrated Circuit”.
  • LSI is an abbreviation for “Large-Scale Integration”.
  • ASIC is an abbreviation of “Application Specific Integrated Circuit”.
  • PLD is an abbreviation for “Programmable Logic Device”.
  • FPGA is an abbreviation for “Field-Programmable Gate Array”.
  • SSD refers to the abbreviation of “Solid State Drive”.
  • DVD-ROM is an abbreviation of "Digital Versatile Disc Read Only Memory”.
  • USB is an abbreviation of “Universal Serial Bus”.
  • HDD is an abbreviation for “Hard Disk Drive”.
  • EEPROM is an abbreviation of “Electrically Erasable and Programmable Read Only Memory”.
  • CCD is an abbreviation for “Charge Coupled Device”.
  • CMOS is an abbreviation for “Complementary Metal Oxide Semiconductor”.
  • EL means an abbreviation of "Electro-Luminescence”.
  • A/D is an abbreviation for “Analog/Digital”.
  • the FIFO means an abbreviation of “First in First out”.
  • the I/F is an abbreviation of “Interface”.
  • EIS is an abbreviation of "Electronics Image Stabilization”.
  • AF is an abbreviation for “Auto-Focus”.
  • AE is an abbreviation for "Automatic Exposure”.
  • UI is an abbreviation of “User Interface”.
  • the imaging device 10 is an interchangeable lens type camera.
  • the imaging device 10 is a digital camera that includes an imaging device main body 12 and an interchangeable lens 14 that is replaceably attached to the imaging device main body 12 and does not include a reflex mirror.
  • a hybrid finder (registered trademark) 16 is provided in the imaging device body 12.
  • the hybrid finder 16 referred to here is a finder in which, for example, an optical viewfinder (hereinafter referred to as “OVF”) and an electronic viewfinder (hereinafter referred to as “EVF”) are selectively used.
  • OVF optical viewfinder
  • EVF electronic viewfinder
  • a viewfinder switching lever 18 is provided on the front surface of the imaging device body 12.
  • the optical image visible on the OVF and the live view image which is an electronic image visible on the EVF are switched by rotating the finder switching lever 18 in the arrow SW direction.
  • the “live view image” here means a moving image for display obtained by being imaged by the photoelectric conversion element 61 (see FIGS. 3 and 4) described later.
  • the live view image is also generally called a through image.
  • a release button 20 and a dial 22 are provided on the upper surface of the imaging device body 12.
  • the dial 22 is operated when setting the operation mode of the imaging system and the operation mode of the reproduction system.
  • the release button 20 functions as an imaging preparation instruction unit and an imaging instruction unit, and can detect a two-step pressing operation of an imaging preparation instruction state and an imaging instruction state.
  • the imaging preparation instruction state refers to, for example, a state of being pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state is a state of being pressed to the final pressed position (full-pressed position) beyond the intermediate position. Refers to. In the following, the "state in which the standby position is pressed down to the half-pressed position" is referred to as the "half-pressed state", and the "state in which the standby position is pressed down to the fully-pressed position” is referred to as the "full-pressed state”.
  • an image pickup mode and a reproduction mode are selectively set as operation modes according to a user's instruction.
  • the imaging modes are roughly classified into a display moving image imaging mode and a recording imaging mode.
  • a live view image based on display image data for a plurality of continuous frames obtained by continuous capturing is displayed on a first display 32 and/or a second display 86 (FIGS. 8 and 9) described later.
  • the display image data is image data for a live view image, and is generated, for example, by a CPU 46A (see FIG. 8) described later based on captured image data 70 (see FIGS. 3 to 7) showing an image of a subject.
  • the captured image data 70 refers to image data obtained by capturing an image of a subject by an image sensor 44 (see FIG. 3) described later. Note that, hereinafter, for convenience of description, the image represented by the captured image data 70 is referred to as a “captured image”.
  • the recording image capturing mode is roughly classified into a still image capturing mode and a moving image capturing mode.
  • the still image capturing mode is an operation mode that causes the image sensor 44 (see FIG. 3) to capture a still image.
  • a still image obtained by capturing an image of a subject by the image capturing apparatus 10 is recorded in a specific recording device (for example, a secondary storage device (see FIG. 8)).
  • the moving image capturing mode is an operation mode that causes the image sensor 44 (see FIG. 3) to capture a moving image.
  • a moving image obtained by capturing an image of a subject by the image capturing apparatus 10 is stored in a specific recording device.
  • the live view image is displayed on the first display 32 and/or the second display 86 described later, and the recording image data is recorded on the secondary storage device 80 (see FIG. 8) and/or the memory described below.
  • the image data for recording is roughly classified into still image data and moving image data, and is generated based on the captured image data 70 (see FIGS. 3 to 7).
  • the imaging device 10 When the imaging mode is set, the imaging device 10 first enters the display moving image imaging mode. In the display moving image capturing mode, when the release button 20 is pressed, the image capturing apparatus 10 shifts from the display moving image capturing mode to the recording capturing mode.
  • manual focus mode and auto focus mode are selectively set according to the user's instruction.
  • the release button 20 is half-pressed to adjust the imaging condition, and then, when the full-pressed state is continued, the exposure is performed. That is, when the release button 20 is half-pressed, the AE function works and the exposure state is set, then the AF function works and focus control is performed, and when the release button 20 is fully pressed, imaging is performed. ..
  • a touch panel display 26, instruction keys 28, and a viewfinder eyepiece 30 are provided on the back surface of the imaging device body 12.
  • the touch panel display 26 includes a first display 32 and a touch panel 34 (see also FIG. 8).
  • the first display 32 may be a liquid crystal display or an organic EL display.
  • the first display 32 displays images and character information.
  • the first display 32 is used to display live view images obtained by continuous image capturing when the image capturing apparatus 10 is in the image capturing mode.
  • the first display 32 is also used for displaying a still image obtained by being imaged when a still image imaging instruction is given. Further, the first display 32 is also used to display a reproduced image and a menu screen when the imaging device 10 is in the reproduction mode.
  • the touch panel 34 is a transmissive touch panel, and is superimposed on the surface of the display area of the first display 32.
  • the touch panel 34 detects, for example, a contact with a finger or a pointer such as a stylus pen, and outputs the detection result to a predetermined output destination such as a CPU 46A (see FIG. 8) described later.
  • the instruction key 28 receives various instructions such as selection of one or more menus, confirmation of selection, deletion of selection, zooming, and frame advance.
  • the imaging device 10 includes mounts 36 and 38.
  • the mount 36 is provided on the imaging device body 12.
  • the mount 38 is provided at a position corresponding to the position of the mount 36 in the interchangeable lens 14.
  • the interchangeable lens 14 is replaceably attached to the image pickup apparatus main body 12 by connecting the mount 38 to the mount 36.
  • the interchangeable lens 14 has an imaging lens 40.
  • the imaging lens 40 includes an objective lens 40A, a focus lens 40B, a zoom lens 40C, and a diaphragm 40D.
  • the objective lens 40A, the focus lens 40B, the zoom lens 40C, and the diaphragm 40D are arranged along the optical axis L1 from the subject side to the imaging device body 12 side, and the objective lens 40A, the focus lens 40B, the zoom lens 40C, and the diaphragm 40D. They are arranged in order.
  • the focus lens 40B, the zoom lens 40C, and the diaphragm 40D operate by receiving power from a drive source (not shown) such as a motor under the control of a CPU 46A (see FIG. 8) described later. That is, the focus lens 40B and the zoom lens 40C move along the optical axis L1 according to the applied power. Further, the diaphragm 40D operates according to the applied power to adjust the exposure.
  • a drive source not shown
  • a motor such as a motor under the control of a CPU 46A (see FIG. 8) described later. That is, the focus lens 40B and the zoom lens 40C move along the optical axis L1 according to the applied power. Further, the diaphragm 40D operates according to the applied power to adjust the exposure.
  • the image pickup apparatus main body 12 includes a mechanical shutter 42 and an image pickup element 44.
  • the mechanical shutter 42 operates by receiving power from a drive source (not shown) such as a motor under the control of a CPU 46A (see FIG. 8) described later.
  • a drive source not shown
  • the interchangeable lens 14 is attached to the image pickup apparatus main body 12 via the mounts 36 and 38, the subject light indicating the subject passes through the image pickup lens 40 and is transmitted to the light receiving surface 44A of the image pickup element 44 via the mechanical shutter 42. It is imaged.
  • the image pickup apparatus main body 12 includes a controller 46, a UI device 48, a first signal processing unit 50, a second signal processing unit 52, and DRAMs 54 and 56.
  • the first signal processing unit 50 and the second signal processing unit 52 are examples of the “plurality of signal processing processors” according to the technology of the present disclosure.
  • the controller 46 controls the entire imaging device 10.
  • the UI device 48 is a device that presents information to the user and receives instructions from the user.
  • a UI device 48 is connected to the controller 46, and the controller 46 acquires various information from the UI device 48 and controls the UI device 48.
  • the image sensor 44 is connected to the controller 46 via a communication line 57, and under the control of the controller 46, images a subject and generates captured image data 70. Although described in detail later, the image sensor 44 separates the generated captured image data 70 into two pieces of image data. In the example shown in FIG. 3, the first separated image data 70A is shown as one of the two image data obtained by separating the captured image data 70, and the second separated image data is shown as the other image data. Image data 70B is shown.
  • the image pickup element 44 is connected to the first signal processing section 50 via the first output line 53, and is connected to the second signal processing section 52 via the second output line 55.
  • Each of the first signal processing unit 50 and the second signal processing unit 52 is an LSI.
  • each of the first signal processing unit 50 and the second signal processing unit 52 is realized by an ASIC.
  • the technology of the present disclosure is not limited to this.
  • PLD and/or FPGA may be adopted instead of ASIC.
  • an ASIC, PLD, and/or FPGA may be adopted.
  • a computer including a CPU, a ROM, and a RAM may be adopted.
  • the CPU may be singular or plural.
  • the first signal processing unit 50 and/or the second signal processing unit 52 may be realized by a combination of a hardware configuration and a software configuration.
  • the first signal processing unit 50 and the second signal processing unit 52 are connected to each other via a communication line 58.
  • the first signal processing unit 50 is connected to the DRAM 54, and the second signal processing unit 52 is connected to the DRAM 56.
  • the first signal processing unit 50 is connected to the controller 46 via the communication line 60.
  • the image pickup device 44 outputs the first separated image data 70A to the first signal processing unit 50 via the first output line 53, and outputs the second separated image data 70B to the second signal processing unit 50 via the second output line 55. Output to 52.
  • the first signal processing unit 50 performs various signal processing (for example, “specific signal processing” described later) on the input first separated image data 70A in cooperation with the DRAM 54.
  • the second signal processing unit 52 performs various kinds of signal processing (for example, “specific signal processing” described later) on the input second separated image data 70B in cooperation with the DRAM 56. Then, the second signal processing unit 52 outputs the second separated image data 70B that has undergone various signal processings to the first signal processing unit 50 via the communication line 58.
  • the first signal processing unit 50 synthesizes the first separated image data 70A that has been subjected to various kinds of signal processing and the second separated image data 70B input from the second signal processing unit 52, and then, via the communication line 60. Output to the controller 46.
  • the image sensor 44 is an example of a “multilayer image sensor” according to the technology of the present disclosure.
  • the image sensor 44 is, for example, a CMOS image sensor.
  • the image sensor 44 includes a photoelectric conversion element 61, a processing circuit 62, and a memory 64.
  • the image pickup element 44 is an image pickup element in which the photoelectric conversion element 61, the processing circuit 62, and the memory 64 are integrated into one chip. That is, the photoelectric conversion element 61, the processing circuit 62, and the memory 64 are packaged in one package. In the image sensor 44, the processing circuit 62 and the memory 64 are stacked on the photoelectric conversion element 61.
  • the photoelectric conversion element 61 and the processing circuit 62 are electrically connected to each other by conductive bumps (not shown) such as copper, and the processing circuit 62 and the memory 64 are also conductive such as copper. Are electrically connected to each other by bumps (not shown) having a.
  • the memory 64 is an example of a “storage unit” according to the technique of the present disclosure.
  • the processing circuit 62 is, for example, an LSI, and the memory 64 is, for example, a DRAM.
  • the technique of the present disclosure is not limited to this, and SRAM may be adopted as the memory 64 instead of DRAM.
  • the processing circuit 62 is realized by an ASIC, and controls the entire imaging element 44 according to an instruction from the controller 46.
  • the processing circuit 62 is realized by an ASIC, but the technique of the present disclosure is not limited to this.
  • PLD and/or FPGA may be adopted instead of ASIC.
  • an ASIC, PLD, and/or FPGA may be adopted.
  • a computer including a CPU, a ROM, and a RAM may be adopted.
  • the CPU may be singular or plural.
  • the processing circuit 62 may be realized by a combination of hardware configuration and software configuration.
  • the photoelectric conversion element 61 has a plurality of photodiodes arranged in a matrix.
  • An example of the plurality of photodiodes is a photodiode for “4896 ⁇ 3265” pixels.
  • the photoelectric conversion element 61 includes a color filter, and the color filter includes a G filter corresponding to G (green) that most contributes to obtain a luminance signal, an R filter corresponding to R (red), and a B (blue) filter. ) Corresponding to the B filter.
  • the G filter, the R filter, and the B filter are arranged in the row direction (horizontal direction) and the column direction (vertical direction) with a predetermined periodicity for the plurality of photodiodes of the photoelectric conversion element 61. ing. Therefore, the imaging device 10 can perform processing in accordance with a repeating pattern when performing demosaicing processing of R, G, and B signals.
  • the demosaic process refers to a process of calculating all color information for each pixel from a mosaic image corresponding to the color filter array of the single-plate color image sensor.
  • the demosaic process means a process of calculating color information of all RGB for each pixel from a mosaic image of RGB.
  • CMOS image sensor is illustrated as the image pickup element 44 here, the technique of the present disclosure is not limited to this, and for example, the technique of the present disclosure is established even when the image pickup element 44 is a CCD image sensor. ..
  • the image pickup element 44 has a so-called electronic shutter function, and by operating the electronic shutter function under the control of the controller 46, the charge storage time of each photodiode in the photoelectric conversion element 61 is controlled.
  • the charge storage time refers to so-called shutter speed.
  • the image capturing apparatus 10 uses a rolling shutter method to capture a still image and a moving image. Imaging for a still image is realized by activating the electronic shutter function and actuating the mechanical shutter 42 (see FIG. 3), and imaging for a live view image is performed without operating the mechanical shutter 42. It is realized by activating a function.
  • the rolling shutter method is illustrated here, the technology of the present disclosure is not limited to this, and a global shutter method may be applied instead of the rolling shutter method.
  • the processing circuit 62 reads the picked-up image data 70 obtained by picking up an image of a subject by the photoelectric conversion element 61.
  • the captured image data 70 is signal charges accumulated in the photoelectric conversion element 61.
  • the processing circuit 62 performs A/D conversion on the captured image data 70 read from the photoelectric conversion element 61.
  • the processing circuit 62 stores the captured image data 70 obtained by performing A/D conversion on the captured image data 70 in the memory 64.
  • the processing circuit 62 acquires the captured image data 70 from the memory 64 and performs various processes on the acquired captured image data 70.
  • the “various processes” mentioned here include a process of separating the captured image data 70 into the first separated image data 70A and the second separated image data 70B, as shown in FIG.
  • the processing circuit 62 outputs the first separated image data 70A to the first signal processing unit 50 via the first output line 53, and outputs the second separated image data 70B to the second signal processing unit 70B via the second output line 55. Output to 52.
  • the processing circuit 62 includes a photoelectric conversion element control circuit 62A, a digital processing circuit 62B, an image processing circuit 62C, and an output circuit 62D.
  • the output circuit 62D is an example of an “output unit” according to the technique of the present disclosure.
  • the photoelectric conversion element control circuit 62A is connected to the photoelectric conversion element 61 and the digital processing circuit 62B.
  • the memory 64 is connected to the digital processing circuit 62B and the image processing circuit 62C.
  • the image processing circuit 62C is connected to the output circuit 62D and the memory 64.
  • the output circuit 62D has a first output line 53 and a second output line 55.
  • the first output line 53 corresponds to the first signal processing unit 50, and connects the output circuit 62D and the first signal processing unit 50.
  • the second output line 55 corresponds to the second signal processing unit 52, and connects the output circuit 62D and the second signal processing unit 52.
  • the photoelectric conversion element control circuit 62A controls the photoelectric conversion element 61 under the control of the controller 46, and reads analog captured image data 70 from the photoelectric conversion element 61.
  • the digital processing circuit 62B performs signal processing of correlated double sampling on the analog captured image data 70 read by the photoelectric conversion element control circuit 62A, and then performs A/D conversion to perform analog captured image data. Digitize 70. Then, the digital processing circuit 62B stores the digitized captured image data 70 in the memory 64.
  • the memory 64 is a memory capable of storing the captured image data 70 of a plurality of frames.
  • the memory 64 has a storage area (not shown) for each pixel, and the captured image data 70 is stored in the corresponding storage area of the memory 64 for each pixel by the digital processing circuit 62B.
  • the image processing circuit 62C acquires the captured image data 70 from the memory 64 and processes the acquired captured image data 70.
  • the image processing circuit 62C performs various processes described above on the captured image data 70.
  • the image processing circuit 62C separates the captured image data 70 into first separated image data 70A and second separated image data 70B, and obtains the separated first image data 70A and second separated image data 70B (FIG. 3). And FIG. 4) are output to the output circuit 62D.
  • the output circuit 62D outputs the first separated image data 70A input from the image processing circuit 62C to the first signal processing unit 50 via the first output line 53. Further, the output circuit 62D outputs the second separated image data 70B input from the image processing circuit 62C to the second signal processing unit 52 via the second output line 55.
  • the output frame rate of the output circuit 62D is the same as the frame rate used by the device in the subsequent stage of the image sensor 44.
  • the output frame rate is a frame rate required for the output circuit 62D to output the first separated image data 70A and the second separated image data 70B, and is, for example, 60 fps (frames per second).
  • the imaging frame rate is a frame rate required for imaging performed by the photoelectric conversion element 61, the photoelectric conversion element control circuit 62A, the digital processing circuit 62B, and the memory 64 in cooperation, and is 120 fps, for example.
  • imaging refers to a process from the start of exposure for one frame in the photoelectric conversion element 61 to the storage of the captured image data 70 for one frame in the memory 64.
  • the image processing circuit 62C acquires the captured image data 70 from the memory 64 and separates the acquired captured image data 70 into left image data 70A1 and right image data 70B1.
  • the image processing circuit 62C outputs the left image data 70A1 and the right image data 70B1 obtained by separating the captured image data 70 to the output circuit 62D.
  • the left-side image data 70A1 is an example of the above-described first separated image data 70A (see FIGS. 3 to 5), and the right-side image data 70B1 corresponds to the above-described second separated image data 70B (see FIGS. 3 to 5). This is an example.
  • the left image data 70A1 is image data showing the left image 70A1a (see FIG. 7)
  • the right image data 70B1 is image data showing the right image 70B1a (see FIG. 7).
  • the left side image 70A1a and the right side image 70B1a are a pair of left and right images that are adjacent to each other.
  • the left image 70A1a and the right image 70B1a have an overlapping area 71.
  • the overlapping area 71 is an area that overlaps in the left-right direction RL between the left image 70A1a and the right image 70B1a.
  • the number of pixels of the overlapping region 71 in the left-right direction RL is, for example, several tens to several hundreds of pixels.
  • the image processing circuit 62C acquires the captured image data 70 from the memory 64 and the acquired captured image data 70 is separated. It is not limited to this.
  • the image processing circuit 62C first selects the left image data 70A1 and the right image data 70B1 from the captured image data 70 according to a predetermined address in the memory 64. Then, the image processing circuit 62C directly acquires the selected left image data 70A1 and right image data 70B1 from the memory 64.
  • the predetermined addresses are the acquisition address of the left image data 70A1 and the acquisition address of the right image data 70B1.
  • the acquisition address of the left-side image data 70A1 and the acquisition address of the right-side image data 70B1 are determined so that each of the left-side image data 70A1 and the right-side image data 70B1 also includes the image data indicating the overlapping area 71.
  • the first signal processing unit 50 has a buffer 50A, a signal processing circuit 50B, and a receiving circuit 50C.
  • the DRAM 54 and the controller 46 are connected to the signal processing circuit 50B.
  • the second signal processing unit 52 has a buffer 52A, a signal processing circuit 52B, and a transmission circuit 52C.
  • a DRAM 56 is connected to the signal processing circuit 52B.
  • the output circuit 62D outputs the left-side image data 70A1 to the buffer 50A via the first output line 53.
  • the buffer 50A holds the input left-side image data 70A1 and outputs it to the signal processing circuit 50B by the FIFO method.
  • the signal processing circuit 50B stores the left-side image data 70A1 input from the buffer 50A in the DRAM 54.
  • the signal processing circuit 50B performs signal processing such as color tone correction, white balance adjustment, sharpness adjustment, gamma correction, and gradation correction on the left image data 70A1 stored in the DRAM 54 (hereinafter referred to as "specific signal processing"). ) Is applied.
  • the output circuit 62D outputs the right image data 70B1 to the buffer 52A via the second output line 55.
  • the buffer 52A holds the input right-side image data 70B1 and outputs it to the signal processing circuit 52B by the FIFO method.
  • the signal processing circuit 52B stores the right side image data 70B1 input from the buffer 52A in the DRAM 56.
  • the signal processing circuit 52B performs specific signal processing on the right image data 70B1 stored in the DRAM 56.
  • the transmission circuit 52C transmits the right side image data 70B1 subjected to the specific signal processing by the signal processing circuit 52B to the first signal processing unit 50.
  • the receiving circuit 50C receives the right side image data 70B1 transmitted from the transmitting circuit 52C.
  • the signal processing circuit 50B generates the composite image data 72 by combining the right image data 70B1 received by the receiving circuit 50C and the signal processed left image data 70A1.
  • the signal processing circuit 50B outputs the composite image data 72 obtained by the combination to the controller 46 via the communication line 60.
  • the composite image data 72 is generated by joining the left image data 70A1 and the right image data 70B1.
  • the image data indicating the overlapping area 71 (see FIG. 7) in the left image data 70A1 and the image data indicating the overlapping area 71 (see FIG. 7) in the right image data 70B1 are added and averaged.
  • the occurrence of the boundary area between the two images is suppressed as compared with the case where two images obtained by simply dividing the captured image in the left-right direction RL (see FIG. 7) are joined together.
  • the “replacement” here means to replace one of the image data indicating the overlapping area 71 in the left image data 70A1 and the image data indicating the overlapping area 71 in the right image data 70B1 with the other.
  • the controller 46 includes a CPU 46A, a ROM 46B, a RAM 46C, a connection I/F 46D, and an input I/F 46E.
  • the CPU 46A, ROM 46B, RAM 46C, connection I/F 46D, and input I/F 46E are connected to each other via a bus line 88.
  • the CPU 46A reads various programs from the ROM 46B and expands the read various programs in the RAM 46C.
  • the CPU 46A controls the entire imaging device 10 according to various programs loaded in the RAM 46C.
  • connection I/F 46D is an FPGA, and is connected to the image sensor 44 via the communication line 57.
  • the CPU 46A controls the image pickup element 44 via the connection I/F 46D.
  • the input I/F 46E is a device having an FPGA and is connected to the first signal processing unit 50 via the communication line 60.
  • the composite image data 72 (see FIG. 6) is input to the input I/F 46E from the first signal processing unit 50 via the communication line 60.
  • the input I/F 46E transfers the composite image data 72 input from the first signal processing unit 50 to the CPU 46A.
  • a secondary storage device 80 and an external I/F 82 are connected to the bus line 88.
  • the secondary storage device 80 is a non-volatile memory such as SSD, HDD, or EEPROM.
  • the CPU 46A reads/writes various information from/to the secondary storage device 80.
  • the external I/F 82 is a device having an FPGA.
  • An external device (not shown) such as a USB memory or a memory card is connected to the external I/F 82.
  • the external I/F 82 controls the exchange of various information between the CPU 46A and the external device.
  • the UI device 48 includes the hybrid finder 16, the touch panel display 26, and the reception unit 84.
  • the first display 32 and the touch panel 34 are connected to the bus line 88. Therefore, the CPU 46A causes the first display 32 to display various information and operates according to various instructions received by the touch panel 34.
  • the reception unit 84 includes the touch panel 34 and the hard key unit 25.
  • the hard key unit 25 is a plurality of hard keys, and has a release button 20, a dial 22, and an instruction key 28.
  • the hard key unit 25 is connected to the bus line 88, and the CPU 46A operates according to various instructions received by the hard key unit 25.
  • the hybrid finder 16 has a second display 86.
  • the CPU 46A causes the second display 86 to display various information.
  • the hybrid finder 16 includes an OVF 90 and an EVF 92.
  • the OVF 90 is an inverted Galileo finder and has an eyepiece lens 94, a prism 96, and an objective lens 98.
  • the EVF 92 has a second display 86, a prism 96, and an eyepiece lens 94.
  • a liquid crystal shutter 100 is disposed closer to the subject side than the objective lens 98 along the optical axis L2 of the objective lens 98, and when the EVF 92 is used, the liquid crystal shutter 100 does not cause an optical image to enter the objective lens 98. To block light.
  • the prism 96 reflects the electronic image or various information displayed on the second display 86 and guides it to the eyepiece lens 94, and the optical image and the electronic image and/or various information displayed on the second display 86. To synthesize.
  • An example of the electronic image displayed on the second display 86 is the live view image 102 based on the composite image data 72.
  • the CPU 46A controls the liquid crystal shutter 100 so that the liquid crystal shutter 100 is in a non-light-shielding state so that the optical image can be visually recognized from the eyepiece lens 94. Further, in the EVF mode, the CPU 46A controls the liquid crystal shutter 100 so that the liquid crystal shutter 100 is in a light-shielding state so that only the electronic image displayed on the second display 86 can be visually recognized from the eyepiece lens 94.
  • the first display 32 (see FIGS. 2 and 8) and the second display 86 will be referred to as “displays” without reference numerals unless it is necessary to describe them separately.
  • the display is an example of a “display unit” according to the technology of the present disclosure.
  • the CPU 46A is an example of the “control unit (control processor)” according to the technology of the present disclosure.
  • step ST10 the photoelectric conversion element control circuit 62A determines whether or not the timing to start the exposure of the photoelectric conversion element 61 (hereinafter, referred to as “exposure start timing”) has arrived. Determine whether.
  • the exposure start timing is a timing that is periodically defined by the above-described image pickup frame rate.
  • step ST10 if the exposure start timing has not come, the determination is negative and the imaging process moves to step ST22.
  • step ST10 if the exposure start timing has come, the determination is affirmative and the imaging process moves to step ST12.
  • step ST12 the photoelectric conversion element control circuit 62A causes the photoelectric conversion element 61 to perform exposure for one frame.
  • the photoelectric conversion element control circuit 62A reads the captured image data 70 for one frame from the photoelectric conversion element 61.
  • the digital processing circuit 62B performs signal processing of correlated double sampling on the captured image data 70 read in step ST14 and then performs A/D conversion to obtain analog captured image data. Digitize 70. Then, the digital processing circuit 62B stores the digitized captured image data 70 in the memory 64.
  • the image processing circuit 62C acquires the captured image data 70 from the memory 64, and acquires the captured image data 70 as left image data 70A1 (see FIG. 6) and right image data 70B1 (see FIG. 6). To separate.
  • the image processing circuit 62C outputs the left image data 70A1 and the right image data 70B1 to the output circuit 62D.
  • the output circuit 62D outputs the left-side image data 70A1 to the first signal processing unit 50 via the first output line 53 (see FIGS. 3 to 6 and 8). Further, the output circuit 62D outputs the right-side image data 70B1 to the second signal processing unit 52 via the second output line 55 (see FIGS. 3 to 6 and 8).
  • the processing circuit 62 determines whether or not a condition for ending the imaging process (hereinafter, referred to as “imaging process end condition”) is satisfied.
  • the image capturing process end condition include a condition that an instruction to end the image capturing process is received by the receiving unit 84.
  • the determination is negative, and the image capturing process proceeds to step ST10.
  • the determination is affirmative and the imaging process ends.
  • step ST30 the first signal processing unit 50 determines whether or not the left image data 70A1 (see FIG. 6) is input from the processing circuit 62. In step ST30, if the left image data 70A1 is not input from the processing circuit 62, the determination is negative and the first signal processing proceeds to step ST42. In step ST30, when the left image data 70A1 is input from the processing circuit 62, the determination is affirmative and the first signal processing proceeds to step ST32.
  • step ST32 the first signal processing unit 50 performs specific signal processing on the left image data 70A1.
  • the first signal processing unit 50 receives the right image data 70B1 (see FIG. 6) transmitted by executing the process of step ST54 of the second signal processing shown in FIG. Determine whether.
  • the determination is negative and the first signal processing proceeds to step ST40.
  • the determination is affirmative and the first signal processing proceeds to step ST36.
  • step ST40 the first signal processing unit 50 determines whether or not a condition for ending the first signal processing (hereinafter, referred to as “first signal processing end condition”) is satisfied.
  • first signal processing end condition examples include a condition that an instruction to end the first signal processing is received by the reception unit 84.
  • the determination is negative and the first signal processing proceeds to step ST34.
  • the determination is affirmative and the first signal processing is terminated.
  • step ST36 the first signal processing unit 50 performs the combining process of combining the left image data 70A1 obtained by executing the process of step ST32 and the right image data 70B1 received in step ST34.
  • the composite image data 72 (see FIG. 6) is generated.
  • the first signal processing unit 50 sends the combined image data 72 obtained by executing the process of step ST36 to the controller 46 (see FIG. 6 and FIG. 8) via the communication line 60 (see FIGS. 6 and 8). (See FIG. 6).
  • step ST42 the first signal processing unit 50 determines whether or not the first signal processing termination condition is satisfied. In step ST42, when the first signal processing termination condition is not satisfied, the determination is negative, and the first signal processing proceeds to step ST30. When the first signal processing end condition is satisfied in step ST42, the determination is affirmative and the first signal processing ends.
  • step ST50 the second signal processing unit 52 determines whether the right image data 70B1 (see FIG. 6) has been input from the processing circuit 62. In step ST50, when the right image data 70B1 is not input from the processing circuit 62, the determination is negative and the second signal processing proceeds to step ST56. In step ST50, when the right image data 70B1 is input from the processing circuit 62, the determination is affirmative and the second signal processing proceeds to step ST52.
  • step ST52 the second signal processing unit 52 performs specific signal processing on the right image data 70B1.
  • the second signal processing unit 52 sends the right-side image data 70B1 obtained by executing the process of step ST52 via the communication line 58 (see FIGS. 3 to 6 and 8). It transmits to the 1st signal processing part 50.
  • the second signal processing unit 52 determines whether or not the condition for ending the second signal processing (hereinafter, referred to as "second signal processing end condition") is satisfied.
  • the second signal processing end condition include a condition that an instruction to end the second signal processing is received by the reception unit 84.
  • the determination is negative and the second signal processing proceeds to step ST50.
  • the determination is affirmative and the second signal processing ends.
  • the image pickup device 10 includes the image pickup element 44, the first signal processing unit 50, and the second signal processing unit 52.
  • the image sensor 44 also includes an output circuit 62D.
  • the left image data 70A1 is output to the first signal processing unit 50 by the output circuit 62D via the first output line 53
  • the right image data 70B1 is second signal processed by the output circuit 62D via the second output line 55. It is output to the unit 52.
  • the left-side image data 70A1 and the right-side image data 70B1 respectively subjected to the specific signal processing are combined by the first signal processing unit 50, and the combined image data 72 obtained by the combination are output to the controller 46.
  • the image sensor 44, the first signal processing unit 50, and the second signal processing unit 50 are reduced.
  • the data amount of the image data which is the target of the specific signal processing by each of the first signal processing unit 50 and the second signal processing unit 52, is smaller than the captured image data 70. Therefore, as compared with the case where only the first signal processing unit 50 or the second signal processing unit 52 performs specific signal processing on the entire captured image data 70, the first signal processing unit when performing specific signal processing. The load on each of the 50 and the second signal processing unit 52 is reduced.
  • the image pickup apparatus 10 can realize high-speed image processing as compared with the case where image data is output from the image pickup element 44 to a plurality of signal processing units by using only one output line.
  • Each of the left-side image data 70A1 and the right-side image data 70B1 is image data indicating an image having an overlapping area 71 between the left-side image 70A1a and the right-side image 70B1a, as shown in FIG.
  • the boundary area between the two images may become apparent.
  • each of the left-side image 70A1a and the right-side image 70B1a has an overlapping area 71. Therefore, it is possible to suppress the occurrence of a situation in which the boundary region between the two images becomes apparent as compared with the case where two images obtained by simply dividing the captured image in the left-right direction RL are combined.
  • the image pickup element 44 is an image pickup element in which the photoelectric conversion element 61, the processing circuit 62, and the memory 64 are integrated into one chip.
  • the portability of the image pickup device 44 is higher than that of the image pickup device in which the photoelectric conversion element 61, the processing circuit 62, and the memory 64 are not integrated into one chip.
  • the degree of freedom in design can be increased as compared with an image pickup device in which the photoelectric conversion element 61, the processing circuit 62, and the memory 64 are not integrated into one chip.
  • the photoelectric conversion element 61, the processing circuit 62, and the memory 64 can contribute to downsizing of the image pickup apparatus main body 12 as compared with an image pickup element in which one chip is not formed.
  • the image pickup element 44 a laminated type image pickup element in which a memory 64 is laminated on a photoelectric conversion element 61 is adopted.
  • the load on the processing between the photoelectric conversion element 61 and the memory 64 can be reduced.
  • the degree of freedom in design can be increased as compared with the case where the photoelectric conversion element 61 and the memory 64 are not stacked. Further, it is possible to contribute to downsizing of the imaging device body 12 as compared with the case where the photoelectric conversion element 61 and the memory 64 are not stacked.
  • the image represented by the composite image data 72 is displayed on the second display 86 as the live view image 102 under the control of the CPU 46A. This allows the user to visually recognize the image represented by the composite image data 72.
  • the live view image 102 is displayed on the second display 86, but the technique of the present disclosure is not limited to this.
  • the live view image 102 may be displayed on the first display 32, or the live view image 102 may be displayed on both the first display 32 and the second display 86.
  • the image pickup element 44 is an image pickup element in which the photoelectric conversion element 61, the processing circuit 62, and the memory 64 are integrated into one chip, but the technique of the present disclosure is not limited to this.
  • at least the photoelectric conversion element 61 and the memory 64 among the photoelectric conversion element 61, the processing circuit 62, and the memory 64 may be integrated into one chip.
  • the captured image data 70 may be separated into upper image data indicating an image of an upper region of the captured image and lower image data indicating an image of a lower region of the captured image. ..
  • the captured image data 70 is divided into upper left image data indicating an image in the upper left region of the captured image and lower right image data indicating an image in the lower right region of the captured image. You may Further, the captured image data 70 is divided into upper right image data showing an image in the upper right region of the captured image and lower left image data showing an image of the lower left region of the captured image.
  • the captured image data 70 is separated into central image data indicating an image of a central region of the captured image and peripheral image data indicating a peripheral region of the captured image, that is, an image of a region other than the central region. You may do it.
  • each of the pair of image data obtained by separating the captured image data 70 is separated between the two images from which the captured image is separated. It is preferable that the image data includes overlapping image data indicating images that overlap in a direction.
  • the image capturing apparatus 200 according to the second embodiment is different from the image capturing apparatus 10 described in the first embodiment in that an image capturing apparatus body 212 is provided instead of the image capturing apparatus body 12.
  • the image pickup apparatus main body 212 is different from the image pickup apparatus main body 12 in that it has an image pickup element 244 (see FIG. 13) instead of the image pickup element 44. Further, the imaging device main body 212 is different from the imaging device main body 12 in that it has a first signal processing unit 250 (see FIG. 13) in place of the first signal processing unit 50, and in place of the second signal processing unit 52. The difference is that it has a two-signal processing unit 252 (see FIG. 13).
  • the image sensor 244 is different from the image sensor 44 in that it has a processing circuit 262 instead of the processing circuit 62.
  • the processing circuit 262 is different from the processing circuit 62 in that an image processing circuit 262C is provided instead of the image processing circuit 62C, and an output circuit 262D is provided instead of the output circuit 62D.
  • the image processing circuit 262C is different from the image processing circuit 62C in that it has a face detection circuit 262C1.
  • the face detection circuit 262C1 is an example of a “detection unit (detection processor)” according to the technique of the present disclosure.
  • the face detection circuit 262C1 is a circuit having a known face detection function.
  • the face detection circuit 262C1 is realized by a hardware configuration such as an ASIC.
  • the face detection circuit 262C1 is not limited to the hardware configuration, and may be implemented by the software configuration or may be implemented by the software configuration and the hardware configuration.
  • the face detection circuit 262C1 acquires the captured image data 70 from the memory 64.
  • the face detection circuit 262C1 identifies the face image 69 (see FIG. 14A) showing the human face in the captured image represented by the captured image data 70 acquired. That is, the face detection circuit 262C1 detects face image data indicating the face image 69 from the captured image data 70.
  • the face detection circuit 262C1 extracts the face area image data 70B2 indicating the face area image 70B2a (see FIG. 14A) within the predetermined range including the identified face image 69 from the captured image data 70, thereby obtaining the captured image data 70. Is separated into face area image data 70B2 and background area image data 70A2.
  • the background area image data 70A2 refers to image data of a background area in the captured image, that is, image data other than the face area image 70B2a.
  • the predetermined range is, for example, the position of the face image 69 (see FIG. 14A) in the captured image, the degree of difference between the size of the face image 69 and the size of the image other than the face image 69 in the captured image, and the like. Refers to the range determined according to.
  • the face image 69 is located in the central area of the captured image, and in this case, the captured image is divided into three areas, the central area, the upper area, and the lower area.
  • the image of the central area is specified as the face area image 70B2a
  • the image of the upper area and the image of the lower area that is, the images other than the central area in the captured image are specified as the background area image 70A2a.
  • an image showing the faces of two people is shown as the face image 69.
  • the face image 69 is an image that identifies a region of the captured image in which the density of faces of a plurality of persons is highest. Note that the technology of the present disclosure is not limited to this, and for example, a face image showing a face of one person may be applied instead of the face image 69, or a face having a specific expression (for example, a smile) may be applied.
  • the face image shown may be applied, or the face image showing the face of a specific person may be applied.
  • the background area image data 70A2 and the face area image data 70B2 are output to the output circuit 262D by the image processing circuit 262C.
  • the background area image data 70A2 is an example of the first separated image data 70A described above
  • the face area image data 70B2 is an example of the second separated image data 70B described above.
  • the face area image 70B2a is an example of the “designated image” according to the technology of the present disclosure
  • the background area image 70A2a is an example of the “image different from the designated image” according to the technology of the present disclosure. is there.
  • the output circuit 262D is different from the output circuit 62D in that it outputs the background area image data 70A2 instead of the left side image data 70A1 and outputs the face area image data 70B2 instead of the right side image data 70B1.
  • the output circuit 262D outputs the background area image data 70A2 to the first signal processing unit 250 via the first output line 53.
  • the output circuit 262D also outputs the face area image data 70B2 to the second signal processing unit 252 via the second output line 55.
  • the first signal processing unit 250 is different from the first signal processing unit 50 in that it has a signal processing circuit 250B instead of the signal processing circuit 50B.
  • the background area image data 70A2 output from the output circuit 262D is temporarily held in the buffer 50A and output from the buffer 50A to the signal processing circuit 250B. Then, the signal processing circuit 250B performs specific signal processing on the background area image data 70A2 input from the buffer 50A.
  • the second signal processing unit 252 differs from the second signal processing unit 52 in that it has a second signal processing circuit 252B instead of the signal processing circuit 52B.
  • the signal processing circuit 252B is different from the signal processing circuit 52B in that it has a face authentication processing circuit 252B1.
  • the face area image data 70B2 output from the output circuit 262D is temporarily held in the buffer 52A and output from the buffer 52A to the signal processing circuit 252B. Then, the signal processing circuit 252B performs specific signal processing on the face area image data 70B2 input from the buffer 52A.
  • the face authentication processing circuit 252B1 has a known face authentication function, and executes face authentication on the face area image data 70B2 subjected to specific signal processing. By performing the face authentication, for example, it is determined whether or not the face shown by the face image 69 (see FIG. 14A) has a specific display (for example, a smile), and/or the face image 69 shows. It is determined whether the face is the face of a specific person.
  • the face authentication processing circuit 252B1 outputs the face area image data 70B2 for which the face authentication has been executed to the transmission circuit 52C.
  • the face area image data 70B2 is provided with face authentication result information indicating the result of face authentication, and is used for processing in the subsequent circuit.
  • the “post-stage circuit” mentioned here indicates, for example, the first signal processing unit 250 and/or the controller 46.
  • the transmission circuit 52C transmits the face area image data 70B2 input from the face authentication processing circuit 252B1 to the first signal processing unit 250.
  • the receiving circuit 50C receives the face area image data 70B2 transmitted from the transmitting circuit 52C. Then, the signal processing circuit 250B synthesizes the face area image data 70B2 received by the receiving circuit 50C and the background area image data 70A2 subjected to the specific signal processing by the signal processing circuit 250B to form the synthesized image data 272. To generate. Then, the signal processing circuit 250B outputs the composite image data 272 to the controller 46 via the communication line 60.
  • the background area image 70A2a and the face area image 70B2a may have an overlapping area 271 as shown in FIG. 14B as an example.
  • the overlapping area 271 is an area that overlaps in the vertical direction UD between the background area image 70A2a and the face area image 70B2a. Similar to the overlapping area 71 described in the first embodiment, the number of pixels of the overlapping area 271 in the vertical direction UD may be, for example, several tens to several hundreds of pixels.
  • each image data indicating the overlapping area 271 of the background area image data 70A2 and the face area image data 70B2 is the above-mentioned
  • the averaging is performed as in the first embodiment.
  • the imaging process shown in FIG. 15 is different from the imaging process shown in FIG. 10 in that the process of step ST18 is replaced with the process of step ST60, and the process of step ST20 is replaced with step ST62. Therefore, in the flowchart of the image capturing process shown in FIG. 15, the same step numbers are assigned to the same steps as those in the image capturing process shown in FIG. In the following, with regard to the image capturing process shown in FIG. 15, only the points different from the image capturing process shown in FIG. 10 will be described.
  • step ST60 the face detection circuit 262C1 acquires the captured image data 70 from the memory 64 and separates the acquired captured image data 70 into background area image data 70A2 and face area image data 70B2. To do. Then, the image processing circuit 262C outputs the background area image data 70A2 and the face area image data 70B2 to the output circuit 262D.
  • the output circuit 262D outputs the background area image data 70A2 to the first signal processing section 250 via the first output line 53.
  • the output circuit 262D also outputs the face area image data 70B2 to the second signal processing unit 252 via the second output line 55.
  • step ST70 the first signal processing unit 250 determines whether the background area image data 70A2 (see FIG. 13) has been input from the processing circuit 262. In step ST70, if the background area image data 70A2 is not input from the processing circuit 262, the determination is negative and the first signal processing proceeds to step ST82. When the background area image data 70A2 is input from the processing circuit 262 in step ST70, the determination is affirmative and the first signal processing proceeds to step ST72.
  • step ST72 the first signal processing unit 250 performs specific signal processing on the background area image data 70A2.
  • step ST74 has the first signal processing section 250 received the face area image data 70B2 (see FIG. 13) transmitted by executing the processing of step ST94 of the second signal processing shown in FIG. Determine whether or not.
  • the determination is negative and the first signal processing proceeds to step ST80.
  • the determination is affirmative and the first signal processing proceeds to step ST76.
  • step ST80 first signal processing section 250 determines whether or not the first signal processing termination condition is satisfied. When the first signal processing end condition is not satisfied in step ST80, the determination is negative, and the first signal processing proceeds to step ST74. When the first signal processing end condition is satisfied in step ST80, the determination is affirmative and the first signal processing ends.
  • step ST76 the first signal processing unit 250 performs a combining process of combining the background area image data 70A2 obtained by executing the processing of step ST72 and the face area image data 70B2 received in step ST74. As a result, the composite image data 272 (see FIG. 13) is generated.
  • the first signal processing unit 250 uses the combined image data 272 obtained by executing the process of step ST76 to the controller 46 (see FIG. 13) via the communication line 60 (see FIG. 13). ) Is output.
  • step ST82 the first signal processing section 250 determines whether or not the first signal processing end condition is satisfied. In step ST82, when the first signal processing end condition is not satisfied, the determination is negative and the first signal processing proceeds to step ST70. When the first signal processing end condition is satisfied in step ST82, the determination is affirmative and the first signal processing ends.
  • step ST90 the second signal processing unit 252 determines whether the face area image data 70B2 (see FIG. 13) has been input from the processing circuit 262. When the face area image data 70B2 is not input from the processing circuit 262 in step ST90, the determination is negative and the second signal processing proceeds to step ST96. If the face area image data 70B2 is input from the processing circuit 262 in step ST90, the determination is affirmative and the second signal processing proceeds to step ST92.
  • step ST92 the second signal processing unit 252 performs specific signal processing on the face area image data 70B2.
  • the second signal processing unit 252 also performs face authentication on the face area image data 70B2 that has undergone specific signal processing.
  • the second signal processing unit 252 uses the face area image data 70B2 obtained by executing the process of step ST92 as the first signal processing unit via the communication line 58 (see FIG. 13). Send to 250. Note that face authentication result information is added to the face area image data 70B2 obtained by executing the process of step ST92.
  • step ST96 the second signal processing unit 252 determines whether or not the second signal processing end condition is satisfied. In step ST96, when the second signal processing end condition is not satisfied, the determination is negative and the second signal processing proceeds to step ST90. When the second signal processing end condition is satisfied in step ST96, the determination is affirmative and the second signal processing ends.
  • the captured image data 70 is separated into the background area image data 70A2 and the face area image data 70B2. Then, the background area image data 70A2 is output to the first signal processing unit 250 via the first output line 53, and the face area image data 70B2 is output to the second signal processing unit 252 via the second output line 55. ..
  • the second signal processing unit 252 makes the face area image data 70B2 more complicated than the background area image data 70A2. Is processed.
  • face authentication is executed as a complicated process.
  • the first signal processing unit 250 combines the background area image data 70A2 subjected to the specific signal processing and the face area image data 70B2 subjected to the face authentication in addition to the specific signal processing.
  • the first signal processing unit 250 and the second signal processing unit 252 perform processing with different degrees of complexity, compared to the case where complicated processing is always performed on the entire captured image data 70.
  • the load required for image processing can be reduced.
  • each of the background area image 70A2a and the face area image 70B2a adjacent to each other in the vertical direction UD has an overlapping area 271 between the background area image 70A2a and the face area image 70B2a.
  • the composite image data in which the manifestation of the boundary area between the background area image 70A2a and the face area image 70B2a is suppressed as compared with the case where the two images obtained by simply dividing the image are joined together. 272 is generated.
  • the image data designated by the user via the reception unit 84 is output to the second signal processing unit 252, and the remaining image data of the captured image data 70 is the first signal processing unit. It may be output to 250.
  • the image data designated by the user refers to, for example, the image data defined in the captured image data 70 as important image data according to the instruction received by the receiving unit 84.
  • the important image data refers to, for example, image data indicating a partial area including an image of a person and/or a building which the user pays attention to.
  • an overlapping area corresponding to the overlapping area 271 may be provided between the image indicated by the image data designated by the user and the image indicated by the remaining image data in the captured image data 70.
  • the signal processing circuit 250B suppresses the occurrence of the boundary area between the image represented by the designated image data and the image represented by the remaining image data, as compared with the case of simply joining the two divided images. Generated composite image data is generated.
  • face authentication is illustrated as an example of complicated processing, but the technique of the present disclosure is not limited to this.
  • the complicated process include a pupil detection process for detecting a human pupil, a red-eye correction process for correcting red eye, and/or an electronic blur correction process (for example, EIS).
  • the example of the mode in which the captured image data 70 is separated into the left side image data 70A1 and the right side image data 70B1 has been described.
  • the captured image data 70 is compressed into two data.
  • An example of the mode of separating the image data will be described.
  • the same components as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted. Below, the part different from the first embodiment will be described.
  • the image pickup apparatus 300 according to the third embodiment is different from the image pickup apparatus 10 described in the first embodiment in that an image pickup apparatus body 312 is provided instead of the image pickup apparatus body 12.
  • the image pickup apparatus main body 312 is different from the image pickup apparatus main body 12 in that it has an image pickup element 344 (see FIG. 18) instead of the image pickup element 44, and a first signal processing section 350 (see FIG. 18) instead of the first signal processing section 50. 18)).
  • the first signal processing unit 350 is different from the first signal processing unit 50 in that it has a signal processing circuit 350B instead of the signal processing circuit 50B.
  • the image pickup element 344 differs from the image pickup element 44 in that it has a processing circuit 362 instead of the processing circuit 62.
  • the processing circuit 362 is different from the processing circuit 62 in that an image processing circuit 362C is provided instead of the image processing circuit 62C, and an output circuit 362D is provided instead of the output circuit 62D.
  • the image processing circuit 362C acquires the captured image data 70 from the memory 64.
  • the captured image data 70 acquired from the memory 64 by the image processing circuit 362C is color image data in which R pixels, G pixels, and B pixels are periodically arranged.
  • R pixels, G pixels, and B pixels are arrayed in a periodicity corresponding to the X-Trans (registered trademark) array.
  • the R pixel, the G pixel, and the B pixel are examples of the “plurality of primary color pixels” according to the technique of the present disclosure.
  • the R pixels, the G pixels, and the B pixels are arranged in the row direction in the order of G pixels, B pixels, R pixels, G pixels, R pixels, and B pixels in this order.
  • the R pixels, the G pixels, and the B pixels are arranged in the row direction so as to circulate in the order of the R pixels, the G pixels, the G pixels, the B pixels, the G pixels, and the G pixels.
  • the R pixels, the G pixels, and the B pixels are arranged in the row direction so as to circulate in the order of the B pixels, the G pixels, the G pixels, the R pixels, the G pixels, and the G pixels.
  • the R pixels, the G pixels, and the B pixels are arranged in the row direction so as to circulate in the order of the G pixels, the R pixels, the B pixels, the G pixels, the B pixels, and the R pixels.
  • the R pixels, the G pixels, and the B pixels are arranged in the row direction in the order of B pixels, G pixels, G pixels, R pixels, G pixels, and G pixels in this order.
  • R pixels, G pixels, and B pixels are arranged in the row direction in the order of R pixels, G pixels, G pixels, B pixels, G pixels, and G pixels in this order. Then, the arrangement pattern of the R pixels, G pixels, and B pixels in the first row to the sixth row is repeated in the column direction in units of 6 rows, so that the entire R pixels, G pixels, and B pixels of the captured image data 70.
  • Array pattern is formed.
  • the image processing circuit 362C compresses the captured image data 70 acquired from the memory 64. That is, the image processing circuit 362C generates vertical thinned-out image data 73 from the captured image data 70.
  • the vertical thinned-out image data 73 is image data obtained by thinning out the captured image data 70 row by row. Specifically, as shown in FIG. 19 as an example, the vertical thinned-out image data 73 is obtained by thinning out the pixels of the lines of even rows in the column direction from the captured image represented by the captured image data 70. It is image data showing a /2 thinned image.
  • the image processing circuit 362C separates the vertically thinned image data 73 into odd-numbered column image data 73A and even-numbered column image data 73B, and outputs the odd-numbered column image data 73A and even-numbered column image data 73B obtained by the separation to the output circuit 362D. Output.
  • odd-numbered column image data 73A and the even-numbered column image data 73B are obtained as a plurality of divided image data by dividing the captured image data 70 after thinning.
  • the technology of the present disclosure is not limited to this.
  • a plurality of divided image data may be obtained by directly dividing the captured image data 70.
  • the odd-numbered column image data 73A is an odd-numbered column obtained by thinning out the pixels of the lines in the even-numbered columns from the vertical 1/2 thinned-out image represented by the vertical thinned-out image data 73. It is image data showing an image. That is, the odd-numbered column image data 73A is image data indicating a set of pixels in the odd-numbered column in the vertical 1/2 thinned-out image. As an example, as shown in FIGS. 20 and 21, the even-numbered column image data 73B is obtained by thinning out the pixels in the odd-numbered lines from the vertical 1/2 thinned-out image represented by the vertical thinned-out image data 73.
  • each of the odd-numbered column image data 73A and the even-numbered column image data 73B is color image data indicating an image in which R pixels, G pixels, and B pixels are periodically arranged.
  • the odd-numbered column image data 73A and the even-numbered column image data 73B are examples of the “plurality of primary color pixel array image data” and the “plurality of divided image data” according to the technique of the present disclosure.
  • the output circuit 362D outputs the odd-numbered column image data 73A input from the image processing circuit 362C to the first signal processing unit 350 via the first output line 53. Further, the output circuit 362D outputs the even-column image data 73B input from the image processing circuit 362C to the second signal processing unit 52 via the second output line 55.
  • the same processing as the processing performed on the right side image data 70B1 described in the first embodiment is performed on the even-numbered column image data 73B, and the processed even-numbered column image data is processed. 73B is transmitted to the first signal processing unit 350.
  • the receiving circuit 50C receives the even-numbered column image data 73B transmitted from the second signal processing unit 52.
  • the signal processing circuit 350B acquires the even-numbered column image data 73B received by the receiving circuit 50C.
  • the odd-numbered column image data 73A is input to the buffer 50A.
  • the buffer 50A temporarily holds the odd-numbered column image data 73A and outputs it to the signal processing circuit 350B by the FIFO method.
  • the signal processing circuit 350B performs specific signal processing on the odd-numbered column image data 73A input from the buffer 50A.
  • the signal processing circuit 350B generates the composite image data 372 by combining the odd-numbered column image data 73A subjected to the specific signal processing and the even-numbered column image data 73B acquired from the receiving circuit 50C.
  • the array pattern of R pixels, G pixels, and B pixels of the image represented by the composite image data 372 becomes the same array pattern as the above-described vertical 1/2 thinned-out image. That is, the array pattern of R pixels, G pixels, and B pixels of the image represented by the composite image data 372 is an array pattern having periodicity that allows demosaic processing of R pixels, G pixels, and B pixels.
  • the signal processing circuit 350B performs demosaic processing of R, G, and B signals on the composite image data 372, and outputs the composite image data 372 subjected to the demosaic processing to the controller 46 via the communication line 60. ..
  • the image capturing process shown in FIG. 22 is different from the image capturing process shown in FIG. 10 in that the process of step ST18 is replaced by the process of step ST100, and the process of step ST20 is replaced by step ST102. Therefore, in the flowchart of the imaging process shown in FIG. 22, the same step numbers are assigned to the same steps as the imaging process shown in FIG. Only the differences between the image capturing process shown in FIG. 22 and the image capturing process shown in FIG. 10 will be described below.
  • the image processing circuit 362C In the imaging process shown in FIG. 22, the image processing circuit 362C generates vertical thinned-out image data 73 (see FIGS. 18 to 21) from the captured image data 70 in step ST100. Then, the image processing circuit 362C generates odd-numbered column image data 73A and even-numbered column image data 73B from the generated vertical thinned-out image data 73. That is, the vertical thinned-out image data 73 is separated into odd-numbered column image data 73A and even-numbered column image data 73B (see FIGS. 20 and 21).
  • the output circuit 362D outputs the odd-numbered column image data 73A to the first signal processing unit 350 via the first output line 53. Further, the output circuit 362D outputs the even-numbered column image data 73B to the second signal processing unit 52 via the second output line 55.
  • step ST210 the first signal processing unit 350 determines whether or not the odd-numbered column image data 73A (see FIG. 18) is input from the processing circuit 362. In step ST210, when the odd number column image data 73A is not input from the processing circuit 362, the determination is negative and the first signal processing proceeds to step ST222. In step ST210, when the odd number column image data 73A is input from the processing circuit 362, the determination is affirmative, and the first signal processing proceeds to step ST212.
  • step ST212 the first signal processing unit 350 performs specific signal processing on the odd-numbered column image data 73A.
  • step ST214 whether the first signal processing section 350 has received the even-numbered column image data 73B (see FIG. 18) transmitted by executing the processing in step ST234 of the second signal processing shown in FIG. Determine whether or not.
  • step ST214 if the even-numbered column image data 73B has not been received, the determination is negative and the first signal processing proceeds to step ST220.
  • step ST216 When the even-numbered column image data 73B is received in step ST214, the determination is affirmative and the first signal processing proceeds to step ST216.
  • step ST220 first signal processing section 350 determines whether or not the first signal processing termination condition is satisfied. In step ST220, when the first signal processing termination condition is not satisfied, the determination is negative, and the first signal processing proceeds to step ST214. When the first signal processing end condition is satisfied in step ST220, the determination is affirmative and the first signal processing ends.
  • step ST216 the first signal processing unit 350 performs a combining process of combining the odd-numbered column image data 73A obtained by executing the process of step ST212 and the even-numbered column image data 73B received in step ST214. As a result, the composite image data 372 (see FIG. 18) is generated. Then, the first signal processing unit 350 performs demosaic processing on the combined image data 372.
  • the first signal processing unit 350 uses the combined image data 372 obtained by executing the process of step ST216 to the controller 46 (see FIG. 18) via the communication line 60 (see FIG. 18). ) Is output.
  • first signal processing section 350 determines whether or not the first signal processing termination condition is satisfied. In step ST222, when the first signal processing termination condition is not satisfied, the determination is negative and the first signal processing proceeds to step ST210. When the first signal processing end condition is satisfied in step ST222, the determination is affirmative and the first signal processing ends.
  • step ST230 the second signal processing unit 52 determines whether or not the even-numbered column image data 73B (see FIG. 18) has been input from the processing circuit 362. In step ST230, when the even-numbered column image data 73B has not been input from the processing circuit 362, the determination is negative, and the second signal processing proceeds to step ST236. In step ST230, when the even-numbered column image data 73B is input from the processing circuit 362, the determination is affirmative, and the second signal processing proceeds to step ST232.
  • step ST232 the second signal processing unit 52 performs specific signal processing on the even-numbered column image data 73B.
  • next step ST234 the second signal processing unit 52 outputs the even-numbered column image data 73B obtained by executing the process of step ST232 via the communication line 58 (see FIG. 18) to the first signal processing unit. Send to 350.
  • step ST236 the second signal processing unit 52 determines whether or not the second signal processing end condition is satisfied. In step ST236, when the second signal processing termination condition is not satisfied, the determination is negative, and the second signal processing proceeds to step ST230. In step ST236, when the second signal processing end condition is satisfied, the determination is affirmative and the second signal processing ends.
  • the captured image data 70 is color image data indicating a color captured image in which the R pixels, the G pixels, and the B pixels, which are a plurality of primary color pixels, are periodically arranged. is there.
  • the captured image data 70 is divided into a plurality of primary color pixel array image data as a plurality of image data.
  • odd-numbered column image data 73A and even-numbered column image data 73B are shown as the plurality of primary color pixel array image data.
  • each of the odd-numbered column image data 73A and the even-numbered column image data 73B is image data indicating an image in which R pixels, G pixels, and B pixels are periodically arranged.
  • the odd-numbered column image data 73A and the even-numbered column image data 73B are image data obtained by dividing the vertically thinned image data 73, as shown in FIGS. 18 to 19.
  • the vertical thinned-out image data 73 has a smaller data amount than the captured image data 70. Therefore, compared with the case where specific signal processing is performed on one of the two image data obtained by dividing the captured image data 70 without thinning out, the odd-numbered column image data 73A and the even-numbered column image data 73B It is possible to perform a specific signal processing for the high speed.
  • the odd-numbered column image data 73A is image data indicating a set of pixels in odd-numbered columns in the vertical 1/2 thinned-out image
  • the even-numbered column image data 73B is in even-numbered columns in the vertical 1/2-thinned image. It is image data showing a set of pixels.
  • the specific signal processing and combining of a plurality of image data obtained by randomly dividing the vertical 1/2 thinned-out image is more complicated than the processing of the odd-numbered column image data 73A and the even-numbered column image data 73B. To do.
  • the first signal processing unit 350 performs demosaic processing on the combined image data 372 obtained by combining the odd-numbered column image data 73A and the even-numbered column image data 73B. A high quality image can be obtained.
  • the first signal processing unit 350 uses the DRAM 54 and the second signal processing unit 52 uses the DRAM 56.
  • the technique of the present disclosure is not limited to this. ..
  • the first signal processing unit 750 is applied instead of the first signal processing unit 350 without using the DRAMs 54 and 56, and the second signal processing is performed instead of the second signal processing unit 52.
  • the part 752 may be applied.
  • the example shown in FIG. 25 differs from the first signal processing section 350 in that the first signal processing section 750 has a line memory 750A and does not use the DRAM 54.
  • the second signal processing unit 752 is different from the second signal processing unit 52 in that it has a line memory 752A and does not use the DRAM 56.
  • the line memory 750A is interposed between the buffer 50A and the signal processing circuit 350B.
  • the buffer 50A outputs the odd-numbered column image data 73A to the line memory 750A.
  • the line memory 750A stores the odd-numbered column image data 73A input from the buffer 50A on a line-by-line basis, and outputs it to the signal processing circuit 350B by the FIFO method.
  • the signal processing circuit 350B executes the processing described in the third embodiment.
  • the line memory 752A is interposed between the buffer 52A and the signal processing circuit 52B.
  • the buffer 52A outputs the even column image data 73B to the line memory 452A.
  • the line memory 752A stores the even-numbered column image data 73B input from the buffer 52A on a line-by-line basis, and outputs it to the signal processing circuit 52B by the FIFO method.
  • the signal processing circuit 52B executes the processing described in the third embodiment.
  • the image data indicating the vertical 1/2 thinned-out image is exemplified as the compressed image data, but the technique of the present disclosure is not limited to this.
  • the image data indicating the vertical 1/n thinned image may be applied as the compressed image data.
  • image data indicating a horizontally thinned image thinned out in columns may be applied as compressed image data, or image data indicating an image thinned out in rows and columns may be applied as compressed image data.
  • the image capturing apparatus 400 according to the fourth embodiment is different from the image capturing apparatus 10 described in the first embodiment in that an image capturing apparatus main body 412 is provided instead of the image capturing apparatus main body 12.
  • the image pickup apparatus main body 412 is different from the image pickup apparatus main body 12 in that it has an image pickup element 444 (see FIG. 26) instead of the image pickup element 44.
  • the image sensor 444 is different from the image sensor 44 in that it has a processing circuit 462 instead of the processing circuit 62.
  • the processing circuit 462 differs from the processing circuit 62 in that an image processing circuit 462C is provided instead of the image processing circuit 62C, and an output circuit 462D is provided instead of the output circuit 62D.
  • the imaging device main body 412 is different from the imaging device main body 12 in that it has a first signal processing unit 450 (see FIG. 26) in place of the first signal processing unit 50, and a second signal in place of the second signal processing unit 52. The difference is that it has a processing unit 452 (see FIG. 26).
  • the first signal processing unit 450 is different from the first signal processing unit 50 in that it has the function of the first signal processing unit 50 and the function of the first signal processing unit 350 described in the third embodiment. .. Further, the first signal processing unit 450 is different from the first signal processing unit 50 in that it selectively operates the function of the first signal processing unit 50 and the function of the first signal processing unit 350.
  • the second signal processing unit 452 differs from the second signal processing unit 52 in that it has the function of the second signal processing unit 52 and the function of the second signal processing unit 252 described in the second embodiment. .. Further, the second signal processing unit 452 selectively selects the function of the second signal processing unit 52 and the function of the second signal processing unit 252 described in the second embodiment, as compared with the second signal processing unit 52. The difference is that it is activated.
  • the controller 46 selectively outputs the still image capturing mode signal 480A (see FIG. 26) and the display moving image capturing mode signal 480B (see FIG. 27) to the processing circuit 462 via the communication line 60.
  • the still image capturing mode signal 480A is output from the controller 46 when the receiving unit 84 receives an instruction to set the image capturing apparatus 400 to the still image capturing mode.
  • the display moving image capturing mode signal 480B is output from the controller 46 when the receiving unit 84 receives an instruction to set the image capturing apparatus 400 to the display moving image capturing mode.
  • the processing circuit 462 when the processing circuit 462 receives the still image capturing mode signal 480A from the controller 46 via the communication line 60, the processing circuit 462 causes the image processing circuit 462C to operate as described in the first embodiment. Operate the same as 62C. That is, the processing circuit 462 causes the image processing circuit 462C to separate the captured image data 70 into left image data 70A1 and right image data 70B1, and outputs the left image data 70A1 and the right image data 70B1 to the output circuit 462D. ..
  • the left side image 70A1a represented by the left side image data 70A1 and the right side image 70B1a represented by the right side image data 70B1 have the overlapping area 71 described in the first embodiment.
  • the left-side image data 70A1 and the right-side image data 70B1 according to the fourth embodiment are examples of the “plurality of overlapping image data” according to the technology of the present disclosure.
  • the output circuit 462D outputs the left-side image data 70A1 to the first signal processing unit 450 via the first output line 53, similarly to the output circuit 62D described in the first embodiment. .. Further, the output circuit 462D outputs the right side image data 70B1 to the second signal processing unit 452 via the second output line 55, similarly to the output circuit 62D described in the first embodiment.
  • the first signal processing unit 450 performs specific signal processing on the input left image data 70A1, and the second signal processing unit 452 performs specific signal processing on the input right image data 70B1.
  • the right image data 70B1 subjected to the specific signal processing is output to the first signal processing unit 450.
  • the first signal processing unit 450 combines the left-side image data 70A1 that has been subjected to specific signal processing and the right-side image data 70B1 input from the second signal processing unit 452, and the combined image described in the first embodiment above. Data 72 is generated. The first signal processing unit 450 outputs the generated combined image data 72 to the controller 46.
  • the processing circuit 462 when the processing circuit 462 receives the display moving image capturing mode signal 480B from the controller 46 through the communication line 60, the processing circuit 462 causes the image processing circuit 462C to display the image described in the third embodiment. It operates similarly to the processing circuit 362C. That is, the processing circuit 462 causes the image processing circuit 462C to compress the captured image data 70 into the vertical thinned-out image data 73, and then the vertical thinned-out image data 73 into the odd-numbered column image data 73A and the even-numbered column image data 73B. And separate. Then, the processing circuit 462 causes the image processing circuit 462C to output the odd-numbered column image data 73A and the even-numbered column image data 73B to the output circuit 462D.
  • the output circuit 462D outputs the odd-numbered column image data 73A to the first signal processing unit 450 via the first output line 53, similarly to the output circuit 362D described in the third embodiment. To do. Further, the output circuit 462D outputs the even-numbered column image data 73B to the second signal processing unit 452 via the second output line 55, similarly to the output circuit 362D described in the third embodiment.
  • the first signal processing unit 450 performs specific signal processing on the input odd column image data 73A
  • the second signal processing unit 452 performs specific signal processing on the input even column image data 73B.
  • the even-numbered column image data 73B that has been subjected to the specific signal processing is output to the first signal processing unit 450.
  • the first signal processing unit 450 combines the odd-numbered column image data 73A that has been subjected to specific signal processing with the even-numbered column image data 73B input from the second signal processing unit 452, and has been described in the third embodiment.
  • the composite image data 372 is generated.
  • the first signal processing unit 450 outputs the generated combined image data 372 to the controller 46.
  • the flow of the image pickup processing executed by the processing circuit 462 of the image pickup element 444 will be described with reference to FIG.
  • the image pickup apparatus 400 is set in the still image pickup mode or the display moving image pickup mode.
  • step ST300 the image processing circuit 462C determines whether or not the imaging device 400 is in the still image imaging mode.
  • step ST300 if the image capturing apparatus 400 is not in the still image capturing mode, that is, if the image capturing apparatus 400 is in the display moving image capturing mode, the determination is negative and the image capturing process proceeds to step ST304.
  • step ST300 if the image capturing apparatus 400 is in the still image capturing mode, the determination is affirmative and the image capturing process proceeds to step ST302.
  • step ST302 the processing circuit 462 executes a still image capturing process, and then the image capturing process proceeds to step ST306.
  • the still image capturing process is similar to the image capturing process (see FIG. 10) described in the first embodiment.
  • step ST304 the processing circuit 462 executes the display moving image capturing process, and then the image capturing process proceeds to step ST306.
  • the display moving image capturing process is similar to the image capturing process (see FIG. 22) described in the third embodiment.
  • step ST306 the processing circuit 462 determines whether or not the imaging processing end condition is satisfied. In step ST306, when the image capturing process end condition is not satisfied, the determination is negative, and the image capturing process proceeds to step ST300. In step ST306, when the conditions for ending the imaging process are satisfied, the determination is affirmative and the imaging process ends.
  • the first signal processing unit 450 executes the same processing as the first signal processing (see FIG. 11) described in the first embodiment. Further, in the still image capturing mode, the second signal processing unit 452 executes the same processing as the second signal processing (see FIG. 12) described in the first embodiment.
  • the first signal processing unit 450 executes the same processing as the first signal processing (FIG. 23) described in the third embodiment. Further, in the display moving image capturing mode, the second signal processing unit 452 executes the same processing as the second signal processing (FIG. 24) described in the third embodiment.
  • the captured image data 70 is separated into the left image data 70A1 and the right image data 70B1 described in the first embodiment in the still image capturing mode. Further, in the display moving image capturing mode, the captured image data 70 is separated into the odd-numbered column image data 73A and the even-numbered column image data 73B described in the third embodiment. As a result, the balance of image quality, power consumption, and processing speed can be made different between the still image capturing mode and the display moving image capturing mode.
  • the captured image data 70 is separated into the left image data 70A1 and the right image data 70B1 each including the image data indicating the overlapping area 71.
  • the captured image data 70 is separated line by line. Therefore, in the still image capturing mode, the left image data 70A1 and the right image data 70B1 each including the image data indicating the overlapping area 71 are processed, so that the image quality is improved as compared with the display moving image capturing mode.
  • the case where the image capturing process (see FIG. 10) described in the first embodiment is applied as the process of step ST302 (see FIG. 28) has been described.
  • the imaging process (see FIG. 15) described in the second embodiment may be applied as the process of step ST302 (see FIG. 28).
  • the first signal processing unit 450 executes the first signal processing described in the second embodiment (see FIG. 16), and the second signal processing unit 452 performs the second signal processing.
  • the second signal processing (see FIG. 17) described in the embodiment is executed.
  • the captured image data 70 is separated into the left image data 70A1 and the right image data 70B1 in the still image capturing mode has been described, but the technique of the present disclosure is not limited to this. Not limited.
  • the captured image data 70 may be separated into the background area image data 70A2 and the face area image data 70B2.
  • the first signal processing unit 450 operates in the same manner as the first signal processing unit 250 described in the second embodiment
  • the second signal processing unit 452 operates in the second embodiment.
  • the second signal processing unit 252 may be operated in the same manner as described above.
  • the captured image data 70 is compressed into the odd-numbered column image data 73A and the even-numbered column image data 73B has been described.
  • the captured image data 70 is processed by another method.
  • An example in which the image data is compressed into two image data will be described.
  • the same components as those in the third embodiment are designated by the same reference numerals, and the description thereof will be omitted. Below, the part different from the third embodiment will be described.
  • the imaging device 500 according to the fifth embodiment is different from the imaging device 300 described in the third embodiment in that an imaging device main body 512 is provided instead of the imaging device main body 312.
  • the image pickup apparatus main body 512 is different from the image pickup apparatus main body 312 in that it has an image pickup element 544 (see FIG. 29) in place of the image pickup element 344.
  • the image pickup element 544 differs from the image pickup element 344 in that it has a processing circuit 562 as compared with the processing circuit 362.
  • the processing circuit 562 is different from the processing circuit 362 in that an image processing circuit 562C is provided instead of the image processing circuit 362C, and an output circuit 562D is provided instead of the output circuit 362D.
  • the image pickup apparatus main body 512 is different from the image pickup apparatus main body 312 in that it has a first signal processing unit 550 (see FIG. 29) in place of the first signal processing unit 50.
  • the captured image data 570 is stored in the memory 64, and the image processing circuit 562C acquires the captured image data 570 from the memory 64.
  • the captured image data 570 is color image data having R pixels, G pixels, and B pixels. As an example, as shown in FIG. 30, in the captured image data 570, R pixels, G pixels, and B pixels are arrayed in a periodicity corresponding to the Bayer array.
  • the R pixels and the G pixels are arranged in the row direction so as to circulate in the order of the R pixels and the G pixels.
  • B pixels and G pixels are arranged in the row direction so as to circulate in the order of G pixels and B pixels. Then, the arrangement pattern of the R pixels and the G pixels in the first row is repeated every other row in the column direction, and the arrangement pattern of the B pixels and the G pixels in the second row is repeated every other row in the column direction.
  • An array pattern of R pixels, G pixels, and B pixels of the entire image data 570 is formed.
  • the image processing circuit 562C compresses the captured image data 570 acquired from the memory 64. That is, the image processing circuit 562C generates vertical thinned-out image data 573 from the captured image data 570. As an example, as shown in FIG. 30, the vertical thinned-out image data 573 is obtained by thinning out every other two lines adjacent to each other in the column direction from the captured image represented by the captured image data 570. It is image data showing a 1/2 thinned image.
  • the image processing circuit 562C separates the vertical thinned-out image data 753 into the first horizontal thinned-out image data 573A and the second horizontal thinned-out image data 573B.
  • the image processing circuit 562C outputs the first horizontal thinned-out image data 573A and the second horizontal thinned-out image data 573B obtained separately to the output circuit 562D.
  • the first horizontal thinned-out image data 573A is alternately thinned out every two columns in the row direction from the vertical 1/2 thinned-out image indicated by the vertical thinned-out image data 573. It is image data showing one of the pair of horizontal 1/2 thinned-out images obtained.
  • the second horizontal thinned-out image data 573B is image data indicating the other of the pair of horizontal 1/2 thinned-out images.
  • the output circuit 562D outputs the first horizontal thinned-out image data 573A input from the image processing circuit 562C to the first signal processing unit 550 via the first output line 53. Further, the output circuit 562D outputs the second horizontal thinned-out image data 573B input from the image processing circuit 562C to the second signal processing unit 52 via the second output line 55.
  • the same processing as the processing performed on the even-numbered column image data 73B described in the third embodiment is performed on the second horizontal thinned-out image data 573B, and after the processing.
  • the second horizontal thinned-out image data 573B is transmitted to the first signal processing unit 550.
  • the first signal processing unit 550 receives the second horizontal thinned-out image data 573B transmitted from the second signal processing unit 52.
  • the same processing as the processing performed on the odd-numbered column image data 73A described in the third embodiment is performed on the first horizontal thinned-out image data 573A.
  • the first horizontal thinned-out image data 573A and the second horizontal thinned-out image data 573B are combined to generate combined image data 572.
  • the array pattern of R pixels, G pixels, and B pixels of the image represented by the composite image data 572 becomes the same array pattern as the vertical 1/2 thinned image represented by the vertical thinned image data 573. That is, the array pattern of R pixels, G pixels, and B pixels of the image represented by the composite image data 572 is an array pattern having periodicity that enables demosaic processing of R pixels, G pixels, and B pixels.
  • the first signal processing unit 550 performs demosaic processing of R, G, B signals on the composite image data 572, and outputs the composite image data 572 on which demosaic processing has been performed. Output to the controller 46 via the communication line 60.
  • the captured image data 570 adopts the Bayer array. Also in this case, similar to the odd-numbered column image data 73A and the even-numbered column image data 73B described in the third embodiment, the first horizontal thinned-out image data 573A and the second horizontal thinned-out image data are defined as two image data that can be demosaiced. Subtracted image data 573B is obtained. Therefore, even if the captured image data 570 is Bayer array image data, the same effect as that of the third embodiment can be obtained.
  • the first horizontal thinned-out image data 573A and the second horizontal thinned-out image data 573B are exemplified as the two image data in which the captured image data 570 is compressed, but the technique of the present disclosure is not limited to this. Not limited to.
  • the image processing circuit 562C may separate the captured image data 570 into upper bit data 570C and lower bit data 570D.
  • the upper bit data 570C is, for example, image data in which the number of bits per pixel is upper 8 bits
  • the lower bit data 570D is, for example, This is image data in which the number of bits for each pixel is lower 8 bits.
  • the output circuit 562D outputs the high-order bit data 570C to the first signal processing unit 550 via the first output line 53, and the low-order bit data 570D via the second output line 55.
  • the signal is output to the second signal processing unit 52.
  • the second signal processing unit 52 performs the specific signal processing on the lower bit data 570D and then performs the first signal processing on the lower bit data 570D via the communication line 58, as in the fifth embodiment.
  • the first signal processing unit 550 receives the lower bit data 570D transmitted from the second signal processing unit 52 and performs specific signal processing on the upper bit data 570C, as in the fifth embodiment. ..
  • the first signal processing unit 550 generates the combined image data 572A by combining the upper bit data 570C subjected to the specific signal processing and the received lower bit data 570D.
  • the first signal processing unit 550 outputs the generated combined image data 572A to the controller 46.
  • the number of bits per pixel of the captured image data 570 is 16 bits is illustrated, but the present invention is not limited to this, and the number of bits per pixel is less than 16 bits.
  • the image data may have a bit number of more than 16 bits per pixel.
  • the method of dividing the high-order bit and the low-order bit may be, for example, the way of division determined according to the use and/or the specifications.
  • the captured image data 570 may be separated into upper-bit image data, middle-bit image data, and lower-bit image data.
  • the upper-bit image data, the middle-bit image data, and the lower-bit image data refer to three pieces of compressed image data obtained by compressing the captured image data 570 by dividing it into three bit ranges. ..
  • the captured image data 570 may be compressed by dividing the captured image data 570 in four or more bit ranges. In this way, the captured image data 570 may be divided into a plurality of bit ranges to obtain a plurality of compressed image data.
  • the captured image data 570 is separated into a plurality of compressed image data (in the example shown in FIG. 32, upper bit data 570C and lower bit data 570D) obtained by dividing the captured image data 570 in a plurality of bit ranges.
  • each of the first signal processing unit 550 and the second signal processing unit 52 can perform high-speed processing as compared with the case of processing image data obtained by irregular division.
  • the captured image data 570 is separated into the upper bit data 570C and the lower bit data 570D, so that the higher bit data 570C can be processed with higher accuracy than the lower bit data 570D. It can be carried out.
  • the power consumption can be suppressed and the processing speed can be increased as compared with the upper bit data 570C.
  • the technique of the present disclosure is not limited to this. Not limited to.
  • N is a natural number of 2 or more
  • the captured image data may be separated into N image data.
  • the separation method for example, in addition to the method of dividing the captured image data into N equal parts, a method of separating the captured image data into N bit ranges can be considered.
  • each of the first signal processing unit 650 to the Nth signal processing unit 650N is connected to the image sensor 44 by a corresponding output line. It In the example shown in FIG. 33, the first signal processing unit 650 is connected to the image sensor 44 via the first output line 53, and the Nth signal processing unit 650N is connected to the image sensor 44 via the Nth output line 53N. It is connected.
  • the Nth signal processing unit 650N transmits the signal-processed image data to the first signal processing unit 650, the first signal processing unit 650 synthesizes N image data, and synthetic image data obtained by synthesizing Should be output to the controller 46.
  • processing circuits 62, 262, 362, 462, 562 have been described by taking an example in which they are realized by the ASIC. It is not limited to this.
  • the above-described image pickup processing may be realized by a software configuration of a computer.
  • a storage medium 800 stores an imaging processing program 802 for causing the computer 652 incorporated in the imaging elements 44, 244, 344, 444, 544 to execute the above-described imaging processing.
  • the computer 652 includes a CPU 652A, a ROM 652B, and a RAM 652C.
  • the image pickup processing program 802 of the storage medium 800 is installed in the computer 652, and the CPU 652A of the computer 652 executes the above-described image pickup processing according to the image pickup processing program 802.
  • any portable storage medium such as SSD or USB memory can be used.
  • the imaging processing program 802 is stored in the storage medium 800, but the technology of the present disclosure is not limited to this.
  • the image pickup processing program 802 may be stored in the ROM 652B in advance, and the CPU 652A may read the image pickup processing program 802 from the ROM 652B, expand it in the RAM 652C, and execute the expanded image pickup processing program 802.
  • the imaging processing program 802 is stored in a storage unit such as another computer or a server device connected to the computer 652 via a communication network (not shown), and the imaging device 10, 200, 300, 400, 500
  • the image pickup processing program 802 may be downloaded to the computer 652 in response to a request from the image pickup apparatus 700 having the same configuration as any of the above.
  • the downloaded imaging processing program 802 is executed by the CPU 652A of the computer 652.
  • the computer 652 may be provided outside the image pickup elements 44, 244, 344, 444, 544. In this case, the computer 652 may control the processing circuit according to the imaging processing program 802.
  • processors can be used as the hardware resources that execute the imaging processing described in the above embodiments.
  • a CPU which is a general-purpose processor that functions as a hardware resource that executes an imaging process by executing software, that is, a program
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as FPGA, PLD, or ASIC, can be cited.
  • the hardware resource that executes the imaging process may be configured by one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a CPU). And a FPGA). Further, the hardware resource that executes various processes according to the technology of the present disclosure may be one processor.
  • one processor is configured with a combination of one or more CPUs and software, and this processor is an image sensor.
  • this processor is an image sensor.
  • SoC System-on-a-chip
  • a processor that realizes the functions of the entire system including a plurality of hardware resources for executing imaging processing by one IC chip is used.
  • the processing in the image pickup device is realized by using one or more of the above various processors as a hardware resource.
  • an interchangeable lens type camera has been illustrated as an imaging device, but the technology of the present disclosure is not limited to this.
  • the technology of the present disclosure may be applied to the smart device 900 shown in FIG.
  • the smart device 900 illustrated in FIG. 35 is an example of an imaging device according to the technology of the present disclosure.
  • the smart device 900 is equipped with the image pickup devices 44, 244, 344, 444, 544 described in the above embodiment. Even with the smart device 900 configured in this manner, the same operation and effect as those of the image pickup apparatus described in the above embodiment can be obtained.
  • the technology of the present disclosure can be applied to not only the smart device 900 but also a personal computer or a wearable terminal device.
  • the first display 32 and the second display 86 are illustrated, but the technology of the present disclosure is not limited to this.
  • a separate display attached to the imaging device body 12 may be used as the “display unit” according to the technique of the present disclosure.
  • the description content and the illustrated content shown above are detailed descriptions of portions related to the technology of the present disclosure, and are merely an example of the technology of the present disclosure.
  • the above description regarding the configuration, function, action, and effect is an example regarding the configuration, function, action, and effect of the portion according to the technology of the present disclosure. Therefore, within the scope not departing from the gist of the technology of the present disclosure, unnecessary portions may be deleted, new elements may be added, or replacements may be added to the above described description content and the illustrated content. Needless to say.
  • the above description and illustrated content require particular explanation to enable the implementation of the technology of the present disclosure. The explanation about common general knowledge is omitted.
  • a and/or B is synonymous with “at least one of A and B”. That is, “A and/or B” means that only A may be used, only B may be used, or a combination of A and B may be used. Further, in the present specification, the same concept as “A and/or B” is also applied to the case where three or more matters are linked by “and/or”.
  • a processing unit (62, 262, 362, 462, 562) that processes the captured image data (70, 570) and is built in the image sensor (44, 244, 344, 444, 544);
  • the processing unit (62, 262, 362, 462, 562) outputs the processed image data obtained by processing the captured image data (70, 570), and outputs the image sensor (44, 244, 344).
  • the processing unit (62, 262, 362, 462, 562) performs a process of dividing the captured image data (70, 570) stored in the storage unit (64) into a plurality of image data (70A, 70B),
  • the output units (62D, 262D, 362D, 462D, 562D) are provided corresponding to the respective signal processing units (50, 250, 350, 450, 550, 650, 52, 252, 452).
  • Each of the plurality of image data (70A, 70B) is an adjacent image (70A1a, 70B1a, 70A2a) of the plurality of images (70A1a, 70B1a, 70A2a, 70B2a) based on each of the plurality of image data (70A, 70B). , 70B2a), the image pickup device (200) according to appendix 1, which is image data showing an image having an overlapping region (71, 272).
  • the processing unit detects the face image data indicating the face image (69) from the captured image data (70), and the designated image (70B2a) is processed in the captured image represented by the captured image data (70).
  • the imaging device (200) according to attachment 3 which is an image including a face image (69) represented by the face image data detected by the unit (262).
  • the processing unit (462) is the imaging device (400) according to any one of appendices 1 to 4, which changes how to divide the captured image data between the recording imaging mode and the display moving image imaging mode.
  • the processing unit (462) divides the captured image data (70) into a plurality of overlapping image data (70A1, 70B1) as a plurality of image data in the recording image capturing mode, and extracts the captured image data (70) in the display moving image capturing mode.
  • Divide by line unit The imaging device according to attachment 5, wherein each of the plurality of overlapping image data is image data indicating an image having an overlapping region (71) between adjacent images among the plurality of images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含み、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。

Description

撮像装置、撮像装置の画像データ処理方法、及びプログラム
　本開示の技術は、撮像装置、撮像装置の画像データ処理方法、及びプログラムに関する。
　特開２０１６－１５８２９４号公報には、撮像素子、画像処理部、及び制御部を備えた電子機器が開示されている。撮像素子は、第１撮像領域及び第２撮像領域を有する。撮像素子において、第１撮像領域及び第２撮像領域は、互いに画素が配列されている。撮像素子は、第１撮像条件の場合に第１撮像領域で撮像を行い、第１撮像条件とは異なる第２撮像条件の場合に第２撮像領域で撮像を行う。第１撮像領域の画素信号からなる画像データ、及び第２撮像領域の画素信号からなる画像データは、１系統の出力ラインを介して後段の画像処理部に出力される。
　画像処理部は、第１撮像領域の画素信号からなる画像データに対して種々の画像処理を施すことで第１画像データを生成し、第２撮像領域の画素信号からなる画像データに対して種々の画像処理を施すことで第２画像データを生成する。制御部は、第１画像データにより示される第１画像と第２画像データにより示される第２画像とを合成したライブビュー画像又は静止画を表示部に表示させる。
　本開示の技術に係る一つの実施形態は、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる撮像装置、撮像装置の画像データ処理方法、及びプログラムを提供する。
　本開示の技術の第１の態様に係る撮像装置は、撮像素子を備えた撮像装置であって、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含み、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
　本開示の技術の第２の態様に係る撮像装置において、複数の画像データの各々は、複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである。これにより、撮像画像を単に二分して得た２つの画像を繋ぎ合わせる場合に比べ、２つの画像間の境界領域の顕在化が抑制される。
　本開示の技術の第３の態様に係る撮像装置において、複数の画像は、指定された画像と指定された画像とは異なる画像とで分けられている。これにより、指定された画像と指定された画像とは異なる画像との間の境界領域の顕在化が抑制される。
　本開示の技術の第４の態様に係る撮像装置において、撮像画像データから顔の画像を示す顔画像データを検出する検出部を更に含み、指定された画像は、撮像画像データにより示される撮像画像のうちの検出部により検出された顔画像データにより示される顔の画像を含む画像である。これにより、顔の画像を含む画像と顔の画像を含まない画像との間の境界領域の顕在化が抑制される。
　本開示の技術の第５の態様に係る撮像装置において、記録用撮像モードと表示動画用撮像モードとで撮像画像データの分け方が異なる。これにより、記録用撮像モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。
　本開示の技術の第６の態様に係る撮像装置において、記録用撮像モードで撮像画像データが複数の画像データとして複数の重複画像データに分けられ、表示動画用撮像モードで撮像画像データがライン単位で分けられる。これにより、記録用撮像モードでは、表示動画用撮像モードよりも画質を高めることができ、表示動画用撮像モードでは、記録用撮像モードよりも電力消費を抑え、かつ、処理速度を高めることができる。
　本開示の技術の第７の態様に係る撮像装置において、複数の重複画像データの各々は、複数の画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである。これにより、撮像画像を単に二分して得た２つの画像を繋ぎ合わせる場合に比べ、２つの画像間の境界領域の顕在化が抑制される。
　本開示の技術の第８の態様に係る撮像装置において、記録用撮像モードは、撮像素子に対して静止画像用の撮像を行わせる動作モードである。これにより、静止画像用の撮像を行わせる動作モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。
　本開示の技術の第９の態様に係る撮像装置において、撮像画像データは、複数の原色画素が周期的に配列されたカラー撮像画像を示すカラー画像データであり、カラー画像データは、複数の画像データとして複数の原色画素配列画像データに分けられ、複数の原色画素配列画像データの各々は、複数の原色画素が各々周期的に配列された画像を示す画像データである。これにより、カラー画像データが複数の原色画素配列画像データに分けられた場合であっても、複数の原色画素についてのデモザイク処理を実現することができる。
　本開示の技術の第１０の態様に係る撮像装置において、複数の原色画素配列画像データは、カラー画像データが間引きされてから分割されることで得られた複数の分割画像データである。これにより、カラー画像データが間引きされることなく分割されて得られた複数の画像データが複数の信号処理部によって処理される場合に比べ、高速な処理を実現することができる。
　本開示の技術の第１１の態様に係る撮像装置において、複数の分割画像データは、カラー画像データが行単位で間引かれることで得られた間引き画像データのうち、奇数列の画素の集合を示す奇数列画像データ、及び偶数列の画素の集合を示す偶数列画像データである。これにより、複数の信号処理部の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を実現することができる。
　本開示の技術の第１２の態様に係る撮像装置において、複数の信号処理部の何れかが、複数の画像データが合成されて得られた合成画像データに対してデモザイク処理を行う。これにより、デモザイク処理が行われない場合に比べ、高画質な画像を得ることができる。
　本開示の技術の第１３の態様に係る撮像装置において、複数の画像データは、撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られた複数の圧縮画像データである。これにより、複数の信号処理部の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を実現することができる。
　本開示の技術の第１４の態様に係る撮像装置において、複数の圧縮画像データは、撮像画像データのうち、上位ビットの画像データ、及び下位ビットの画像データである。これにより、上位ビットの画像データに対しては下位ビットの画像データよりも高精度な処理を行うことができ、下位ビットの画像データに対しては上位ビットの画像データよりも電力消費を抑え、かつ、処理速度を高めることができる。
　本開示の技術の第１５の態様に係る撮像装置において、撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化された撮像素子である。これにより、光電変換素子と記憶部とが１チップ化されていない撮像素子に比べ、撮像素子の可搬性を高めることができる。
　本開示の技術の第１６の態様に係る撮像装置において、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である。これにより、光電変換素子と記憶部とが積層されてない場合に比べ、光電変換素子と記憶部との間での処理にかかる負荷が軽減される。
　本開示の技術の第１７の態様に係る撮像装置において、出力部により出力された複数の画像データに基づく画像を表示部に対して表示させる制御を行う制御部を更に含む。これにより、出力部により出力された複数の画像データに基づく画像をユーザに視認させることができる。
　本開示の技術の第１８の態様に係る画像データ処理方法は、撮像素子と、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含む撮像装置の画像データ処理方法であって、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成することを含む。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
　本開示の技術の第１９の態様に係るプログラムは、撮像素子と、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像素子に内蔵された出力部と、撮像素子の外部に設けられた複数の信号処理部と、を含む撮像装置に含まれる出力部としてコンピュータを機能させるためのプログラムであって、出力部は、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、記憶部に記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
　本開示の技術の第２０の態様に係る撮像装置は、撮像素子を備えた撮像装置であって、撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、撮像素子に内蔵されたプロセッサと、撮像素子の外部に設けられた複数の信号処理部と、を含み、プロセッサは、複数の信号処理部の各々に対して各々対応させて設けられた複数の出力ラインを有し、複数の出力ラインから、メモリに記憶された撮像画像データが分けられた複数の画像データの各々を複数の信号処理部のうちの対応する信号処理部に出力し、複数の信号処理部の何れかが複数の画像データを合成する。これにより、撮像素子から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
撮像装置の外観を示す斜視図である。 撮像装置の背面側を示す背面図である。 撮像装置の構成を示すブロック図である。 撮像素子の構成を示す概略構成図である。 撮像素子の構成を示すブロック図である。 第１実施形態に係る撮像装置内でのデータの流れを示すブロック図である。 撮像画像に含まれる左側画像及び右側画像の特徴を示す概念図である。 撮像装置に含まれるコントローラ及びＵＩ系デバイス、並びにコントローラ及びＵＩ系デバイスの周辺の構成を示すブロック図である。 ハイブリッドファインダーの構成を示す概略構成図である。 第１実施形態に係る撮像処理の流れを示すフローチャートである。 第１実施形態に係る第１信号処理の流れを示すフローチャートである。 第１実施形態に係る第２信号処理の流れを示すフローチャートである。 第２実施形態に係る撮像装置内でのデータの流れを示すブロック図である。 顔領域画像と背景領域画像との関係を示す画像図である。 顔領域画像と背景領域画像と重複領域との関係を示す画像図である。 第２実施形態に係る撮像処理の流れを示すフローチャートである。 第２実施形態に係る第１信号処理の流れを示すフローチャートである。 第２実施形態に係る第２信号処理の流れを示すフローチャートである。 第３実施形態に係る撮像装置内でのデータの流れを示すブロック図である。 撮像画像データから垂直間引画像データを生成する方法の説明に供する説明図である。 垂直間引画像データと奇数列画像データと偶数列画像データとの関係を示す概念図である。 垂直間引画像データを奇数列画像データと偶数列画像データとに分離する態様を示す概念図である。 第３実施形態に係る撮像処理の流れを示すフローチャートである。 第３実施形態に係る第１信号処理の流れを示すフローチャートである。 第３実施形態に係る第２信号処理の流れを示すフローチャートである。 第３実施形態に係る撮像装置内でのデータの流れを示すブロック図である。 静止画像用撮像モードが設定された撮像装置内でのデータの流れを示すブロック図である。 表示画像用撮像モードが設定された撮像装置内でのデータの流れを示すブロック図である。 第４実施形態に係る撮像処理の流れを示すフローチャートである。 第４実施形態に係る撮像装置内でのデータの流れを示すブロック図である。 ベイヤ配列の撮像画像データから垂直間引画像データを生成する方法の説明に供する説明図である。 垂直間引画像データと第１水平間引画像データと第２水平間引画像データとの関係を示す概念図である。 撮像画像データを上位ビットデータと下位ビットデータとに分離してから処理を行う形態を示すブロック図である。 ３つ以上の信号処理部を用いた場合の撮像素子、複数の信号処理部、及びコントローラとの関係を示す概念図である。 撮像処理プログラムが記憶された記憶媒体から、撮像処理プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
　以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
　先ず、以下の説明で使用される用語の意味について説明する。
　また、以下の説明において、ＣＰＵとは、“Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。また、以下の説明において、ＲＡＭとは、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＲＯＭとは、“Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＤＲＡＭとは、“Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＳＲＡＭとは、“Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。
　また、以下の説明において、ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＬＳＩとは、“Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。また、以下の説明において、ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ”の略称を指す。
　また、以下の説明において、ＳＳＤとは、“Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。また、以下の説明において、ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ”の略称を指す。また、以下の説明において、ＨＤＤとは、“Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ”の略称を指す。また、以下の説明において、ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。
　また、以下の説明において、ＣＣＤとは、“Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ”の略称を指す。また、以下の説明において、ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。また、以下の説明において、ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。また、以下の説明において、Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。また、以下の説明において、ＦＩＦＯとは、“Ｆｉｒｓｔ　ｉｎ　Ｆｉｒｓｔ　ｏｕｔ”の略称を指す。また、以下の説明において、Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。また、以下の説明において、ＥＩＳとは、“Ｅｌｅｃｔｒｏｎｉｃｓ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚａｔｉｏｎ”の略称を指す。また、以下の説明において、ＡＦとは、“Ａｕｔｏ－Ｆｏｃｕｓ”の略称を指す。また、以下の説明において、ＡＥとは、“Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ”の略称を指す。また、以下の説明において、ＵＩとは、“Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ”の略称を指す。
　［第１実施形態］
　一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。
　また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）１６が設けられている。ここで言うハイブリッドファインダー１６とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ　ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ　ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。
　撮像装置本体１２の前面には、ファインダー切替レバー１８が設けられている。ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー１８を矢印ＳＷ方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、後述の光電変換素子６１（図３及び図４参照）で撮像されることにより得られた表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。
　撮像装置本体１２の上面には、レリーズボタン２０及びダイヤル２２が設けられている。ダイヤル２２は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作される。
　レリーズボタン２０は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
　撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードは、表示動画用撮像モードと記録用撮像モードとに大別される。
　表示動画用撮像モードでは、連続的な撮像により得られた連続する複数フレーム分の表示用画像データに基づくライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６（図８及び図９参照）に表示される動作モードである。表示用画像データは、ライブビュー画像用の画像データであり、例えば、後述のＣＰＵ４６Ａ（図８参照）により、被写体の画像を示す撮像画像データ７０（図３～図７参照）に基づいて生成される。撮像画像データ７０とは、後述の撮像素子４４（図３参照）により被写体が撮像されることで得られた画像データを指す。なお、以下では、説明の便宜上、撮像画像データ７０により示される画像を「撮像画像」と称する。
　記録用撮像モードは、静止画像用撮像モードと動画像用撮像モードとに大別される。静止画像用撮像モードは、撮像素子４４（図３参照）に対して静止画像用の撮像を行わせる動作モードである。静止画像用撮像モードでは、撮像装置１０により被写体が撮像されることで得られた静止画像が特定の記録デバイス（例えば、二次記憶装置（図８参照）等）に記録される。動画像用撮像モードは、撮像素子４４（図３参照）に対して動画用の撮像を行わせる動作モードである。動画用撮像モードでは、撮像装置１０により被写体が撮像されることで得られた動画像が特定の記録デバイスに記憶される。
　記録用撮像モードでは、ライブビュー画像が後述の第１ディスプレイ３２及び／又は第２ディスプレイ８６に表示され、かつ、記録用画像データが後述の二次記憶装置８０（図８参照）及び／又はメモリカード等に記録される動作モードである。記録用画像データは、静止画像データと動画像データとに大別され、撮像画像データ７０（図３～図７参照）に基づいて生成される。
　撮像モードが設定されると、先ず、撮像装置１０は、表示動画用撮像モードになる。表示動画用撮像モードでは、レリーズボタン２０が押圧操作された場合に、撮像装置１０は、表示動画用撮像モードから記録用撮像モードに移行する。
　撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２０が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２０が半押し状態にされることによりＡＥ機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御され、レリーズボタン２０を全押し状態にすると撮像が行われる。
　一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ２６、指示キー２８、及びファインダー接眼部３０が設けられている。
　タッチパネル・ディスプレイ２６は、第１ディスプレイ３２及びタッチパネル３４（図８も参照）を備えている。第１ディスプレイ３２としては、液晶ディスプレイ又は有機ＥＬディスプレイが挙げられる。
　第１ディスプレイ３２は、画像及び文字情報等を表示する。第１ディスプレイ３２は、撮像装置１０が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、第１ディスプレイ３２は、静止画像用撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、第１ディスプレイ３２は、撮像装置１０が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
　タッチパネル３４は、透過型のタッチパネルであり、第１ディスプレイ３２の表示領域の表面に重ねられている。タッチパネル３４は、例えば、指又はスタイラスペン等の指示体による接触を検知し、検知結果を後述のＣＰＵ４６Ａ（図８参照）等の既定の出力先に出力する。
　指示キー２８は、１つ又は複数のメニューの選択、選択内容の確定、選択内容の消去、ズーム、及びコマ送り等の各種の指示を受け付ける。
　一例として図３に示すように、撮像装置１０は、マウント３６，３８を備えている。マウント３６は、撮像装置本体１２に設けられている。マウント３８は、交換レンズ１４において、マウント３６の位置に対応する位置に設けられている。交換レンズ１４は、マウント３６にマウント３８が結合されることにより撮像装置本体１２に交換可能に装着される。
　一例として図３に示すように、交換レンズ１４は、撮像レンズ４０を有する。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを備えている。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側から撮像装置本体１２側にかけて、光軸Ｌ１に沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、絞り４０Ｄは、後述のＣＰＵ４６Ａ（図８参照）の制御下で、モータ等の駆動源（図示省略）からの動力を受けることで作動する。すなわち、フォーカスレンズ４０Ｂ及びズームレンズ４０Ｃは、付与された動力に応じて光軸Ｌ１に沿って移動する。また、絞り４０Ｄは、付与された動力に応じて作動することで露出を調節する。
　撮像装置本体１２は、メカニカルシャッタ４２及び撮像素子４４を備えている。メカニカルシャッタ４２は、後述のＣＰＵ４６Ａ（図８参照）の制御下で、モータ等の駆動源（図示省略）からの動力を受けることで作動する。交換レンズ１４がマウント３６，３８を介して撮像装置本体１２に装着された場合に、被写体を示す被写体光は、撮像レンズ４０を透過し、メカニカルシャッタ４２を介して撮像素子４４の受光面４４Ａに結像される。
　撮像装置本体１２は、コントローラ４６、ＵＩ系デバイス４８、第１信号処理部５０、第２信号処理部５２、及びＤＲＡＭ５４，５６を備えている。なお、第１信号処理部５０及び第２信号処理部５２は、本開示の技術に係る「複数の信号処理プロセッサ」の一例である。
　コントローラ４６は、撮像装置１０の全体を制御する。ＵＩ系デバイス４８は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ４６には、ＵＩ系デバイス４８が接続されており、コントローラ４６は、ＵＩ系デバイス４８からの各種情報の取得、及びＵＩ系デバイス４８の制御を行う。
　撮像素子４４は、通信ライン５７を介してコントローラ４６に接続されており、コントローラ４６の制御下で、被写体を撮像して撮像画像データ７０を生成する。詳しくは後述するが、撮像素子４４は、生成した撮像画像データ７０を２つの画像データに分離する。図３に示す例では、撮像画像データ７０が分離されて得られた２つの画像データのうちの一方の画像データとして第１分離画像データ７０Ａが示されており、他方の画像データとして第２分離画像データ７０Ｂが示されている。
　撮像素子４４は、第１出力ライン５３を介して第１信号処理部５０に接続されており、第２出力ライン５５を介して第２信号処理部５２に接続されている。第１信号処理部５０及び第２信号処理部５２の各々はＬＳＩである。なお、本実施形態において、第１信号処理部５０及び第２信号処理部５２の各々は、ＡＳＩＣによって実現されている。
　但し、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及び／又はＦＰＧＡが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＧＡが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、第１信号処理部５０及び／又は第２信号処理部５２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　第１信号処理部５０及び第２信号処理部５２は、互いに通信ライン５８を介して接続されている。第１信号処理部５０は、ＤＲＡＭ５４に接続されており、第２信号処理部５２は、ＤＲＡＭ５６に接続されている。第１信号処理部５０は、通信ライン６０を介してコントローラ４６に接続されている。
　撮像素子４４は、第１出力ライン５３を介して第１分離画像データ７０Ａを第１信号処理部５０に出力し、第２出力ライン５５を介して第２分離画像データ７０Ｂを第２信号処理部５２に出力する。
　第１信号処理部５０は、入力された第１分離画像データ７０Ａに対して、ＤＲＡＭ５４と協働して各種の信号処理（例えば、後述の「特定の信号処理」）を施す。第２信号処理部５２は、入力された第２分離画像データ７０Ｂに対して、ＤＲＡＭ５６と協働して各種の信号処理（例えば、後述の「特定の信号処理」）を施す。そして、第２信号処理部５２は、各種の信号処理を施した第２分離画像データ７０Ｂを、通信ライン５８を介して第１信号処理部５０に出力する。第１信号処理部５０は、各種の信号処理を施した第１分離画像データ７０Ａと、第２信号処理部５２から入力された第２分離画像データ７０Ｂとを合成して、通信ライン６０を介してコントローラ４６に出力する。
　撮像素子４４は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子４４は、例えば、ＣＭＯＳイメージセンサである。一例として図４に示すように、撮像素子４４には、光電変換素子６１、処理回路６２、及びメモリ６４が内蔵されている。撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。すなわち、光電変換素子６１、処理回路６２、及びメモリ６４は１パッケージ化されている。撮像素子４４では、光電変換素子６１に対して処理回路６２及びメモリ６４が積層されている。具体的には、光電変換素子６１及び処理回路６２は、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されており、処理回路６２及びメモリ６４も、銅等の導電性を有するバンプ（図示省略）によって互いに電気的に接続されている。なお、メモリ６４は、本開示の技術に係る「記憶部」の一例である。
　処理回路６２は、例えば、ＬＳＩであり、メモリ６４は、例えば、ＤＲＡＭである。但し、本開示の技術はこれに限らず、メモリ６４としてＤＲＡＭに代えてＳＲＡＭを採用してもよい。
　処理回路６２は、ＡＳＩＣによって実現されており、コントローラ４６の指示に従って、撮像素子４４の全体を制御する。なお、ここでは、処理回路６２がＡＳＩＣによって実現される例を挙げているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及び／又はＦＰＧＡが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＧＡが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路６２は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　光電変換素子６１は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
　光電変換素子６１は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子６１の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号のデモザイク処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、デモザイク処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
　なお、ここでは、撮像素子４４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子４４がＣＣＤイメージセンサであっても本開示の技術は成立する。
　撮像素子４４は、いわゆる電子シャッタ機能を有しており、コントローラ４６の制御下で電子シャッタ機能を働かせることで、光電変換素子６１内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
　撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ４２（図３参照）を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタ４２を作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
　処理回路６２は、光電変換素子６１により被写体が撮像されることで得られた撮像画像データ７０を読み出す。撮像画像データ７０は、光電変換素子６１に蓄積された信号電荷である。処理回路６２は、光電変換素子６１から読み出した撮像画像データ７０に対してＡ／Ｄ変換を行う。処理回路６２は、撮像画像データ７０に対してＡ／Ｄ変換を行うことで得た撮像画像データ７０をメモリ６４に記憶する。
　処理回路６２は、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０に対して各種の処理を施す。ここで言う「各種の処理」には、図４に示すように、撮像画像データ７０を第１分離画像データ７０Ａと第２分離画像データ７０Ｂとに分離する処理が含まれる。処理回路６２は、第１出力ライン５３を介して第１分離画像データ７０Ａを第１信号処理部５０に出力し、第２出力ライン５５を介して第２分離画像データ７０Ｂを第２信号処理部５２に出力する。
　一例として図５に示すように、処理回路６２は、光電変換素子制御回路６２Ａ、デジタル処理回路６２Ｂ、画像処理回路６２Ｃ、及び出力回路６２Ｄを含む。出力回路６２Ｄは、本開示の技術に係る「出力部」の一例である。
　光電変換素子制御回路６２Ａは、光電変換素子６１及びデジタル処理回路６２Ｂに接続されている。メモリ６４は、デジタル処理回路６２Ｂ及び画像処理回路６２Ｃに接続されている。画像処理回路６２Ｃは出力回路６２Ｄ及びメモリ６４に接続されている。
　出力回路６２Ｄは、第１出力ライン５３及び第２出力ライン５５を有する。第１出力ライン５３は、第１信号処理部５０に対して対応しており、出力回路６２Ｄと第１信号処理部５０とを接続している。第２出力ライン５５は、第２信号処理部５２に対して対応しており、出力回路６２Ｄと第２信号処理部５２とを接続している。
　光電変換素子制御回路６２Ａは、コントローラ４６の制御下で、光電変換素子６１を制御し、光電変換素子６１からアナログの撮像画像データ７０を読み出す。デジタル処理回路６２Ｂは、光電変換素子制御回路６２Ａにより読み出されたアナログの撮像画像データ７０に対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことでアナログの撮像画像データ７０をデジタル化する。そして、デジタル処理回路６２Ｂは、デジタル化した撮像画像データ７０をメモリ６４に記憶する。
　メモリ６４は、複数フレームの撮像画像データ７０を記憶可能なメモリである。メモリ６４は、画素単位の記憶領域（図示省略）を有しており、撮像画像データ７０がデジタル処理回路６２Ｂによって、画素単位で、メモリ６４のうちの対応する記憶領域に記憶される。
　画像処理回路６２Ｃは、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０に対して処理を施す。
　画像処理回路６２Ｃは、撮像画像データ７０に対して、上述した各種の処理を施す。画像処理回路６２Ｃは、撮像画像データ７０を第１分離画像データ７０Ａと第２分離画像データ７０Ｂとに分離し、分離して得た第１分離画像データ７０Ａ及び第２分離画像データ７０Ｂ（図３及び図４参照）を出力回路６２Ｄに出力する。
　出力回路６２Ｄは、画像処理回路６２Ｃから入力された第１分離画像データ７０Ａを、第１出力ライン５３を介して第１信号処理部５０に出力する。また、出力回路６２Ｄは、画像処理回路６２Ｃから入力された第２分離画像データ７０Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
　出力回路６２Ｄでの出力フレームレートは、撮像素子４４の後段のデバイスで用いられるフレームレートと同一のフレームレートである。出力フレームレートは、出力回路６２Ｄによる第１分離画像データ７０Ａ及び第２分離画像データ７０Ｂの出力に要するフレームレートであり、例えば、６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）である。これに対し、撮像フレームレートは、光電変換素子６１、光電変換素子制御回路６２Ａ、デジタル処理回路６２Ｂ、及びメモリ６４が協働して行う撮像に要するフレームレートであり、例えば、１２０ｆｐｓである。なお、ここで言う「撮像」とは、光電変換素子６１での１フレーム分の露光が開始されてからメモリ６４に１フレーム分の撮像画像データ７０が記憶されるまでの処理を指す。
　ここで、画像処理回路６２Ｃ、出力回路６２Ｄ、第１信号処理部５０、及び第２信号処理部５２での具体的な処理内容について説明する。
　一例として図６に示すように、画像処理回路６２Ｃは、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する。画像処理回路６２Ｃは、撮像画像データ７０を分離して得た左側画像データ７０Ａ１及び右側画像データ７０Ｂ１を出力回路６２Ｄに出力する。
　左側画像データ７０Ａ１は、上述した第１分離画像データ７０Ａ（図３～図５参照）の一例であり、右側画像データ７０Ｂ１は、上述した第２分離画像データ７０Ｂ（図３～図５参照）の一例である。
　左側画像データ７０Ａ１は、左側画像７０Ａ１ａ（図７参照）を示す画像データであり、右側画像データ７０Ｂ１は、右側画像７０Ｂ１ａ（図７参照）を示す画像データである。一例として図７に示すように、左側画像７０Ａ１ａ及び右側画像７０Ｂ１ａは、左右に隣接した一対の画像である。左側画像７０Ａ１ａ及び右側画像７０Ｂ１ａは重複領域７１を有する。重複領域７１は、左側画像７０Ａ１ａと右側画像７０Ｂ１ａとの間で左右方向ＲＬに重複する領域である。重複領域７１の左右方向ＲＬの画素数は、例えば、数十画素～数百画素である。
　なお、図６に示す例では、画像処理回路６２Ｃによってメモリ６４から撮像画像データ７０が取得され、取得された撮像画像データ７０が分離される形態例が挙げられているが、本開示の技術はこれに限定されない。この場合、例えば、先ず、画像処理回路６２Ｃは、メモリ６４内の予め定められたアドレスに従って撮像画像データ７０から左側画像データ７０Ａ１と右側画像データ７０Ｂ１とを選択する。そして、画像処理回路６２Ｃは、選択した左側画像データ７０Ａ１及び右側画像データ７０Ｂ１をメモリ６４から直接取得する。なお、予め定められたアドレスは、左側画像データ７０Ａ１の取得用アドレス及び右側画像データ７０Ｂ１の取得用アドレスである。左側画像データ７０Ａ１の取得用アドレス及び右側画像データ７０Ｂ１の取得用アドレスは、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１の各々に、重複領域７１を示す画像データも含まれるように定められている。
　第１信号処理部５０は、バッファ５０Ａ、信号処理回路５０Ｂ、及び受信回路５０Ｃを有する。信号処理回路５０Ｂには、ＤＲＡＭ５４及びコントローラ４６が接続されている。第２信号処理部５２は、バッファ５２Ａ、信号処理回路５２Ｂ、及び送信回路５２Ｃを有する。信号処理回路５２Ｂには、ＤＲＡＭ５６が接続されている。
　出力回路６２Ｄは、左側画像データ７０Ａ１を、第１出力ライン５３を介してバッファ５０Ａに出力する。バッファ５０Ａは、入力された左側画像データ７０Ａ１を保持し、ＦＩＦＯ方式で、信号処理回路５０Ｂに出力する。信号処理回路５０Ｂは、バッファ５０Ａから入力された左側画像データ７０Ａ１をＤＲＡＭ５４に記憶する。信号処理回路５０Ｂは、ＤＲＡＭ５４に記憶した左側画像データ７０Ａ１に対して、色調補正、ホワイトバランス調整、シャープネス調整、ガンマ補正、及び階調補正などの信号処理（以下、「特定の信号処理」と称する）を施す。
　出力回路６２Ｄは、右側画像データ７０Ｂ１を、第２出力ライン５５を介してバッファ５２Ａに出力する。バッファ５２Ａは、入力された右側画像データ７０Ｂ１を保持し、ＦＩＦＯ方式で、信号処理回路５２Ｂに出力する。信号処理回路５２Ｂは、バッファ５２Ａから入力された右側画像データ７０Ｂ１をＤＲＡＭ５６に記憶する。信号処理回路５２Ｂは、ＤＲＡＭ５６に記憶した右側画像データ７０Ｂ１に対して特定の信号処理を施す。
　送信回路５２Ｃは、信号処理回路５２Ｂにより特定の信号処理が施された右側画像データ７０Ｂ１を第１信号処理部５０に送信する。第１信号処理部５０では、受信回路５０Ｃが、送信回路５２Ｃから送信された右側画像データ７０Ｂ１を受信する。
　信号処理回路５０Ｂは、受信回路５０Ｃで受信された右側画像データ７０Ｂ１と、信号処理を施した左側画像データ７０Ａ１とを合成することで合成画像データ７２を生成する。信号処理回路５０Ｂは、合成して得た合成画像データ７２を、通信ライン６０を介してコントローラ４６に出力する。
　合成画像データ７２は、左側画像データ７０Ａ１と右側画像データ７０Ｂ１とが繋ぎ合わされることによって生成される。ここで、左側画像データ７０Ａ１のうちの重複領域７１（図７参照）を示す画像データ、及び右側画像データ７０Ｂ１のうちの重複領域７１（図７参照）を示す画像データは、加算平均される。これにより、撮像画像を左右方向ＲＬ（図７参照）に単に二分して得た２つの画像を繋ぎ合わせる場合に比べ、２つの画像間の境界領域の顕在化が抑制される。なお、ここでは、加算平均を例示しているが、本開示の技術はこれに限定されず、加算平均に代えて置換を採用してもよい。ここで言う「置換」とは、左側画像データ７０Ａ１のうちの重複領域７１を示す画像データと、右側画像データ７０Ｂ１のうちの重複領域７１を示す画像データとの一方を他方に置き換えることを指す。
　一例として図８に示すように、コントローラ４６は、ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅを備えている。ＣＰＵ４６Ａ、ＲＯＭ４６Ｂ、ＲＡＭ４６Ｃ、接続Ｉ／Ｆ４６Ｄ、及び入力Ｉ／Ｆ４６Ｅは、バスライン８８を介して相互に接続されている。
　ＲＯＭ４６Ｂには、各種プログラムが記憶されている。ＣＰＵ４６Ａは、ＲＯＭ４６Ｂから各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ４６Ｃに展開する。ＣＰＵ４６Ａは、ＲＡＭ４６Ｃに展開した各種プログラムに従って撮像装置１０の全体を制御する。
　接続Ｉ／Ｆ４６Ｄは、ＦＰＧＡであり、通信ライン５７を介して撮像素子４４に接続されている。ＣＰＵ４６Ａは、接続Ｉ／Ｆ４６Ｄを介して撮像素子４４を制御する。
　入力Ｉ／Ｆ４６Ｅは、ＦＰＧＡを有するデバイスであり、通信ライン６０を介して第１信号処理部５０に接続されている。入力Ｉ／Ｆ４６Ｅには、通信ライン６０を介して第１信号処理部５０から合成画像データ７２（図６参照）が入力される。入力Ｉ／Ｆ４６Ｅは、第１信号処理部５０から入力された合成画像データ７２をＣＰＵ４６Ａに転送する。
　バスライン８８には、二次記憶装置８０及び外部Ｉ／Ｆ８２が接続されている。二次記憶装置８０は、ＳＳＤ、ＨＤＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリである。ＣＰＵ４６Ａは、二次記憶装置８０に対して各種情報の読み書きを行う。
　外部Ｉ／Ｆ８２は、ＦＰＧＡを有するデバイスである。外部Ｉ／Ｆ８２には、ＵＳＢメモリ及びメモリカード等の外部装置（図示省略）が接続される。外部Ｉ／Ｆ８２は、ＣＰＵ４６Ａと外部装置との間の各種情報の授受を司る。
　ＵＩ系デバイス４８は、ハイブリッドファインダー１６、タッチパネル・ディスプレイ２６、及び受付部８４を備えている。第１ディスプレイ３２及びタッチパネル３４は、バスライン８８に接続されている。従って、ＣＰＵ４６Ａは、第１ディスプレイ３２に対して各種情報を表示させ、タッチパネル３４によって受け付けられた各種指示に従って動作する。
　受付部８４は、タッチパネル３４及びハードキー部２５を備えている。ハードキー部２５は、複数のハードキーであり、レリーズボタン２０、ダイヤル２２、及び指示キー２８を有する。ハードキー部２５は、バスライン８８に接続されており、ＣＰＵ４６Ａは、ハードキー部２５によって受け付けられた各種指示に従って動作する。
　ハイブリッドファインダー１６は、第２ディスプレイ８６を備えている。ＣＰＵ４６Ａは、第２ディスプレイ８６に対して各種情報を表示させる。
　一例として図９に示すように、ハイブリッドファインダー１６は、ＯＶＦ９０及びＥＶＦ９２を含む。ＯＶＦ９０は、逆ガリレオ式ファインダーであり、接眼レンズ９４、プリズム９６、及び対物レンズ９８を有する。ＥＶＦ９２は、第２ディスプレイ８６、プリズム９６、及び接眼レンズ９４を有する。
　対物レンズ９８の光軸Ｌ２に沿って対物レンズ９８よりも被写体側には、液晶シャッタ１００が配置されており、液晶シャッタ１００は、ＥＶＦ９２を使用する際に、対物レンズ９８に光学像が入射しないように遮光する。
　プリズム９６は、第２ディスプレイ８６に表示される電子像又は各種の情報を反射させて接眼レンズ９４に導き、且つ、光学像と第２ディスプレイ８６に表示される電子像及び／又は各種情報とを合成する。第２ディスプレイ８６に表示される電子像としては、合成画像データ７２に基づくライブビュー画像１０２が挙げられる。
　ＣＰＵ４６Ａは、ＯＶＦモードの場合、液晶シャッタ１００が非遮光状態になるように制御し、接眼レンズ９４から光学像が視認できるようにする。また、ＣＰＵ４６Ａは、ＥＶＦモードの場合、液晶シャッタ１００が遮光状態になるように制御し、接眼レンズ９４から第２ディスプレイ８６に表示される電子像のみが視認できるようにする。
　なお、以下では、説明の便宜上、第１ディスプレイ３２（図２及び図８参照）及び第２ディスプレイ８６を区別して説明する必要がない場合は、符号を付さずに「ディスプレイ」と称する。ディスプレイは、本開示の技術に係る「表示部」の一例である。また、ＣＰＵ４６Ａは、本開示の技術に係る「制御部（制御プロセッサ）」の一例である。
　次に、撮像装置１０の作用について説明する。
　先ず、撮像素子４４の処理回路６２によって実行される撮像処理の流れについて図１０を参照しながら説明する。
　図１０に示す撮像処理では、先ず、ステップＳＴ１０で、光電変換素子制御回路６２Ａは、光電変換素子６１に対して露光を開始させるタイミング（以下、「露光開始タイミング」と称する）が到来したか否かを判定する。露光開始タイミングは、上述した撮像フレームレートによって周期的に規定されたタイミングである。ステップＳＴ１０において、露光開始タイミングが到来していない場合は、判定が否定されて、撮像処理はステップＳＴ２２へ移行する。ステップＳＴ１０において、露光開始タイミングが到来した場合は、判定が肯定されて、撮像処理はステップＳＴ１２へ移行する。
　ステップＳＴ１２で、光電変換素子制御回路６２Ａは、光電変換素子６１に対して１フレーム分の露光を行わせる。
　次のステップＳＴ１４で、光電変換素子制御回路６２Ａは、光電変換素子６１から１フレーム分の撮像画像データ７０を読み出す。
　次のステップＳＴ１６で、デジタル処理回路６２Ｂは、ステップＳＴ１４で読み出された撮像画像データ７０に対して相関二重サンプリングの信号処理を行ってからＡ／Ｄ変換を行うことでアナログの撮像画像データ７０をデジタル化する。そして、デジタル処理回路６２Ｂは、デジタル化した撮像画像データ７０をメモリ６４に記憶する。
　次のステップＳＴ１８で、画像処理回路６２Ｃは、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０を左側画像データ７０Ａ１（図６参照）と右側画像データ７０Ｂ１（図６参照）とに分離する。画像処理回路６２Ｃは、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１を出力回路６２Ｄに出力する。
　次のステップＳＴ２０で、出力回路６２Ｄは、左側画像データ７０Ａ１を、第１出力ライン５３（図３～図６及び図８参照）を介して第１信号処理部５０に出力する。また、出力回路６２Ｄは、右側画像データ７０Ｂ１を、第２出力ライン５５（図３～図６及び図８参照）を介して第２信号処理部５２に出力する。
　次のステップＳＴ２２で、処理回路６２は、撮像処理を終了する条件（以下、「撮像処理終了条件」と称する）を満足したか否かを判定する。撮像処理終了条件としては、例えば、撮像処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ２２において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
　次に、第１信号処理部５０によって実行される第１信号処理の流れについて図１１を参照しながら説明する。
　図１１に示す第１信号処理では、ステップＳＴ３０で、第１信号処理部５０は、処理回路６２から左側画像データ７０Ａ１（図６参照）が入力されたか否かを判定する。ステップＳＴ３０において、処理回路６２から左側画像データ７０Ａ１が入力されていない場合は、判定が否定されて、第１信号処理はステップＳＴ４２へ移行する。ステップＳＴ３０において、処理回路６２から左側画像データ７０Ａ１が入力された場合は、判定が肯定されて、第１信号処理はステップＳＴ３２へ移行する。
　ステップＳＴ３２で、第１信号処理部５０は、左側画像データ７０Ａ１に対して特定の信号処理を施す。
　次のステップＳＴ３４で、第１信号処理部５０は、図１２に示す第２信号処理のステップＳＴ５４の処理が実行されることで送信される右側画像データ７０Ｂ１（図６参照）を受信したか否かを判定する。ステップＳＴ３４において、右側画像データ７０Ｂ１を受信していない場合は、判定が否定されて、第１信号処理はステップＳＴ４０へ移行する。ステップＳＴ３４において、右側画像データ７０Ｂ１を受信した場合は、判定が肯定されて、第１信号処理はステップＳＴ３６へ移行する。
　ステップＳＴ４０で、第１信号処理部５０は、第１信号処理を終了する条件（以下、「第１信号処理終了条件」と称する）を満足したか否かを判定する。第１信号処理終了条件としては、例えば、第１信号処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ４０において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ３４へ移行する。ステップＳＴ４０において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
　ステップＳＴ３６で、第１信号処理部５０は、ステップＳＴ３２の処理が実行されることで得られた左側画像データ７０Ａ１と、ステップＳＴ３４で受信した右側画像データ７０Ｂ１とを合成する合成処理を行うことで合成画像データ７２（図６参照）を生成する。
　次のステップＳＴ３８で、第１信号処理部５０は、ステップＳＴ３６の処理が実行されることで得られた合成画像データ７２を、通信ライン６０（図６及び図８参照）を介してコントローラ４６（図６参照）に出力する。
　次のステップＳＴ４２で、第１信号処理部５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ４２において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ３０へ移行する。ステップＳＴ４２において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
　次に、第２信号処理部５２によって実行される第２信号処理の流れについて図１２を参照しながら説明する。
　図１２に示す第２信号処理では、ステップＳＴ５０で、第２信号処理部５２は、処理回路６２から右側画像データ７０Ｂ１（図６参照）が入力されたか否かを判定する。ステップＳＴ５０において、処理回路６２から右側画像データ７０Ｂ１が入力されていない場合は、判定が否定されて、第２信号処理はステップＳＴ５６へ移行する。ステップＳＴ５０において、処理回路６２から右側画像データ７０Ｂ１が入力された場合は、判定が肯定されて、第２信号処理はステップＳＴ５２へ移行する。
　ステップＳＴ５２で、第２信号処理部５２は、右側画像データ７０Ｂ１に対して特定の信号処理を施す。
　次のステップＳＴ５４で、第２信号処理部５２は、ステップＳＴ５２の処理が実行されることで得られた右側画像データ７０Ｂ１を、通信ライン５８（図３～図６及び図８参照）を介して第１信号処理部５０に送信する。
　次のステップＳＴ５６で、第２信号処理部５２は、第２信号処理を終了する条件（以下、「第２信号処理終了条件」と称する）を満足したか否かを判定する。第２信号処理終了条件としては、例えば、第２信号処理を終了させる指示が受付部８４によって受け付けられた、との条件が挙げられる。ステップＳＴ５６において、第２信号処理終了条件を満足していない場合は、判定が否定されて、第２信号処理はステップＳＴ５０へ移行する。ステップＳＴ５６において、第２信号処理終了条件を満足した場合は、判定が肯定されて、第２信号処理が終了する。
　以上説明したように、撮像装置１０は、撮像素子４４、第１信号処理部５０、及び第２信号処理部５２を備えている。また、撮像素子４４は、出力回路６２Ｄを備えている。左側画像データ７０Ａ１は、出力回路６２Ｄによって第１出力ライン５３を介して第１信号処理部５０に出力され、右側画像データ７０Ｂ１は、出力回路６２Ｄによって第２出力ライン５５を介して第２信号処理部５２に出力される。そして、特定の信号処理が各々施された左側画像データ７０Ａ１及び右側画像データ７０Ｂ１が第１信号処理部５０によって合成され、合成されて得られた合成画像データ７２がコントローラ４６に出力される。
　そのため、１系統の出力ラインのみを用いて第１信号処理部５０及び第２信号処理部５２に撮像画像データ７０が出力される場合に比べ、撮像素子４４と第１信号処理部５０及び第２信号処理部５２の各々との間のトラフィックが小さくなる。
　また、第１信号処理部５０及び第２信号処理部５２の各々が特定の信号処理を行う対象である画像データのデータ量は、撮像画像データ７０よりも少ない。そのため、第１信号処理部５０又は第２信号処理部５２のみが撮像画像データ７０の全体に対して特定の信号処理を行う場合に比べ、特定の信号処理を実行する場合の第１信号処理部５０及び第２信号処理部５２の各々にかかる負荷が軽減される。
　従って、撮像装置１０は、撮像素子４４から１系統の出力ラインのみで画像データを複数の信号処理部に出力する場合に比べ、高速な画像処理を実現することができる。
　また、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１の各々は、図７に示すように、左側画像７０Ａ１ａと右側画像７０Ｂ１ａとの間で重複領域７１を有する画像を示す画像データである。撮像画像が左右方向ＲＬ（図７参照）に単に二分されて得られた２つの画像が合成されると、２つの画像間の境界領域が顕在化する虞がある。しかし、図７に示すように、左側画像７０Ａ１ａ及び右側画像７０Ｂ１ａの各々は重複領域７１を有している。そのため、撮像画像が左右方向ＲＬに単に二分されて得られた２つの画像が合成される場合に比べ、２つの画像間の境界領域が顕在化するという事態の発生を抑制することができる。
　また、撮像素子４４は、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子である。これにより、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像素子４４の可搬性が高くなる。また、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化されていない撮像素子に比べ、撮像装置本体１２の小型化にも寄与することができる。
　また、図４に示すように、撮像素子４４として、光電変換素子６１にメモリ６４が積層された積層型撮像素子が採用されている。これにより、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、光電変換素子６１とメモリ６４との間での処理にかかる負荷を軽減することができる。また、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子６１とメモリ６４とが積層されていない場合に比べ、撮像装置本体１２の小型化にも寄与することができる。
　また、図９に示すように、合成画像データ７２により示される画像がライブビュー画像１０２としてＣＰＵ４６Ａの制御下で第２ディスプレイ８６に表示される。これにより、合成画像データ７２により示される画像をユーザに視認させることができる。図９に示す例では、第２ディスプレイ８６にライブビュー画像１０２が表示されているが、本開示の技術はこれに限定されるものではない。例えば、ライブビュー画像１０２が第１ディスプレイ３２に表示されるようにしてもよいし、第１ディスプレイ３２及び第２ディスプレイ８６の双方にライブビュー画像１０２が表示されるようにしてもよい。
　なお、上記第１実施形態では、撮像素子４４として、光電変換素子６１、処理回路６２、及びメモリ６４が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子６１、処理回路６２、及びメモリ６４のうち、少なくとも光電変換素子６１及びメモリ６４が１チップ化されていればよい。
　上記第１実施形態では、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ７０は、撮像画像のうちの上側領域の画像を示す上側画像データと、撮像画像のうちの下側領域の画像を示す下側画像データとに分離されるようにしてもよい。また、撮像画像データ７０は、撮像画像のうちの左上側領域の画像を示す左上側画像データと、撮像画像のうちの右下側領域の画像を示す右下側画像データとに分離されるようにしてもよい。また、撮像画像データ７０は、撮像画像のうちの右上側領域の画像を示す右上側画像データと、撮像画像のうちの左下側領域の画像を示す左下側画像データとに分離されるようにしてもよい。更に、撮像画像データ７０は、撮像画像のうちの中央領域の画像を示す中央画像データと、撮像画像のうちの周辺領域、すなわち、中央領域以外の領域の画像を示す周辺画像データとに分離されるようにしてもよい。
　このように撮像画像データ７０が分離される場合であっても、撮像画像データ７０が分離されることで得られた一対の画像データの各々は、撮像画像が分離された２つの画像間で分離方向に重複した画像を示す重複画像データを含む画像データであることが好ましい。
　［第２実施形態］
　上記第１実施形態では、第１分離画像データ７０Ａ及び第２分離画像データ７０Ｂの各々に対して同一の信号処理が行われる場合について説明したが、本第２実施形態では、第１分離画像データ７０Ａと第２分離画像データ７０Ｂとに対して差別的な信号処理が行われる場合について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
　図１に示すように、本第２実施形態に係る撮像装置２００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体２１２を有する点が異なる。
　撮像装置本体２１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子２４４（図１３参照）を有する点が異なる。また、撮像装置本体２１２は、撮像装置本体１２に比べ、第１信号処理部５０に代えて第１信号処理部２５０（図１３参照）を有する点、及び第２信号処理部５２に代えて第２信号処理部２５２（図１３参照）を有する点が異なる。
　図１３に示すように、撮像素子２４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路２６２を有する点が異なる。処理回路２６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路２６２Ｃを有する点、及び、出力回路６２Ｄに代えて出力回路２６２Ｄを有する点が異なる。
　画像処理回路２６２Ｃは、画像処理回路６２Ｃに比べ、顔検出回路２６２Ｃ１を有する点が異なる。顔検出回路２６２Ｃ１は、本開示の技術に係る「検出部（検出プロセッサ）」の一例である。顔検出回路２６２Ｃ１は、公知の顔検出機能を有する回路である。顔検出回路２６２Ｃ１は、ＡＳＩＣ等によるハードウェア構成によって実現される。なお、顔検出回路２６２Ｃ１は、ハードウェア構成に限らず、ソフトウェア構成によって実現されるようにしてもよいし、ソフトウェア構成及びハードウェア構成によって実現されるようにしてもよい。本第２実施形態において、顔検出回路２６２Ｃ１は、メモリ６４から撮像画像データ７０を取得する。顔検出回路２６２Ｃ１は、取得した撮像画像データ７０により示される撮像画像のうち、人間の顔を示す顔画像６９（図１４Ａ参照）を特定する。すなわち、顔検出回路２６２Ｃ１は、撮像画像データ７０から、顔画像６９を示す顔画像データを検出する。
　そして、顔検出回路２６２Ｃ１は、特定した顔画像６９を含む既定範囲内の顔領域画像７０Ｂ２ａ（図１４Ａ参照）を示す顔領域画像データ７０Ｂ２を撮像画像データ７０から抽出することで、撮像画像データ７０を顔領域画像データ７０Ｂ２と背景領域画像データ７０Ａ２とに分離する。
　背景領域画像データ７０Ａ２とは、撮像画像のうち、背景領域の画像、すなわち、顔領域画像７０Ｂ２ａ以外の画像を示す画像データを指す。また、上記の既定範囲とは、例えば、撮像画像における顔画像６９（図１４Ａ参照）の位置、及び顔画像６９の大きさと撮像画像のうちの顔画像６９以外の画像の大きさとの相違度等に応じて定められる範囲を指す。図１４Ａに示す例では、撮像画像のうちの中央領域に顔画像６９が位置しており、この場合、撮像画像は、中央領域と上側領域と下側領域との３つの領域に分離される。そして、中央領域の画像が顔領域画像７０Ｂ２ａとして特定され、上側領域の画像及び下側領域の画像、すなわち、撮像画像のうちの中央領域以外の画像が背景領域画像７０Ａ２ａとして特定される。
　図１４Ａに示す例では、顔画像６９として、２人分の顔を示す画像が示されている。顔画像６９は、撮像画像のうち、複数人分の顔の密集度が最も高い領域を特定する画像である。なお、本開示の技術はこれに限定されず、例えば、顔画像６９に代えて、１人分の顔を示す顔画像を適用してもよいし、特定の表情の顔（例えば、笑顔）を示す顔画像を適用してもよいし、特定人物の顔を示す顔画像を適用してもよい。
　図１３に示すように、背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２は、画像処理回路２６２Ｃによって出力回路２６２Ｄに出力される。なお、背景領域画像データ７０Ａ２は、上述した第１分離画像データ７０Ａの一例であり、顔領域画像データ７０Ｂ２は、上述した第２分離画像データ７０Ｂの一例である。また、顔領域画像７０Ｂ２ａは、本開示の技術に係る「指定された画像」の一例であり、背景領域画像７０Ａ２ａは、本開示の技術に係る「指定された画像とは異なる画像」の一例である。
　出力回路２６２Ｄは、出力回路６２Ｄに比べ、左側画像データ７０Ａ１に代えて背景領域画像データ７０Ａ２を出力する点、及び、右側画像データ７０Ｂ１に代えて顔領域画像データ７０Ｂ２を出力する点が異なる。
　具体的には、出力回路２６２Ｄは、背景領域画像データ７０Ａ２を、第１出力ライン５３を介して第１信号処理部２５０に出力する。また、出力回路２６２Ｄは、顔領域画像データ７０Ｂ２を、第２出力ライン５５を介して第２信号処理部２５２に出力する。
　第１信号処理部２５０は、第１信号処理部５０に比べ、信号処理回路５０Ｂに代えて信号処理回路２５０Ｂを有する点が異なる。
　出力回路２６２Ｄから出力された背景領域画像データ７０Ａ２は、バッファ５０Ａに一旦保持され、バッファ５０Ａから信号処理回路２５０Ｂに出力される。そして、信号処理回路２５０Ｂは、バッファ５０Ａから入力された背景領域画像データ７０Ａ２に対して特定の信号処理を施す。
　第２信号処理部２５２は、第２信号処理部５２に比べ、信号処理回路５２Ｂに代えて第２信号処理回路２５２Ｂを有する点が異なる。信号処理回路２５２Ｂは、信号処理回路５２Ｂに比べ、顔認証処理回路２５２Ｂ１を有する点が異なる。
　出力回路２６２Ｄから出力された顔領域画像データ７０Ｂ２は、バッファ５２Ａに一旦保持され、バッファ５２Ａから信号処理回路２５２Ｂに出力される。そして、信号処理回路２５２Ｂは、バッファ５２Ａから入力された顔領域画像データ７０Ｂ２に対して特定の信号処理を施す。顔認証処理回路２５２Ｂ１は、公知の顔認証機能を有しており、特定の信号処理が施された顔領域画像データ７０Ｂ２に対して顔認証を実行する。顔認証が実行されることで、例えば、顔画像６９（図１４Ａ参照）により示される顔が特定の表示（例えば、笑顔）であるか否かの判定、及び／又は、顔画像６９により示される顔が特定の人物の顔であるか否かの判定が行われる。
　顔認証処理回路２５２Ｂ１は、顔認証が実行された顔領域画像データ７０Ｂ２を送信回路５２Ｃに出力する。顔領域画像データ７０Ｂ２には、顔認証の結果を示す顔認証結果情報が付与されており、後段回路での処理に供される。ここで言う「後段回路」とは、例えば、第１信号処理部２５０及び／又はコントローラ４６を指す。
　送信回路５２Ｃは、顔認証処理回路２５２Ｂ１から入力された顔領域画像データ７０Ｂ２を第１信号処理部２５０に送信する。
　第１信号処理部２５０では、受信回路５０Ｃが、送信回路５２Ｃから送信された顔領域画像データ７０Ｂ２を受信する。そして、信号処理回路２５０Ｂが、受信回路５０Ｃによって受信された顔領域画像データ７０Ｂ２と、信号処理回路２５０Ｂによって特定の信号処理が施された背景領域画像データ７０Ａ２とを合成し、合成画像データ２７２を生成する。そして、信号処理回路２５０Ｂは、合成画像データ２７２を、通信ライン６０を介してコントローラ４６に出力する。
　なお、背景領域画像７０Ａ２ａ及び顔領域画像７０Ｂ２ａは、一例として図１４Ｂに示すように、重複領域２７１を有していてもよい。重複領域２７１は、背景領域画像７０Ａ２ａと顔領域画像７０Ｂ２ａとの間で上下方向ＵＤに重複する領域である。上記第１実施形態で説明した重複領域７１と同様に、重複領域２７１の上下方向ＵＤの画素数は、例えば、数十画素～数百画素であればよい。背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２が第１信号処理部２５０によって合成される場合、背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２の各々の重複領域２７１を示す各画像データは、上記第１実施形態と同様に加算平均される。
　次に、撮像装置２００の作用について説明する。
　先ず、撮像素子２４４の処理回路２６２によって実行される撮像処理の流れについて図１５を参照しながら説明する。なお、図１５に示す撮像処理は、図１０に示す撮像処理に比べ、ステップＳＴ１８の処理に代えてステップＳＴ６０の処理を有する点、及びステップＳＴ２０の処理に代えてステップＳＴ６２を有する点が異なる。そのため、図１５に示す撮像処理のフローチャートには、図１０に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図１５に示す撮像処理については、図１０に示す撮像処理と異なる点のみを説明する。
　図１５に示す撮像処理では、ステップＳＴ６０で、顔検出回路２６２Ｃ１は、メモリ６４から撮像画像データ７０を取得し、取得した撮像画像データ７０を背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離する。そして、画像処理回路２６２Ｃは、背景領域画像データ７０Ａ２及び顔領域画像データ７０Ｂ２を出力回路２６２Ｄに出力する。
　次のステップＳＴ６２で、出力回路２６２Ｄは、背景領域画像データ７０Ａ２を、第１出力ライン５３を介して第１信号処理部２５０に出力する。また、出力回路２６２Ｄは、顔領域画像データ７０Ｂ２を、第２出力ライン５５を介して第２信号処理部２５２に出力する。
　次に、第１信号処理部２５０によって実行される第１信号処理の流れについて図１６を参照しながら説明する。
　図１６に示す第１信号処理では、ステップＳＴ７０で、第１信号処理部２５０は、処理回路２６２から背景領域画像データ７０Ａ２（図１３参照）が入力されたか否かを判定する。ステップＳＴ７０において、処理回路２６２から背景領域画像データ７０Ａ２が入力されていない場合は、判定が否定されて、第１信号処理はステップＳＴ８２へ移行する。ステップＳＴ７０において、処理回路２６２から背景領域画像データ７０Ａ２が入力された場合は、判定が肯定されて、第１信号処理はステップＳＴ７２へ移行する。
　ステップＳＴ７２で、第１信号処理部２５０は、背景領域画像データ７０Ａ２に対して特定の信号処理を施す。
　次のステップＳＴ７４で、第１信号処理部２５０は、図１７に示す第２信号処理のステップＳＴ９４の処理が実行されることで送信される顔領域画像データ７０Ｂ２（図１３参照）を受信したか否かを判定する。ステップＳＴ７４において、顔領域画像データ７０Ｂ２を受信していない場合は、判定が否定されて、第１信号処理はステップＳＴ８０へ移行する。ステップＳＴ７４において、顔領域画像データ７０Ｂ２を受信した場合は、判定が肯定されて、第１信号処理はステップＳＴ７６へ移行する。
　ステップＳＴ８０で、第１信号処理部２５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ８０において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ７４へ移行する。ステップＳＴ８０において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
　ステップＳＴ７６で、第１信号処理部２５０は、ステップＳＴ７２の処理が実行されることで得られた背景領域画像データ７０Ａ２と、ステップＳＴ７４で受信した顔領域画像データ７０Ｂ２とを合成する合成処理を行うことで合成画像データ２７２（図１３参照）を生成する。
　次のステップＳＴ７８で、第１信号処理部２５０は、ステップＳＴ７６の処理が実行されることで得られた合成画像データ２７２を、通信ライン６０（図１３参照）を介してコントローラ４６（図１３参照）に出力する。
　次のステップＳＴ８２で、第１信号処理部２５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ８２において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ７０へ移行する。ステップＳＴ８２において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
　次に、第２信号処理部２５２によって実行される第２信号処理の流れについて図１７を参照しながら説明する。
　図１７に示す第２信号処理では、ステップＳＴ９０で、第２信号処理部２５２は、処理回路２６２から顔領域画像データ７０Ｂ２（図１３参照）が入力されたか否かを判定する。ステップＳＴ９０において、処理回路２６２から顔領域画像データ７０Ｂ２が入力されていない場合は、判定が否定されて、第２信号処理はステップＳＴ９６へ移行する。ステップＳＴ９０において、処理回路２６２から顔領域画像データ７０Ｂ２が入力された場合は、判定が肯定されて、第２信号処理はステップＳＴ９２へ移行する。
　ステップＳＴ９２で、第２信号処理部２５２は、顔領域画像データ７０Ｂ２に対して特定の信号処理を施す。また、第２信号処理部２５２は、特定の信号処理を施した顔領域画像データ７０Ｂ２に対して顔認証を実行する。
　次のステップＳＴ９４で、第２信号処理部２５２は、ステップＳＴ９２の処理が実行されることで得られた顔領域画像データ７０Ｂ２を、通信ライン５８（図１３参照）を介して第１信号処理部２５０に送信する。なお、ステップＳＴ９２の処理が実行されることで得られた顔領域画像データ７０Ｂ２には、顔認証結果情報が付与されている。
　次のステップＳＴ９６で、第２信号処理部２５２は、第２信号処理終了条件を満足したか否かを判定する。ステップＳＴ９６において、第２信号処理終了条件を満足していない場合は、判定が否定されて、第２信号処理はステップＳＴ９０へ移行する。ステップＳＴ９６において、第２信号処理終了条件を満足した場合は、判定が肯定されて、第２信号処理が終了する。
　以上説明したように、撮像装置２００では、撮像画像データ７０が背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離される。そして、背景領域画像データ７０Ａ２が第１出力ライン５３を介して第１信号処理部２５０に出力され、顔領域画像データ７０Ｂ２が第２出力ライン５５を介して第２信号処理部２５２に出力される。
　一般的に、顔領域画像データ７０Ｂ２は背景領域画像データ７０Ａ２よりも重視される画像データであるため、第２信号処理部２５２では、顔領域画像データ７０Ｂ２に対して背景領域画像データ７０Ａ２よりも複雑な処理が施される。本第２実施形態では、複雑な処理として顔認証が実行されている。そして、特定の信号処理が施された背景領域画像データ７０Ａ２、及び特定の信号処理に加えて顔認証が実行された顔領域画像データ７０Ｂ２が第１信号処理部２５０によって合成される。
　このように、第１信号処理部２５０と第２信号処理部２５２とで異なる複雑度の処理が実行されるので、撮像画像データ７０の全体に対して常に複雑な処理が実行される場合に比べ、画像処理に要する負荷を軽減することができる。
　また、図１４Ｂに示すように、上下方向ＵＤに隣接する背景領域画像７０Ａ２ａ及び顔領域画像７０Ｂ２ａの各々が、背景領域画像７０Ａ２ａと顔領域画像７０Ｂ２ａとの間に重複領域２７１を有している。これにより、信号処理回路２５０Ｂでは、単に二分して得た２つの画像を繋ぎ合せる場合に比べ、背景領域画像７０Ａ２ａと顔領域画像７０Ｂ２ａとの間の境界領域の顕在化が抑制された合成画像データ２７２が生成される。
　なお、上記第２実施形態では、撮像画像データ７０が背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ７０のうち、ユーザによって受付部８４を介して指定された画像データが第２信号処理部２５２に出力され、撮像画像データ７０のうちの残りの画像データが第１信号処理部２５０に出力されるようにしてもよい。ユーザによって指定された画像データとは、例えば、撮像画像データ７０のうち、受付部８４によって受け付けられた指示に従って重要な画像データとして画定された画像データを指す。重要な画像データとは、例えば、ユーザが注目する人物及び／又は建物等の画像が含まれている部分領域を示す画像データを指す。
　この場合も、ユーザによって指定された画像データにより示される画像と、撮像画像データ７０のうちの残りの画像データにより示される画像との間で、重複領域２７１に相当する重複領域が設けられることが好ましい。これにより、信号処理回路２５０Ｂでは、単に二分した２つの画像を繋ぎ合せる場合に比べ、指定された画像データにより示される画像と、残りの画像データにより示される画像との境界領域の顕在化が抑制された合成画像データが生成される。
　また、上記第２実施形態では、複雑の処理の一例として顔認証を例示したが、本開示の技術はこれに限定されない。複雑な処理としては、例えば、人間の瞳を検出する瞳検出処理、赤目を補正する赤目補正処理、及び／又は、電子式のぶれ補正処理（例えば、ＥＩＳ）等が挙げられる。
　［第３実施形態］
　上記第１実施形態では、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する形態例について説明したが、本第３実施形態では、撮像画像データ７０を圧縮してから２つの画像データに分離する形態例について説明する。なお、本第３実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
　図１に示すように、本第３実施形態に係る撮像装置３００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体３１２を有する点が異なる。
　撮像装置本体３１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子３４４（図１８参照）を有する点、及び、第１信号処理部５０に代えて第１信号処理部３５０（図１８参照）を有する点が異なる。第１信号処理部３５０は、第１信号処理部５０に比べ、信号処理回路５０Ｂに代えて信号処理回路３５０Ｂを有する点が異なる。
　図１８に示すように、撮像素子３４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路３６２を有する点が異なる。処理回路３６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路３６２Ｃを有する点、及び、出力回路６２Ｄに代えて出力回路３６２Ｄを有する点が異なる。
　画像処理回路３６２Ｃは、メモリ６４から撮像画像データ７０を取得する。画像処理回路３６２Ｃによってメモリ６４から取得された撮像画像データ７０は、Ｒ画素、Ｇ画素、及びＢ画素が周期的に配列されたカラー画像データである。一例として図１９に示すように、撮像画像データ７０では、Ｒ画素、Ｇ画素、及びＢ画素がＸ－Ｔｒａｎｓ（登録商標）配列に対応した周期性で配列されている。なお、Ｒ画素、Ｇ画素、及びＢ画素は、本開示の技術に係る「複数の原色画素」の一例である。
　図１９に示す例では、１行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、及びＢ画素の順に循環して配列されている。また、２行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、３行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。また、４行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＧ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、及びＲ画素の順に循環して配列されている。また、５行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＢ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。更に、６行目で、Ｒ画素、Ｇ画素、及びＢ画素が、行方向にＲ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、及びＧ画素の順に循環して配列されている。そして、１行目～６行目のＲ画素、Ｇ画素、及びＢ画素の配列パターンが６行単位で列方向に繰り返されることによって撮像画像データ７０の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。
　画像処理回路３６２Ｃは、メモリ６４から取得した撮像画像データ７０を圧縮する。すなわち、画像処理回路３６２Ｃは、撮像画像データ７０から垂直間引画像データ７３を生成する。垂直間引画像データ７３は、撮像画像データ７０が行単位で間引きされて得られた画像データである。具体的には、一例として図１９に示すように、垂直間引画像データ７３は、撮像画像データ７０により示される撮像画像から列方向に偶数行のラインの画素を間引くことによって得られた垂直１／２間引き画像を示す画像データである。
　画像処理回路３６２Ｃは、垂直間引画像データ７３を奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに分離し、分離して得た奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂを出力回路３６２Ｄに出力する。なお、ここでは、撮像画像データ７０が間引きされてから分割されることで複数の分割画像データとして奇数列画像データ７３Ａと偶数列画像データ７３Ｂとが得られる形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、撮像画像データ７０が直接分割されることで複数の分割画像データが得られるようにしてもよい。
　一例として図２０及び図２１に示すように、奇数列画像データ７３Ａは、垂直間引画像データ７３により示される垂直１／２間引き画像から偶数列のラインの画素を間引くことによって得られた奇数列画像を示す画像データである。すなわち、奇数列画像データ７３Ａは、垂直１／２間引き画像のうち、奇数列の画素の集合を示す画像データである。また、一例として図２０及び図２１に示すように、偶数列画像データ７３Ｂは、垂直間引画像データ７３により示される垂直１／２間引き画像から奇数列のラインの画素を間引くことによって得られた偶数列画像を示す画像データである。すなわち、偶数列画像データ７３Ｂは、垂直１／２間引き画像のうち、偶数列の画素の集合を示すカラー画像データである。換言すると、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂの各々は、Ｒ画素、Ｇ画素、及びＢ画素が各々周期的に配列された画像を示すカラー画像データである。なお、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂは、本開示の技術に係る「複数の原色画素配列画像データ」及び「複数の分割画像データ」の一例である。
　出力回路３６２Ｄは、画像処理回路３６２Ｃから入力された奇数列画像データ７３Ａを、第１出力ライン５３を介して第１信号処理部３５０に出力する。また、出力回路３６２Ｄは、画像処理回路３６２Ｃから入力された偶数列画像データ７３Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
　第２信号処理部５２では、上記第１実施形態で説明した右側画像データ７０Ｂ１に対して行われた処理と同様の処理が偶数列画像データ７３Ｂに対して行われ、処理後の偶数列画像データ７３Ｂが第１信号処理部３５０に送信される。
　第１信号処理部３５０では、受信回路５０Ｃが、第２信号処理部５２から送信された偶数列画像データ７３Ｂを受信する。信号処理回路３５０Ｂは、受信回路５０Ｃによって受信された偶数列画像データ７３Ｂを取得する。
　一方、奇数列画像データ７３Ａはバッファ５０Ａに入力される。バッファ５０Ａは、奇数列画像データ７３Ａを一旦保持し、ＦＩＦＯ方式で信号処理回路３５０Ｂに出力する。信号処理回路３５０Ｂは、バッファ５０Ａから入力された奇数列画像データ７３Ａに対して特定の信号処理を施す。また、信号処理回路３５０Ｂは、特定の信号処理を施した奇数列画像データ７３Ａと受信回路５０Ｃから取得した偶数列画像データ７３Ｂとを合成することで合成画像データ３７２を生成する。この結果、合成画像データ３７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、上述した垂直１／２間引き画像と同様の配列パターンとなる。すなわち、合成画像データ３７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、Ｒ画素、Ｇ画素、及びＢ画素のデモザイク処理が可能な周期性を有する配列パターンとなる。
　そこで、信号処理回路３５０Ｂは、合成画像データ３７２に対して、Ｒ，Ｇ，Ｂ信号のデモザイク処理を施し、デモザイク処理を施した合成画像データ３７２を、通信ライン６０を介してコントローラ４６に出力する。
　次に、撮像装置３００の作用について説明する。
　先ず、撮像素子３４４の処理回路３６２によって実行される撮像処理の流れについて図２２を参照しながら説明する。なお、図２２に示す撮像処理は、図１０に示す撮像処理に比べ、ステップＳＴ１８の処理に代えてステップＳＴ１００の処理を有する点、及びステップＳＴ２０の処理に代えてステップＳＴ１０２を有する点が異なる。そのため、図２２に示す撮像処理のフローチャートには、図１０に示す撮像処理と同一のステップについては同一のステップ番号が付されている。以下、図２２に示す撮像処理については、図１０に示す撮像処理と異なる点のみを説明する。
　図２２に示す撮像処理では、ステップＳＴ１００で、画像処理回路３６２Ｃは、撮像画像データ７０から垂直間引画像データ７３（図１８～図２１参照）を生成する。そして、画像処理回路３６２Ｃは、生成した垂直間引画像データ７３から奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂを生成する。すなわち、垂直間引画像データ７３が奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに分離される（図２０及び図２１参照）。
　次のステップＳＴ１０２で、出力回路３６２Ｄは、奇数列画像データ７３Ａを、第１出力ライン５３を介して第１信号処理部３５０に出力する。また、出力回路３６２Ｄは、偶数列画像データ７３Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
　次に、第１信号処理部３５０によって実行される第１信号処理の流れについて図２３を参照しながら説明する。
　図２３に示す第１信号処理では、ステップＳＴ２１０で、第１信号処理部３５０は、処理回路３６２から奇数列画像データ７３Ａ（図１８参照）が入力されたか否かを判定する。ステップＳＴ２１０において、処理回路３６２から奇数列画像データ７３Ａが入力されていない場合は、判定が否定されて、第１信号処理はステップＳＴ２２２へ移行する。ステップＳＴ２１０において、処理回路３６２から奇数列画像データ７３Ａが入力された場合は、判定が肯定されて、第１信号処理はステップＳＴ２１２へ移行する。
　ステップＳＴ２１２で、第１信号処理部３５０は、奇数列画像データ７３Ａに対して特定の信号処理を施す。
　次のステップＳＴ２１４で、第１信号処理部３５０は、図２４に示す第２信号処理のステップＳＴ２３４の処理が実行されることで送信される偶数列画像データ７３Ｂ（図１８参照）を受信したか否かを判定する。ステップＳＴ２１４において、偶数列画像データ７３Ｂを受信していない場合は、判定が否定されて、第１信号処理はステップＳＴ２２０へ移行する。ステップＳＴ２１４において、偶数列画像データ７３Ｂを受信した場合は、判定が肯定されて、第１信号処理はステップＳＴ２１６へ移行する。
　ステップＳＴ２２０で、第１信号処理部３５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ２２０において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ２１４へ移行する。ステップＳＴ２２０において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
　ステップＳＴ２１６で、第１信号処理部３５０は、ステップＳＴ２１２の処理が実行されることで得られた奇数列画像データ７３Ａと、ステップＳＴ２１４で受信した偶数列画像データ７３Ｂとを合成する合成処理を行うことで合成画像データ３７２（図１８参照）を生成する。そして、第１信号処理部３５０は、合成画像データ３７２に対してデモザイク処理を行う。
　次のステップＳＴ２１８で、第１信号処理部３５０は、ステップＳＴ２１６の処理が実行されることで得られた合成画像データ３７２を、通信ライン６０（図１８参照）を介してコントローラ４６（図１８参照）に出力する。
　次のステップＳＴ２２２で、第１信号処理部３５０は、第１信号処理終了条件を満足したか否かを判定する。ステップＳＴ２２２において、第１信号処理終了条件を満足していない場合は、判定が否定されて、第１信号処理はステップＳＴ２１０へ移行する。ステップＳＴ２２２において、第１信号処理終了条件を満足した場合は、判定が肯定されて、第１信号処理が終了する。
　次に、第２信号処理部５２によって実行される第２信号処理の流れについて図２４を参照しながら説明する。
　図２４に示す第２信号処理では、ステップＳＴ２３０で、第２信号処理部５２は、処理回路３６２から偶数列画像データ７３Ｂ（図１８参照）が入力されたか否かを判定する。ステップＳＴ２３０において、処理回路３６２から偶数列画像データ７３Ｂが入力されていない場合は、判定が否定されて、第２信号処理はステップＳＴ２３６へ移行する。ステップＳＴ２３０において、処理回路３６２から偶数列画像データ７３Ｂが入力された場合は、判定が肯定されて、第２信号処理はステップＳＴ２３２へ移行する。
　ステップＳＴ２３２で、第２信号処理部５２は、偶数列画像データ７３Ｂに対して特定の信号処理を施す。
　次のステップＳＴ２３４で、第２信号処理部５２は、ステップＳＴ２３２の処理が実行されることで得られた偶数列画像データ７３Ｂを、通信ライン５８（図１８参照）を介して第１信号処理部３５０に送信する。
　次のステップＳＴ２３６で、第２信号処理部５２は、第２信号処理終了条件を満足したか否かを判定する。ステップＳＴ２３６において、第２信号処理終了条件を満足していない場合は、判定が否定されて、第２信号処理はステップＳＴ２３０へ移行する。ステップＳＴ２３６において、第２信号処理終了条件を満足した場合は、判定が肯定されて、第２信号処理が終了する。
　以上説明したように、本第３実施形態では、撮像画像データ７０は、複数の原色画素であるＲ画素、Ｇ画素、及びＢ画素が周期的に配列されたカラー撮像画像を示すカラー画像データである。また、撮像画像データ７０は、複数の画像データとして複数の原色画素配列画像データに分けられる。図１８及び図２０に示す例では、複数の原色画素配列画像データとして、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂが示されている。また、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂの各々は、Ｒ画素、Ｇ画素、及びＢ画素が各々周期的に配列された画像を示す画像データである。奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂのように、Ｒ画素、Ｇ画素、及びＢ画素が各々周期的に配列された画像を示す画像データを用いることで、Ｒ画素、Ｇ画素、及びＢ画素についてのデモザイク処理を実現することが可能となる。
　また、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂは、図１８～図１９に示すように、垂直間引画像データ７３から分割されることで得られた画像データである。垂直間引画像データ７３は、撮像画像データ７０よりもデータ量が少ない。従って、撮像画像データ７０が間引かれることなく分割されて得られた２つの画像データの一方に対して特定の信号処理が施される場合に比べ、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対する特定の信号処理を高速に行うことができる。
　また、奇数列画像データ７３Ａは、垂直１／２間引き画像のうちの奇数列の画素の集合を示す画像データであり、偶数列画像データ７３Ｂは、垂直１／２間引き画像のうちの偶数列の画素の集合を示す画像データである。垂直１／２間引き画像が不規則に分割されて得られた複数の画像データに対する特定の信号処理及び合成は、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対する処理に比べ、処理内容が複雑化する。従って、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対しては、垂直１／２間引き画像が不規則に分割されて得られた複数の画像データに対する処理に比べ、高速な処理を実現することができる。
　また、第１信号処理部３５０は、奇数列画像データ７３Ａと偶数列画像データ７３Ｂとを合成して得た合成画像データ３７２に対してデモザイク処理を行うので、デモザイク処理を行わない場合に比べ、高画質な画像を得ることができる。
　なお、上記第３実施形態では、第１信号処理部３５０がＤＲＡＭ５４を使用し、第２信号処理部５２がＤＲＡＭ５６を使用する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２５に示すように、ＤＲＡＭ５４，５６を使用せずに、第１信号処理部３５０に代えて第１信号処理部７５０を適用し、第２信号処理部５２に代えて第２信号処理部７５２を適用してもよい。図２５に示す例では、第１信号処理部７５０は、第１信号処理部３５０に比べ、ラインメモリ７５０Ａを有する点、及びＤＲＡＭ５４を使用しない点が異なる。また、第２信号処理部７５２は、第２信号処理部５２に比べ、ラインメモリ７５２Ａを有する点、及びＤＲＡＭ５６を使用しない点が異なる。
　第１信号処理部７５０において、ラインメモリ７５０Ａは、バッファ５０Ａと信号処理回路３５０Ｂとの間に介在している。バッファ５０Ａは、奇数列画像データ７３Ａをラインメモリ７５０Ａに出力する。ラインメモリ７５０Ａは、バッファ５０Ａから入力された奇数列画像データ７３Ａをライン単位で記憶し、信号処理回路３５０ＢにＦＩＦＯ方式で出力する。信号処理回路３５０Ｂは、上記第３実施形態で説明した処理を実行する。
　一方、第２信号処理部７５２において、ラインメモリ７５２Ａは、バッファ５２Ａと信号処理回路５２Ｂとの間に介在している。バッファ５２Ａは、偶数列画像データ７３Ｂをラインメモリ４５２Ａに出力する。ラインメモリ７５２Ａは、バッファ５２Ａから入力された偶数列画像データ７３Ｂをライン単位で記憶し、信号処理回路５２ＢにＦＩＦＯ方式で出力する。信号処理回路５２Ｂは、上記第３実施形態で説明した処理を実行する。
　また、上記第３実施形態では、圧縮画像データとして垂直１／２間引き画像を示す画像データを例示したが、本開示の技術はこれに限定されない。例えば、ｎを３以上の自然数とした場合、垂直１／ｎ間引き画像を示す画像データを圧縮画像データとして適用してもよい。また、列単位で間引いた水平間引き画像を示す画像データを圧縮画像データとして適用してもよいし、行単位及び列単位で間引いた画像を示す画像データを圧縮画像データとして適用してもよい。
　［第４実施形態］
　上記第１実施形態では、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離する形態例について説明したが、本第４実施形態では、動作モードに応じて撮像画像データ７０の分離方法を異ならせる形態例について説明する。なお、本第４実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第１実施形態と異なる部分について説明する。
　図１に示すように、本第４実施形態に係る撮像装置４００は、上記第１実施形態で説明した撮像装置１０に比べ、撮像装置本体１２に代えて撮像装置本体４１２を有する点が異なる。
　撮像装置本体４１２は、撮像装置本体１２に比べ、撮像素子４４に代えて撮像素子４４４（図２６参照）を有する点が異なる。撮像素子４４４は、撮像素子４４に比べ、処理回路６２に代えて処理回路４６２を有する点が異なる。処理回路４６２は、処理回路６２に比べ、画像処理回路６２Ｃに代えて画像処理回路４６２Ｃを有する点、及び出力回路６２Ｄに代えて出力回路４６２Ｄを有する点が異なる。
　撮像装置本体４１２は、撮像装置本体１２に比べ、第１信号処理部５０に代えて第１信号処理部４５０（図２６参照）を有する点、及び第２信号処理部５２に代えて第２信号処理部４５２（図２６参照）を有する点が異なる。
　第１信号処理部４５０は、第１信号処理部５０に比べ、第１信号処理部５０が有する機能と上記第３実施形態で説明した第１信号処理部３５０が有する機能とを有する点が異なる。また、第１信号処理部４５０は、第１信号処理部５０に比べ、第１信号処理部５０が有する機能と第１信号処理部３５０が有する機能とを選択的に作動させる点が異なる。
　第２信号処理部４５２は、第２信号処理部５２に比べ、第２信号処理部５２が有する機能と上記第２実施形態で説明した第２信号処理部２５２が有する機能とを有する点が異なる。また、第２信号処理部４５２は、第２信号処理部５２に比べ、第２信号処理部５２が有する機能と上記第２実施形態で説明した第２信号処理部２５２が有する機能とを選択的に作動させる点が異なる。
　コントローラ４６は、静止画像用撮像モード信号４８０Ａ（図２６参照）と表示動画用撮像モード信号４８０Ｂ（図２７参照）とを選択的に通信ライン６０を介して処理回路４６２に出力する。例えば、静止画像用撮像モード信号４８０Ａは、撮像装置４００を静止画像用撮像モードにする指示が受付部８４によって受け付けられた場合に、コントローラ４６から出力される。また、例えば、表示動画用撮像モード信号４８０Ｂは、撮像装置４００を表示動画用撮像モードにする指示が受付部８４によって受け付けられた場合に、コントローラ４６から出力される。
　図２６に示すように、処理回路４６２は、コントローラ４６から通信ライン６０を介して静止画像用撮像モード信号４８０Ａが入力されると、画像処理回路４６２Ｃを上記第１実施形態で説明した画像処理回路６２Ｃと同様に作動させる。すなわち、処理回路４６２は、画像処理回路４６２Ｃに対して、撮像画像データ７０を左側画像データ７０Ａ１と右側画像データ７０Ｂ１とに分離させ、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１を出力回路４６２Ｄに出力させる。左側画像データ７０Ａ１により示される左側画像７０Ａ１ａ及び右側画像データ７０Ｂ１により示される右側画像７０Ｂ１ａは、上記第１実施形態で説明した重複領域７１を有する。なお、本第４実施形態に係る左側画像データ７０Ａ１及び右側画像データ７０Ｂ１は、本開示の技術に係る「複数の重複画像データ」の一例である。
　図２６に示すように、出力回路４６２Ｄは、上記第１実施形態で説明した出力回路６２Ｄと同様に、左側画像データ７０Ａ１を、第１出力ライン５３を介して第１信号処理部４５０に出力する。また、出力回路４６２Ｄは、上記第１実施形態で説明した出力回路６２Ｄと同様に、右側画像データ７０Ｂ１を、第２出力ライン５５を介して第２信号処理部４５２に出力する。
　第１信号処理部４５０は、入力された左側画像データ７０Ａ１に対して特定の信号処理を施し、第２信号処理部４５２は、入力された右側画像データ７０Ｂ１に対して特定の信号処理を施し、特定の信号処理を施した右側画像データ７０Ｂ１を第１信号処理部４５０に出力する。
　第１信号処理部４５０は、特定の信号処理を施した左側画像データ７０Ａ１と、第２信号処理部４５２から入力された右側画像データ７０Ｂ１とを合成し、上記第１実施形態で説明した合成画像データ７２を生成する。第１信号処理部４５０は、生成した合成画像データ７２をコントローラ４６に出力する。
　一方、図２７に示すように、処理回路４６２は、コントローラ４６から通信ライン６０を介して表示動画用撮像モード信号４８０Ｂが入力されると、画像処理回路４６２Ｃを上記第３実施形態で説明した画像処理回路３６２Ｃと同様に作動させる。すなわち、処理回路４６２は、画像処理回路４６２Ｃに対して、撮像画像データ７０を垂直間引画像データ７３に圧縮してから、垂直間引画像データ７３を奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに分離させる。そして、処理回路４６２は、画像処理回路４６２Ｃに対して、奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂを出力回路４６２Ｄに出力させる。
　図２７に示すように、出力回路４６２Ｄは、上記第３実施形態で説明した出力回路３６２Ｄと同様に、奇数列画像データ７３Ａを、第１出力ライン５３を介して第１信号処理部４５０に出力する。また、出力回路４６２Ｄは、上記第３実施形態で説明した出力回路３６２Ｄと同様に、偶数列画像データ７３Ｂを、第２出力ライン５５を介して第２信号処理部４５２に出力する。
　第１信号処理部４５０は、入力された奇数列画像データ７３Ａに対して特定の信号処理を施し、第２信号処理部４５２は、入力された偶数列画像データ７３Ｂに対して特定の信号処理を施し、特定の信号処理を施した偶数列画像データ７３Ｂを第１信号処理部４５０に出力する。
　第１信号処理部４５０は、特定の信号処理を施した奇数列画像データ７３Ａと、第２信号処理部４５２から入力された偶数列画像データ７３Ｂとを合成し、上記第３実施形態で説明した合成画像データ３７２を生成する。第１信号処理部４５０は、生成した合成画像データ３７２をコントローラ４６に出力する。
　次に、撮像装置３００の作用について説明する。
　先ず、撮像素子４４４の処理回路４６２によって実行される撮像処理の流れについて図２８を参照しながら説明する。なお、ここでは、説明の便宜上、撮像装置４００が静止画像用撮像モード又は表示動画用撮像モードが設定されていることを前提して説明する。
　図２８に示す撮像処理では、先ず、ステップＳＴ３００で、画像処理回路４６２Ｃは、撮像装置４００が静止画像用撮像モードか否かを判定する。ステップＳＴ３００において、撮像装置４００が静止画像用撮像モードでない場合、すなわち、撮像装置４００が表示動画用撮像モードの場合は、判定が否定されて、撮像処理はステップＳＴ３０４へ移行する。ステップＳＴ３００において、撮像装置４００が静止画像用撮像モードの場合は、判定が肯定されて、撮像処理はステップＳＴ３０２へ移行する。
　ステップＳＴ３０２で、処理回路４６２は、静止画用撮像処理を実行し、その後、撮像処理はステップＳＴ３０６へ移行する。静止画用撮像処理は、上記第１実施形態で説明した撮像処理（図１０参照）と同様の処理である。
　ステップＳＴ３０４で、処理回路４６２は、表示動画用撮像処理を実行し、その後、撮像処理はステップＳＴ３０６へ移行する。表示動画用撮像処理は、上記第３実施形態で説明した撮像処理（図２２参照）と同様の処理である。
　ステップＳＴ３０６で、処理回路４６２は、撮像処理終了条件を満足したか否かを判定する。ステップＳＴ３０６において、撮像処理終了条件を満足していない場合は、判定が否定されて、撮像処理はステップＳＴ３００へ移行する。ステップＳＴ３０６において、撮像処理終了条件を満足した場合は、判定が肯定されて、撮像処理が終了する。
　なお、静止画像用撮像モードにおいて、第１信号処理部４５０では、上記第１実施形態で説明した第１信号処理（図１１参照）と同様の処理が実行される。また、静止画像用撮像モードにおいて、第２信号処理部４５２では、上記第１実施形態で説明した第２信号処理（図１２参照）と同様の処理が実行される。
　一方、表示動画用撮像モードにおいて、第１信号処理部４５０では、上記第３実施形態で説明した第１信号処理（図２３）と同様の処理が実行される。また、表示動画用撮像モードにおいて、第２信号処理部４５２では、上記第３実施形態で説明した第２信号処理（図２４）と同様の処理が実行される。
　以上説明したように、本第４実施形態では、静止画像用撮像モードで、撮像画像データ７０が上記第１実施形態で説明した左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に分離される。また、表示動画用撮像モードで、撮像画像データ７０が上記第３実施形態で説明した奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに分離される。これにより、静止画像用撮像モードと表示動画用撮像モードとの間で、画質、電力消費、及び処理速度のバランスを異ならせることができる。
　また、静止画像用撮像モードでは、撮像画像データ７０は、重複領域７１を示す画像データが各々含まれる左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に分離される。これに対して、表示動画用撮像モードでは、撮像画像データ７０がライン単位で分離される。従って、静止画像用撮像モードでは、重複領域７１を示す画像データが各々含まれる左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に対して処理が施されるので、表示動画用撮像モードよりも画質を高めることができる。また、表示動画用撮像モードでは、左側画像データ７０Ａ１及び右側画像データ７０Ｂ１よりもデータ量の少ない奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂに対して処理が施される。よって、表示動画用撮像モードでは、静止画像用撮像モードに比べ、電力消費を抑えることができ、かつ、処理速度を高めることができる。
　なお、上記第３実施形態では、ステップＳＴ３０２（図２８参照）の処理として、上記第１実施形態で説明した撮像処理（図１０参照）を適用した場合について説明したが、本開示の技術はこれに限定されない。例えば、ステップＳＴ３０２（図２８参照）の処理として、上記第２実施形態で説明した撮像処理（図１５参照）を適用してもよい。この場合、静止画像用撮像モードにおいて、第１信号処理部４５０では、上記第２実施形態で説明した第１信号処理（図１６参照）が実行され、第２信号処理部４５２では、上記第２実施形態で説明した第２信号処理（図１７参照）が実行される。
　また、上記第３実施形態では、静止画像用撮像モードにおいて、撮像画像データ７０が左側画像データ７０Ａ１及び右側画像データ７０Ｂ１に分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、静止画像用撮像モードにおいて、上記第２実施形態で説明したように、撮像画像データ７０が背景領域画像データ７０Ａ２と顔領域画像データ７０Ｂ２とに分離されるようにしてもよい。この場合、静止画像用撮像モードにおいて、第１信号処理部４５０を上記第２実施形態で説明した第１信号処理部２５０と同様に動作させ、第２信号処理部４５２を上記第２実施形態で説明した第２信号処理部２５２と同様に動作させるようにすればよい。
　［第５実施形態］
　上記第３実施形態では、撮像画像データ７０が奇数列画像データ７３Ａと偶数列画像データ７３Ｂとに圧縮される形態例について説明したが、本第５実施形態では、撮像画像データ７０が他の方法で２つの画像データに圧縮される形態例について説明する。なお、本第５実施形態では、上記第３実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。以下では、上記第３実施形態と異なる部分について説明する。
　図１に示すように、本第５実施形態に係る撮像装置５００は、上記第３実施形態で説明した撮像装置３００に比べ、撮像装置本体３１２に代えて撮像装置本体５１２を有する点が異なる。
　撮像装置本体５１２は、撮像装置本体３１２に比べ、撮像素子３４４に代えて撮像素子５４４（図２９参照）を有する点が異なる。撮像素子５４４は、撮像素子３４４に比べ、処理回路３６２に比べ、処理回路５６２を有する点が異なる。処理回路５６２は、処理回路３６２に比べ、画像処理回路３６２Ｃに代えて画像処理回路５６２Ｃを有する点、及び出力回路３６２Ｄに代えて出力回路５６２Ｄを有する点が異なる。
　撮像装置本体５１２は、撮像装置本体３１２に比べ、第１信号処理部５０に代えて第１信号処理部５５０（図２９参照）を有する点が異なる。
　メモリ６４には、撮像画像データ５７０が記憶されており、画像処理回路５６２Ｃは、メモリ６４から撮像画像データ５７０を取得する。撮像画像データ５７０は、Ｒ画素、Ｇ画素、及びＢ画素を有するカラー画像データである。一例として図３０に示すように、撮像画像データ５７０では、Ｒ画素、Ｇ画素、及びＢ画素がベイヤ配列に対応した周期性で配列されている。
　図３０に示す例では、１行目で、Ｒ画素及びＧ画素が、行方向にＲ画素及びＧ画素の順に循環して配列されている。また、２行目で、Ｂ画素及びＧ画素が、行方向にＧ画素及びＢ画素の順に循環して配列されている。そして、１行目のＲ画素及びＧ画素の配列パターンが１行おきに列方向に繰り返され、２行目のＢ画素及びＧ画素の配列パターンが１行おきに列方向に繰り返されることによって撮像画像データ５７０の全体のＲ画素、Ｇ画素、及びＢ画素の配列パターンが形成されている。
　画像処理回路５６２Ｃは、メモリ６４から取得した撮像画像データ５７０を圧縮する。すなわち、画像処理回路５６２Ｃは、撮像画像データ５７０から垂直間引画像データ５７３を生成する。一例として図３０に示すように、垂直間引画像データ５７３は、撮像画像データ５７０により示される撮像画像から、列方向に隣接する２行分のラインが２行置きに間引くことによって得られた垂直１／２間引き画像を示す画像データである。
　一例として図２９及び図３１に示すように、画像処理回路５６２Ｃは、垂直間引画像データ７５３を、第１水平間引画像データ５７３Ａと第２水平間引画像データ５７３Ｂとに分離する。画像処理回路５６２Ｃは、分離して得た第１水平間引画像データ５７３Ａ及び第２水平間引画像データ５７３Ｂを出力回路５６２Ｄに出力する。
　一例として図３１に示すように、第１水平間引画像データ５７３Ａは、垂直間引画像データ５７３により示される垂直１／２間引き画像から行方向に２列単位で２列置きに互い違いに間引かれて得られた一対の水平１／２間引き画像のうちの一方を示す画像データである。また、第２水平間引画像データ５７３Ｂは、一対の水平１／２間引き画像のうちの他方を示す画像データである。
　出力回路５６２Ｄは、画像処理回路５６２Ｃから入力された第１水平間引画像データ５７３Ａを、第１出力ライン５３を介して第１信号処理部５５０に出力する。また、出力回路５６２Ｄは、画像処理回路５６２Ｃから入力された第２水平間引画像データ５７３Ｂを、第２出力ライン５５を介して第２信号処理部５２に出力する。
　第２信号処理部５２では、上記第３実施形態で説明した偶数列画像データ７３Ｂに対して行われた処理と同様の処理が第２水平間引画像データ５７３Ｂに対して行われ、処理後の第２水平間引画像データ５７３Ｂが第１信号処理部５５０に送信される。
　第１信号処理部５５０は、第２信号処理部５２から送信された第２水平間引画像データ５７３Ｂを受信する。
　第１信号処理部５５０では、上記第３実施形態で説明した奇数列画像データ７３Ａに対して行われた処理と同様の処理が第１水平間引画像データ５７３Ａに対して行われる。そして、第１信号処理部５５０では、第１水平間引画像データ５７３Ａと第２水平間引画像データ５７３Ｂとが合成され、合成画像データ５７２が生成される。この結果、合成画像データ５７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、垂直間引画像データ５７３により示される垂直１／２間引き画像と同様の配列パターンとなる。すなわち、合成画像データ５７２により示される画像のＲ画素、Ｇ画素、及びＢ画素の配列パターンは、Ｒ画素、Ｇ画素、及びＢ画素のデモザイク処理が可能な周期性を有する配列パターンとなる。
　そこで、第１信号処理部５５０は、上記第３実施形態と同様に、合成画像データ５７２に対して、Ｒ，Ｇ，Ｂ信号のデモザイク処理を施し、デモザイク処理を施した合成画像データ５７２を、通信ライン６０を介してコントローラ４６に出力する。
　以上説明したように、撮像画像データ５７０は、ベイヤ配列が採用されている。この場合も、上記第３実施形態で説明した奇数列画像データ７３Ａ及び偶数列画像データ７３Ｂと同様に、デモザイク処理可能な２つの画像データとして、第１水平間引画像データ５７３Ａ及び第２水平間引画像データ５７３Ｂが得られる。よって、撮像画像データ５７０がベイヤ配列の画像データであったとしても、上記第３実施形態と同様の効果を得ることができる。
　なお、上記第５実施形態では、撮像画像データ５７０が圧縮された２つの画像データとして第１水平間引画像データ５７３Ａ及び第２水平間引画像データ５７３Ｂを例示したが、本開示の技術はこれに限定されない。例えば、図３２に示すように、画像処理回路５６２Ｃは、撮像画像データ５７０を上位ビットデータ５７０Ｃと下位ビットデータ５７０Ｄとに分離するようにしてもよい。撮像画像データ５７０についての１画素毎のビット数が１６ビットの場合、上位ビットデータ５７０Ｃは、例えば、１画素毎のビット数が上位８ビットの画像データであり、下位ビットデータ５７０Ｄは、例えば、１画素毎のビット数が下位８ビットの画像データである。
　図３２に示すように、出力回路５６２Ｄは、上位ビットデータ５７０Ｃを、第１出力ライン５３を介して第１信号処理部５５０に出力し、下位ビットデータ５７０Ｄを、第２出力ライン５５を介して第２信号処理部５２に出力する。また、第２信号処理部５２は、上記第５実施形態と同様に、下位ビットデータ５７０Ｄに対して特定の信号処理を施してから下位ビットデータ５７０Ｄを、通信ライン５８を介して第１信号処理部５５０に送信する。また、第１信号処理部５５０は、上記第５実施形態と同様に、第２信号処理部５２から送信された下位ビットデータ５７０Ｄを受信し、上位ビットデータ５７０Ｃに対して特定の信号処理を施す。第１信号処理部５５０は、上記第５実施形態と同様に、特定の信号処理を施した上位ビットデータ５７０Ｃと、受信した下位ビットデータ５７０Ｄとを合成することで合成画像データ５７２Ａを生成する。第１信号処理部５５０は、生成した合成画像データ５７２Ａをコントローラ４６に出力する。
　なお、ここでは、撮像画像データ５７０についての１画素毎のビット数が１６ビットの場合を例示しているが、これに限らず、１画素毎のビット数が１６ビット未満の画像データであってもよいし、１画素毎のビット数が１６ビットを超えるビット数の画像データであってもよい。また、上位ビットと下位ビットとの分け方は、例えば、用途及び／又は仕様等に応じて定められた分け方であればよい。
　また、ここでは、画像処理回路５６２Ｃが撮像画像データ５７０を上位ビットデータ５７０Ｃと下位ビットデータ５７０Ｄとに分離する例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データ５７０が上位ビットの画像データ、中位ビットの画像データ、及び下位ビットの画像データに分離されるようにしてもよい。上位ビットの画像データ、中位ビットの画像データ、及び下位ビットの画像データとは、撮像画像データ５７０が３つのビット範囲で分割されることによって圧縮されて得られた３つの圧縮画像データを指す。また、撮像画像データ５７０が４つ以上のビット範囲で分割されることで撮像画像データ５７０が圧縮されるようにしてもよい。このように、撮像画像データ５７０は、複数のビット範囲で分割されることで複数の圧縮画像データが得られるようにしてもよい。
　このように、撮像画像データ５７０が複数のビット範囲で分割されることで得られた複数の圧縮画像データ（図３２に示す例では、上位ビットデータ５７０Ｃ及び下位ビットデータ５７０Ｄ）に分離される。これにより、第１信号処理部５５０及び第２信号処理部５２の各々は、不規則に分割されて得られた画像データを処理する場合に比べ、高速な処理を行うことができる。
　また、図３２に示すように、撮像画像データ５７０が上位ビットデータ５７０Ｃ及び下位ビットデータ５７０Ｄに分離されることで、上位ビットデータ５７０Ｃに対しては、下位ビットデータ５７０Ｄよりも高精度な処理を行うことができる。一方、下位ビットデータ５７０Ｄに対しては、上位ビットデータ５７０Ｃよりも電力消費を抑え、かつ、処理速度を高めることができる。
　また、上記各実施形態では、撮像画像データ７０，５７０（以下、単に「撮像画像データ」と称する）が２つの画像データに分離される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、Ｎを２以上の自然数とした場合、撮像画像データがＮ個の画像データに分離されるようにしてもよい。分離方法は、例えば、撮像画像データをＮ等分する方法の他に、撮像画像データをＮ個のビット範囲で分離する方法などが考えられる。
　撮像画像データをＮ個の画像データに分離する場合、例えば、図３３に示すように、第１信号処理部６５０～第Ｎ信号処理部６５０Ｎの各々が対応する出力ラインで撮像素子４４に接続される。図３３に示す例では、第１信号処理部６５０が第１出力ライン５３を介して撮像素子４４に接続されており、第Ｎ信号処理部６５０Ｎが第Ｎ出力ライン５３Ｎを介して撮像素子４４に接続されている。第Ｎ信号処理部６５０Ｎは、第１信号処理部６５０に信号処理済みの画像データを送信し、第１信号処理部６５０がＮ個分の画像データを合成し、合成して得た合成画像データをコントローラ４６に出力するようにすればよい。
　また、上記各実施形態では、処理回路６２，２６２，３６２，４６２，５６２（以下、単に「処理回路」と称する）がＡＳＩＣによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、上述した撮像処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
　この場合、例えば、図３４に示すように、撮像素子４４，２４４，３４４，４４４，５４４に内蔵されたコンピュータ６５２に、上述した撮像処理を実行させるための撮像処理プログラム８０２を記憶媒体８００に記憶させておく。コンピュータ６５２は、ＣＰＵ６５２Ａ、ＲＯＭ６５２Ｂ、及びＲＡＭ６５２Ｃを備えている。そして、記憶媒体８００の撮像処理プログラム８０２がコンピュータ６５２にインストールされ、コンピュータ６５２のＣＰＵ６５２Ａは、撮像処理プログラム８０２に従って、上述した撮像処理を実行する。ここでは、ＣＰＵ６５２Ａとして、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ６５２Ａに代えて複数のＣＰＵを採用してもよい。なお、記憶媒体８００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
　図３４に示す例では、記憶媒体８００に撮像処理プログラム８０２が記憶されているが、本開示の技術はこれに限定されない。例えば、ＲＯＭ６５２Ｂに撮像処理プログラム８０２を予め記憶させておき、ＣＰＵ６５２ＡがＲＯＭ６５２Ｂから撮像処理プログラム８０２を読み出し、ＲＡＭ６５２Ｃに展開し、展開した撮像処理プログラム８０２を実行するようにしてもよい。
　また、通信網（図示省略）を介してコンピュータ６５２に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像処理プログラム８０２を記憶させておき、撮像装置１０，２００，３００，４００，５００の何れかと同様の構成の撮像装置７００の要求に応じて撮像処理プログラム８０２がコンピュータ６５２にダウンロードされるようにしてもよい。この場合、ダウンロードされた撮像処理プログラム８０２がコンピュータ６５２のＣＰＵ６５２Ａによって実行される。
　また、コンピュータ６５２は、撮像素子４４，２４４，３４４，４４４，５４４の外部に設けられるようにしてもよい。この場合、コンピュータ６５２が撮像処理プログラム８０２に従って処理回路を制御するようにすればよい。
　上記各実施形態で説明した撮像処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
　撮像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、撮像素子内処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、撮像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、撮像素子内処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　また、上記各実施形態では、撮像装置としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図３５に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図３５に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子４４，２４４，３４４，４４４，５４４が搭載されている。このように構成されたスマートデバイス９００であっても、上記実施形態で説明した撮像装置と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
　また、上記各実施形態では、第１ディスプレイ３２及び第２ディスプレイ８６を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
　また、上記の撮像処理、第１信号処理、及び第２信号処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記１）
　撮像素子（４４，２４４，３４４，４４４，５４４）を備えた撮像装置（１０，２００，３００，４００，５００，７００）であって、
　撮像素子（４４，２４４，３４４，４４４，５４４）により被写体が撮像されることで得られた撮像画像データ（７０，５７０）を記憶し、かつ、撮像素子（４４，２４４，３４４，４４４，５４４）に内蔵された記憶部（６４）と、
　撮像画像データ（７０，５７０）に対して処理を行い、かつ、撮像素子（４４，２４４，３４４，４４４，５４４）に内蔵された処理部（６２，２６２，３６２，４６２，５６２）と、
　処理部（６２，２６２，３６２，４６２，５６２）により撮像画像データ（７０，５７０）が処理されることで得られた処理済み画像データを出力し、かつ、撮像素子（４４，２４４，３４４，４４４，５４４）に内蔵された出力部（６２Ｄ，２６２Ｄ，３６２Ｄ，４６２Ｄ，５６２Ｄ）と、
　撮像素子の外部に設けられた複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２）と、を含み、
　処理部（６２，２６２，３６２，４６２，５６２）は、記憶部（６４）に記憶された撮像画像データ（７０，５７０）を複数の画像データ（７０Ａ，７０Ｂ）に分ける処理を行い、
　出力部（６２Ｄ，２６２Ｄ，３６２Ｄ，４６２Ｄ，５６２Ｄ）は、複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２）の各々に対して各々対応させて設けられた複数の出力ライン（５３，５５）を有し、複数の出力ライン（５３，５５）から処理済み画像データとして複数の画像データ（７０Ａ，７０Ｂ）の各々を複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２，７５０，７５２）のうちの対応する信号処理部に出力し、
　複数の信号処理部（５０，２５０，３５０，４５０，５５０，６５０，５２，２５２，４５２，７５０，７５２）の何れかが複数の画像データ（７０Ａ，７０Ｂ）を合成する撮像装置（１０，２００，３００，４００，５００，７００）。
　（付記２）
　複数の画像データ（７０Ａ，７０Ｂ）の各々は、複数の画像データ（７０Ａ，７０Ｂ）の各々に基づく複数の画像（７０Ａ１ａ，７０Ｂ１ａ，７０Ａ２ａ，７０Ｂ２ａ）のうちの隣接する画像（７０Ａ１ａ，７０Ｂ１ａ，７０Ａ２ａ，７０Ｂ２ａ）間で重複領域（７１，２７１）を有する画像を示す画像データである付記１に記載の撮像装置（２００）。
　（付記３）
　複数の画像（７０Ａ２ａ，７０Ｂ２ａ）は、指定された画像（７０Ｂ２ａ）と指定された画像とは異なる画像とで分けられている付記１又は付記２に記載の撮像装置（２００）。
　（付記４）
　処理部は、撮像画像データ（７０）から顔の画像（６９）を示す顔画像データを検出し、指定された画像（７０Ｂ２ａ）は、撮像画像データ（７０）により示される撮像画像のうちの処理部（２６２）により検出された顔画像データにより示される顔の画像（６９）を含む画像である付記３に記載の撮像装置（２００）。
　（付記５）
　処理部（４６２）は、記録用撮像モードと表示動画用撮像モードとで撮像画像データの分け方を変更する付記１から付記４の何れか１つに記載の撮像装置（４００）。
　（付記６）
　処理部（４６２）は、記録用撮像モードで撮像画像データ（７０）を複数の画像データとして複数の重複画像データ（７０Ａ１，７０Ｂ１）に分け、表示動画用撮像モードで撮像画像データ（７０）をライン単位で分け、
　複数の重複画像データの各々は、複数の画像のうちの隣接する画像間で重複領域（７１）を有する画像を示す画像データである付記５に記載の撮像装置。

Claims (19)

  1. 　撮像素子を備えた撮像装置であって、
    　前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
    　前記撮像素子に内蔵されたプロセッサと、
    　前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含み、
    　前記プロセッサは、前記複数の信号処理プロセッサの各々に対して各々対応させて設けられた複数の出力ラインを有し、前記複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
    　前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成する
    　撮像装置。
  2. 　前記複数の画像データの各々は、前記複数の画像データの各々に基づく画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項１に記載の撮像装置。
  3. 　前記複数の画像は、指定された画像と前記指定された画像とは異なる画像とで分けられている請求項１又は請求項２に記載の撮像装置。
  4. 　前記撮像画像データから顔の画像を示す顔画像データを検出する検出プロセッサを更に含み、
    　前記指定された画像は、前記撮像画像データにより示される撮像画像のうちの前記検出プロセッサにより検出された前記顔画像データにより示される顔の画像を含む画像である請求項３に記載の撮像装置。
  5. 　記録用撮像モードと表示動画用撮像モードとで前記撮像画像データの分け方が異なる請求項１から請求項４の何れか一項に記載の撮像装置。
  6. 　前記記録用撮像モードで前記撮像画像データが前記複数の画像データとして複数の重複画像データに分けられ、前記表示動画用撮像モードで前記撮像画像データがライン単位で分けられる請求項５に記載の撮像装置。
  7. 　前記複数の重複画像データの各々は、前記複数の画像のうちの隣接する画像間で重複領域を有する画像を示す画像データである請求項６に記載の撮像装置。
  8. 　前記記録用撮像モードは、前記撮像素子に対して静止画像用の撮像を行わせる動作モードである請求項５から請求項７の何れか一項に記載の撮像装置。
  9. 　前記撮像画像データは、複数の原色画素が周期的に配列されたカラー撮像画像を示すカラー画像データであり、
    　前記カラー画像データは、前記複数の画像データとして複数の原色画素配列画像データに分けられ、
    　前記複数の原色画素配列画像データの各々は、前記複数の原色画素が各々周期的に配列された画像を示す画像データである請求項１から請求項８の何れか一項に記載の撮像装置。
  10. 　前記複数の原色画素配列画像データは、前記カラー画像データが間引きされてから分割されることで得られた複数の分割画像データである請求項９に記載の撮像装置。
  11. 　前記複数の分割画像データは、前記カラー画像データが行単位で間引かれることで得られた間引き画像データのうち、奇数列の画素の集合を示す奇数列画像データ、及び偶数列の画素の集合を示す偶数列画像データである請求項１０に記載の撮像装置。
  12. 　前記複数の信号処理プロセッサの何れかが、前記複数の画像データが合成されて得られた合成画像データに対してデモザイク処理を行う請求項９から請求項１１の何れか一項に記載の撮像装置。
  13. 　前記複数の画像データは、前記撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られた複数の圧縮画像データである請求項１に記載の撮像装置。
  14. 　前記複数の圧縮画像データは、前記撮像画像データのうち、上位ビットの画像データ、及び下位ビットの画像データである請求項１３に記載の撮像装置。
  15. 　前記撮像素子は、少なくとも光電変換素子と前記メモリとが１チップ化された撮像素子である請求項１から請求項１４の何れか一項に記載の撮像装置。
  16. 　前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項１５に記載の撮像装置。
  17. 　前記プロセッサにより出力された前記複数の画像データに基づく画像をディスプレイに対して表示させる制御を行う制御プロセッサを更に含む請求項１から請求項１６の何れか一項に記載の撮像装置。
  18. 　撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含む撮像装置の画像データ処理方法であって、
    　前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
    　前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含む、撮像装置の画像データ処理方法。
  19. 　撮像素子と、前記撮像素子により被写体が撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、前記撮像素子に内蔵されたプロセッサと、前記撮像素子の外部に設けられた複数の信号処理プロセッサと、を含む撮像装置に対して適用されるコンピュータに、
    　前記複数の信号処理プロセッサの各々に対して各々対応させて前記プロセッサに設けられた複数の出力ラインから、前記メモリに記憶された前記撮像画像データが分けられた複数の画像データの各々を前記複数の信号処理プロセッサのうちの対応する信号処理プロセッサに出力し、
    　前記複数の信号処理プロセッサの何れかが前記複数の画像データを合成することを含む処理を実行させるためのプログラム。
PCT/JP2019/049218 2018-12-26 2019-12-16 撮像装置、撮像装置の画像データ処理方法、及びプログラム WO2020137662A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020563102A JP7004851B2 (ja) 2018-12-26 2019-12-16 撮像装置、撮像装置の画像データ処理方法、及びプログラム
CN201980086347.3A CN113228612A (zh) 2018-12-26 2019-12-16 摄像装置、摄像装置的图像数据处理方法及程序
US17/351,273 US11546561B2 (en) 2018-12-26 2021-06-18 Imaging apparatus, image data processing method of imaging apparatus, and program
JP2021209412A JP7460595B2 (ja) 2018-12-26 2021-12-23 撮像素子、撮像素子の画像データ処理方法、及びプログラム
US18/058,243 US11902701B2 (en) 2018-12-26 2022-11-22 Imaging apparatus, image data processing method of imaging apparatus, and program
US18/507,347 US20240080410A1 (en) 2018-12-26 2023-11-13 Imaging apparatus, image data processing method of imaging apparatus, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018243662 2018-12-26
JP2018-243662 2018-12-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/351,273 Continuation US11546561B2 (en) 2018-12-26 2021-06-18 Imaging apparatus, image data processing method of imaging apparatus, and program

Publications (1)

Publication Number Publication Date
WO2020137662A1 true WO2020137662A1 (ja) 2020-07-02

Family

ID=71129791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049218 WO2020137662A1 (ja) 2018-12-26 2019-12-16 撮像装置、撮像装置の画像データ処理方法、及びプログラム

Country Status (4)

Country Link
US (3) US11546561B2 (ja)
JP (2) JP7004851B2 (ja)
CN (1) CN113228612A (ja)
WO (1) WO2020137662A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279169B2 (ja) * 2019-08-14 2023-05-22 富士フイルム株式会社 撮像装置、撮像装置の作動方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042110A (ja) * 2012-08-21 2014-03-06 Fujitsu Semiconductor Ltd データ転送装置、データ転送方法、及び半導体装置
WO2015022900A1 (ja) * 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP2018160830A (ja) * 2017-03-23 2018-10-11 株式会社ニコン 撮像装置
JP2018182551A (ja) * 2017-04-14 2018-11-15 キヤノン株式会社 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4499348B2 (ja) * 2002-11-28 2010-07-07 ソニー株式会社 固体撮像装置及びその信号読み出し方法
KR100561462B1 (ko) * 2003-07-09 2006-03-16 삼성전자주식회사 화상형성시스템에 있어서 영상처리방법 및 장치
JP2006238022A (ja) * 2005-02-24 2006-09-07 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
CN101102498A (zh) * 2007-07-26 2008-01-09 北京华纬讯电信技术有限公司 一种高清视频图像处理方法
JP2013187890A (ja) * 2012-03-12 2013-09-19 Sony Corp 画像処理装置と画像処理方法
JP6079031B2 (ja) * 2012-08-01 2017-02-15 株式会社リコー 撮像装置
KR101469839B1 (ko) * 2013-04-17 2014-12-09 (주) 픽셀플러스 이미지 센서 및 이를 포함하는 감시 시스템
JP2016031713A (ja) * 2014-07-30 2016-03-07 オリンパス株式会社 特徴画像表示装置
CN104820966B (zh) * 2015-04-30 2016-01-06 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
JP2016158294A (ja) 2016-05-02 2016-09-01 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042110A (ja) * 2012-08-21 2014-03-06 Fujitsu Semiconductor Ltd データ転送装置、データ転送方法、及び半導体装置
WO2015022900A1 (ja) * 2013-08-12 2015-02-19 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP2018160830A (ja) * 2017-03-23 2018-10-11 株式会社ニコン 撮像装置
JP2018182551A (ja) * 2017-04-14 2018-11-15 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US20240080410A1 (en) 2024-03-07
CN113228612A (zh) 2021-08-06
JP2022046629A (ja) 2022-03-23
US11546561B2 (en) 2023-01-03
US20230078646A1 (en) 2023-03-16
US11902701B2 (en) 2024-02-13
US20210314535A1 (en) 2021-10-07
JPWO2020137662A1 (ja) 2021-10-28
JP7460595B2 (ja) 2024-04-02
JP7004851B2 (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP5371501B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2023145575A (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US8659680B2 (en) Imaging apparatus, image recording method, and recording medium
US20240080410A1 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
JP4189820B2 (ja) 撮像装置及び画像記録方法
JP2017153156A (ja) 電子カメラ
JP2007124377A (ja) 画像データ出力制御装置
WO2020137663A1 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP4369263B2 (ja) デジタルカメラ及び画像信号生成方法
JP2013175824A (ja) 電子カメラ
JP5959194B2 (ja) 撮像装置
JP2013135408A (ja) 撮像装置
JP2006340100A (ja) 撮影装置
WO2020170728A1 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
WO2020170729A1 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP5906846B2 (ja) 電子カメラ
JP4264602B2 (ja) 画像処理装置
JP7410088B2 (ja) 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP7004853B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7354300B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2005012403A (ja) デジタルカメラ及び画像情報取得方法
JP2005167531A (ja) 画像処理装置
JP2004165876A (ja) 画像処理装置、デジタルカメラ及び複眼システム
JP2007295492A (ja) 撮影システム、撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901409

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563102

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901409

Country of ref document: EP

Kind code of ref document: A1