WO2020044763A1 - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents
撮像素子、撮像装置、画像データ処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2020044763A1 WO2020044763A1 PCT/JP2019/025646 JP2019025646W WO2020044763A1 WO 2020044763 A1 WO2020044763 A1 WO 2020044763A1 JP 2019025646 W JP2019025646 W JP 2019025646W WO 2020044763 A1 WO2020044763 A1 WO 2020044763A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- image
- output
- processing
- partial
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 268
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 463
- 238000000034 method Methods 0.000 claims abstract description 224
- 230000008569 process Effects 0.000 claims abstract description 182
- 238000003860 storage Methods 0.000 claims abstract description 65
- 238000005520 cutting process Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 104
- 238000000605 extraction Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 description 111
- 238000010586 diagram Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 14
- 230000007704 transition Effects 0.000 description 14
- 230000002194 synthesizing effect Effects 0.000 description 13
- 210000001747 pupil Anatomy 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Definitions
- the technology of the present disclosure relates to an imaging element, an imaging device, an image data processing method, and a program.
- Japanese Patent Application Laid-Open No. 2016-225970 discloses an image sensor, a signal processing unit that performs predetermined signal processing on image data output from the image sensor, a display unit that displays an image, an image sensor, a signal processing unit, An imaging device comprising a control unit for controlling each of the display units is disclosed.
- the imaging device described in Japanese Patent Application Laid-Open No. 2016-225970 includes a first semiconductor substrate and a second semiconductor substrate that are stacked and electrically directly connected to each other.
- the first semiconductor substrate is provided with imaging means for receiving incident light and performing photoelectric conversion, and AD conversion means for converting an analog image signal output from the imaging means into digital image data.
- the second semiconductor substrate is provided with storage means for storing one frame of digital image data converted by the AD conversion means, and processing means for resizing the digital image data stored in the storage means.
- the processing unit cuts out image data of a predetermined area from digital image data of one frame before being stored in the storage unit, and stores the cut-out image data in the storage unit.
- JP-A-2018-7210 discloses an imaging apparatus having an imaging unit and a control unit.
- An imaging unit included in an imaging device described in JP2018-7210A includes a plurality of pixels, a first image signal acquired by a first pixel group of the plurality of pixels, and a plurality of pixels. And a second image signal obtained by the second pixel group.
- a control unit included in the imaging device described in JP-A-2018-7210 performs first control and second control.
- the first control performs a process based on the second image signal and displays a first image corresponding to the first image signal on a display screen.
- the second control displays a second image obtained by synthesizing the first image signal and the second image signal on a display screen.
- image data of a predetermined area is cut out from one frame of digital image data before being stored in the storage unit, and the cut out image data is stored in the storage unit. You. Therefore, in the imaging device described in Japanese Patent Application Laid-Open No. 2016-225970, a process of cutting out image data of a predetermined area from one frame of digital image data before being stored in the storage unit, and storing the cut-out image data in the storage unit. Processing and execution require power.
- the technique described in Japanese Patent Application Laid-Open No. 2018-7210 discloses a technique for cutting out a partial image showing a part of a subject from an image corresponding to a first image signal or an image corresponding to a second image signal. It is necessary to cut out the partial image after outputting the image signal and the second image signal to the outside of the image sensor. Therefore, a large amount of power is required to output the first image signal and the second image signal to the outside of the image sensor.
- One embodiment of the present invention relates to an image pickup device capable of reducing power consumption compared to a case where partial image data is cut out from image data output to the outside of the image pickup device without going through a storage unit and output.
- An apparatus, an image data processing method, and a program are provided.
- a first aspect according to the technology of the present disclosure is an imaging device, which stores captured image data obtained by capturing a subject at a first frame rate, and includes a storage unit built in the imaging device. And a processing unit built in the image sensor for performing processing on the captured image data, and processing the output image data obtained by performing the processing on the captured image data at a second frame rate.
- An output unit that outputs the image to the outside of the image sensor, and an output unit built in the image sensor, and the processing unit converts an image of a part of the subject in the captured image data from a designated address in the storage unit.
- the output image data includes image data based on the partial image data extracted from the captured image data by performing the extraction process by the processing unit, and the first frame rate.
- the imaging device reduces power consumption as compared with a case where partial image data is cut out from image data output to the outside of the imaging device without going through the storage unit and is output. can do.
- a second aspect according to the technology of the present disclosure is an imaging device according to the first aspect, wherein the extraction processing is processing of extracting partial image data from the captured image data stored in the storage unit by random access to the storage unit. It is.
- the storage unit is capable of storing the captured image data in a plurality of frames, and the extracting process performs the partial image processing for the plurality of frames from the captured image data stored in the storage unit.
- the output unit includes a process of extracting data, and the output unit outputs, as output image data, image data obtained by combining partial image data of a plurality of frames extracted by performing the extraction process by the processing unit.
- an imaging device according to the first aspect or the second aspect.
- the captured image data is output outside the imaging device, and partial image data for a plurality of frames is cut out from the captured image data outside the imaging device. Power consumption can be reduced as compared with the case where partial image data for frames is combined.
- the partial image data is at least one of a plurality of divided region image data corresponding to a plurality of divided regions obtained by being partially divided.
- the imaging device is configured such that partial image data is cut out from each of a plurality of frames of captured image data, and partial image data of the plurality of cut out frames is combined.
- power consumption can be reduced.
- the imaging device can obtain a subject image with high reproducibility as compared with a case where pixels at the same position are thinned out in line units.
- a sixth aspect according to the technology of the present disclosure is the imaging device according to the fourth aspect or the fifth aspect, wherein the output image data includes combined data obtained by combining a plurality of divided region image data. is there.
- the output unit selectively converts a part of the plurality of divided area image data and the combined data into partial image data according to a given condition.
- An image sensor according to a sixth aspect, which outputs data as data.
- the imaging device can reduce power consumption as compared with the case where the combined data is always output from the imaging device to the outside of the imaging device.
- a subject is imaged by a photoelectric conversion element, and the processing unit specifies a part corresponding to a part of the photoelectric conversion element by designating a part Then, a part of the photoelectric conversion element is imaged, the processing unit acquires partial image equivalent data corresponding to the partial image data by being imaged by the part at the first frame rate, and acquires the acquired partial image equivalent.
- An image sensor according to any one of the first to seventh aspects, which outputs image data based on data to the outside of the image sensor at a second frame rate.
- a part extends over a plurality of regions with respect to the subject, and the partial image data is a plurality of region image data indicating a plurality of regions in the captured image data.
- the imaging element according to the ninth aspect of the technology of the present disclosure can reduce power consumption even when the cutout target extends over a plurality of regions of the subject.
- the output image data further includes wide area image data indicating an image of a wider area than a part of the subject, and the resolution of the wide area image data is An image sensor according to any one of the first to ninth aspects, which is lower in resolution.
- the imaging element according to the tenth aspect of the technology of the present disclosure can reduce power consumption as compared with the case where the resolution of wide-area image data is the same as the resolution of partial image data.
- the eleventh aspect according to the technology of the present disclosure is the imaging device according to the tenth aspect, wherein the wide-range image data is image data indicating an entire image of the subject.
- the imaging device can reduce power consumption as compared with the case where the resolution of image data representing the entire image of the subject is the same as the resolution of partial image data.
- a fourteenth aspect according to the technology of the present disclosure is based on the image sensor according to any one of the first to thirteenth aspects of the technology of the present disclosure, and output image data output by the processing unit.
- An imaging apparatus comprising: a control unit that performs control to enlarge and display an image on a display unit.
- the imaging apparatus reduces power consumption as compared with a case where partial image data is cut out from image data output to the outside of the imaging element without using the storage unit and is output. can do.
- a fifteenth aspect according to the technology of the present disclosure is an image data processing method for an image sensor including a storage unit, a processing unit, and an output unit, wherein an image of a subject is captured at a first frame rate in the storage unit.
- the captured image data obtained by the processing is stored, the processing unit performs processing on the captured image data, and the output unit performs processing on the captured image data.
- the obtained output image data is output to the outside of the image sensor at the second frame rate, and the processing unit is configured to transmit a partial image of the subject in the captured image data from the designated address in the storage unit.
- the output image data includes image data based on the partial image data cut out from the captured image data by performing the cutting processing by the processing unit, 1 frame rate is a frame rate higher than the second frame rate, the processing method of the image data.
- the image data processing method of the fifteenth aspect according to the technology of the present disclosure consumes less power than the case where the partial image data is cut out from the image data output to the outside of the image sensor without using the storage unit and is output. Can be reduced.
- a sixteenth aspect according to the technology of the present disclosure is a program for causing a computer to function as a processing unit and an output unit included in an image sensor including a storage unit, a processing unit, and an output unit,
- the storage unit stores captured image data obtained by capturing a subject at a first frame rate
- the processing unit performs processing on the captured image data
- the output unit performs processing on the captured image data.
- the image data for output obtained by performing the processing is output to the outside of the image sensor at the second frame rate, and the processing unit determines the subject of the captured image data from the specified address in the storage unit.
- the program according to a sixteenth aspect according to the technology of the present disclosure reduces power consumption as compared with a case where partial image data is cut out from image data output to the outside of the image sensor without using a storage unit and is output. be able to.
- a seventeenth aspect according to the technology of the present disclosure is an imaging device, which stores captured image data obtained by capturing a subject at a first frame rate, and a memory built in the imaging device. Processing the captured image data and outputting the output image data obtained by performing the processing on the captured image data to the outside of the image sensor at a second frame rate; A processor built in the element, the processor performs a cutout process of cutting out partial image data indicating a partial image of the subject in the captured image data from a designated address in the memory, The image data includes image data based on the partial image data cut out from the captured image data by performing the cutout processing by the processor, and the first frame rate is set to the second frame rate. Is a frame rate higher than over preparative, an image pickup element.
- FIG. 1 is a perspective view showing an example of an external appearance of an imaging device which is an interchangeable lens camera according to first to fourth embodiments.
- FIG. 9 is a rear view showing the rear side of the imaging device according to the first to fourth embodiments.
- FIG. 9 is a block diagram illustrating an example of a hardware configuration of an imaging device according to first to fourth embodiments.
- FIG. 9 is a schematic configuration diagram illustrating an example of a configuration of a hybrid finder in the imaging device according to the first to fourth embodiments.
- FIG. 9 is a schematic configuration diagram illustrating an example of a schematic configuration of an imaging device included in the imaging devices according to the first to fourth embodiments.
- FIG. 9 is a block diagram illustrating an example of a main configuration of an imaging device included in the imaging devices according to the first to fourth embodiments.
- 5 is a flowchart illustrating an example of a flow of an image data generation process according to the first embodiment.
- 15 is a flowchart illustrating an example of the flow of image data output processing according to the first to fourth embodiments.
- 9 is a flowchart illustrating an example of a flow of a display control process according to the first to third embodiments.
- FIG. 3 is a conceptual diagram illustrating an example of a schematic configuration of captured image data and combined data from a first frame to a third frame.
- FIG. 4 is a state transition diagram illustrating an example of a data flow of the imaging device.
- FIG. 3 is a conceptual diagram illustrating an example of a schematic configuration of captured image data and combined data from a first frame to a third frame.
- FIG. 4 is a state transition diagram illustrating an example of a data flow of the imaging device.
- FIG. 11A is a state transition diagram illustrating an example of a data flow of the imaging apparatus according to the related art.
- FIG. 11B is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure.
- FIG. 11 is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure. It is a state transition diagram showing an example of a flow of processing of an imaging device.
- FIG. 13A is a state transition diagram illustrating an example of a processing flow of the imaging apparatus according to the related art.
- FIG. 13B is a state transition diagram illustrating an example of a processing flow of the imaging device according to the technology of the present disclosure.
- FIG. 13A is a state transition diagram illustrating an example of a processing flow of the imaging apparatus according to the related art.
- FIG. 13B is a state transition diagram illustrating an example of a processing flow of the imaging device according to the technology of the present disclosure.
- FIG. 9 is a conceptual diagram showing an example of a mode in which an image showing a face area is enlarged and displayed after a face area of a person who is a subject is detected.
- FIG. 11 is a conceptual diagram showing a first modification of the schematic configuration of the captured image data and the combined data from the first frame to the third frame.
- FIG. 13 is a conceptual diagram showing a second modified example of the schematic configuration of the captured image data and the combined data from the first frame to the third frame.
- FIG. 8 is an explanatory diagram for explaining a difference between output image data with thinning and output image data without thinning.
- FIG. 4 is an explanatory diagram provided for describing an exposure method of an imaging device according to first to fourth embodiments.
- FIG. 11 is a conceptual diagram showing a first modification of the schematic configuration of the captured image data and the combined data from the first frame to the third frame.
- FIG. 13 is a conceptual diagram showing a second modified example of the schematic configuration of the captured image data and the combined data from the first frame
- FIG. 18A is an explanatory diagram provided for describing a first exposure method of the imaging device according to the first to fourth embodiments.
- FIG. 18B is an explanatory diagram provided for describing a second exposure method of the imaging device according to the first to fourth embodiments.
- FIG. 11 is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure.
- FIG. 11 is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure.
- 9 is a flowchart illustrating an example of a flow of an image data generation process according to the second embodiment. It is a flow chart which shows an example of the flow of single field extraction processing concerning a 2nd embodiment.
- FIG. 11 is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure.
- FIG. 11 is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure.
- 13 is a flowchart illustrating an example of a flow of an image data generation process according to a third embodiment.
- FIG. 11 is a state transition diagram illustrating an example of a data flow of the imaging device according to the technology of the present disclosure. It is a flow chart which shows an example of the flow of output image data processing concerning a 3rd embodiment.
- FIG. 2 is a conceptual diagram illustrating an example of a mode in which a program according to an embodiment is installed on an image sensor from a storage medium storing the program according to the embodiment.
- FIG. 14 is a block diagram illustrating an example of a schematic configuration of a smart device in which the imaging device according to the first to fourth embodiments is incorporated.
- the imaging device 10 is an interchangeable lens camera.
- the imaging apparatus 10 is a digital camera that includes an imaging apparatus main body 12 and an interchangeable lens 14 that is interchangeably mounted on the imaging apparatus main body 12, and does not include a reflex mirror.
- the interchangeable lens 14 includes an imaging lens 18 having a focus lens 16 movable in the optical axis direction by manual operation.
- a hybrid finder 21 is provided in the imaging device main body 12.
- the hybrid finder 21 here refers to a finder in which, for example, an optical view finder (hereinafter, referred to as “OVF”) and an electronic view finder (hereinafter, referred to as “EVF”) are selectively used.
- OVF optical view finder
- EVF electronic view finder
- the interchangeable lens 14 is interchangeably mounted on the imaging device body 12.
- the lens barrel of the interchangeable lens 14 is provided with a focus ring 22 used in the manual focus mode.
- the focus lens 16 moves in the optical axis direction in accordance with the manual rotation operation of the focus ring 22, and the subject light is imaged on an image sensor 20 (see FIG. 3) described later at a focus position corresponding to the subject distance. .
- a finder window 24 of the OVF included in the hybrid finder 21 is provided on the front surface of the imaging device body 12. Further, a finder switching lever (finder switching unit) 23 is provided on the front surface of the imaging device body 12. When the finder switching lever 23 is rotated in the direction of the arrow SW, switching is made between an optical image that can be visually recognized by the OVF and an electronic image (live view image) that can be visually recognized by the EVF.
- the optical axis L2 of the OVF is different from the optical axis L1 of the interchangeable lens 14.
- a release button 25, a dial 28 for setting a mode of an imaging system, a mode of a reproduction system, and the like are provided on an upper surface of the imaging device body 12.
- the release button 25 functions as an imaging preparation instruction unit and an imaging instruction unit, and can detect a two-stage pressing operation of an imaging preparation instruction state and an imaging instruction state.
- the imaging preparation instruction state refers to, for example, a state where the image is pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state refers to a state where the image is pressed to the final pressed position (fully pressed position) beyond the intermediate position. Point to.
- the “state of being pressed from the standby position to the half-pressed position” is referred to as “half-pressed state”
- the “state of being pressed from the standby position to the fully-pressed position” is referred to as “full-pressed state”.
- an imaging mode and a reproduction mode are selectively set as operation modes in accordance with a user's instruction.
- a manual focus mode and an auto focus mode are selectively set according to a user's instruction.
- the auto focus mode the imaging condition is adjusted by pressing the release button 25 halfway, and then exposure is performed by continuously pressing the release button 25 fully. That is, when the release button 25 is half-pressed, the AE (Automatic Exposure) function operates to set the exposure state, and then the AF (Auto-Focus) function operates to perform focus control. When the state is fully pressed, imaging is performed.
- a touch panel display 30, a cross key 32, a menu key 34, an instruction button 36, and a finder eyepiece 38 are provided on the back surface of the imaging device main body 12.
- the touch panel display 30 includes a liquid crystal display (hereinafter, referred to as “first display”) 40 and a touch panel 42 (see FIG. 3).
- first display liquid crystal display
- touch panel 42 see FIG. 3
- the first display 40 displays images, character information, and the like.
- the first display 40 is used to display a live view image (through image) which is an example of a continuous frame image obtained by capturing images in continuous frames in the imaging mode. Further, the first display 40 is also used for displaying a still image which is an example of a single frame image obtained by being imaged in a single frame when a still image imaging instruction is given. Further, the first display 40 is also used for displaying a reproduced image in a reproduction mode and / or for displaying a menu screen or the like.
- the touch panel 42 is a transmissive touch panel and is superimposed on the surface of the display area of the first display 40.
- the touch panel 42 detects, for example, a contact by a pointer such as a finger or a stylus pen.
- the touch panel 42 outputs detection result information indicating a detection result (presence or absence of contact with the pointer on the touch panel 42) at a predetermined cycle (for example, 100 milliseconds) to a predetermined output destination (for example, a later-described CPU 52 (see FIG. 3)). I do.
- the detection result information includes two-dimensional coordinates (hereinafter, referred to as “coordinates”) that can specify a contact position of the pointer on the touch panel 42 when the touch panel 42 detects contact with the pointer, and the touch panel 42 detects the touch by the pointer. If no contact is detected, no coordinates are included.
- the cross key 32 functions as a multi-function key that outputs various command signals such as selection of one or a plurality of menus, zooming, and / or frame advance.
- the menu key 34 has a function as a menu button for giving a command to display one or more menus on the screen of the first display 40, and a function as a command button for giving a command for fixing and executing the selected contents. This is an operation key having both functions.
- the instruction button 36 is operated to delete a desired target such as a selection item, cancel specified contents, and return to the previous operation state.
- the imaging device 10 has a still image imaging mode and a moving image imaging mode as operation modes of the imaging system.
- the still image capturing mode is an operation mode for recording a still image obtained by capturing an image of a subject by the image capturing apparatus 10
- the moving image capturing mode is an operation mode for recording a moving image obtained by capturing an image of the subject by the image capturing apparatus 10. Mode.
- the imaging device 10 includes a mount 46 (see also FIG. 1) provided on the imaging device main body 12 and a mount 44 on the interchangeable lens 14 side corresponding to the mount 46.
- the interchangeable lens 14 is interchangeably mounted on the imaging device body 12 by coupling the mount 44 to the mount 46.
- the imaging lens 18 includes a slide mechanism 48 and a motor 50.
- the slide mechanism 48 moves the focus lens 16 along the optical axis L1 when the focus ring 22 is operated.
- the focus lens 16 is attached to the slide mechanism 48 so as to be slidable along the optical axis L1.
- a motor 50 is connected to the slide mechanism 48, and the slide mechanism 48 receives the power of the motor 50 to slide the focus lens 16 along the optical axis L1.
- the motor 50 is connected to the imaging device main body 12 via the mounts 44 and 46, and its driving is controlled according to a command from the imaging device main body 12.
- a stepping motor is applied as an example of the motor 50. Therefore, the motor 50 operates in synchronization with the pulse power according to a command from the imaging device main body 12.
- FIG. 3 an example in which the motor 50 is provided in the imaging lens 18 is illustrated, but the invention is not limited thereto, and the motor 50 may be provided in the imaging device main body 12.
- the imaging device 10 is a digital camera that records a still image and a moving image obtained by imaging a subject.
- the imaging device main body 12 includes an operation unit 54, an external interface (I / F) 63, and a post-stage circuit 90.
- the post-stage circuit 90 is a circuit that receives data sent from the image sensor 20.
- an IC Integrated Circuit
- LSI Large-Scale Integration
- the post-stage circuit 90 includes a CPU (Central Processing Unit) 52, an I / F 56, a primary storage unit 58, a secondary storage unit 60, an image processing unit 62, a first display control unit 64, a second display control unit 66, and a position detection unit. 70, and a device control unit 74.
- a single CPU is illustrated as the CPU 52, but the technology of the present disclosure is not limited to this, and a plurality of CPUs may be employed instead of the CPU 52. That is, various processes executed by the CPU 52 may be executed by one processor or a plurality of physically separated processors.
- each of the image processing unit 62, the first display control unit 64, the second display control unit 66, the position detection unit 70, and the device control unit 74 is realized by an ASIC (Application / Specific / Integrated / Circuit).
- ASIC Application / Specific / Integrated / Circuit
- the technology of the present disclosure is not limited to this.
- at least one of a PLD (Programmable Logic Device) and an FPGA (Field-Programmable Gate Array) may be employed instead of the ASIC.
- at least one of an ASIC, a PLD, and an FPGA may be employed.
- a computer including a CPU, a ROM (Read Only Memory), and a RAM (Random Access Memory) may be employed. The number of CPUs may be singular or plural.
- at least one of the image processing unit 62, the first display control unit 64, the second display control unit 66, the position detection unit 70, and the device control unit 74 is realized by a combination of a hardware configuration and a software configuration
- the CPU 52, the I / F 56, the primary storage unit 58, the secondary storage unit 60, the image processing unit 62, the first display control unit 64, the second display control unit 66, the operation unit 54, the external I / F 63, and the touch panel 42 They are interconnected via a bus 68.
- the CPU 52 controls the entire imaging device 10.
- the CPU 52 performs the focusing control by controlling the driving of the motor 50 so that the contrast value of the image obtained by the imaging is maximized.
- the CPU 52 calculates AE information that is a physical quantity indicating the brightness of an image obtained by imaging.
- the CPU 52 derives a shutter speed and an F value according to the brightness of the image indicated by the AE information. Then, the exposure state is set by controlling the related parts so as to obtain the derived shutter speed and F value.
- the primary storage unit 58 refers to a volatile memory, for example, a RAM.
- the secondary storage unit 60 refers to a non-volatile memory, and refers to, for example, a flash memory or an HDD (Hard ⁇ Disk ⁇ Drive).
- the operation unit 54 is a user interface operated by a user when giving various instructions to the subsequent circuit 90.
- the operation unit 54 includes a release button 25, a dial 28, a finder switching lever 23, a cross key 32, a menu key 34, and an instruction button 36.
- Various instructions received by the operation unit 54 are output to the CPU 52 as operation signals, and the CPU 52 executes processing according to the operation signals input from the operation unit 54.
- the position detecting section 70 is connected to the CPU 52.
- the position detection unit 70 is connected to the focus ring 22 via the mounts 44 and 46, detects the rotation angle of the focus ring 22, and outputs rotation angle information indicating the detection result to the CPU 52.
- the CPU 52 executes a process according to the rotation angle information input from the position detection unit 70.
- the image light indicating the subject is focused on the light receiving surface of the color imaging device 20 via the imaging lens 18 including the focus lens 16 movable by manual operation and the mechanical shutter 72.
- the device control section 74 is connected to the CPU 52. Further, the device control section 74 is connected to the image sensor 20 and the mechanical shutter 72. Further, the device control unit 74 is connected to the motor 50 of the imaging lens 18 via the mounts 44 and 46.
- the device control unit 74 controls the image sensor 20, the mechanical shutter 72, and the motor 50 under the control of the CPU 52.
- the hybrid finder 21 includes an OVF 76 and an EVF 78.
- the OVF 76 is an inverted Galilean finder having an objective lens 81 and an eyepiece 86
- the EVF 78 has a second display 80, a prism 84, and an eyepiece 86.
- a liquid crystal shutter 88 is disposed in front of the objective lens 81.
- the liquid crystal shutter 88 shields light so that an optical image does not enter the objective lens 81 when the EVF 78 is used.
- the prism 84 reflects an electronic image or various information displayed on the second display 80 and guides the reflected image to the eyepiece 86, and displays the optical image and the information on the second display 80 (the electronic image and / or various information and the like). Are synthesized.
- an optical image can be visually recognized by the OVF 76 every time the finder switching lever 23 is rotated, and an electronic image can be visually recognized by the EVF 78.
- the EVF mode is alternately switched.
- the second display control unit 66 controls the liquid crystal shutter 88 to be in a non-light-shielded state so that an optical image can be visually recognized from the eyepiece. Further, in the case of the EVF mode, the second display control unit 66 controls the liquid crystal shutter 88 to be in a light-shielding state, so that only the electronic image displayed on the second display 80 can be visually recognized from the eyepiece.
- the image sensor 20 is an example of the “stacked image sensor” according to the technology of the present disclosure.
- the image sensor 20 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the imaging device 20 includes a photoelectric conversion element 92, a processing circuit 94, and a memory 96.
- a processing circuit 94 and a memory 96 are stacked on the photoelectric conversion device 92.
- the memory 96 is an example of a storage unit according to the technology of the present disclosure.
- the processing circuit 94 is, for example, an LSI, and the memory 96 is, for example, a RAM.
- the memory 96 is, for example, a DRAM (Dynamic Random Access Memory)
- DRAM Dynamic Random Access Memory
- SRAM Static Random Access Memory
- the processing circuit 94 is realized by an ASIC, but the technology of the present disclosure is not limited to this.
- a PLD and an FPGA may be employed instead of the ASIC.
- at least one of an ASIC, a PLD, and an FPGA may be employed.
- the number of CPUs may be singular or plural.
- a computer including a CPU, a ROM, and a RAM may be employed.
- the processing circuit 94 may be realized by a combination of a hardware configuration and a software configuration.
- the photoelectric conversion element 92 has a plurality of photosensors arranged in a matrix.
- a photodiode is employed as an example of the photo sensor.
- a photodiode for “4896 ⁇ 3265” pixels can be given.
- the photoelectric conversion element 92 includes a color filter.
- the color filter includes a G filter corresponding to G (green), an R filter corresponding to R (red), and a B filter (blue). ) Is included.
- the G filter, the R filter, and the B filter are provided with a predetermined periodicity in each of the row direction (horizontal direction) and the column direction (vertical direction) for the plurality of photodiodes of the photoelectric conversion element 92. Are located. Therefore, the imaging apparatus 10 can perform the processing according to the repetition pattern when performing the synchronization processing of the R, G, and B signals.
- the synchronization processing refers to processing for calculating all color information for each pixel from a mosaic image corresponding to a color filter array of a single-chip color imaging device.
- the synchronizing process means a process of calculating all RGB color information for each pixel from a mosaic image of RGB.
- the image sensor 20 has a so-called electronic shutter function, and controls the charge accumulation time of each photodiode in the photoelectric conversion element 92 by operating the electronic shutter function under the control of the device control unit 74.
- the charge accumulation time refers to a so-called shutter speed.
- the processing circuit 94 is controlled by the device control unit 74.
- the processing circuit 94 reads out captured image data obtained by capturing an image of the subject with the photoelectric conversion element 92.
- captured image data refers to image data indicating a subject.
- the captured image data is signal charges stored in the photoelectric conversion element 92.
- the processing circuit 94 performs A / D (Analog / Digital) conversion on the captured image data read from the photoelectric conversion element 92.
- the processing circuit 94 stores the captured image data obtained by performing A / D conversion on the captured image data in the memory 96.
- the processing circuit 94 acquires the captured image data from the memory 96 and outputs output image data, which is image data based on the acquired captured image data, to the I / F 56 of the subsequent circuit 90.
- output image data that is image data based on captured image data
- output image data is simply referred to as “output image data”.
- the processing circuit 94 performs the first processing and the second processing on the captured image data.
- the first process refers to a process of reading captured image data from the photoelectric conversion element 92 and storing the read captured image data in the memory 96.
- the second process refers to a process of outputting the output image data to the outside of the imaging device 20.
- the “outside of the image sensor 20” here refers to, for example, the I / F 56 of the subsequent circuit 90.
- the first process also includes a cutting process.
- the cutout process is a process of cutting out partial image data indicating a partial image of a subject in the captured image data from a specified address in the memory 96 in a state where the captured image data is stored in the memory 96. Point.
- the partial image data is at least one of a plurality of divided region image data corresponding to a plurality of divided regions obtained by dividing a part of a subject.
- the“ plurality of divided region image data ” has a relationship in which different pixels are thinned out in line units.
- two horizontal lines are skipped in the vertical direction by skipping two lines.
- the technology of the present disclosure is not limited to this, and for example, one horizontal line is skipped in the vertical direction by skipping one line.
- three or more horizontal lines may be thinned in the vertical direction.
- vertical lines may be thinned out in the horizontal direction by a predetermined number of one or more lines.
- it may be thinned out according to a predetermined rule in a pixel group unit of one pixel or several pixels.
- the output image data output from the processing circuit 94 is roughly divided into partial image data, wide area image data, and focus control image data.
- the wide area image data refers to image data indicating an image of a wider area than a part of the subject related to the partial image data of the subject.
- the entire image data indicating the entire image of the subject within a range that can be captured by all the photodiodes in the partial area 92A of the photoelectric conversion element 92 (see FIG. 11) is included.
- Point The focus control image data is an image of a range that is wider than a part of the subject related to the partial image data of the subject and that is predetermined as a range required for the focus control of the imaging device 10. Refers to image data.
- the “predetermined range” referred to here is, for example, a range in which the CPU 52 can specify a focused state by so-called contrast AF or phase difference AF, which is obtained in advance by a test using an actual device and / or a computer simulation.
- contrast AF or phase difference AF which is obtained in advance by a test using an actual device and / or a computer simulation.
- all photodiodes refers to usable photodiodes having no problem.
- the image sensor 20 images the subject at the first frame rate.
- the processing circuit 94 performs a first process at a first frame rate and performs a second process at a second frame rate.
- the first frame rate is a higher frame rate than the second frame rate.
- the second frame rate is 60 fps (frames @ per @ second) and the first frame rate is 240 fps.
- second frame rate ⁇ It is sufficient that the relationship of "first frame rate" is satisfied.
- the first frame rate is a variable frame rate within a range that does not fall below the second frame rate.
- the processing circuit 94 includes a photoelectric conversion element driving circuit 94A, an AD (Analog-to-Digital) conversion circuit 94B, an image processing circuit 94C, and an output circuit 94D. Operate.
- the photoelectric conversion element driving circuit 94A is connected to the photoelectric conversion element 92 and the AD conversion circuit 94B.
- the memory 96 is connected to the AD conversion circuit 94B and the image processing circuit 94C.
- the image processing circuit 94C is connected to the output circuit 94D.
- the output circuit 94D is connected to the I / F 56 of the post-stage circuit 90.
- the photoelectric conversion element drive circuit 94A controls the photoelectric conversion element 92 under the control of the device control unit 74, and reads analog captured image data from the photoelectric conversion element 92.
- the AD conversion circuit 94B digitizes the captured image data read by the photoelectric conversion element driving circuit 94A, and stores the digitized captured image data in the memory 96.
- the memory 96 is a memory capable of storing a plurality of frames of captured image data.
- the image processing circuit 94C is an example of a processing unit according to the technology of the present disclosure, and performs processing on captured image data. That is, the image processing circuit 94C cuts out the output image data from the captured image data stored in the memory 96 by random access to the memory 96.
- the image processing circuit 94C performs signal processing as needed on the extracted output image data.
- “random access” refers to an access method that allows direct access to a location in the memory 96 where target data is stored.
- the above-described first processing is performed by the photoelectric conversion element driving circuit 94A, the AD conversion circuit 94B, the memory 96, and the image processing circuit 94C. That is, the processes in the photoelectric conversion element driving circuit 94A, the AD conversion circuit 94B, the memory 96, and the image processing circuit 94C are performed at the first frame rate.
- the processes in the photoelectric conversion element driving circuit 94A, the AD conversion circuit 94B, the memory 96, and the image processing circuit 94C are performed at the first frame rate.
- the technology is not limited to this.
- the storage of the captured image data in the memory 96 by the AD conversion circuit 94B, and the processing by the image processing circuit 94C at least the processing of the captured image data to the memory 96 by the AD conversion circuit 94B.
- the storage may be performed at the first frame rate.
- the output circuit 94D performs the above-described second processing. That is, the output circuit 94D outputs the output image data on which the signal processing has been performed by the image processing circuit 94C to the I / F 56 of the subsequent circuit 90 at the second frame rate. Note that the output circuit 94D is an example of an “output unit” according to the technology of the present disclosure.
- the display device is an example of the “display unit” according to the technology of the present disclosure.
- display control units when it is not necessary to distinguish the first display control unit 64 and the second display control unit 66 from each other, they will be referred to as “display control units” without reference numerals.
- the display control unit is an example of a “control unit” according to the technology of the present disclosure. In the following, a case where a live view image is displayed on a display device will be described for convenience of description.
- the image data generation processing executed by the processing circuit 94 will be described with reference to FIG. Note that the image data generation processing shown in FIG. 7 is performed by the processing circuit 94 at the first frame rate.
- the description will be given on the assumption that the memory 96 is a memory capable of storing captured image data for three frames in a FIFO manner.
- step 100 the photoelectric conversion element driving circuit 94A reads out the captured image data from the partial area 92A of the photoelectric conversion element 92 shown in FIG.
- the generation processing proceeds to step 102.
- the captured image data obtained from the partial area 92A of the photoelectric conversion element 92 by executing the processing of step 100 is, as shown in FIG. Is captured image data obtained by capturing an image.
- the captured image data obtained by capturing the image in the partial area 92A is illustrated, but the technology of the present disclosure is not limited thereto.
- the image data may be captured image data obtained by capturing an image of a subject with the entire photodiode of the photoelectric conversion element 92, or by capturing an image of the subject at each of a plurality of locations in the photoelectric conversion element 92. An obtained captured image may be used.
- the captured image data for one frame read from the partial area 92A of the photoelectric conversion element 92 is obtained by skipping two horizontal lines in the vertical direction as shown in FIG. 10 as an example. Is the image data thinned out.
- the captured image data read from the partial area 92A of the photoelectric conversion element 92 is one frame in one cycle when one cycle of reading the three frames of captured image data is one cycle. Each time, the horizontal line is shifted by one line in the vertical direction and thinned out.
- FIG. 10 an example of the form of the captured image data from the first frame to the third frame is schematically shown.
- the fourth and subsequent frames have the same method as the first to third frames.
- the pixels are thinned out.
- a thinning example in which one cycle is three frames is given for convenience of description, but the technology of the present disclosure is not limited to this and is applicable to a case where one cycle is four frames or more. Even if it is thinned out by the same method.
- the image processing circuit 94C determines whether a cutout instruction has been received by the touch panel 42 and / or the operation unit 54.
- the cutout instruction is an instruction to cut out the partial image data from the captured image data.
- the cutout instruction includes an address in the memory 96 at which the captured image data is stored, and a designated address capable of specifying a target to be cut out of the captured image data.
- any location in the overall image is designated by the user via the touch panel 42 and / or the operation unit 54, and the designated location is designated.
- the address obtained by the conversion becomes the designated address.
- FIG. 11 illustrates a state in which the partial image data 200 is specified from the captured image data stored in the memory 96.
- the partial image data 200 is specified by the specified address included in the cutout instruction.
- an example of the cutout instruction is a face detection instruction.
- the face detection instruction is an instruction to activate the face detection function.
- the face detection function is a function of detecting a face of a person who is a subject from captured image data, and is realized by the image processing circuit 94C. For example, as shown in FIG. 12, an address of a rectangular area including a face 202F of a person 202 who is a subject in the captured image data is specified as an address to be cut out, and the partial image data 200 is stored in accordance with the specified address. Is specified.
- the display device can display an image in comparison with the case where face detection and / or pupil detection are not performed. A display with a small time lag for angle adjustment can be performed. Further, the magnification of the partial image data 200 may be changed based on the face detection result and / or the pupil detection result.
- step 104 If, in step 104, a cutout instruction is received by the touch panel 42 and / or the operation unit 54, the determination is affirmative, and the image data generation process proceeds to step 110. In step 104, if the cutout instruction has not been received by the touch panel 42 and / or the operation unit 54, the determination is negative, and the image data generation process proceeds to step 106.
- step 106 the image processing circuit 94C acquires the captured image data from the memory 96, and thereafter, the image data generation processing proceeds to step 108.
- step 108 the image processing circuit 94C generates the entire image data based on the captured image data acquired in step 106, and outputs the generated entire image data to the output circuit 94D. Move to. Note that the entire image data generated by executing the process of step 108 is one type of image data included in the above-described output image data.
- the cutting instruction received by the touch panel 42 and / or the operation unit 54 in step 104 is roughly classified into a low-quality cutting instruction and a high-quality cutting instruction.
- the low-quality cutout instruction indicates an instruction to cut out a low-quality cutout image
- the high-quality cutout instruction indicates an instruction to cut out a high-quality cutout image.
- the high-quality cutout image has higher image quality than the low-quality cutout image.
- the low-quality cutout image refers to, for example, image data in which two horizontal lines are skipped in the vertical direction by skipping two lines as shown in FIG.
- the high-quality cut-out image refers to, for example, combined data obtained by combining captured image data of three frames as shown in FIG. 10, that is, image data without thinning.
- step 110 the image processing circuit 94C determines whether the cutout instruction received by the touch panel 42 and / or the operation unit 54 in step 104 is a high-quality cutout instruction. In step 110, if the cutout instruction received by the touch panel 42 and / or the operation unit 54 in step 104 is not a high-quality cutout instruction, that is, if the cutout instruction is a low-quality cutout instruction, the determination is negative. Then, the process proceeds to step 112. In step 110, when the cutout instruction received by the touch panel 42 and / or the operation unit 54 in step 104 is a high-quality cutout instruction, the determination is affirmed, and the process proceeds to step 118.
- step 114 the image processing circuit 94C cuts out the partial image data from the captured image data of the single frame in the captured image data in the memory 96 in accordance with the designated address acquired in step 112. Move to step 116.
- the captured image data of a single frame from which partial image data is to be cut out is, for example, captured image data that is stored most recently in the memory 96, but the technology of the present disclosure is not limited to this. For example, when a plurality of frames of captured image data are stored in the memory 96, a single frame of captured image data to be cut out of the partial image data is included in the plurality of frames of the captured image data stored in the memory 96. Any captured image data may be used.
- the captured image data of a single frame is taken as the captured image data to be cut out.
- the synthesized data obtained as a result may be set as a cutout target. That is, if it is specified that the combined data obtained by combining the captured image data of three frames is high-quality cutout image data, the captured image data of one frame may be used as the cutout target captured image data. Alternatively, synthesized data obtained by synthesizing two frames of captured image data may be set as a cutout target.
- step 116 the image processing circuit 94C generates low-quality cut-out image data and outputs it to the output circuit 94D. Thereafter, the image data generation processing proceeds to step 130.
- the partial image data cut out in step 114 is directly used as the low-quality cut-out image data, but the technology of the present disclosure is not limited to this.
- the low-quality cut-out image data may be image data obtained by performing various image processes on the partial image data cut out in step 114.
- the low-quality cut-out image data generated by performing the process of step 116 is one type of image data included in the above-described output image data.
- step 118 the image processing circuit 94C determines whether or not the captured image data of a plurality of frames is stored in the memory 96. In step 118, three frames are used as an example of the plurality of frames. If it is determined in step 118 that the captured image data of a plurality of frames is not stored in the memory 96, the determination is negative and the process proceeds to step 120. In step 118, when a plurality of frames of captured image data are stored in the memory 96, the determination is affirmative, and the process proceeds to step 124.
- step 120 the image processing circuit 94C acquires the captured image data from the memory 96, and then the image data generation processing proceeds to step 122.
- step 122 the image processing circuit 94C generates whole image data based on the captured image data obtained in step 120, and outputs the generated whole image data to the output circuit 94D. Move to. Note that the entire image data generated by performing the process of step 122 is one type of image data included in the above-described output image data.
- step 124 the image processing circuit 94C acquires the specified address from the cutout instruction received in step 104, and then the image data generation processing proceeds to step 126.
- step 126 the image processing circuit 94C cuts out partial image data from each of the plurality of frames of the captured image data in the captured image data in the memory 96 in accordance with the designated address acquired in step 124, and then performs image data generation processing. Moves to step 128.
- the captured image data of a plurality of frames to be cut out of the partial image data is, for example, captured image data of all frames currently stored in the memory 96, that is, captured image data of three frames.
- the technology is not limited to this. If it is specified that the captured image data for one frame is low-quality cut-out image data, the combined data obtained by combining the captured image data for two frames may be used as the cutout target.
- step 128, the image processing circuit 94C generates high-quality cut-out image data and outputs it to the output circuit 94D. Thereafter, the image data generation processing proceeds to step 130.
- the high-quality cut-out image data synthesized data obtained by synthesizing the partial image data for three frames cut out in step 126 as shown in FIG. Is not limited to this.
- the high-quality cut-out image data may be image data obtained by performing various types of image processing on synthesized data obtained by synthesizing partial image data for three frames cut out in step 126.
- the high-quality cut-out image data generated by performing the process of step 128 is one type of image data included in the above-described output image data.
- the image processing circuit 94C determines whether or not an image data generation processing end condition, which is a condition for ending the image data generation processing, is satisfied.
- the image data generation processing end condition includes, for example, a condition that an instruction to end the image data generation processing is received by the touch panel 42 and / or the operation unit 54.
- the image data generation processing end condition includes, for example, a condition that the time during which the determination is not affirmed in step 104 after the image data generation processing is started has exceeded a predetermined time.
- the “predetermined time” indicates, for example, 5 minutes.
- the predetermined time may be a fixed value or a variable value that can be changed according to an instruction given by the user.
- step 130 If it is determined in step 130 that the image data generation processing end condition is not satisfied, the determination is negative, and the image data generation processing proceeds to step 100. In step 130, when the image data generation processing end condition is satisfied, the determination is affirmative, and the processing circuit 94 ends the image data generation processing.
- image data output processing executed by the output circuit 94D of the processing circuit 94 will be described with reference to FIG. Note that the image data output processing shown in FIG. 8 is performed at the second frame rate by the output circuit 94D.
- the output circuit 94D determines whether or not output image data has been input from the image processing circuit 94C.
- Examples of the output image data input from the image processing circuit 94C to the output circuit 94D include the whole image data, the high-quality cutout image data, and the low-quality cutout image output by the image data generation processing shown in FIG.
- the image data includes at least one of the data.
- step 150 If it is determined in step 150 that the output image data has not been input from the image processing circuit 94C, the determination is negative and the process proceeds to step 154. In step 150, when the output image data is input from the image processing circuit 94 ⁇ / b> C, the determination is affirmative, and the process proceeds to step 152.
- step 152 the output circuit 94D outputs the output image data to the I / F 56 of the post-stage circuit 90, and then proceeds to step 154.
- the I / F 56 outputs the output image data input from the output circuit 94D to, for example, the CPU 52 and the image processing unit 62 via the bus 68.
- step 154 the output circuit 94D determines whether or not an image data output processing end condition, which is a condition for ending the image data output processing, is satisfied.
- the image data output process end condition is, for example, the same condition as the above-described image data generation process end condition.
- step 154 If it is determined in step 154 that the image data output processing end condition is not satisfied, the determination is negative and the image data output processing proceeds to step 150. In step 154, if the image data output processing end condition is satisfied, the determination is affirmative, and the output circuit 94D ends the image data output processing.
- the image data output processing shown in FIG. 8 is executed, whereby the output image data is output from the output circuit 94D to the subsequent circuit 90, and the output image data is output to the CPU 52 and the image processing unit 62.
- the following description is based on the assumption that the input has been made.
- cut-out image data when it is not necessary to distinguish between high-quality cut-out image data and low-quality cut-out image data, they are referred to as “cut-out image data”.
- cut-out images when it is not necessary to distinguish between the high-quality cut-out image indicated by the high-quality cut-out image data and the low-quality cut-out image indicated by the low-quality cut-out image data.
- step 162 the display control unit outputs the output image data to the display device as graphic data, and then the display control process proceeds to step 164.
- the display device displays an image indicated by the output image data. For example, if the output image data includes the entire image data, the display device displays the entire image indicated by the entire image data.
- the “whole image” refers to an image that shows the entire subject within a range that can be captured by all the photodiodes in the partial area 92 ⁇ / b> A of the photoelectric conversion element 92.
- the display device displays a cutout image indicated by the cutout image data as shown in FIGS. 11 and 12 as an example.
- the display device enlarges and displays the cutout image as shown in FIG. 14 as an example.
- the cutout image is either a high-quality cutout image or a low-quality cutout image.
- the high-quality cut-out image is an image based on combined data obtained by combining captured image data for three frames, as shown in FIG. 10 as an example.
- the low-quality cut-out image is a thinned image based on one frame of captured image data.
- the whole image is also a thinned image based on one frame of captured image data. Therefore, the image quality of the image displayed on the display device is higher in the high-quality cutout image than in the low-quality cutout image and the entire image.
- the first display method refers to a display method in which the entire image and the cut-out image are displayed side by side.
- the second display method refers to a display method in which one of the whole image and the cut-out image is superimposed and displayed on the other.
- the third display method refers to a display method in which one of the entire image and the cut-out image is embedded in the other display area and displayed.
- step 164 the display control unit determines whether a display control processing end condition, which is a condition for ending the display control processing, is satisfied.
- the display control process end condition is, for example, the same condition as the above-described image data generation process end condition.
- step 164 If it is determined in step 164 that the display control process end condition is not satisfied, the determination is negative and the display control process proceeds to step 160. In step 164, if the display control process end condition is satisfied, the determination is affirmative, and the display control unit ends the display control process.
- the image data generation processing illustrated in FIG. 7, the image data output processing illustrated in FIG. 8, and the display control processing illustrated in FIG. 9 are performed, whereby the display device is controlled under the control of the display control unit.
- the “live view image” refers to a live view format image based on output image data including at least one of the cut-out image data and the entire image data, that is, a through image.
- the live view image is displayed at the second frame rate.
- the imaging device 10 according to the first embodiment is different from the imaging device according to the related art in that a stacked CMOS image sensor is used as the imaging device 20. That is, the imaging element according to the related art does not employ the stacked CMOS image sensor. Therefore, in the imaging apparatus according to the related art, as shown in FIG. 11A as an example, captured image data obtained by capturing an image of a subject by an imaging element is output to the subsequent circuit 90, and the captured image data is output by the subsequent circuit 90. Is extracted from the partial image data 200. Then, an image based on the cut-out partial image data 200 is displayed on the display device.
- the imaging device 10 according to the first embodiment employs a stacked CMOS image sensor as the imaging device 20. Therefore, as shown in FIG. 11B as an example, the captured image data is temporarily stored in a memory 96 built in the image sensor 20, and the partial image data 200 is cut out by performing random access to the memory 96. Then, image data based on the cut-out partial image data 200 is output to the subsequent circuit 90. That is, the amount of data output from the imaging device 20 to the post-stage circuit 90 according to the first embodiment is smaller than the amount of data output from the imaging device of the conventional imaging device to the post-stage circuit 90. Therefore, the imaging device 10 according to the first embodiment can reduce power consumption associated with output of image data, as compared with the imaging device according to the related art.
- the first frame Needs to be moved to the post-stage circuit 90.
- the movement of the captured image data from the image sensor to the post-stage circuit 90 is performed at the second frame rate.
- the imaging device 20 reads out the captured image data at the first frame rate, stores the captured image data in the memory 96, and stores the partial image in the image sensor 20. Image processing such as clipping of the data 200 is performed. Then, also in the imaging device 10, the movement of the captured image data from the imaging device 20 to the subsequent circuit 90 is performed at the second frame rate.
- the imaging apparatus 10 performs at least the first frame rate from reading of the captured image data to image processing such as clipping. Therefore, as illustrated in FIG. 13B as an example, the imaging device 10 performs more processes in the imaging device 20 even while the output image data moves to the post-stage circuit 90, as compared with the imaging device according to the related art. It can be carried out.
- the second exposure and the captured image of the second frame obtained by the second exposure while the output image data of the first frame are moving from the image sensor 20 to the post-stage circuit 90 From reading of data to image processing such as clipping is performed.
- a plurality of frames of captured image data are stored in the memory 96, so that the processing circuit 94 combines the plurality of frames of captured image data.
- the combined data obtained as a result can be output to the post-stage circuit 90.
- each of the captured image data of three consecutive frames is image data obtained by thinning out horizontal lines by shifting one line at a time in the vertical direction, but the technology of the present disclosure is not limited to this.
- each of the captured image data of three consecutive frames may be image data obtained without thinning.
- the charge amount per one horizontal line used for exposure in the photoelectric conversion element 92 is calculated, for example, per one horizontal line used for exposure for obtaining captured image data of each frame shown in FIG. To 1/3 of the charge amount of
- a first exposure method and a second exposure method are performed in accordance with an instruction received by the touch panel 42 and / or the operation unit 54.
- an instruction received by the touch panel 42 and / or the operation unit 54 are selectively used.
- the time required for exposure performed in the first exposure method is referred to as a first exposure time
- the time required for exposure performed in the second exposure method is referred to as a second exposure time.
- the subject is imaged in the first exposure time by all the photodiodes in the partial area 92A of the photoelectric conversion element 92 shown in FIG. 11B.
- image data having a luminance corresponding to the luminance of the output image data obtained by combining the first to third frames shown in FIG. 15 is obtained.
- the subject is imaged with the second exposure time by all the photodiodes in the partial area 92A of the photoelectric conversion element 92, but the second exposure time is the first exposure time.
- the charge amount of the captured image data for one frame is 3 of the charge amount of the captured image data for one frame by the first exposure method.
- the number of times of a series of image processing such as reading of captured image data from the photoelectric conversion element 92, storage of the captured image data in the memory 96, and clipping of partial image data is three. It is. That is, in the second exposure method, the number of times of the first processing described above is two times larger than in the first exposure method. The number of times of the first processing in the second exposure method is a number that can be realized at the first frame rate. Therefore, even if the first frame rate is not lowered and the exposure time is extended and the second exposure time is not changed to the first exposure time, it corresponds to the luminance of one frame of output image data obtained in the first exposure time. It is possible to generate output destination image data having a high luminance.
- the captured image data obtained by skipping the horizontal line by two lines in the vertical direction and thinning out may be employed.
- the captured image data obtained by skipping the horizontal line by two lines in the vertical direction and decimating the data is shown in each of the captured image data of the first frame to the third frame.
- output image data is obtained by skipping horizontal lines by two lines in the vertical direction and thinning out.
- the total data can be changed by changing the method of reading out the output image data from the captured image data in the memory 96. Even if the amount is the same, the image quality can be changed.
- the data amount of the output image data acquired from the memory 96 by the image processing circuit 94C can be the same in the case where there is thinning and the case where there is no thinning.
- the captured image data without thinning does not need to perform thinning because the read target is narrower than the captured image data with thinning, and therefore has higher image quality than the captured image data with thinning. Can be realized.
- the amount of data output from the processing circuit 94 is smaller than when the captured image data for all pixels is output to the subsequent circuit 90 regardless of whether or not there is thinning. Less is.
- the power consumption required for the output from the output circuit 94D to the output of the post-stage circuit 90 is smaller than in the case where the post-stage circuit 90 performs the thinning process or the cutout process as in the conventional imaging device. Can be reduced.
- the imaging device 10 can reduce the power consumption as compared with a case where the partial image data is cut out from the image data output to the outside of the imaging device without using the storage unit and is output.
- the image processing circuit 94C cuts out partial image data from the captured image data stored in the memory 96 by random access to the memory 96.
- the imaging apparatus 10 can quickly cut out the partial image data from the specified address as compared with the case where random access to the memory 96 is not possible.
- the memory 96 can store the captured image data in a plurality of frames
- the above-described extraction processing is a processing of extracting partial image data of a plurality of frames from the captured image data stored in the memory 96. Including.
- combined data obtained by combining partial image data for a plurality of frames is output to the subsequent circuit 90 by the output circuit 94D as output image data.
- the imaging apparatus 10 outputs the captured image data to the post-stage circuit 90, cuts out the partial image data for a plurality of frames from the captured image data in the post-stage circuit 90, and synthesizes the partial image data for the plurality of frames. In comparison, power consumption can be reduced.
- the partial image data is cut out from the single frame of the picked-up image data, and the cut-out partial image data is adopted as an example of the low-quality cut-out image data shown in step 116 in FIG.
- the imaging device 10 power consumption can be reduced as compared with a case where partial image data is cut out from each of a plurality of frames of captured image data and the cut out partial image data for a plurality of frames is combined.
- the partial image data for a plurality of frames has a relationship in which different pixels are thinned out in line units.
- the imaging device 10 can obtain a subject image with high reproducibility as compared with a case where pixels at the same position are thinned out in line units.
- the degree of thinning may be determined according to the degree of enlargement of the cut-out image. For example, the degree of thinning is reduced as the degree of enlargement increases.
- the degree of thinning may be determined according to the type of processing.
- the output image data output from the output circuit 94D is combined data obtained by combining partial image data for a plurality of frames having different thinning portions.
- the imaging device 10 can display a high-quality image as compared with a case where partial image data for a single frame is output.
- a control for enlarging and displaying an image based on the output image data output by the output circuit 94D is displayed. This is performed by the control unit.
- the imaging device 10 can visually recognize the image based on the output image data output from the output circuit 94D to the user.
- the imaging device 10 employs a stacked CMOS image sensor as the imaging device 20. Therefore, the imaging device 10 can output the image data subjected to the image processing in the imaging element 20 to the subsequent circuit 90.
- the entire image data which is captured image data obtained by capturing an image of a subject with all the photodiodes in the photoelectric conversion element 92, may be stored in the memory 96.
- the image processing circuit 94C randomly accesses the memory 96 to cut out the partial image data 200 from the entire image data and generate cut-out image data. An image based on the cut-out image data is displayed by the display device.
- the entire image data which is an example of the “wide-range image data” according to the technology of the present disclosure
- the clipped image data based on the partial image data 200 are output from the output circuit 94D May be output to the post-stage circuit 90.
- the resolution of the entire image data is lower than the resolution of the partial image data.
- the display device enlarges and displays the cut-out image indicated by the cut-out image data in a display method similar to the first display method described above under the control of the display control unit. Then, the whole image indicated by the whole image data may be displayed.
- the display device may display the cut-out image and the entire image in a display method according to the above-described second or third display method under the control of the display control unit. Further, the display device may display the cut-out image or the entire image under the control of the display control unit. Which of the cut-out image and the whole image is displayed by the display device may be determined according to, for example, an instruction received by the touch panel 42 and / or the operation unit 54.
- the processing circuit 94 converts a partial image of the partial image data of three frames and synthesized data obtained by synthesizing the partial image data of three frames according to given conditions.
- the data may be selectively output to the subsequent circuit 90 as partial image data.
- the “partial image of the partial image data for three frames” indicates, for example, partial images of less than three frames.
- the “given condition” includes, for example, a condition that a specific instruction has been received by the touch panel 42 and / or the operation unit 54, or a condition that the remaining power of the imaging device 10 has fallen below a threshold.
- the “condition that a specific instruction is received” is, for example, a condition that an instruction of the power saving mode is received, or an instruction of image processing that requires special processing by the touch panel 42 and / or the operation unit 54. Is accepted.
- the imaging device 10 according to the second embodiment differs from the imaging device 10 according to the first embodiment as shown in FIG. Is different.
- the partial region 92B is a region that is wider in the vertical direction of the photoelectric conversion element 92 than the partial region 92A.
- step 250 the photoelectric conversion element driving circuit 94 ⁇ / b> A reads the captured image data from the partial area 92 ⁇ / b> B of the photoelectric conversion element 92, and then the image data generation processing proceeds to step 252. Transition.
- the captured image data for one frame read from the partial area 92B of the photoelectric conversion element 92 is obtained by skipping two horizontal lines in the vertical direction as shown in FIG. 10 as an example. Is the image data thinned out.
- the captured image data obtained from the partial area 92 ⁇ / b> B of the photoelectric conversion element 92 by executing the process of step 250 is similar to the example shown in FIG. Is captured image data obtained by capturing an image.
- step 252 the AD conversion circuit 94B digitizes the captured image data read by the partial area 92B of the photoelectric conversion element driving circuit 94A and stores it in the memory 96. Thereafter, the image data generation processing proceeds to step 254. I do.
- step 254 the image processing circuit 94C determines whether a cutout instruction has been received by the touch panel 42 and / or the operation unit 54.
- the “cutout instruction” is roughly divided into a single area cutout instruction and a multiple area cutout instruction.
- the single area cutout instruction is an instruction to instruct the image processing circuit 94C to cut out a single area from the image indicated by the captured image data.
- the multiple area cutout instruction is an instruction to instruct the image processing circuit 94C to cut out a plurality of areas from the image indicated by the captured image data.
- the single area cutout instruction is roughly divided into a single low-quality image cutout instruction and a single high-quality image cutout instruction.
- the single low-quality image cutout instruction indicates an instruction to cut out a single low-quality image as an image of a region cut out from the image indicated by the captured image data.
- the single high-quality image cutout instruction is an instruction to cut out a single high-quality image as an image of a region cut out from the image indicated by the captured image data.
- a single high quality image has higher image quality than a single low quality image.
- the single low-quality image refers to image data in which two horizontal lines are skipped in the vertical direction in a manner similar to the example illustrated in FIG.
- a single high-quality image refers to combined data obtained by combining captured image data for three frames, that is, image data without thinning, as in the example shown in FIG.
- a plurality of area cutout instructions are roughly divided into a plurality of low image quality cutout instructions and a plurality of high quality image cutout instructions.
- the multiple low image quality cutout instruction indicates an instruction to cut out a low image quality image from each of a plurality of regions cut out from the image indicated by the captured image data.
- a low-quality image cut out from each of the plurality of regions is also referred to as a “low-quality cut-out image”.
- the instruction to cut out a plurality of high-quality images refers to an instruction to cut out a high-quality image from each of a plurality of regions cut out from the image indicated by the captured image data.
- a high-quality image cut out from each of the plurality of regions is also referred to as a “high-quality cut-out image”.
- the high-quality cutout image has higher image quality than the low-quality cutout image.
- the low-quality cut-out image refers to a plurality of image data in which two horizontal lines are skipped in the vertical direction by skipping two lines in the same manner as in the example shown in FIG.
- the plurality of high-quality cutout images are, as in the example shown in FIG. 10, a plurality of pieces of combined data obtained by combining captured image data of three frames each, that is, a plurality of pieces of data each having no thinning. Image data.
- step 254 if a cutout instruction is received by the touch panel 42 and / or the operation unit 54, the determination is affirmative, and the image data generation process proceeds to step 260. In step 254, when the cutout instruction has not been received by the touch panel 42 and / or the operation unit 54, the determination is negative, and the image data generation process proceeds to step 256.
- step 256 the image processing circuit 94C acquires the captured image data from the memory 96, and then the image data generation processing proceeds to step 258.
- step 258 the image processing circuit 94C generates main subject image data based on the captured image data acquired in step 256 and outputs the generated main subject image data to the output circuit 94D.
- the main subject image data generated by performing the process of step 258 indicates, for example, a subject included in a rectangular area including a plurality of human faces. The face of a person is specified by operating a face detection function mounted on the imaging device 10.
- the main subject image data is a part of the captured image data, and is a type of image data included in the above-described output image data.
- step 260 the image processing circuit 94C determines whether the cutout instruction received in step 254 is a multiple area cutout instruction. In step 260, if the cutout instruction received in step 254 is not a multiple area cutout instruction, that is, if the cutout instruction received in step 254 is a single area cutout instruction, the determination is negative, and The image data generation processing proceeds to Step 262. In step 260, if the cutout instruction received in step 254 is a multiple area cutout instruction, the determination is affirmative, and the image data generation process proceeds to step 264.
- step 262 the image processing circuit 94C executes the single area cutout processing shown in FIG. 22 as an example, and then the image data generation processing proceeds to step 266.
- step 264 the image processing circuit 94C executes the multiple area cutout processing shown in FIG. 23 as an example, and then the image data generation processing proceeds to step 266.
- step 262A it is determined in step 262A whether or not the single area cutout instruction received in step 254 is a single high quality image cutout instruction.
- step 262A if the single area cutout instruction received in step 254 is a single low image quality image cutout instruction, the determination is negative and the single area cutout processing proceeds to step 262B.
- step 262A if the single area cutout instruction received in step 254 is a single high quality image cutout instruction, the determination is affirmative, and the single area cutout processing proceeds to step 262E.
- step 262B the image processing circuit 94C acquires the specified address from the cutout instruction received in step 254, and then the single area cutout processing proceeds to step 262C.
- step 262C the image processing circuit 94C cuts out the area image data from the captured image data for one frame of the captured image data in the memory 96 according to the designated address acquired in step 262B, and then cuts the single area.
- the exit processing proceeds to step 262D.
- the area image data refers to image data indicating an area specified according to a designated address in an image indicated by the captured image data among the captured image data.
- the captured image data of a single frame from which the region image data is to be cut out is, for example, the captured image data most recently stored in the memory 96, but the technology of the present disclosure is not limited to this.
- the captured image data of a single frame from which the region image data is to be cut out may be any captured image data in the case where a plurality of frames of captured image data are stored in the memory 96.
- step 262D the image processing circuit 94C generates single low-quality cut-out image data and outputs it to the output circuit 94D, after which the image processing circuit 94C ends the single-region cutout process.
- the partial image data cut out in step 262C is directly used as the single low-quality cut-out image data, but the technology of the present disclosure is not limited to this.
- the single low-quality cut-out image data may be image data obtained by performing various image processes on the region image data cut out in step 262C.
- the single low-quality cut-out image data generated by performing the process of step 262D is a type of image data included in the above-described output image data, and is referred to as “partial data” according to the technology of the present disclosure. Image data based on image data ".
- steps 262F and 262G the image processing circuit 94C executes the processing corresponding to the processing in steps 256 and 258 shown in FIG. 21, and the single area cutout processing proceeds to step 262E.
- step 262H the image processing circuit 94C acquires the specified address from the cutout instruction received in step 254, and then the single area cutout processing proceeds to step 262I.
- step 262I the image processing circuit 94C cuts out the area image data from each of the plurality of frames of the picked-up image data in the memory 96 in accordance with the designated address obtained in step 262H. The output process proceeds to step 262J.
- the captured image data of a plurality of frames to be cut out of the area image data is, for example, captured image data of all frames currently stored in the memory 96, that is, captured image data of three frames.
- the technology is not limited to this. If it is specified that the captured image data for one frame is single low-quality cut-out image data, the combined data obtained by combining the captured image data for two frames may be used as the cutout target.
- the area image data cut out in each of steps 262C and 262I is an example of “partial image data” according to the technology of the present disclosure.
- the image processing circuit 94C In step 262J, the image processing circuit 94C generates single high-quality cutout image data and outputs it to the output circuit 94D, after which the image processing circuit 94C ends the single area cutout processing.
- the single high-quality cut-out image data similarly to the example shown in FIG. 10, the synthesized data obtained by synthesizing the region image data for three frames cut out in step 262I is used as it is.
- the single high-quality cut-out image data may be image data obtained by performing various types of image processing on synthesized data obtained by synthesizing region image data for three frames cut out in step 262I. .
- the single high-quality cut-out image data generated by executing the processing of step 262J is a type of image data included in the above-described output image data, and is referred to as “partial data” according to the technology of the present disclosure.
- step 264A the image processing circuit 94C determines whether the multiple area cutout instruction received in step 254 is a multiple high quality image cutout instruction. In step 264A, if the multiple region extraction instruction received in step 254 is a multiple low image quality image extraction instruction, the determination is negative and the multiple region extraction process proceeds to step 264B. In step 264A, if the multiple region extraction instruction received in step 254 is a multiple high image quality image extraction instruction, the determination is affirmative, and the multiple region extraction processing proceeds to step 264F.
- step 264C the image processing circuit 94C cuts out the area image data from one frame of the shot image data in the memory 96 in accordance with the designated address acquired in step 264B, and then performs the multiple area cutout processing. Shifts to step 264D.
- the captured image data of a single frame from which the region image data is to be extracted is, for example, the captured image data stored most recently in the memory 96, but the technology of the present disclosure is not limited to this.
- the captured image data of a single frame from which the region image data is to be cut out may be any captured image data when a plurality of frames of captured image data are stored in the memory 96.
- the image processing circuit 94C generates a plurality of low-quality cut-out image data and outputs the same to the output circuit 94D.
- the plurality of low-quality cut-out image data the plurality of region image data cut out in step 264C are directly used, but the technology of the present disclosure is not limited to this.
- the plurality of low-quality cut-out image data may be image data obtained by performing various image processes on the plurality of region image data cut out in step 264C.
- the plurality of low-quality cut-out image data generated by executing the process of step 264E is a type of image data included in the above-described output image data, and is referred to as “partial image data” according to the technology of the present disclosure. Image data based on data ".
- steps 264G and 264H the image processing circuit 94C executes processing corresponding to the processing in steps 256 and 258 shown in FIG. 21, and the multiple area cutout processing proceeds to step 264F.
- step 264J the image processing circuit 94C cuts out the area image data from each of the plurality of frames of the picked-up image data in the memory 96 according to the designated address acquired in step 264I, and then cuts out the plurality of areas. The process proceeds to step 264K.
- the captured image data of a plurality of frames to be cut out of the area image data is, for example, captured image data of all frames currently stored in the memory 96, that is, captured image data of three frames.
- the technology is not limited to this. If it is specified that one frame of captured image data is a plurality of low-quality cutout image data, combined data obtained by combining two frames of captured image data may be set as a cutout target.
- step 264K the image processing circuit 94C determines whether there is no unprocessed designated address. If there is an unprocessed designated address in step 264K, the determination is negative, and the multiple area cutout processing proceeds to step 264I. If there is no unprocessed designated address in step 264K, the determination is affirmative, and the multiple area cutout processing proceeds to step 264L.
- the plurality of area image data cut out by executing the processing of steps 264I to 264K is “the plurality of location image data indicating the plurality of areas in the captured image data” according to the technology of the present disclosure. This is an example.
- the plurality of area image data cut out by executing the process of step 264J is an example of “a plurality of area image data indicating a plurality of areas in the captured image data” according to the technology of the present disclosure. is there.
- various image processes are performed on synthesized data obtained by synthesizing the region image data for three frames cut out in step 264J for each of the plurality of regions to be cut out. It may be image data obtained by performing the above.
- the multiple high-quality cut-out image data generated by executing the process of step 264L is a type of image data included in the above-described output image data, and is referred to as “partial image data” according to the technology of the present disclosure. Image data based on data ".
- step 266 it is determined in step 266 whether or not the image data generation processing end condition described in the first embodiment is satisfied.
- the determination is negative, and the image data generation processing proceeds to step 250.
- the determination is affirmative, and the image processing circuit 94C ends the image data generation processing.
- the output circuit 94D determines whether or not output image data has been input from the image processing circuit 94C.
- Examples of output image data input from the image processing circuit 94C to the output circuit 94D include main subject image data, single low-quality cutout image data, and single high image data output by the image data generation processing shown in FIG.
- the image data includes at least one of the image quality cut-out image data, the plurality of low-quality cut-out image data, and the plurality of high-quality cut-out image data.
- step 280 If it is determined in step 280 that the output image data has not been input from the image processing circuit 94C, the determination is negative and the process proceeds to step 284. In step 280, when the output image data is input from the image processing circuit 94C, the determination is affirmative, and the process proceeds to step 282.
- step 282 the output circuit 94D outputs the output image data to the I / F 56 of the subsequent circuit 90, and then proceeds to step 284.
- the I / F 56 outputs the output image data input from the output circuit 94D to, for example, the CPU 52 and the image processing unit 62 via the bus 68.
- step 284 the output circuit 94D determines whether or not the image data output processing end condition described in the first embodiment is satisfied. If the image data output processing end condition is not satisfied in step 284, the determination is negative and the image data output processing proceeds to step 280. In step 284, if the image data output processing end condition is satisfied, the determination is affirmative, and the output circuit 94D ends the image data output processing.
- the image data output processing shown in FIG. 8 is executed, whereby the output image data is output from the output circuit 94D to the subsequent circuit 90, and the output image data is output to the CPU 52 and the image processing unit 62.
- the following description is based on the assumption that the input has been made.
- step 290 the display control unit determines whether output image data has been input from the image processing unit 62. In step 290, when the output image data is not input from the image processing unit 62, the determination is negative and the display control process proceeds to step 294. In step 290, when the output image data is input from the image processing unit 62, the determination is affirmative, and the display control process proceeds to step 292.
- the “whole image” according to the second embodiment refers to, for example, the entire subject within a range that can be captured by all the photodiodes in the partial region 92B of the photoelectric conversion element 92 shown in FIG. Indicates the image shown.
- the display device may display the single high-quality cutout image data as shown in FIG. 24 as an example.
- the high-quality cutout image and the main subject image are displayed side by side.
- the display device When an instruction for enlarged display is received by the touch panel 42 and / or the operation unit 54, the display device enlarges and displays a single high-quality cut-out image as shown in FIG. 24 as an example.
- the image quality of the image displayed on the display device is higher in the single high-quality cutout image than in the single low-quality cutout image and the main subject image.
- a main subject image is displayed on one of the first display 40 and the second display 80, and a single high-quality cutout image or a single low-quality cutout image is displayed on the other together with the main subject image.
- a single high-quality cutout image or a single low-quality cutout image may be displayed without displaying the main subject image.
- the display device enlarges and displays at least one of the plurality of high-quality cutout images.
- the image quality of the image displayed on the display device is higher in the plurality of high-quality cutout images than in the plurality of low-quality cutout images and the main subject image.
- a main subject image is displayed on one of the first display 40 and the second display 80, and a plurality of high-quality cutout images or a plurality of low-quality cutout images are displayed on the other together with the main subject image.
- a plurality of high-quality cutout images or a plurality of low-quality cutout images may be displayed without displaying the main subject image.
- step 294 the display control unit determines whether the display control processing end condition described in the first embodiment is satisfied. If it is determined in step 294 that the display control process end condition is not satisfied, the determination is negative, and the display control process proceeds to step 290. In step 294, when the display control process end condition is satisfied, the determination is affirmative, and the display control unit ends the display control process.
- a part of a subject corresponding to a clipping target extends over a plurality of regions of the subject, and a plurality of region image data is clipped from the captured image data. . Then, a plurality of low-quality image data and a plurality of high-quality cut image data are generated based on the plurality of cut-out region image data.
- the imaging device 10 can reduce power consumption even when the cutout target extends over a plurality of regions of the subject.
- the range specified by the designated address related to the main subject image data and the range specified by the designated address related to the plurality of high-quality cut-out image data overlap.
- the captured image data is held in the memory 96. Image data can be separately obtained.
- the image processing circuit 94C is not limited to obtaining a plurality of high-quality cut-out image data, but may separately acquire main subject image data and a plurality of low-quality cut-out image data.
- the image processing circuit 94C is not limited to obtaining a plurality of high-quality cut-out image data, but may separately acquire main subject image data and a plurality of low-quality cut-out image data.
- the main subject image data and the single high-quality cutout image data or the single low-quality cutout image data are individually acquired. You may do so.
- the technology of the present disclosure is not limited to this.
- three or more partial image data may be cut out from the captured image data.
- the display control unit may display the whole image and three or more images based on the three or more partial image data side by side. Of the three or more images based on the three or more partial image data, only the designated image may be enlarged or reduced.
- the imaging device 10 according to the second embodiment is different from the imaging device 10 according to the first embodiment in that the processing circuit 94 performs the image data generation process illustrated in FIG. 26 instead of the image data generation process illustrated in FIG. The difference is that it is executed.
- step 300 the photoelectric conversion element driving circuit 94A reads the captured image data from the partial area 92A of the photoelectric conversion element 92, and then the image data generation processing proceeds to step 302. Transition.
- the captured image data for one frame read from the partial area 92A of the photoelectric conversion element 92 is obtained by skipping two horizontal lines in the vertical direction as shown in FIG. 10 as an example. Is the image data thinned out.
- step 302 the AD conversion circuit 94B digitizes the captured image data read by the partial area 92A of the photoelectric conversion element driving circuit 94A and stores it in the memory 96. Thereafter, the image data generation processing proceeds to step 304 I do.
- step 304 the image processing circuit 94 ⁇ / b> C determines whether or not the touch panel 42 and / or the operation unit 54 have received an enlargement display instruction.
- the enlarged display instruction includes the designated address described in the first embodiment.
- step 304 If it is determined in step 304 that the enlarged display instruction has not been received by the touch panel 42 and / or the operation unit 54, the determination is negative, and the image data generation process proceeds to step 306. In step 304, when an enlargement display instruction is received by the touch panel 42 and / or the operation unit 54, the determination is affirmative, and the image data generation process proceeds to step 310.
- steps 306 and 308 the image processing circuit 94C executes processing corresponding to steps 106 and 108 shown in FIG. 7, and then proceeds to step 334.
- step 310 the image processing circuit 94C determines whether the enlargement display instruction received in step 304 is a focus control enlargement display instruction.
- the focus control enlargement display instruction is to cause the display device to enlarge and display the image of the location designated according to the designated address and to cause the processing circuit 94 to generate focus control image data. Point out the instruction to output.
- steps 312 and 314 the image processing circuit 94C executes processing corresponding to the processing in steps 112 and 114 shown in FIG. 7, and thereafter, the image data generation processing proceeds to step 316.
- step 316 the image processing circuit 94C generates the enlarged display image data and outputs it to the output circuit 94D, and then the image processing circuit 94C proceeds to step 334.
- the partial image data cut out in step 314 is directly used as the enlarged display image data, but the technology of the present disclosure is not limited to this.
- the enlarged display image data may be image data obtained by performing various image processes on the partial image data cut out in step 314.
- the enlarged display image data generated by performing the process of step 316 is a type of image data included in the above-described output image data.
- step 328 the image processing circuit 94C derives a focusing control address based on the designated address acquired in step 324, and then the image data generation processing proceeds to step 330.
- the focus control address is an address capable of specifying a part of the captured image data required for the focus control by the CPU 52 from the memory 96 in which the captured image data is stored.
- the focus control address is derived from the designated address according to the predetermined derivation table, but the technology of the present disclosure is not limited to this.
- the focus control address may be derived using an arithmetic expression capable of deriving the same result as the above-described derivation table.
- step 330 the image processing circuit 94C cuts out the partial image data from each of the plurality of frames of the captured image data in the captured image data in the memory 96 in accordance with the focus control address acquired in step 328, The data generation process proceeds to a step 332.
- the partial image data cut out in step 326 is referred to as “enlarged display partial image data”
- the partial image data cut out in step 330 is referred to as “focus control partial image data”.
- the captured image data of a plurality of frames from which the focus control partial image data is cut out is, for example, captured image data of all frames currently stored in the memory 96, that is, captured image data of three frames.
- the technology of the present disclosure is not limited to this. Synthesized data obtained by synthesizing one frame or two frames of captured image data may be set as a cutout target.
- step 332 the image processing circuit 94C generates image data corresponding to the high-quality cut-out image data in step 128 shown in FIG. 7 as enlarged display image data, and focuses on the basis of the focus control partial image data. Generate control partial image data. Then, the image processing circuit 94C outputs the generated enlarged display image data and focus control partial image data to the output circuit 94D, and then the image data generation processing proceeds to step 334.
- the focus control image data similarly to the example shown in FIG. 10, the combined data obtained by combining the focus control partial image data of three frames cut out in step 330 is employed as it is.
- the technology of the present disclosure is not limited to this.
- the focus control image data is image data obtained by performing various types of image processing on synthesized data obtained by synthesizing the focus control partial image data for three frames cut out in step 330. Is also good.
- the focus control image data generated by executing the process of step 332 is a type of image data included in the above-described output image data.
- the relationship between the size of the image of the enlarged display image data 200A and the size of the image of the focus control image data 352 is shown.
- the image indicated by the focus control image data 352 is an image in a wider range than the image indicated by the enlarged display image data 200A.
- the “wide range” means the “predetermined range” described in the first embodiment.
- the focus control image data 352 is used according to the blur amount.
- the area of the image shown may be scaled.
- the image processing circuit 94C adjusts the focus control image data 352 so that the area of the image indicated by the focus control image data 352 becomes narrower as the blur amount decreases.
- the imaging device 10 can reduce power consumption as compared with the case where the focus control image data 352 is constant regardless of the blur amount.
- step 334 the image processing circuit 94C determines whether or not the image data generation processing end condition described in the first embodiment is satisfied. If it is determined in step 334 that the image data generation processing end condition described in the first embodiment is not satisfied, the determination is negative, and the image data generation processing proceeds to step 300. In step 334, if the image data generation processing end condition described in the first embodiment is satisfied, the determination is affirmative, and the image processing circuit 94C ends the image data generation processing.
- the output circuit 94D determines whether or not output image data has been input from the image processing circuit 94C.
- image data including at least one of whole image data, enlarged display image data, and focus control image data is given.
- step 350 If it is determined in step 350 that the output image data has not been input from the image processing circuit 94C, the determination is negative and the process proceeds to step 354. If the output image data is input from the image processing circuit 94C in step 350, the determination is affirmative, and the process proceeds to step 351.
- step 351 the output circuit 94D outputs the output image data to the I / F 56 of the post-stage circuit 90, and then proceeds to step 354.
- the I / F 56 outputs the output image data input from the output circuit 94D to, for example, the CPU 52 and the image processing unit 62 via the bus 68.
- step 354 the output circuit 94D determines whether or not the image data output processing end condition described in the first embodiment is satisfied. If it is determined in step 354 that the image data output processing end condition is not satisfied, the determination is negative, and the image data output processing proceeds to step 2350. In step 354, if the image data output processing end condition is satisfied, the determination is affirmative, and the output circuit 94D ends the image data output processing.
- the output image data processing program is stored in the secondary storage unit 60, and the CPU 52 reads the output image data processing program from the secondary storage unit 60, The data is developed in the primary storage unit 58.
- the CPU 52 executes the output image data processing according to the output image data processing program developed in the primary storage unit 58.
- step 360 the CPU 52 determines whether or not the output image data has been input from the processing circuit 94 to the I / F 56. In step 360, if the output image data has not been input from the processing circuit 94 to the I / F 56, the determination is negative, and the output image data process proceeds to step 370. In step 360, when the output image data is input from the processing circuit 94 to the I / F 56, the determination is affirmative, and the output image data process proceeds to step 362.
- step 362 it is determined whether or not the output image data includes only the enlarged display image data. In step 362, if the output image data includes only the enlarged display image data, the determination is affirmative, and the output image data process proceeds to step 364. In step 362, if the output image data includes the enlarged display image data and the focus control image data, the determination is negative and the output image data process proceeds to step 366.
- step 364 the CPU 52 outputs the enlarged display data to the display control unit, and then the output image data processing proceeds to step 370.
- the display control unit causes the display device to display an image based on the enlarged display image data.
- the display device displays an image based on the enlarged display image data at the second frame rate.
- step 366 the CPU 52 executes a process corresponding to the process in step 364, and thereafter, the output image data process proceeds to step 368.
- step 368 the CPU 52 performs focus control based on the focus control image data, and then the output image data processing proceeds to step 370.
- step 370 the CPU 52 determines whether or not an output image data processing end condition which is a condition for ending the output image data processing is satisfied.
- an output image data processing end condition the same condition as the display control processing end condition described in the first embodiment can be used.
- step 370 If it is determined in step 370 that the output image data processing end condition is not satisfied, the determination is negative and the output image data processing proceeds to step 360. In step 370, when the output image data processing end condition is satisfied, the determination is affirmed, and the CPU 52 ends the output image data processing.
- the imaging device 10 according to the fourth embodiment is different from the imaging device 10 according to the first embodiment in that the processing circuit 94 can further execute the imaging control process illustrated in FIG.
- the imaging device 10 according to the fourth embodiment is different from the imaging device 10 according to the first embodiment in that the image data generation processing illustrated in FIG. 30 can be further executed. Note that the imaging control process shown in FIG. 29 and the image data generation process shown in FIG. 30 are executed by the processing circuit 94 at the first frame rate.
- the processing circuit 94 determines whether or not the imaging location designation information has been received by the touch panel 42 and / or the operation unit 54.
- the imaging location designation information refers to information for designating a photodiode to be used for obtaining partial image data among all the photodiodes in the photoelectric conversion element 92.
- the imaging location designation information includes an imaging location designation address capable of specifying a designated position in the photoelectric conversion element 92.
- step 402 the photoelectric conversion element driving circuit 94A acquires captured image data by capturing an image of a subject using all the photodiodes in the photoelectric conversion element 92, and then the imaging control process proceeds to step 414. .
- step 404 the photoelectric conversion element driving circuit 94A acquires an imaging location designation address from the imaging location designation information, and then the imaging control process proceeds to step 406.
- step 406 the photoelectric conversion element driving circuit 94A causes the photoelectric conversion element 92 to start imaging at the imaging location designated according to the imaging location designation address. Thereafter, the imaging control process proceeds to step 408.
- the captured image data obtained by performing the processing of step 406 is data equivalent to a partial image.
- the partial image equivalent data refers to image data corresponding to the partial image data described in the first embodiment.
- the partial image equivalent data is stored in the memory 96 similarly to the partial image data.
- step 408 the processing circuit 94 acquires the partial image equivalent data from the memory 96, and then the imaging control process proceeds to step 410.
- step 410 the processing circuit 94 determines whether or not the release condition for releasing the designated state of the imaging location for the photoelectric conversion element 92 is satisfied. In step 410, when the release condition is not satisfied, the determination is negative, and the imaging control process proceeds to step 400. In step 410, when the release condition is satisfied, the determination is affirmative, and the imaging control process proceeds to step 412.
- step 412 the photoelectric conversion element driving circuit 94A releases the designated state of the imaging location for the photoelectric conversion element 92, and then the imaging control process proceeds to step 414.
- the processing circuit 94 determines whether or not an imaging control processing end condition which is a condition for ending the imaging control processing is satisfied.
- the imaging control processing end condition include a condition that an instruction to end the imaging control processing has been received by the touch panel 42 and / or the operation unit 54.
- step 414 If it is determined in step 414 that the imaging control processing end condition is not satisfied, the determination is negative, and the imaging control processing proceeds to step 400. In step 414, if the imaging control processing end condition is satisfied, the determination is affirmative, and the processing circuit 94 ends the imaging control processing.
- step 450 If it is determined in step 450 that the image data has not been acquired from the photoelectric conversion element 92 by the photoelectric conversion element driving circuit 94A, the determination is negative, and the image data generation processing proceeds to step 468. In step 450, if the image data is acquired from the photoelectric conversion element 92 by the photoelectric conversion element driving circuit 94A, the determination is affirmative, and the image data generation processing proceeds to step 452.
- step 452 the processing circuit 94 determines whether the image data acquired from the photoelectric conversion element 92 is partial image equivalent data. In step 452, if the image data obtained from the photoelectric conversion element 92 is not partial image equivalent data, that is, if the image data obtained from the photoelectric conversion element 92 is captured image data, a negative determination is made and step 454 is performed. Move to. In step 452, if the image data acquired from the photoelectric conversion element 92 is partial image equivalent data, the determination is affirmative, and the image data generation process proceeds to step 456. When the image data obtained from the photoelectric conversion element 92 is captured image data, the captured image data is stored in the memory 96.
- step 456 the AD conversion circuit 94B stores the partial image equivalent data in the memory 96, and then the image data generation processing proceeds to step 458.
- step 458 the image processing circuit 94C determines whether or not the high-quality cutout instruction described in the first embodiment has been received by the touch panel 42 and / or the operation unit 54. In step 458, if the high-quality cutout instruction has not been received by the touch panel 42 and / or the operation unit 54, the determination is negative, and the image data generation process proceeds to step 460. In step 458, when the high-quality cutout instruction is received by the touch panel 42 and / or the operation unit 54, the determination is affirmed, and the image data generation process proceeds to step 462.
- Low-quality cut-out image equivalent data refers to image data corresponding to the low-quality cut-out image data described in the first embodiment.
- step 466 the image processing circuit 94C acquires partial image equivalent data of a plurality of frames from the memory 96. Then, the image processing circuit 94C generates high-quality cut-out image equivalent data based on the acquired partial image equivalent data of a plurality of frames and outputs the data to the output circuit 94D. Thereafter, the image data generation processing proceeds to step 468. .
- the low-quality cut-out image data generated by performing the process of step 460 and the high-quality cut-out image data generated by performing the process of step 466 are described in the present disclosure. Is an example of “image data based on partial image equivalent data” according to the first embodiment.
- step 468 the image processing circuit 94C determines whether or not the image data generation processing end condition described in the first embodiment is satisfied. If it is determined in step 468 that the image data generation process end condition is not satisfied, the determination is negative, and the image data generation process proceeds to step 450. In step 468, when the image data generation processing end condition is satisfied, the determination is affirmative, and the image processing circuit 94C ends the image data generation processing.
- cut-out image-equivalent data when it is not necessary to distinguish between low-quality cut-out image-equivalent data and high-quality cut-out image-equivalent data, they are referred to as “cut-out image-equivalent data”.
- step 490 the output circuit 94D determines whether or not cutout image equivalent data has been input from the image processing circuit 94C. If it is determined in step 490 that the cut-out image equivalent data has not been input from the image processing circuit 94C, the determination is negative, and the flow shifts to step 494. In step 490, if the cut-out image equivalent data is input from the image processing circuit 94C, the determination is affirmative, and the flow shifts to step 492.
- step 492 the output circuit 94D outputs the cut-out image equivalent data to the I / F 56 of the post-stage circuit 90, and then proceeds to step 494.
- the I / F 56 outputs the cut-out image equivalent data input from the output circuit 94D to, for example, the CPU 52 and the image processing unit 62 via the bus 68.
- step 494 the output circuit 94D determines whether the image data output processing end condition is satisfied. In step 494, if the image data output processing end condition is not satisfied, the determination is negative and the image data output processing proceeds to step 490. In step 494, when the image data output processing end condition is satisfied, the determination is affirmative, and the output circuit 94D ends the image data output processing.
- the image data output processing shown in FIG. 8 is executed to output the cut-out image equivalent data from the output circuit 94D to the post-stage circuit 90, and the cut-out image equivalent data is sent to the CPU 52 and the image processing unit.
- the description will be made on the assumption that the input is made to the unit 62. Further, when there is no need to distinguish and describe the image indicated by the high-quality cut-out image-equivalent data and the image indicated by the low-quality cut-out image-equivalent data, they are referred to as “cutout-equivalent images”.
- step 500 the display control unit determines whether or not cutout image equivalent data has been input from the image processing unit 62. If it is determined in step 500 that the cut-out image equivalent data has not been input from the image processing unit 62, the determination is negative, and the display control process proceeds to step 504. If the cut-out image equivalent data is input from the image processing unit 62 in step 500, the determination is affirmative, and the display control process proceeds to step 502.
- step 502 the display control unit outputs the cut-out image equivalent data to the display device as graphic data, and then the display control process proceeds to step 504.
- the display device displays the cut-out equivalent image indicated by the cut-out image equivalent data.
- the cutout image is either a high-quality cutout-equivalent image or a low-quality cutout-equivalent image.
- the high-quality cutout-equivalent image is an image corresponding to an image based on synthesized data obtained by synthesizing three frames of captured image data, as in the example shown in FIG.
- the low-quality cutout-equivalent image is a thinned image based on one frame of captured image data. Therefore, the image quality of the image displayed on the display device is higher in the high-quality cutout-equivalent image than in the low-quality cutout-equivalent image.
- step 504 the display control unit determines whether the display control processing end condition is satisfied. In step 504, if the display control processing end condition is not satisfied, the determination is negative, and the display control processing proceeds to step 500. In step 504, when the display control process end condition is satisfied, the determination is affirmed, and the display control unit ends the display control process.
- a live view image is displayed by the display device under the control of the unit.
- the “live view image” in this case refers to an image in a live view format based on cutout image equivalent data.
- a live view image is displayed at a second frame rate.
- the processing circuit 94 causes the photoelectric conversion element 92 to perform imaging at the imaging location designated according to the imaging location designation address, thereby equivalent to a partial image. Data is generated and stored in the memory 96. The processing circuit 94 acquires partial image equivalent data from the memory 96. Then, the output circuit 94D outputs the cut-out image equivalent data to the subsequent circuit 90.
- the imaging device 10 can reduce power consumption as compared with a case where a subject is always imaged using the entire area of the photoelectric conversion element 92.
- the compressed image data may be stored in the secondary storage unit 60 by the CPU 52 in the subsequent circuit 90, or may be output to the outside of the imaging device 10 via the external I / F 63. Is also good.
- a storage medium 700 stores a program 600 for causing a computer 20A incorporated in the image sensor 20 to execute the above-described image data generation processing, image data output processing, and imaging control processing.
- the computer 20A includes a CPU 20A1, a ROM 20A2, and a RAM 20A3.
- the program 600 of the storage medium 700 is installed in the computer 20A, and the CPU 20A1 of the computer 20A executes the above-described image data generation processing, image data output processing, and imaging control processing according to the program 600.
- a single CPU is illustrated as the CPU 20A1, but the technology of the present disclosure is not limited to this, and a plurality of CPUs may be employed instead of the CPU 20A1. That is, the above-described image data generation processing, image data output processing, and / or imaging control processing may be executed by one processor or a plurality of physically separated processors.
- an example of the storage medium 700 is an arbitrary portable storage medium such as an SSD (Solid State Drive) or a USB (Universal Serial Bus) memory.
- SSD Solid State Drive
- USB Universal Serial Bus
- the program 600 is stored in a storage unit such as another computer or a server device connected to the computer 20A via a communication network (not shown), and the program 600 is downloaded in response to a request from the imaging device 10 or the like. You may make it. In this case, the downloaded program 600 is executed by the computer 20A.
- the computer 20A may be provided outside the image sensor 20. In this case, the computer 20A may control the processing circuit 94 according to the program 600.
- processors can be used as hardware resources for executing the various processes described in the above embodiments.
- the various processes described in the above embodiments include image data generation processing, image data output processing, display control processing, single area extraction processing, multiple area extraction processing, output image data processing, and imaging.
- Control processing examples of the processor include a CPU that is a general-purpose processor that functions as a hardware resource that executes various processes according to the technology of the present disclosure by executing software, that is, a program, as described above.
- the processor includes, for example, a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as an FPGA, a PLD, or an ASIC.
- Each processor has a built-in or connected memory, and each processor executes various processes by using the memory.
- the hardware resources that execute various processes according to the technology of the present disclosure may be configured by one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a plurality of processors). (A combination of an FPGA or a combination of a CPU and an FPGA).
- the hardware resource that executes various processes according to the technology of the present disclosure may be a single processor.
- one processor is configured by a combination of one or more CPUs and software, and this processor is disclosed in the present disclosure. There is a mode that functions as a hardware resource that executes various processes according to the technology.
- SoC System-on-a-chip
- the functions of the entire system including a plurality of hardware resources that execute various processes according to the technology of the present disclosure are implemented by one IC chip.
- circuit elements such as semiconductor elements are combined can be used.
- the first display 40 and the second display 80 are illustrated as the display devices, but the technology of the present disclosure is not limited thereto.
- a separate display attached to the imaging device body 12 may be used as the “display unit” according to the technology of the present disclosure.
- a and / or B has the same meaning as “at least one of A and B”. That is, “A and / or B” means that only A may be used, only B may be used, or a combination of A and B may be used. Also, in the present specification, the same concept as “A and / or B” is applied to a case where three or more matters are expressed by being connected by “and / or”.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像素子は、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶する記憶部と、撮像画像データに対して処理を施す処理部と、処理が施されることで得られた出力用画像データを第2フレームレートで撮像素子の外部に出力する出力部と、を含み、処理部は、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第1フレームレートは、第2フレームレートよりも高いフレームレートである。
Description
本開示の技術は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。
特開2016-225970号公報には、撮像素子と、撮像素子から出力される画像データに所定の信号処理を施す信号処理部と、画像を表示する表示部と、撮像素子、信号処理部、及び表示部の各々を制御する制御部と、を有することを特徴とする撮像装置が開示されている。
特開2016-225970号公報に記載の撮像素子は、互いに積層されるとともに電気的に直接接続された第1の半導体基板、及び第2の半導体基板を備えている。第1の半導体基板には、入射光を受光して光電変換する撮像手段と、撮像手段から出力されるアナログ画像信号をデジタル画像データに変換するAD変換手段と、が設けられている。第2の半導体基板には、AD変換手段により変換される1フレームのデジタル画像データを記憶する記憶手段と、記憶手段に記憶されたデジタル画像データをリサイズ処理する処理手段と、が設けられている。また、特開2016-225970号公報に記載の撮像素子では、処理手段が、記憶手段に記憶する前の1フレームのデジタル画像データから所定領域の画像データを切り出し、切り出した画像データを記憶手段に記憶する。
特開2018-7210号公報には、撮像手段と制御手段とを有することを特徴とする撮像装置が開示されている。特開2018-7210号公報に記載の撮像装置に含まれる撮像手段は、複数の画素を備え、複数の画素のうちの第1の画素群によって取得される第1の画像信号と、複数の画素のうちの第2の画素群によって取得される第2の画像信号とを出力する。また、特開2018-7210号公報に記載の撮像装置に含まれる制御手段は、第1の制御と第2の制御とを行う。第1の制御は、第2の画像信号に基づく処理を行うとともに第1の画像信号に応じた第1の画像を表示画面に表示する。第2の制御は、第1の画像信号と第2の画像信号とを合成することにより得られる第2の画像を表示画面に表示する。
しかしながら、特開2016-225970号公報に記載の撮像素子では、記憶手段に記憶する前の1フレームのデジタル画像データから所定領域の画像データが切り出され、切り出された画像データが記憶手段に記憶される。従って、特開2016-225970号公報に記載の撮像素子では、記憶手段に記憶する前の1フレームのデジタル画像データから所定領域の画像データを切り出す処理と、切り出した画像データを記憶手段に記憶する処理との実行に電力を要する。
また、特開2018-7210号公報に記載の技術は、第1の画像信号に応じた画像又は第2の画像信号に応じた画像から、被写体の一部を示す部分画像を切り出す場合、第1の画像信号及び第2の画像信号を撮像素子の外部に出力してから部分画像の切り出しを行う必要がある。そのため、第1の画像信号及び第2の画像信号を撮像素子の外部に出力するのに多大な電力を要する。
本発明の一つの実施形態は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる撮像素子、撮像装置、画像データ処理方法及びプログラムを提供する。
本開示の技術に係る第1の態様は、撮像素子であって、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像画像データに対して処理を施し、かつ、撮像素子に内蔵された処理部と、撮像画像データに対して処理が施されることで得られた出力用画像データを第2フレームレートで撮像素子の外部に出力し、かつ、撮像素子に内蔵された出力部と、を含み、処理部は、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第1フレームレートは、第2フレームレートよりも高いフレームレートである、撮像素子である。
従って、本開示の技術に係る第1の態様の撮像素子は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。
本開示の技術に係る第2の態様は、切出処理は、記憶部に記憶された撮像画像データから記憶部に対するランダムアクセスにより部分画像データを切り出す処理である、第1の態様に係る撮像素子である。
従って、本開示の技術に係る第2の態様の撮像素子は、記憶部に対するランダムアクセスが不可能な場合に比べ、指定されたアドレスから部分画像データを迅速に切り出すことができる。
本開示の技術に係る第3の態様は、記憶部は、撮像画像データを複数フレームで記憶可能であり、切出処理は、記憶部に記憶された撮像画像データから、複数フレーム分の部分画像データを切り出す処理を含み、出力部は、処理部により切出処理が行われることで切り出された複数フレーム分の部分画像データが合成されて得られた画像データを出力用画像データとして出力する処理を含む、第1の態様又は第2の態様に係る撮像素子である。
従って、本開示の技術に係る第3の態様の撮像素子は、撮像画像データが撮像素子の外部に出力され、撮像素子の外部で撮像画像データから複数フレーム分の部分画像データが切り出され、複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。
本開示の技術に係る第4の態様は、部分画像データは、一部が分割されて得られた複数の分割領域に対応する複数の分割領域画像データのうちの少なくとも1つである、第3の態様に係る撮像素子である。
従って、本開示の技術に係る第4の態様の撮像素子は、複数フレームの撮像画像データの各々から部分画像データが切り出され、切り出された複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。
本開示の技術に係る第5の態様は、複数の分割領域画像データは、互いに異なる画素がライン単位で間引かれた関係性を有する、第4の態様に係る撮像素子である。
従って、本開示の技術に係る第5の態様の撮像素子は、同じ位置の画素がライン単位で間引かれる場合に比べ、再現性の高い被写体画像を得ることができる。
本開示の技術に係る第6の態様は、出力用画像データは、複数の分割領域画像データが合成されて得られた合成データを含む、第4の態様又は第5の態様に係る撮像素子である。
従って、本開示の技術に係る第6の態様の撮像素子は、単一フレーム分の部分画像データが出力される場合に比べ、高画質な画像を提供することができる。
本開示の技術に係る第7の態様は、出力部は、複数の分割領域画像データのうちの一部の分割領域画像データと合成データとを、与えられた条件に応じて選択的に部分画像データとして出力する、第6の態様に係る撮像素子である。
従って、本開示の技術に係る第7の態様の撮像素子は、常に合成データが撮像素子から撮像素子の外部に出力される場合に比べ、消費電力を低減することができる。
本開示の技術に係る第8の態様は、被写体は光電変換素子により撮像され、処理部は、一部が指定されることで光電変換素子のうちの一部に対応する箇所が指定された場合に、光電変換素子のうちの箇所に対して撮像させ、処理部は、箇所により撮像されることで部分画像データに相当する部分画像相当データを第1フレームレートで取得し、取得した部分画像相当データに基づく画像データを第2フレームレートで撮像素子の外部に出力する、第1の態様から第7の態様の何れか1つの態様に係る撮像素子である。
従って、本開示の技術に係る第8の態様の撮像素子は、常に光電変換素子の全領域を使用して被写体が撮像される場合に比べ、消費電力を低減することができる。
本開示の技術に係る第9の態様は、一部は、被写体に対して複数の領域に跨っており、部分画像データは、撮像画像データのうちの複数の領域を示す複数の領域画像データである、第1の態様から第8の態様の何れか1つの態様に係る撮像素子である。
従って、本開示の技術に係る第9の態様の撮像素子は、切り出し対象が被写体の複数の領域に跨っていた場合であっても、消費電力を低減することができる。
本開示の技術に係る第10の態様は、出力用画像データは、被写体のうちの一部よりも広い範囲の画像を示す広範囲画像データを更に含み、広範囲画像データの解像度は、部分画像データの解像度よりも低い、第1の態様から第9の態様の何れか1つの態様に係る撮像素子である。
従って、本開示の技術に係る第10の態様の撮像素子は、広範囲画像データの解像度が部分画像データの解像度と同じ場合に比べ、消費電力を低減することができる。
本開示の技術に係る第11の態様は、広範囲画像データは、被写体の全体の画像を示す画像データである、第10の態様に係る撮像素子である。
従って、本開示の技術に係る第11の態様の撮像素子は、被写体の全体の画像を示す画像データの解像度が部分画像データの解像度と同じ場合に比べ、消費電力を低減することができる。
本開示の技術に係る第12の態様は、出力用画像データは、被写体のうちの一部よりも広い範囲であって、撮像素子を有する撮像装置の合焦制御に要する範囲として予め定められた範囲の画像を示す合焦制御用画像データを更に含む、第1の態様から第11の態様の何れか1つの態様に係る撮像素子である。
従って、本開示の技術に係る第12の態様の撮像素子は、合焦制御用画像データが撮像素子の外部で生成される場合に比べ、合焦制御用画像データを用いて合焦制御が行われる場合であっても、消費電力を低減することができる。
本開示の技術に係る第13の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第1の態様から第12の態様の何れか1つの態様に係る撮像素子である。
従って、本開示の技術に係る第13の態様の撮像素子は、撮像素子内で画像処理が施された画像データを撮像素子の外部に出力することができる。
本開示の技術に係る第14の態様は、本開示の技術の第1の態様から第13の態様の何れか1つの態様に係る撮像素子と、処理部により出力された出力用画像データに基づく画像を表示部に対して拡大表示させる制御を行う制御部と、を含む、撮像装置である。
従って、本開示の技術に係る第14の態様の撮像装置は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。
本開示の技術に係る第15の態様は、記憶部、処理部、及び出力部が内蔵された撮像素子の画像データ処理方法であって、記憶部に対して、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶させ、処理部に対して、撮像画像データに対して処理を施させ、出力部に対して、撮像画像データに対して処理が施されることで得られた出力用画像データを第2フレームレートで撮像素子の外部に出力させ、処理部に対して、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行わせることを含み、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第1フレームレートは、第2フレームレートよりも高いフレームレートである、画像データの処理方法である。
従って、本開示の技術に係る第15の態様の画像データ処理方法は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。
本開示の技術に係る第16の態様は、コンピュータを、記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる処理部及び出力部として機能させるためのプログラムであって、記憶部は、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶し、処理部は、撮像画像データに対して処理を施し、出力部は、撮像画像データに対して処理が施されることで得られた出力用画像データを第2フレームレートで撮像素子の外部に出力し、処理部は、記憶部のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、処理部により切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第1フレームレートは、第2フレームレートよりも高いフレームレートである、プログラムである。
従って、本開示の技術に係る第16の態様のプログラムは、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。
本開示の技術に係る第17の態様は、撮像素子であって、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、撮像画像データに対して処理を施し、かつ、撮像画像データに対して処理が施されることで得られた出力用画像データを第2フレームレートで撮像素子の外部に出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、プロセッサは、メモリのうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、出力用画像データは、プロセッサにより切出処理が行われることで撮像画像データから切り出された部分画像データに基づく画像データを含み、第1フレームレートは、第2フレームレートよりも高いフレームレートである、撮像素子である。
本発明の一つの実施形態によれば、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる、という効果が得られる。
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
[第1実施形態]
一例として図1に示すように、撮像装置10は、レンズ交換式カメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ14は、手動操作により光軸方向に移動可能なフォーカスレンズ16を有する撮像レンズ18を含む。
一例として図1に示すように、撮像装置10は、レンズ交換式カメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ14は、手動操作により光軸方向に移動可能なフォーカスレンズ16を有する撮像レンズ18を含む。
また、撮像装置本体12には、ハイブリッドファインダー(登録商標)21が設けられている。ここで言うハイブリッドファインダー21とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。なお、OVFとは、“optical viewfinder”の略称を指す。また、EVFとは、“electronic viewfinder” の略称を指す。
交換レンズ14は、撮像装置本体12に対して交換可能に装着される。また、交換レンズ14の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング22が設けられている。フォーカスリング22の手動による回転操作に伴ってフォーカスレンズ16は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子20(図3参照)に被写体光が結像される。
撮像装置本体12の前面には、ハイブリッドファインダー21に含まれるOVFのファインダー窓24が設けられている。また、撮像装置本体12の前面には、ファインダー切替レバー(ファインダー切替え部)23が設けられている。ファインダー切替レバー23を矢印SW方向に回動させると、OVFで視認可能な光学像とEVFで視認可能な電子像(ライブビュー画像)との間で切り換わるようになっている。
なお、OVFの光軸L2は、交換レンズ14の光軸L1とは異なる光軸である。また、撮像装置本体12の上面には、レリーズボタン25、撮像系のモード、及び再生系のモード等の設定用のダイヤル28が設けられている。
レリーズボタン25は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
本第1実施形態に係る撮像装置10では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン25が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン25が半押し状態にされることによりAE(Automatic Exposure)機能が働いて露出状態が設定された後、AF(Auto-Focus)機能が働いて合焦制御され、レリーズボタン25を全押し状態にすると撮像が行われる。
一例として図2に示すように、撮像装置本体12の背面には、タッチパネル・ディスプレイ30、十字キー32、メニューキー34、指示ボタン36、及びファインダー接眼部38が設けられている。
タッチパネル・ディスプレイ30は、液晶ディスプレイ(以下、「第1ディスプレイ」という)40及びタッチパネル42(図3参照)を備えている。
第1ディスプレイ40は、画像及び文字情報等を表示する。第1ディスプレイ40は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像(スルー画像)の表示に用いられる。また、第1ディスプレイ40は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第1ディスプレイ40は、再生モード時の再生画像の表示及び/又はメニュー画面等の表示にも用いられる。
タッチパネル42は、透過型のタッチパネルであり、第1ディスプレイ40の表示領域の表面に重ねられている。タッチパネル42は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル42は、検知結果(タッチパネル42に対する指示体による接触の有無)を示す検知結果情報を所定周期(例えば100ミリ秒)で既定の出力先(例えば、後述のCPU52(図3参照))に出力する。検知結果情報は、タッチパネル42が指示体による接触を検知した場合、タッチパネル42上の指示体による接触位置を特定可能な二次元座標(以下、「座標」という)を含み、タッチパネル42が指示体による接触を検知していない場合、座標を含まない。
十字キー32は、1つ又は複数のメニューの選択、ズーム及び/又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー34は、第1ディスプレイ40の画面上に1つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン36は、選択項目など所望の対象の消去、指定内容の取消し、及び1つ前の操作状態に戻す場合に等に操作される。
撮像装置10は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置10により被写体が撮像されて得られ静止画像を記録する動作モードであり、動画撮像モードは、撮像装置10により被写体が撮像されて得られた動画像を記録する動作モードである。
一例として図3に示すように、撮像装置10は、撮像装置本体12に備えられたマウント46(図1も参照)と、マウント46に対応する交換レンズ14側のマウント44と、を含む。交換レンズ14は、マウント46にマウント44が結合されることにより撮像装置本体12に交換可能に装着される。
撮像レンズ18は、スライド機構48及びモータ50を含む。スライド機構48は、フォーカスリング22の操作が行われることでフォーカスレンズ16を光軸L1に沿って移動させる。スライド機構48には光軸L1に沿ってスライド可能にフォーカスレンズ16が取り付けられている。また、スライド機構48にはモータ50が接続されており、スライド機構48は、モータ50の動力を受けてフォーカスレンズ16を光軸L1に沿ってスライドさせる。
モータ50は、マウント44,46を介して撮像装置本体12に接続されており、撮像装置本体12からの命令に従って駆動が制御される。なお、本第1実施形態では、モータ50の一例として、ステッピングモータを適用している。従って、モータ50は、撮像装置本体12からの命令によりパルス電力に同期して動作する。また、図3に示す例では、モータ50が撮像レンズ18に設けられている例が示されているが、これに限らず、モータ50は撮像装置本体12に設けられていてもよい。
撮像装置10は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体12は、操作部54、外部インタフェース(I/F)63、及び後段回路90を備えている。後段回路90は、撮像素子20から送り出されるデータを受け取る側の回路である。本第1実施形態では、後段回路90としてIC(Integrated Circuit)が採用されている。ICの一例としては、LSI(Large-Scale Integration)が挙げられる。
後段回路90は、CPU(Central Processing Unit)52、I/F56、一次記憶部58、二次記憶部60、画像処理部62、第1表示制御部64、第2表示制御部66、位置検出部70、及びデバイス制御部74を含む。本第1実施形態では、CPU52として、単数のCPUを例示しているが、本開示の技術はこれに限定されず、CPU52に代えて複数のCPUを採用してもよい。つまり、CPU52によって実行される各種処理は、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。
なお、本第1実施形態では、画像処理部62、第1表示制御部64、第2表示制御部66、位置検出部70、及びデバイス制御部74の各々がASIC(Application Specific Integrated Circuit)によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ASICに代えてPLD(Programmable Logic Device)及びFPGA(Field-Programmable Gate Array)のうちの少なくとも1つが採用されてもよい。また、ASIC、PLD、及びFPGAのうちの少なくとも1つが採用されてもよい。また、CPU、ROM(Read Only Memory)、及びRAM(Random Access Memory)を含むコンピュータが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、画像処理部62、第1表示制御部64、第2表示制御部66、位置検出部70、及びデバイス制御部74のうちの少なくとも1つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
CPU52、I/F56、一次記憶部58、二次記憶部60、画像処理部62、第1表示制御部64、第2表示制御部66、操作部54、外部I/F63、及びタッチパネル42は、バス68を介して相互に接続されている。
CPU52は、撮像装置10の全体を制御する。本第1実施形態に係る撮像装置10では、オートフォーカスモード時に、CPU52が、撮像によって得られた画像のコントラスト値が最大となるようにモータ50を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、CPU52は、撮像によって得られた画像の明るさを示す物理量であるAE情報を算出する。CPU52は、レリーズボタン25が半押し状態とされたときには、AE情報により示される画像の明るさに応じたシャッタスピード及びF値を導出する。そして、導出したシャッタスピード及びF値となるように関係各部を制御することによって露出状態の設定を行う。
一次記憶部58とは、揮発性のメモリを意味し、例えばRAMを指す。二次記憶部60とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はHDD(Hard Disk Drive)を指す。
操作部54は、後段回路90に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部54は、レリーズボタン25、ダイヤル28、ファインダー切替レバー23、十字キー32、メニューキー34、及び指示ボタン36を含む。操作部54によって受け付けられた各種指示は操作信号としてCPU52に出力され、CPU52は、操作部54から入力された操作信号に応じた処理を実行する。
位置検出部70は、CPU52に接続されている。位置検出部70は、マウント44,46を介してフォーカスリング22に接続されており、フォーカスリング22の回転角度を検出し、検出結果である回転角度を示す回転角度情報をCPU52に出力する。CPU52は、位置検出部70から入力された回転角度情報に応じた処理を実行する。
撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ16を含む撮像レンズ18及びメカニカルシャッタ72を介してカラーの撮像素子20の受光面に結像される。
デバイス制御部74は、CPU52に接続されている。また、デバイス制御部74は、撮像素子20及びメカニカルシャッタ72に接続されている。更に、デバイス制御部74は、マウント44,46を介して撮像レンズ18のモータ50に接続されている。
デバイス制御部74は、CPU52の制御下で、撮像素子20、メカニカルシャッタ72、及びモータ50を制御する。
一例として図4に示すように、ハイブリッドファインダー21は、OVF76及びEVF78を含む。OVF76は、対物レンズ81と接眼レンズ86とを有する逆ガリレオ式ファインダーであり、EVF78は、第2ディスプレイ80、プリズム84、及び接眼レンズ86を有する。
また、対物レンズ81の前方には、液晶シャッタ88が配設されており、液晶シャッタ88は、EVF78を使用する際に、対物レンズ81に光学像が入射しないように遮光する。
プリズム84は、第2ディスプレイ80に表示される電子像又は各種の情報を反射させて接眼レンズ86に導き、且つ、光学像と第2ディスプレイ80に表示される(電子像及び/又は各種情報とを合成する。
ここで、ファインダー切替レバー23を図1に示す矢印SW方向に回動させると、回動させる毎にOVF76により光学像を視認することができるOVFモードと、EVF78により電子像を視認することができるEVFモードとが交互に切り替えられる。
第2表示制御部66は、OVFモードの場合、液晶シャッタ88が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第2表示制御部66は、EVFモードの場合、液晶シャッタ88が遮光状態になるように制御し、接眼部から第2ディスプレイ80に表示される電子像のみが視認できるようにする。
撮像素子20は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子20は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。一例として図5に示すように、撮像素子20には、光電変換素子92、処理回路94、及びメモリ96が内蔵されている。撮像素子20では、光電変換素子92に対して処理回路94及びメモリ96が積層されている。メモリ96は、本開示の技術に係る記憶部の一例である。
処理回路94は、例えば、LSIであり、メモリ96は、例えば、RAMである。本第1実施形態では、メモリ96の一例として、DRAM(Dynamic Random Access Memory)が採用されているが、本開示の技術はこれに限らず、SRAM(Static Random Access Memory)であってもよい。
本第1実施形態では、処理回路94は、ASICによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ASICに代えてPLD及びFPGAのうちの少なくとも1つが採用されてもよい。また、ASIC、PLD、及びFPGAのうちの少なくとも1つが採用されてもよい。CPUは、単数であってもよいし、複数であってもよい。また、CPU、ROM、及びRAMを含むコンピュータが採用されてもよい。また、処理回路94は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
光電変換素子92は、マトリクス状に配置された複数のフォトセンサを有している。本第1実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“4896×3265”画素分のフォトダイオードが挙げられる。
光電変換素子92は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタ、R(赤)に対応するRフィルタ、及びB(青)に対応するBフィルタを含む。本第1実施形態では、光電変換素子92の複数のフォトダイオードに対してGフィルタ、Rフィルタ、及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に既定の周期性で配置されている。そのため、撮像装置10は、R,G,B信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、同時化処理とは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
なお、ここでは、撮像素子20としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子92がCCD(Charge Coupled Device)イメージセンサであっても本開示の技術は成立する。
撮像素子20は、いわゆる電子シャッタ機能を有しており、デバイス制御部74の制御下で電子シャッタ機能を働かせることで、光電変換素子92内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
処理回路94は、デバイス制御部74によって制御される。処理回路94は、被写体が光電変換素子92により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子92に蓄積された信号電荷である。処理回路94は、光電変換素子92から読み出した撮像画像データに対してA/D(Analog/Digital)変換を行う。処理回路94は、撮像画像データに対してA/D変換を行うことで得た撮像画像データをメモリ96に記憶する。処理回路94は、メモリ96から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを後段回路90のI/F56に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。
処理回路94は、撮像画像データに対して第1処理と第2処理とを行う。第1処理とは、光電変換素子92から撮像画像データを読み出し、読み出した撮像画像データをメモリ96に記憶する処理を指す。第2処理とは、出力用画像データを撮像素子20の外部に出力する処理を指す。ここで言う「撮像素子20の外部」とは、例えば、後段回路90のI/F56を指す。
また、第1処理は、切出処理も含む。切出処理とは、メモリ96に撮像画像データが記憶された状態で、メモリ96のうちの指定されたアドレスから撮像画像データのうちの被写体の一部の画像を示す部分画像データを切り出す処理を指す。部分画像データは、被写体の一部が分割されて得られた複数の分割領域に対応する複数の分割領域画像データのうちの少なくとも1つである。
また、ここで言う「複数の分割領域画像データ」は、互いに異なる画素がライン単位で間引かれた関係性を有する。本第1実施形態では、垂直方向に水平ラインが2ライン飛ばしで間引かれているが、本開示の技術はこれに限定されず、例えば、垂直方向に水平ラインが1ライン飛ばしで間引かれていてもよいし、垂直方向に水平ラインが3ライン以上で間引かれていてもよい。また、水平方向に垂直ラインが1ライン以上の既定ライン数で間引かれていてもよい。また、1画素又は数画素の画素群単位で予め定められた規則に応じて間引かれていてもよい。
なお、詳しくは後述するが、ここで言う「複数の分割領域画像データ」としては、例えば、図10、図15、又は図16に示す1フレーム目~3フレーム目までの撮像画像データの各々から得られる部分画像データ200(図11及び図12参照)が挙げられる。
処理回路94から出力される出力用画像データは、部分画像データ、広範囲画像データ、及び合焦制御用画像データに大別される。広範囲画像データとは、被写体のうちの部分画像データに係る被写体の一部よりも広い範囲の画像を示す画像データを指す。広範囲画像データの一例としては、光電変換素子92の一部領域92A(図11参照)内の全てのフォトダイオードにより撮像可能な画角に収まる範囲内の被写体の全体の画像を示す全体画像データを指す。合焦制御用画像データとは、被写体のうちの部分画像データに係る被写体の一部よりも広い範囲であって、撮像装置10の合焦制御に要する範囲として予め定められた範囲の画像を示す画像データを指す。ここで言う「予め定められた範囲」とは、例えば、CPU52が、いわゆるコントラストAF又は位相差AFにより合焦状態を特定可能な範囲として、実機による試験及び/又はコンピュータ・シミュレーション等によって予め得られた範囲を指す。なお、本第1実施形態において、「全てのフォトダイオード」とは、不具合が生じていない使用可能なフォトダイオードを指す。
撮像素子20では、第1フレームレートで被写体が撮像される。処理回路94は、第1フレームレートで第1処理を行い、第2フレームレートで第2処理を行う。第1フレームレートは、第2フレームレートよりも高いフレームレートである。また、本第1実施形態では、第2フレームレートが60fps(frames per second)であり、第1フレームレートが240fpsであるが、本開示の技術はこれに限定されず、“第2フレームレート<第1フレームレート”の関係性を満たしていればよい。また、第1フレームレートは、第2フレームレート以下にならない範囲内で可変なフレームレートとされている。
一例として図6に示すように、処理回路94は、光電変換素子駆動回路94A、AD(Analog-to-Digital)変換回路94B、画像処理回路94C、及び出力回路94Dを含み、CPU52の制御下で動作する。光電変換素子駆動回路94Aは、光電変換素子92及びAD変換回路94Bに接続されている。メモリ96は、AD変換回路94B及び画像処理回路94Cに接続されている。画像処理回路94Cは出力回路94Dに接続されている。出力回路94Dは、後段回路90のI/F56に接続されている。
光電変換素子駆動回路94Aは、デバイス制御部74の制御下で、光電変換素子92を制御し、光電変換素子92からアナログの撮像画像データを読み出す。AD変換回路94Bは、光電変換素子駆動回路94Aにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ96に記憶する。
メモリ96は、複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路94Cは、本開示の技術に係る処理部の一例であり、撮像画像データに対して処理を施す。すなわち、画像処理回路94Cは、メモリ96に記憶された撮像画像データからメモリ96に対するランダムアクセスにより出力用画像データを切り出す。画像処理回路94Cは、切り出した出力用画像データに対して必要に応じた信号処理を施す。なお、ここで言う「ランダムアクセス」とは、メモリ96内のうちの目的のデータが格納されている箇所に対して直接アクセスすることが可能なアクセス方式を指す。
上述した第1処理は、光電変換素子駆動回路94A、AD変換回路94B、メモリ96、及び画像処理回路94Cによって行われる。すなわち、光電変換素子駆動回路94A、AD変換回路94B、メモリ96、及び画像処理回路94Cでの処理は、第1フレームレートで行われる。
ここでは、一例として、光電変換素子駆動回路94A、AD変換回路94B、メモリ96、及び画像処理回路94Cでの処理が、第1フレームレートで行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、光電変換素子駆動回路94Aによる読み出し、AD変換回路94Bによるメモリ96への撮像画像データの記憶、及び画像処理回路94Cによる処理のうち、少なくともAD変換回路94Bによるメモリ96への撮像画像データの記憶が第1フレームレートで行われるようにしてもよい。
出力回路94Dは、上述した第2処理を行う。すなわち、出力回路94Dは、画像処理回路94Cにより信号処理が施された出力用画像データを第2フレームレートで後段回路90のI/F56に出力する。なお、出力回路94Dは、本開示の技術に係る「出力部」の一例である。
次に、撮像装置10の本開示の技術に係る部分の作用について説明する。
なお、以下では、説明の便宜上、第1ディスプレイ40及び第2ディスプレイ80を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第1表示制御部64及び第2表示制御部66を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。表示制御部は、本開示の技術に係る「制御部」の一例である。また、以下では、説明の便宜上、表示装置に対してライブビュー画像を表示させる場合について説明する。
先ず、処理回路94によって実行される画像データ生成処理について図7を参照して説明する。なお、図7に示す画像データ生成処理は、処理回路94によって第1フレームレートで行われる。また、以下では、説明の便宜上、メモリ96が3フレーム分の撮像画像データをFIFO方式で記憶可能なメモリであることを前提として説明する。
図7に示す画像データ生成処理では、先ず、ステップ100で、光電変換素子駆動回路94Aは、一例として図11に示す光電変換素子92の一部領域92Aから撮像画像データを読み出し、その後、画像データ生成処理はステップ102へ移行する。
本ステップ100の処理が実行されることで光電変換素子92の一部領域92Aから得られる撮像画像データは、一例として図11に示すように、光電変換素子92のうちの一部領域92Aにより被写体が撮像されることで得られる撮像画像データである。なお、ここでは、説明の便宜上、一部領域92Aにより撮像されて得られた撮像画像データを例示しているが、本開示の技術はこれに限定されない。例えば、光電変換素子92の全体のフォトダイオードにより被写体が撮像されることで得られる撮像画像データであってもよいし、光電変換素子92内の複数の箇所の各々により被写体が撮像されることで得られる撮像画像であってもよい。
本ステップ100の処理が実行されることで光電変換素子92の一部領域92Aから読み出される1フレーム分の撮像画像データは、一例として図10に示すように、垂直方向に水平ラインを2ライン飛ばしで間引きした画像データである。また、一例として図10に示すように、光電変換素子92の一部領域92Aから読み出される撮像画像データは、3フレームの撮像画像データを読み出す周期を1周期とした場合、1周期内で1フレーム毎に垂直方向に水平ラインを1ラインずつずらして間引きされる。
なお、図10に示す例では、1フレーム目~3フレーム目までの撮像画像データの態様例が模式的に示されているが、4フレーム目以降も1フレーム目~3フレーム目と同様の方法で画素が間引きされる。また、図10に示す例では、説明の便宜上、1周期が3フレームの場合の間引き例を挙げているが、本開示の技術はこれに限定されず、1周期が4フレーム以上の場合であっても同様の方法で間引きすれば良い。
また、撮像画像データに対する間引き方法は、垂直方向に水平ラインを1ラインずつずらして間引する方法に限定する必要はない。例えば、水平方向に垂直ラインを1ラインずつずらして間引する方法であってもよいし、1画素以上の既定数画素単位で予め定められた規則に従って間引きする方法等であってもよい。
ステップ102で、AD変換回路94Bは、光電変換素子駆動回路94Aによって読み出された撮像画像データをデジタル化してメモリ96に記憶し、その後、画像データ生成処理はステップ104へ移行する。
ステップ104で、画像処理回路94Cは、タッチパネル42及び/又は操作部54によって切出指示が受け付けられたか否かを判定する。切出指示とは、撮像画像データから部分画像データを切り出す指示を指す。切出指示には、撮像画像データが記憶されたメモリ96内のアドレスであって、撮像画像データのうちの切り出す対象を指定可能な指定アドレスが含まれる。
撮像画像データに基づくライブビュー形式の全体画像が表示装置に表示されている場合、全体画像内の何れかの箇所がユーザによってタッチパネル42及び/又は操作部54を介して指示され、指示された箇所の座標がメモリ96のアドレスに変換される。そして、変換されて得られたアドレスが指定アドレスとなる。図11に示す例では、メモリ96に記憶されている撮像画像データから部分画像データ200が特定された状態が示されている。部分画像データ200は、切出指示に含まれる指定アドレスによって特定される。
また、切出指示の一例として、顔検出指示が挙げられる。顔検出指示とは、顔検出機能を働かせる指示を指す。顔検出機能は、撮像画像データから、被写体である人物の顔を検出する機能であり、画像処理回路94Cによって実現される。例えば、図12に示すように、撮像画像データのうちの被写体である人物202の顔202Fを含む矩形領域のアドレスが、切り出す対象となるアドレスとして特定され、特定されたアドレスに従って、部分画像データ200が特定される。
なお、ここでは、顔検出を例示しているが、被写体である人物の瞳を検出する瞳検出機能を働かせるようにしてもよい。このように、顔検出機能及び/又は瞳検出機能を働かせることで、顔検出結果及び/又は瞳検出結果に基づいて被写体である人物の顔の中心から切り出す対象として指定された大きさの領域が定まる。よって、CPU52は、被写体である人物が動いたとしても、人物の動きに対して追従してAFを行うことが可能となる。また、メモリ96上で顔検出と人物の顔の中心座標の算出とが行われることで、後述の表示制御処理において、表示装置は、顔検出及び/又は瞳検出を行わない場合に比べ、画角調整のタイムラグの少ない表示を行うことが可能となる。更に、顔検出結果及び/又は瞳検出結果に基づいて、部分画像データ200の拡大倍率が変更されるようにしてもよい。
ステップ104において、タッチパネル42及び/又は操作部54によって切出指示が受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ110へ移行する。ステップ104において、タッチパネル42及び/又は操作部54によって切出指示が受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ106へ移行する。
ステップ106で、画像処理回路94Cは、メモリ96から撮像画像データを取得し、その後、画像データ生成処理はステップ108へ移行する。
ステップ108で、画像処理回路94Cは、ステップ106で取得した撮像画像データに基づいて全体画像データを生成し、生成した全体画像データを出力回路94Dに出力し、その後、画像データ生成処理はステップ130へ移行する。なお、本ステップ108の処理が実行されることによって生成される全体画像データは、上述した出力用画像データに含まれる画像データの一種である。
ところで、ステップ104でタッチパネル42及び/又は操作部54によって受け付けられた切出指示は、低画質切出指示と高画質切出指示とに大別される。低画質切出指示とは、低画質切出画像を切り出す指示を指し、高画質切出指示とは、高画質切出画像を切り出す指示を指す。高画質切出画像は、低画質切出画像よりも画質が高い。ここで、低画質切出画像とは、例えば、図10に示すように、垂直方向に水平ラインを2ライン飛ばしで間引かれた画像データを指す。これに対し、高画質切出画像とは、例えば、図10に示すように、3フレーム分の撮像画像データが合成されて得られた合成データ、すなわち、間引き無しの画像データを指す。
ステップ110で、画像処理回路94Cは、ステップ104でタッチパネル42及び/又は操作部54によって受け付けられた切出指示が高画質切出指示か否かを判定する。ステップ110において、ステップ104でタッチパネル42及び/又は操作部54によって受け付けられた切出指示が高画質切出指示でない場合、すなわち、切出指示が低画質切出指示の場合は、判定が否定されて、ステップ112へ移行する。ステップ110において、ステップ104でタッチパネル42及び/又は操作部54によって受け付けられた切出指示が高画質切出指示の場合は、判定が肯定されて、ステップ118へ移行する。
ステップ112で、画像処理回路94Cは、ステップ104で受け付けられた切出指示から指定アドレスを取得し、その後、画像データ生成処理はステップ114へ移行する。
ステップ114で、画像処理回路94Cは、メモリ96内の撮像画像データのうちの単一フレームの撮像画像データから、ステップ112で取得した指定アドレスに従って部分画像データを切り出し、その後、画像データ生成処理はステップ116へ移行する。部分画像データの切り出し対象となる単一フレームの撮像画像データは、例えば、メモリ96内に最も過去に記憶された撮像画像データであるが、本開示の技術はこれに限定されない。例えば、メモリ96に複数フレームの撮像画像データが記憶されている場合、部分画像データの切り出し対象となる単一フレームの撮像画像データは、メモリ96に記憶されている複数フレームの撮像画像データのうちのどの撮像画像データであってもよい。
なお、ここでは、単一フレームの撮像画像データを切り出し対象の撮像画像データとしたが、例えば、図10に示す1~3フレーム目の撮像画像データのうちの2フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。つまり、3フレーム分の撮像画像データを合成して得た合成データが高画質切出画像データであると規定するのであれば、1フレーム分の撮像画像データを切り出し対象の撮像画像データとしてもよいし、2フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。
ステップ116で、画像処理回路94Cは、低画質切出画像データを生成して出力回路94Dに出力し、その後、画像データ生成処理はステップ130へ移行する。ここでは、低画質切出画像データとして、ステップ114で切り出した部分画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、低画質切出画像データは、ステップ114で切り出した部分画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ116の処理が実行されることによって生成される低画質切出画像データは、上述した出力用画像データに含まれる画像データの一種である。
ステップ118で、画像処理回路94Cは、メモリ96に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ118では、複数フレームの一例として、3フレームが採用されている。ステップ118において、メモリ96に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、ステップ120へ移行する。ステップ118において、メモリ96に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、ステップ124へ移行する。
ステップ120で、画像処理回路94Cは、メモリ96から撮像画像データを取得し、その後、画像データ生成処理はステップ122へ移行する。
ステップ122で、画像処理回路94Cは、ステップ120で取得した撮像画像データに基づいて全体画像データを生成し、生成した全体画像データを出力回路94Dに出力し、その後、画像データ生成処理はステップ118へ移行する。なお、本ステップ122の処理が実行されることによって生成される全体画像データは、上述した出力用画像データに含まれる画像データの一種である。
ステップ124で、画像処理回路94Cは、ステップ104で受け付けられた切出指示から指定アドレスを取得し、その後、画像データ生成処理はステップ126へ移行する。
ステップ126で、画像処理回路94Cは、メモリ96内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ124で取得した指定アドレスに従って部分画像データを切り出し、その後、画像データ生成処理はステップ128へ移行する。
部分画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ96に現時点で記憶されている全フレームの撮像画像データ、すなわち、3フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。1フレーム分の撮像画像データが低画質切出画像データであると規定するのであれば、2フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。
ステップ128で、画像処理回路94Cは、高画質切出画像データを生成して出力回路94Dに出力し、その後、画像データ生成処理はステップ130へ移行する。ここでは、高画質切出画像データとして、ステップ126で切り出した3フレーム分の部分画像データを、一例として図10に示すように合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、高画質切出画像データは、ステップ126で切り出した3フレーム分の部分画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ128の処理が実行されることによって生成される高画質切出画像データは、上述した出力用画像データに含まれる画像データの一種である。
ステップ130で、画像処理回路94Cは、画像データ生成処理を終了する条件である画像データ生成処理終了条件を満足したか否かを判定する。画像データ生成処理終了条件としては、例えば、画像データ生成処理を終了させる指示がタッチパネル42及び/又は操作部54によって受け付けられたとの条件が挙げられる。また、画像データ生成処理終了条件としては、例えば、画像データ生成処理が開始されてからステップ104において判定が肯定されない時間が予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、5分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。
ステップ130において、画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ100へ移行する。ステップ130において、画像データ生成処理終了条件を満足した場合は、判定が肯定されて、処理回路94は画像データ生成処理を終了する。
次に、処理回路94の出力回路94Dによって実行される画像データ出力処理について図8を参照して説明する。なお、図8に示す画像データ出力処理は、出力回路94Dによって第2フレームレートで行われる。
図8に示す画像データ出力処理では、先ず、ステップ150で、出力回路94Dは、画像処理回路94Cから出力用画像データが入力されたか否かを判定する。画像処理回路94Cから出力回路94Dに入力される出力用画像データの一例としては、図7に示す画像データ生成処理により出力された全体画像データ、高画質切出画像データ、及び低画質切出画像データのうちの少なくとも1つを含む画像データが挙げられる。
ステップ150において、画像処理回路94Cから出力用画像データが入力されていない場合は、判定が否定されて、ステップ154へ移行する。ステップ150において、画像処理回路94Cから出力用画像データが入力された場合は、判定が肯定されて、ステップ152へ移行する。
ステップ152で、出力回路94Dは、出力用画像データを後段回路90のI/F56に出力し、その後、ステップ154へ移行する。I/F56は、出力回路94Dから入力された出力用画像データを、例えば、バス68を介してCPU52及び画像処理部62に出力する。
ステップ154で、出力回路94Dは、画像データ出力処理を終了する条件である画像データ出力処理終了条件を満足したか否かを判定する。画像データ出力処理終了条件は、例えば、上述した画像データ生成処理終了条件と同じ条件である。
ステップ154において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ150へ移行する。ステップ154において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路94Dは画像データ出力処理を終了する。
次に、後段回路90の表示制御部によって実行される表示制御処理について図9を参照して説明する。なお、ここでは、説明の便宜上、図8に示す画像データ出力処理が実行されることで出力回路94Dから出力用画像データが後段回路90に出力され、出力用画像データがCPU52及び画像処理部62に入力されたことを前提として説明する。また、以下では、説明の便宜上、高画質切出画像データ及び低画質切出画像データを区別して説明する必要がない場合、「切出画像データ」と称する。また、高画質切出画像データにより示される高画質切出画像と低画質切出画像データにより示される低画質切出画像とを区別して説明する必要がない場合、「切出画像」と称する。
図9に示す表示制御処理では、ステップ160で、表示制御部は、画像処理部62から出力用画像データが入力されたか否かを判定する。ステップ160において、画像処理部62から出力用画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ164へ移行する。ステップ160において、画像処理部62から出力用画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ162へ移行する。
ステップ162で、表示制御部は、出力用画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ164へ移行する。本ステップ162の処理が実行されることで出力用画像データが表示装置に出力されると、表示装置は、出力用画像データにより示される画像を表示する。例えば、出力用画像データに全体画像データが含まれている場合、表示装置は、全体画像データにより示される全体画像を表示する。ここで言う「全体画像」とは、光電変換素子92の一部領域92A内の全てのフォトダイオードにより撮像可能な画角に収まる範囲内の被写体の全体を示す画像を指す。
また、例えば、出力用画像データに切出画像データが含まれている場合、表示装置は、一例として図11及び図12に示すように、切出画像データにより示される切出画像を表示する。
また、タッチパネル42及び/操作部54によって拡大表示の指示が受け付けられた場合、表示装置は、一例として図14に示すように、切出画像を拡大して表示する。
切出画像は、高画質切出画像及び低画質切出画像の何れかである。高画質切出画像は、一例として図10に示すように、3フレーム分の撮像画像データを合成して得た合成データに基づく画像である。これに対し、低画質切出画像は、1フレーム分の撮像画像データに基づく間引き画像である。また、全体画像も、1フレーム分の撮像画像データに基づく間引き画像である。よって、表示装置に表示される画像の画質は、低画質切出画像及び全体画像よりも高画質切出画像の方が高い。
また、第1ディスプレイ40及び第2ディスプレイ80の双方に同じ画像を表示させる必要はない。例えば、第1ディスプレイ40及び第2ディスプレイ80の一方に対して全体画像を表示させ、他方に対して全体画像と共に、切出画像を表示させるようにしてもよいし、全体画像を表示させずに、切出画像を表示させるようにしてもよい。なお、表示装置に対して全体画像と共に切出画像を表示させる場合、第1~第3表示方式が考えられる。第1表示方式とは、全体画像と切出画像とを並べて表示させる表示方式を指す。第2表示方式とは、全体画像と切出画像との一方に対して他方を重畳表示させる表示方式を指す。第3表示方式とは、全体画像と切出画像との一方の表示領域内に他方を埋め込んで表示させる表示方式を指す。
ステップ164で、表示制御部は、表示制御処理を終了する条件である表示制御処理終了条件を満足したか否かを判定する。表示制御処理終了条件は、例えば、上述した画像データ生成処理終了条件と同じ条件である。
ステップ164において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ160へ移行する。ステップ164において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。
このように、一例として、図7に示す画像データ生成処理、図8に示す画像データ出力処理、及び図9に示す表示制御処理が実行されることで、表示制御部の制御下で、表示装置によりライブビュー画像が表示される。ここで言う「ライブビュー画像」とは、切出画像データ及び全体画像データの少なくとも1つを含む出力用画像データに基づくライブビュー形式の画像、すなわち、スルー画像を指す。なお、本第1実施形態に係る撮像装置10では、ライブビュー画像が第2フレームレートで表示される。
本第1実施形態に係る撮像装置10は、従来技術に係る撮像装置に比べ、撮像素子20として積層型CMOSイメージセンサを採用している点が異なる。つまり、従来技術に係る撮像素子では、積層型CMOSイメージセンサが採用されていない。そのため、従来技術に係る撮像装置では、一例として図11Aに示すように、撮像素子により被写体が撮像されることで得られた撮像画像データが後段回路90に出力され、後段回路90により撮像画像データから部分画像データ200が切り出される。そして、切り出された部分画像データ200に基づく画像が表示装置に表示される。
これに対し、本第1実施形態に係る撮像装置10では、撮像素子20として、積層型CMOSイメージセンサが採用されている。そのため、一例として図11Bに示すように、撮像素子20に内蔵されているメモリ96に撮像画像データが一旦格納され、メモリ96に対してランダムアクセスをすることにより部分画像データ200が切り出される。そして、切り出された部分画像データ200に基づく画像データが後段回路90に出力される。つまり、本第1実施形態に係る撮像素子20から後段回路90に出力されるデータ量は、従来技術に係る撮像装置の撮像素子から後段回路90に出力されるデータ量に比べ、少ない。よって、本第1実施形態に係る撮像装置10は、従来技術に係る撮像装置に比べ、画像データの出力に伴う消費電力を低減することができる。
また、後段回路90で部分画像データ200の切り出しが行われるため、一例として図13Aに示すように、1フレーム目の撮像画像データを得るための1回目の露光が終了してから、1フレーム目の撮像画像データを後段回路90に移動させる必要がある。撮像素子から後段回路90への撮像画像データの移動は、第2フレームレートで行われる。
これに対して、一例として図13Bに示すように、撮像装置10では、撮像素子20内で、第1フレームレートで、撮像画像データの読み出し、撮像画像データのメモリ96への記憶、及び部分画像データ200の切り出し等の画像処理が行われる。そして、撮像装置10でも、撮像素子20から後段回路90への撮像画像データの移動は、第2フレームレートで行われる。
しかし、撮像装置10では、少なくとも撮像画像データの読み出しから切り出し等の画像処理までは第1フレームレートで行われる。よって、撮像装置10は、一例として図13Bに示すように、従来技術に係る撮像装置に比べ、出力用画像データが後段回路90に移動している間にも撮像素子20内で多くの処理を行うことができる。図13Bに示す例では、撮像素子20から後段回路90へ1フレーム目の出力用画像データが移動している間に2回目の露光と、2回目の露光により得られた2フレーム目の撮像画像データの読み出しから切り出し等の画像処理までが行われている。
また、撮像装置10では、一例として図10に示すように、撮像素子20内において、メモリ96に複数フレームの撮像画像データが記憶されるので、処理回路94は、複数フレームの撮像画像データを合成して得た合成データを後段回路90に出力することができる。
図10に示す例では、連続する3フレームの撮像画像データの各々は、水平ラインを垂直方向に1ラインずつずらして間引きして得た画像データであるが、本開示の技術はこれに限定されない。例えば、図15に示すように、連続する3フレームの撮像画像データの各々が間引き無しで得た画像データであってもよい。この場合、光電変換素子92において露光に使用される水平ラインの1ライン当たりの電荷量を、例えば図10に示す各フレームの撮像画像データを得るための露光に使用される水平ラインの1ライン当たりの電荷量の1/3にする。これにより、図15に示す例の場合であっても、1フレーム目~3フレーム目の撮像画像データが合成されることで、図10に示す例の場合と同様の画質を実現可能な出力用画像データが得られる。
ここで、「各フレームの撮像画像データを得るための露光に使用される水平ラインの1ライン当たりの電荷量の1/3」とは、後述の第1露光方式による露光で得られる電荷量に対する後述の第2露光方式による露光によって得られる電荷量の割合に相当する。
本第1実施形態に係る撮像装置10では、例えば、図18A及び図18Bに示すように、タッチパネル42及び/又は操作部54によって受け付けられた指示に応じて、第1露光方式と第2露光方式とが選択的に用いられる。以下では、説明の便宜上、第1露光方式で行われる露光に要する時間を第1露光時間と称し、第2露光方式で行われる露光に要する時間を第2露光時間と称する。
一例として図18Aに示す第1露光方式では、一例として図11Bに示す光電変換素子92の一部領域92A内の全てのフォトダイオードにより第1露光時間で被写体が撮像される。これにより、一例として図15に示す1フレーム目~3フレーム目が合成されて得られた出力用画像データが有する輝度に相当する輝度を有する画像データが得られる。
一方、一例として図18Bに示す第2露光方式では、光電変換素子92の一部領域92A内の全てのフォトダイオードにより第2露光時間で被写体が撮像されるが、第2露光時間は第1露光時間の1/3である。そのため、一例として図15に示すように、1フレーム分の撮像画像データの電荷量は、第1露光方式による1フレーム分の撮像画像データの電荷量の1/3になる。
また、第1露光方式では、光電変換素子92からの撮像画像データの読み出し、撮像画像データのメモリ96への記憶、及び部分画像データの切り出し等の画像処理の一連の処理の回数は、3回である。つまり、第2露光方式は、上述した第1処理の回数が第1露光方式よりも2回多い。第2露光方式での第1処理の回数は第1フレームレートで実現可能な回数である。そのため、第1フレームレートを低くして露光時間を延ばして第2露光時間から第1露光時間に変更しなくても、第1露光時間で得られる1フレーム分の出力用画像データの輝度に相当する輝度を有する出力先画像データを生成することができる。つまり、第2露光方式であっても、連続する3フレーム分の撮像画像データの各々から切出画像を得て合成することで、第1露光方式で得られる1フレーム分の出力用画像データの輝度に相当する輝度を有する出力先画像データを生成することができる。
また、一例として図16に示す1フレーム目~3フレーム目の撮像画像データの各々において水平ラインを垂直方向に2ラインずつ飛ばして間引きされた撮像画像データが採用されるようにしてもよい。図16に示す例では、1フレーム目~3フレーム目の撮像画像データの各々において水平ラインを垂直方向に2ラインずつ飛ばして間引きされた撮像画像データが示されている。図16に示す例では、1フレーム目~3フレーム目の撮像画像データが合成されることで、水平ラインを垂直方向に2ラインずつ飛ばして間引きされた出力用画像データが得られる。
また、本第1実施形態に係る撮像装置10では、撮像素子20として積層型CMOSセンサが採用されているので、メモリ96の撮像画像データから出力用画像データを読み出す方式を変えることで、総データ量が同じでも画質を変えることが可能となる。
一例として図17に示すように、画像処理回路94Cによってメモリ96から取得される出力用画像データのデータ量は、間引き有りの場合と間引き無しの場合とで同じにすることができる。一例として図17に示すように、間引き無しの撮像画像データは、間引き有りの撮像画像データに比べ、読み出し対象が狭い分だけ間引きをしないで済むので、間引き有りの撮像画像データよりも高画質を実現することができる。撮像装置10では、一例として図17に示すように、間引きがあるか無いかに拘わらず、全画素についての撮像画像データを後段回路90に出力する場合に比べ、処理回路94から出力されるデータ量が少ない。よって、撮像装置10では、従来技術に係る撮像装置のように後段回路90で間引き処理をしたり、切り出し処理を行ったりする場合に比べ、出力回路94Dから後段回路90の出力に要する消費電力を低減することができる。
以上説明したように、撮像装置10では、撮像素子20にメモリ96及び処理回路94が内蔵されている。また、処理回路94により、上述した第1処理が第1フレームレートで実行され、上述した第2処理が第2フレームレートで実行される。第1処理には、上述した切出処理が含まれる。また、処理回路94により、一例として図7に示すステップ114,116のように切出処理が行われることで撮像画像データから部分画像データが切り出される。そして、出力用画像データには、切り出された部分画像データに基づく画像データが含まれる。
従って、撮像装置10は、記憶部を介さずに撮像素子の外部に出力された画像データから部分画像データを切り出して出力する場合に比べ、消費電力を低減することができる。
また、撮像装置10では、画像処理回路94Cにより、メモリ96に記憶された撮像画像データからメモリ96に対するランダムアクセスにより部分画像データが切り出される。
従って、撮像装置10は、メモリ96に対するランダムアクセスが不可能な場合に比べ、指定されたアドレスから部分画像データを迅速に切り出すことができる。
また、撮像装置10では、メモリ96が撮像画像データを複数フレームで記憶可能であり、上述した切出処理は、メモリ96に記憶された撮像画像データから、複数フレームの部分画像データを切り出す処理を含む。また、上述した第2処理は、一例として図7に示すステップ126,128の処理のように、画像処理回路94Cにより切出処理が行われることで切り出された複数フレーム分の部分画像データが合成される処理を含む。そして、複数フレーム分の部分画像データが合成されて得られた合成データが出力用画像データとして出力回路94Dにより後段回路90に出力される。
従って、撮像装置10は、撮像画像データが後段回路90に出力され、後段回路90で撮像画像データから複数フレーム分の部分画像データが切り出され、複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。
また、撮像装置10では、単一フレームの撮像画像データから部分画像データが切り出され、切り出された部分画像データが一例として図7のステップ116に示す低画質切出画像データとして採用されている。
従って、撮像装置10では、複数フレームの撮像画像データの各々から部分画像データが切り出され、切り出された複数フレーム分の部分画像データが合成される場合に比べ、消費電力を低減することができる。
また、撮像装置10では、複数フレーム分の部分画像データが、互いに異なる画素がライン単位で間引かれた関係性を有する。
従って、撮像装置10は、同じ位置の画素がライン単位で間引かれる場合に比べ、再現性の高い被写体画像を得ることができる。
なお、間引きの度合いは、切出画像の拡大の度合いに応じて定められるようにしてもよい。例えば、拡大の度合いが大きくなるほど、間引きの度合いを小さくようにする。また、出力用画像データに対して特殊な加工を施す場合には、加工の種類に応じて間引きの度合いが定められるようにしてもよい。
また、撮像装置10では、出力回路94Dから出力される出力用画像データが、間引き箇所が異なる複数フレーム分の部分画像データが合成されて得られた合成データである。
従って、撮像装置10は、単一フレーム分の部分画像データが出力される場合に比べ、高画質な画像を表示することができる。
また、撮像装置10では、出力回路94Dにより出力された出力用画像データに基づく画像を、一例として図11、図12、及び図14に示すように、表示装置に対して拡大表示させる制御が表示制御部により行われる。
従って、撮像装置10は、出力回路94Dにより出力された出力用画像データに基づく画像をユーザに対して視覚的に認識させることができる。
また、撮像装置10では、撮像素子20として積層型CMOSイメージセンサを採用している。従って、撮像装置10は、撮像素子20内で画像処理が施された画像データを後段回路90に出力することができる。
なお、上記第1実施形態では、光電変換素子92の一部領域92Aにより被写体が撮像されて得られた撮像画像データがメモリ96に記憶される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図19に示すように、光電変換素子92内の全てのフォトダイオードにより被写体が撮像されて得られた撮像画像データである全体画像データがメモリ96に記憶されるようにしてもよい。この場合も、上記第1実施形態と同様に、画像処理回路94Cがメモリ96に対してランダムアクセスすることで全体画像データから部分画像データ200を切り出し、切出画像データを生成する。切出画像データに基づく画像は、表示装置によって表示される。
また、例えば、図20に示すように、本開示の技術に係る「広範囲画像データ」の一例である全体画像データと、部分画像データ200に基づく切出画像データとが撮像素子20の出力回路94Dから後段回路90に出力されるようにしてもよい。この場合、全体画像データの解像度を部分画像データの解像度よりも低くするのが好ましい。これにより、消費電力が低減される。
また、一例として図20に示すように、表示装置は、表示制御部の制御下で、上述した第1表示方式に準ずる表示方式で、切出画像データにより示される切出画像を拡大して表示し、全体画像データにより示される全体画像を表示するようにしてもよい。
また、表示装置は、表示制御部の制御下で、上述した第2又は第3表示方式に準ずる表示方式で、切出画像と全体画像とを表示してもよい。また、表示装置は、表示制御部の制御下で、切出画像又は全体画像を表示してもよい。切出画像及び全体画像のうちの何れかの画像が表示装置によって表示されるかは、例えば、タッチパネル42及び/操作部54によって受け付けられた指示に従って定められるようにすればよい。
また、処理回路94は、3フレーム分の部分画像データのうちの一部の部分画像と、3フレーム分の部分画像データが合成されて得られた合成データとを、与えられた条件に応じて選択的に部分画像データとして後段回路90に出力するようにしてもよい。これにより、常に合成データが後段回路90に出力される場合に比べ、消費電力が低減される。なお、ここで、「3フレーム分の部分画像データのうちの一部の部分画像」とは、例えば、3フレーム未満の個数の部分画像を指す。また、「与えられた条件」としては、例えば、タッチパネル42及び/操作部54によって特定の指示が受け付けられたとの条件、又は、撮像装置10の残電力が閾値を下回ったとの条件が挙げられる。ここで言う「特定の指示が受け付けられたとの条件」としては、例えば、省電力モードの指示が受け付けられたとの条件、又は、タッチパネル42及び/操作部54によって特殊な加工を要する画像処理の指示が受け付けられたとの条件が挙げられる。
[第2実施形態]
上記第1実施形態では、被写体の一部の画像を示す部分画像データを切り出す場合について説明したが、本第2実施形態では、被写体の一部が被写体の複数の領域に跨っている場合について説明する。なお、本第2実施形態では、上記第1実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
上記第1実施形態では、被写体の一部の画像を示す部分画像データを切り出す場合について説明したが、本第2実施形態では、被写体の一部が被写体の複数の領域に跨っている場合について説明する。なお、本第2実施形態では、上記第1実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
本第2実施形態に係る撮像装置10は、上記第1実施形態に係る撮像装置10に比べ、一例として図24に示すように、光電変換素子92の一部領域92Aに代えて一部領域92Bを有する点が異なる。一部領域92Bは、一部領域92Aに比べ、光電変換素子92の垂直方向に幅広の領域である。
次に、処理回路94によって実行される本第2実施形態に係る画像データ生成処理について図21を参照して説明する。
図21に示す画像データ生成処理では、先ず、ステップ250で、光電変換素子駆動回路94Aは、光電変換素子92の一部領域92Bから撮像画像データを読み出し、その後、画像データ生成処理はステップ252へ移行する。
本ステップ250の処理が実行されることで光電変換素子92の一部領域92Bから読み出される1フレーム分の撮像画像データは、一例として図10に示すように、垂直方向に水平ラインを2ライン飛ばしで間引きした画像データである。
本ステップ250の処理が実行されることで光電変換素子92の一部領域92Bから得られる撮像画像データは、図11に示す例と同様に、光電変換素子92のうちの一部領域92Bにより被写体が撮像されることで得られる撮像画像データである。
ステップ252で、AD変換回路94Bは、光電変換素子駆動回路94Aの一部領域92Bによって読み出された撮像画像データをデジタル化してメモリ96に記憶し、その後、画像データ生成処理はステップ254へ移行する。
ステップ254で、画像処理回路94Cは、タッチパネル42及び/又は操作部54によって切出指示が受け付けられたか否かを判定する。本ステップ254において、「切出指示」は、単一領域切出指示と複数領域切出指示とに大別される。単一領域切出指示とは、画像処理回路94Cに対して、撮像画像データにより示される画像から単一の領域を切り出させる指示を指す。複数領域切出指示とは、画像処理回路94Cに対して、撮像画像データにより示される画像から複数の領域を切り出させる指示を指す。
単一領域切出指示は、単一低画質画像切出指示と単一高画質画像切出指示とに大別される。単一低画質画像切出指示とは、撮像画像データにより示される画像から切り出される領域の画像として単一低画質画像を切り出させる指示を指す。単一高画質画像切出指示とは、撮像画像データにより示される画像から切り出される領域の画像として単一高画質画像を切り出させる指示を指す。単一高画質画像は、単一低画質画像よりも画質が高い。ここで、単一低画質画像とは、図10に示す例と同様に、垂直方向に水平ラインを2ライン飛ばしで間引かれた画像データを指す。これに対し、単一高画質画像とは、図10に示す例と同様に、3フレーム分の撮像画像データが合成されて得られた合成データ、すなわち、間引き無しの画像データを指す。
複数領域切出指示は、複数低画質切出指示と複数高画質画像切出指示とに大別される。複数低画質切出指示とは、撮像画像データにより示される画像から切り出される複数の領域の各々から低画質画像を切り出す指示を指す。なお、以下では、説明の便宜上、複数の領域の各々から切り出された低画質画像を、「低画質切出画像」とも称する。
複数高画質画像切出指示とは、撮像画像データにより示される画像から切り出される複数の領域の各々から高画質画像を切り出す指示を指す。なお、以下では、説明の便宜上、複数の領域の各々から切り出された高画質画像を、「高画質切出画像」とも称する。
高画質切出画像は、低画質切出画像よりも画質が高い。ここで、低画質切出画像とは、図10に示す例と同様に、各々垂直方向に水平ラインを2ライン飛ばしで間引かれた複数の画像データを指す。これに対し、複数の高画質切出画像とは、図10に示す例と同様に、各々3フレーム分の撮像画像データが合成されて得られた複数の合成データ、すなわち、各々間引き無しの複数の画像データを指す。
ステップ254において、タッチパネル42及び/又は操作部54によって切出指示が受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ260へ移行する。ステップ254において、タッチパネル42及び/又は操作部54によって切出指示が受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ256へ移行する。
ステップ256で、画像処理回路94Cは、メモリ96から撮像画像データを取得し、その後、画像データ生成処理はステップ258へ移行する。
ステップ258で、画像処理回路94Cは、ステップ256で取得した撮像画像データに基づいて主要被写体画像データを生成し、生成した主要被写体画像データを出力回路94Dに出力し、その後、画像データ生成処理はステップ266へ移行する。なお、本ステップ258の処理が実行されることによって生成される主要被写体画像データとは、例えば、複数の人物の顔が含まれる矩形領域内に含まれる被写体を指す。人物の顔は、撮像装置10に搭載されている顔検出機能を働かせることで特定される。また、主要被写体画像データは、撮像画像データの一部であり、上述した出力用画像データに含まれる画像データの一種である。
ステップ260で、画像処理回路94Cは、ステップ254で受け付けられた切出指示が複数領域切出指示か否かを判定する。ステップ260において、ステップ254で受け付けられた切出指示が複数領域切出指示でない場合、すなわち、ステップ254で受け付けられた切出指示が単一領域切出指示の場合は、判定が否定されて、画像データ生成処理はステップ262へ移行する。ステップ260において、ステップ254で受け付けられた切出指示が複数領域切出指示の場合は、判定が肯定されて、画像データ生成処理はステップ264へ移行する。
ステップ262で、画像処理回路94Cは、一例として図22に示す単一領域切出処理を実行し、その後、画像データ生成処理はステップ266へ移行する。
ステップ264で、画像処理回路94Cは、一例として図23に示す複数領域切出処理を実行し、その後、画像データ生成処理はステップ266へ移行する。
図22に示す単一領域切出処理では、ステップ262Aで、ステップ254で受け付けられた単一領域切出指示が単一高画質画像切出指示か否かを判定する。ステップ262Aにおいて、ステップ254で受け付けられた単一領域切出指示が単一低画質画像切出指示の場合は、判定が否定されて、単一領域切出処理はステップ262Bへ移行する。ステップ262Aにおいて、ステップ254で受け付けられた単一領域切出指示が単一高画質画像切出指示の場合は、判定が肯定されて、単一領域切出処理はステップ262Eへ移行する。
ステップ262Bで、画像処理回路94Cは、ステップ254で受け付けられた切出指示から指定アドレスを取得し、その後、単一領域切出処理はステップ262Cへ移行する。
ステップ262Cで、画像処理回路94Cは、メモリ96内の撮像画像データのうちの1フレーム分の撮像画像データから、ステップ262Bで取得した指定アドレスに従って、領域画像データを切り出し、その後、単一領域切出処理はステップ262Dへ移行する。領域画像データとは、撮像画像データのうち、撮像画像データにより示される画像内のうちの、指定アドレスに従って特定された領域を示す画像データを指す。領域画像データの切り出し対象となる単一フレームの撮像画像データは、例えば、メモリ96内に最も過去に記憶された撮像画像データであるが、本開示の技術はこれに限定されない。例えば、領域画像データの切り出し対象となる単一フレームの撮像画像データは、メモリ96内に複数フレームの撮像画像データが記憶されている場合、どの撮像画像データであってもよい。
ステップ262Dで、画像処理回路94Cは、単一低画質切出画像データを生成して出力回路94Dに出力し、その後、画像処理回路94Cは単一領域切出処理を終了する。ここでは、単一低画質切出画像データとして、ステップ262Cで切り出した部分画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、単一低画質切出画像データは、ステップ262Cで切り出した領域画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ262Dの処理が実行されることによって生成される単一低画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。
ステップ262Eで、画像処理回路94Cは、メモリ96に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ262Eでは、複数フレームの一例として、3フレームが採用されている。ステップ262Eにおいて、メモリ96に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、ステップ262Fへ移行する。ステップ262Eにおいて、メモリ96に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、ステップ262Hへ移行する。
ステップ262F,262Gで、画像処理回路94Cは、図21に示すステップ256,258の処理に相当する処理を実行し、単一領域切出処理はステップ262Eへ移行する。
ステップ262Hで、画像処理回路94Cは、ステップ254で受け付けられた切出指示から指定アドレスを取得し、その後、単一領域切出処理はステップ262Iへ移行する。
ステップ262Iで、画像処理回路94Cは、メモリ96内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ262Hで取得した指定アドレスに従って領域画像データを切り出し、その後、単一領域切出処理はステップ262Jへ移行する。
領域画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ96に現時点で記憶されている全フレームの撮像画像データ、すなわち、3フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。1フレーム分の撮像画像データが単一低画質切出画像データであると規定するのであれば、2フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。
なお、ステップ262C,262Iの各々で切り出された領域画像データは、本開示の技術に係る「部分画像データ」の一例である。
ステップ262Jで、画像処理回路94Cは、単一高画質切出画像データを生成して出力回路94Dに出力し、その後、画像処理回路94Cは単一領域切出処理を終了する。ここでは、単一高画質切出画像データとして、図10に示す例と同様に、ステップ262Iで切り出した3フレーム分の領域画像データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、単一高画質切出画像データは、ステップ262Iで切り出した3フレーム分の領域画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ262Jの処理が実行されることによって生成される単一高画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。
図23に示す複数領域切出処理では、ステップ264Aで、画像処理回路94Cは、ステップ254で受け付けられた複数領域切出指示が複数高画質画像切出指示か否かを判定する。ステップ264Aにおいて、ステップ254で受け付けられた複数領域切出指示が複数低画質画像切出指示の場合は、判定が否定されて、複数領域切出処理はステップ264Bへ移行する。ステップ264Aにおいて、ステップ254で受け付けられた複数領域切出指示が複数高画質画像切出指示の場合は、判定が肯定されて、複数領域切出処理はステップ264Fへ移行する。
ステップ264Bで、画像処理回路94Cは、ステップ254で受け付けられた切出指示から未処理の指定アドレスを取得し、その後、複数領域切出処理はステップ264Cへ移行する。本ステップ264Bにおいて、「未処理の指定アドレス」とは、後述のステップ264Cの処理で未だに使用されていない指定アドレスを指す。
ステップ264Cで、画像処理回路94Cは、メモリ96内の撮像画像データのうちの1フレーム分の撮像画像データから、ステップ264Bで取得した指定アドレスに従って領域画像データを切り出し、その後、複数領域切出処理はステップ264Dへ移行する。領域画像データの切り出し対象となる単一フレームの撮像画像データは、例えば、メモリ96内に最も過去に記憶された撮像画像データであるが、本開示の技術はこれに限定されない。例えば、領域画像データの切り出し対象となる単一フレームの撮像画像データは、メモリ96内に複数フレームの撮像画像データが記憶されている場合、どの撮像画像データであってもよい。
ステップ264Dで、画像処理回路94Cは、未処理の指定アドレスがないか否かを判定する。ステップ264Dにおいて、未処理の指定アドレスがある場合は、判定が否定されて、複数領域切出処理はステップ264Bへ移行する。ステップ264Dにおいて、未処理の指定アドレスがない場合は、判定が肯定されて、複数領域切出処理はステップ264Eへ移行する。
なお、上記ステップ264B~ステップ264Dの処理が実行されることで切り出された複数の領域画像データは、本開示の技術に係る「撮像画像データのうちの複数の領域を示す複数の領域画像データ」の一例である。
ステップ264Eで、画像処理回路94Cは、複数低画質切出画像データを生成して出力回路94Dに出力し、その後、画像処理回路94Cは複数領域切出処理を終了する。ここでは、複数低画質切出画像データとして、ステップ264Cで切り出した複数の領域画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、複数低画質切出画像データは、ステップ264Cで切り出した複数の領域画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ264Eの処理が実行されることによって生成される複数低画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。
ステップ264Fで、画像処理回路94Cは、メモリ96に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ264Fでは、複数フレームの一例として、3フレームが採用されている。ステップ264Fにおいて、メモリ96に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、ステップ264Gへ移行する。ステップ264Fにおいて、メモリ96に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、ステップ262Iへ移行する。
ステップ264G,264Hで、画像処理回路94Cは、図21に示すステップ256,258の処理に相当する処理を実行し、複数領域切出処理はステップ264Fへ移行する。
ステップ264Iで、画像処理回路94Cは、ステップ254で受け付けられた切出指示から未処理の指定アドレスを取得し、その後、複数領域切出処理はステップ264Jへ移行する。本ステップ264Iにおいて、「未処理の指定アドレス」とは、後述のステップ264Jの処理で未だに使用されていない指定アドレスを指す。
ステップ264Jで、画像処理回路94Cは、メモリ96内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ264Iで取得した指定アドレスに従って領域画像データを切り出し、その後、複数領域切出処理はステップ264Kへ移行する。
領域画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ96に現時点で記憶されている全フレームの撮像画像データ、すなわち、3フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。1フレーム分の撮像画像データが複数低画質切出画像データであると規定するのであれば、2フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。
ステップ264Kで、画像処理回路94Cは、未処理の指定アドレスがないか否かを判定する。ステップ264Kにおいて、未処理の指定アドレスがある場合は、判定が否定されて、複数領域切出処理はステップ264Iへ移行する。ステップ264Kにおいて、未処理の指定アドレスがない場合は、判定が肯定されて、複数領域切出処理はステップ264Lへ移行する。
なお、ステップ264I~ステップ264Kの処理が実行されることで切り出された複数の領域画像データは、本開示の技術に係る「撮像画像データのうちの複数の領域を示す複数の箇所画像データ」の一例である。
また、上記ステップ264Jの処理が実行されることで切り出された複数の領域画像データは、本開示の技術に係る「撮像画像データのうちの複数の領域を示す複数の領域画像データ」の一例である。
ステップ264Lで、画像処理回路94Cは、複数高画質切出画像データを生成して出力回路94Dに出力し、その後、画像処理回路94Cは複数領域切出処理を終了する。ここでは、複数高画質切出画像データとして、切り出し対象とされた複数の箇所の各々について、図10に示す例と同様に、ステップ264Jで切り出した3フレーム分の領域画像データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。
例えば、複数高画質切出画像データは、切り出し対象とされた複数の領域の各々について、ステップ264Jで切り出した3フレーム分の領域画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ264Lの処理が実行されることによって生成される複数高画質切出画像データは、上述した出力用画像データに含まれる画像データの一種であり、本開示の技術に係る「部分画像データに基づく画像データ」の一例である。
図21に示す画像データ生成処理では、ステップ266で、上記第1実施形態で説明した画像データ生成処理終了条件を満足したか否かを判定する。ステップ266において、画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ250へ移行する。ステップ266において、画像データ生成処理終了条件を満足した場合は、判定が肯定されて、画像処理回路94Cは画像データ生成処理を終了する。
次に、処理回路94の出力回路94Dによって実行される本第2実施形態に係る画像データ出力処理について図8を参照して説明する。なお、図8に示す画像データ出力処理は、出力回路94Dによって第2フレームレートで行われる。
図8に示す画像データ出力処理では、先ず、ステップ280で、出力回路94Dは、画像処理回路94Cから出力用画像データが入力されたか否かを判定する。画像処理回路94Cから出力回路94Dに入力される出力用画像データの一例としては、図21に示す画像データ生成処理により出力された主要被写体画像データ、単一低画質切出画像データ、単一高画質切出画像データ、複数低画質切出画像データ、及び複数高画質切出画像データのうちの少なくとも1つを含む画像データが挙げられる。
ステップ280において、画像処理回路94Cから出力用画像データが入力されていない場合は、判定が否定されて、ステップ284へ移行する。ステップ280において、画像処理回路94Cから出力用画像データが入力された場合は、判定が肯定されて、ステップ282へ移行する。
ステップ282で、出力回路94Dは、出力用画像データを後段回路90のI/F56に出力し、その後、ステップ284へ移行する。I/F56は、出力回路94Dから入力された出力用画像データを、例えば、バス68を介してCPU52及び画像処理部62に出力する。
ステップ284で、出力回路94Dは、上記第1実施形態で説明した画像データ出力処理終了条件を満足したか否かを判定する。ステップ284において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ280へ移行する。ステップ284において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路94Dは画像データ出力処理を終了する。
次に、後段回路90の表示制御部によって実行される表示制御処理について図9を参照して説明する。なお、ここでは、説明の便宜上、図8に示す画像データ出力処理が実行されることで出力回路94Dから出力用画像データが後段回路90に出力され、出力用画像データがCPU52及び画像処理部62に入力されたことを前提として説明する。
図9に示す表示制御処理では、ステップ290で、表示制御部は、画像処理部62から出力用画像データが入力されたか否かを判定する。ステップ290において、画像処理部62から出力用画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ294へ移行する。ステップ290において、画像処理部62から出力用画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ292へ移行する。
ステップ292で、表示制御部は、出力用画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ294へ移行する。本ステップ292の処理が実行されることで出力用画像データが表示装置に出力されると、表示装置は、出力用画像データにより示される画像を表示する。例えば、出力用画像データに主要被写体画像データが含まれている場合、表示装置は、主要被写体画像データにより示される主要被写体画像を表示する。
なお、ここでは、主要被写体画像を例示しているが、上記第1実施形態と同様に、全体画像が表示されるようにしてもよいし、主要被写体画像と全体画像との双方を並べて表示されるようにしてもよい。本第2実施形態に係る「全体画像」とは、例えば、図24に示す光電変換素子92の一部領域92B内の全てのフォトダイオードにより撮像可能な画角に収まる範囲内の被写体の全体を示す画像を指す。
また、例えば、出力用画像データに単一高画質切出画像データが含まれている場合、表示装置は、一例として図24に示すように、単一高画質切出画像データにより示される単一高画質切出画像と、主要被写体画像とを並べて表示する。
また、タッチパネル42及び/操作部54によって拡大表示の指示が受け付けられた場合、表示装置は、一例として図24に示すように、単一高画質切出画像を拡大して表示する。
なお、図24に示す例では、単一高画質切出画像の表示例が示されているが、出力用画像データに単一低画質切出画像データが含まれている場合、表示装置は、単一高画質切出画像に代えて単一低画質切出画像を表示する。
また、表示装置に表示される画像の画質は、単一低画質切出画像及び主要被写体画像よりも単一高画質切出画像の方が高い。
また、第1ディスプレイ40及び第2ディスプレイ80の双方に同じ画像を表示させる必要はない。例えば、第1ディスプレイ40及び第2ディスプレイ80の一方に対して主要被写体画像を表示させ、他方に対して、主要被写体画像と共に、単一高画質切出画像又は単一低画質切出画像を表示させるようにしてもよいし、主要被写体画像を表示させずに、単一高画質切出画像又は単一低画質切出画像を表示させるようにしてもよい。
一方、例えば、出力用画像データに複数高画質切出画像データが含まれている場合、表示装置は、一例として図25に示すように、複数高画質切出画像データにより示される複数の高画質切出画像と、主要被写体画像とを並べて表示する。図25に示す例では、表示装置に対して、2つの高画質切出画像と主要被写体画像とを並べて表示させた状態が示されている。
また、タッチパネル42及び/操作部54によって拡大表示の指示が受け付けられた場合、表示装置は、複数の高画質切出画像のうちの少なくとも1つを拡大して表示する。
また、表示装置に表示される画像の画質は、複数の低画質切出画像及び主要被写体画像よりも複数の高画質切出画像の方が高い。
また、第1ディスプレイ40及び第2ディスプレイ80の双方に同じ画像を表示させる必要はない。例えば、第1ディスプレイ40及び第2ディスプレイ80の一方に対して主要被写体画像を表示させ、他方に対して、主要被写体画像と共に、複数の高画質切出画像又は複数の低画質切出画像を表示させるようにしてもよいし、主要被写体画像を表示させずに、複数の高画質切出画像又は複数の低画質切出画像を表示させるようにしてもよい。
ステップ294で、表示制御部は、上記第1実施形態で説明した表示制御処理終了条件を満足したか否かを判定する。ステップ294において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ290へ移行する。ステップ294において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。
以上説明したように、本第2実施形態に係る撮像装置10では、切り出し対象に相当する被写体の一部が被写体の複数の領域に跨っており、撮像画像データから複数の領域画像データが切り出される。そして、切り出された複数の領域画像データに基づいて複数低画質画像データ及び複数高画質切出画像データが生成される。
従って、本第2実施形態に係る撮像装置10は、切り出し対象が被写体の複数の領域に跨っていた場合であっても、消費電力を低減することができる。
ところで、図25に示す例では、主要被写体画像データに係る指定アドレスにより特定される範囲と複数高画質切出画像データに係る指定アドレスにより特定される範囲とがオーバーラップしている。
しかし、指定アドレスにより特定される範囲がオーバーラップしている状態であっても、メモリ96に撮像画像データが保持されているので、画像処理回路94Cは、主要被写体画像データと複数高画質切出画像データとを個別に取得することができる。
なお、画像処理回路94Cは、複数高画質切出画像データに限らず、主要被写体画像データと複数低画質切出画像データとを個別に取得することも可能である。また、複数高画質切出画像データ及び複数低画質切出画像データに限らず、主要被写体画像データと単一高画質切出画像データ又は単一低画質切出画像データとが個別に取得されるようにしてもよい。また、主要被写体画像データに代えて全体画像データを適用することも可能である。
なお、上記第2実施形態では、撮像画像データから2つの部分画像データが切り出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像データから3つ以上の部分画像データが切り出されるようにしてもよい。この場合、表示制御部は、全体画像と、3つ以上の部分画像データに基づく3つ以上の画像とを並べて表示させるようにしてもよい。3つ以上の部分画像データに基づく3つ以上の画像のうち、指定された画像のみを拡大表示又は縮小表示させるようにしてもよい。
[第3実施形態]
上記第1実施形態では、部分画像データ及び合焦制御用画像データのうち、部分画像データの活用方法を例示したが、本第2実施形態では、部分画像データ及び合焦制御用画像データの併用方法について説明する。なお、本第3実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
上記第1実施形態では、部分画像データ及び合焦制御用画像データのうち、部分画像データの活用方法を例示したが、本第2実施形態では、部分画像データ及び合焦制御用画像データの併用方法について説明する。なお、本第3実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
本第2実施形態に係る撮像装置10は、上記第1実施形態に係る撮像装置10に比べ、処理回路94により、図8に示す画像データ生成処理に代えて図26に示す画像データ生成処理が実行される点が異なる。
図26に示す画像データ生成処理では、先ず、ステップ300で、光電変換素子駆動回路94Aは、光電変換素子92の一部領域92Aから撮像画像データを読み出し、その後、画像データ生成処理はステップ302へ移行する。
本ステップ300の処理が実行されることで光電変換素子92の一部領域92Aから読み出される1フレーム分の撮像画像データは、一例として図10に示すように、垂直方向に水平ラインを2ライン飛ばしで間引きした画像データである。
ステップ302で、AD変換回路94Bは、光電変換素子駆動回路94Aの一部領域92Aによって読み出された撮像画像データをデジタル化してメモリ96に記憶し、その後、画像データ生成処理はステップ304へ移行する。
ステップ304で、画像処理回路94Cは、タッチパネル42及び/又は操作部54によって拡大表示指示が受け付けられたか否かを判定する。拡大表示指示には、上記第1実施形態で説明した指定アドレスが含まれている。
ステップ304において、タッチパネル42及び/又は操作部54によって拡大表示指示が受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ306へ移行する。ステップ304において、タッチパネル42及び/又は操作部54によって拡大表示指示が受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ310へ移行する。
ステップ306,308で、画像処理回路94Cは、図7に示すステップ106,108に相当する処理を実行し、その後、ステップ334へ移行する。
ステップ310で、画像処理回路94Cは、ステップ304で受け付けられた拡大表示指示が合焦制御拡大表示指示か否かを判定する。合焦制御拡大表示指示とは、表示装置に対して、指定アドレスに従って指定された箇所の画像を拡大して表示させることに加え、処理回路94に対して、合焦制御用画像データを生成させて出力させる指示を指す。
ステップ310において、ステップ304で受け付けられた拡大表示指示が合焦制御拡大表示指示でない場合は、判定が否定されて、画像データ生成処理はステップ312へ移行する。ステップ310において、ステップ304で受け付けられた拡大表示指示が合焦制御拡大表示指示の場合は、判定が肯定されて、画像データ生成処理はステップ318へ移行する。
ステップ312,314で、画像処理回路94Cは、図7に示すステップ112,114の処理に相当する処理を実行し、その後、画像データ生成処理はステップ316へ移行する。
ステップ316で、画像処理回路94Cは、拡大表示用画像データを生成して出力回路94Dに出力し、その後、画像処理回路94Cはステップ334へ移行する。ここでは、拡大表示用画像データとして、ステップ314で切り出した部分画像データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、拡大表示用画像データは、ステップ314で切り出した部分画像データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ316の処理が実行されることによって生成される拡大表示用画像データは、上述した出力用画像データに含まれる画像データの一種である。
ステップ318,320,322,324,326で、画像処理回路94Cは、図7に示すステップ118,120,122,124,126の処理に相当する処理を実行する。ステップ326の処理が実行された後、画像データ生成処理はステップ328へ移行する。
ステップ328で、画像処理回路94Cは、ステップ324で取得した指定アドレスに基づいて合焦制御用アドレスを導出し、その後、画像データ生成処理はステップ330へ移行する。合焦制御用アドレスは、撮像画像データが記憶されたメモリ96からCPU52による合焦制御に要する撮像画像データの一部を特定可能なアドレスである。本ステップ328では、既定の導出テーブルに従って指定アドレスから合焦制御用アドレスが導出されるが、本開示の技術はこれに限定されない。例えば、上記の導出テーブルと同様の結果を導出可能な演算式により合焦制御用アドレスが導出されるようにしてもよい。
ステップ330は、画像処理回路94Cは、メモリ96内の撮像画像データのうちの複数フレームの撮像画像データの各々から、ステップ328で取得した合焦制御用アドレスに従って部分画像データを切り出し、その後、画像データ生成処理はステップ332へ移行する。なお、以下では、ステップ326で切り出された部分画像データを「拡大表示用部分画像データ」と称し、ステップ330で切り出された部分画像データを「合焦制御用部分画像データ」と称する。
合焦制御用部分画像データの切り出し対象となる複数フレームの撮像画像データは、例えば、メモリ96に現時点で記憶されている全フレームの撮像画像データ、すなわち、3フレーム分の撮像画像データであるが、本開示の技術はこれに限定されない。1フレーム又は2フレーム分の撮像画像データを合成して得た合成データを切り出し対象としてもよい。
ステップ332で、画像処理回路94Cは、図7に示すステップ128の高画質切出画像データに相当する画像データを拡大表示用画像データとして生成し、合焦制御用部分画像データに基づいて合焦制御用部分画像データを生成する。そして、画像処理回路94Cは、生成した拡大表示用画像データ及び合焦制御用部分画像データを出力回路94Dに出力し、その後、画像データ生成処理はステップ334へ移行する。
ここでは、合焦制御用画像データとして、図10に示す例と同様に、ステップ330で切り出した3フレーム分の合焦制御用部分画像データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、合焦制御用画像データは、ステップ330で切り出した3フレーム分の合焦制御用部分画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。なお、本ステップ332の処理が実行されることによって生成される合焦制御用画像データは、上述した出力用画像データに含まれる画像データの一種である。
図27に示す例では、拡大表示用画像データ200Aと合焦制御用画像データ352との画像間の広さの関係性が示されている。一例として図27に示すように、合焦制御用画像データ352により示される画像は、拡大表示用画像データ200Aにより示される画像よりも広い範囲の画像である。ここで言う「広い範囲」とは、上記第1実施形態で説明した「予め定められた範囲」を意味する。
なお、撮像装置10において表示装置によりライブビュー画像が表示されている状態で、例えば、CPU52によって、いわゆるコントラストAF又は位相差AFが行われる場合、ボケ量に応じて合焦制御用画像データ352により示される画像の領域を拡縮してもよい。例えば、画像処理回路94Cは、CPU52の制御下で、ボケ量が少なくなるほど合焦制御用画像データ352により示される画像の領域を狭くするように合焦制御用画像データ352を調節する。これにより、撮像装置10は、合焦制御用画像データ352がボケ量に拘らず一定である場合に比べ、電力消費を低減することができる。
ステップ334で、画像処理回路94Cは、上記第1実施形態で説明した画像データ生成処理終了条件を満足したか否かを判定する。ステップ334において、上記第1実施形態で説明した画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ300へ移行する。ステップ334において、上記第1実施形態で説明した画像データ生成処理終了条件を満足した場合は、判定が肯定されて、画像処理回路94Cは画像データ生成処理を終了する。
次に、処理回路94の出力回路94Dによって実行される本第3実施形態に係る画像データ出力処理について図8を参照して説明する。なお、図8に示す画像データ出力処理は、出力回路94Dによって第2フレームレートで行われる。
図8に示す画像データ出力処理では、先ず、ステップ350で、出力回路94Dは、画像処理回路94Cから出力用画像データが入力されたか否かを判定する。画像処理回路94Cから出力回路94Dに入力される出力用画像データの一例としては、全体画像データ、拡大表示用画像データ、及び合焦制御用画像データのうちの少なくとも1つを含む画像データが挙げられる。
ステップ350において、画像処理回路94Cから出力用画像データが入力されていない場合は、判定が否定されて、ステップ354へ移行する。ステップ350において、画像処理回路94Cから出力用画像データが入力された場合は、判定が肯定されて、ステップ351へ移行する。
ステップ351で、出力回路94Dは、出力用画像データを後段回路90のI/F56に出力し、その後、ステップ354へ移行する。I/F56は、出力回路94Dから入力された出力用画像データを、例えば、バス68を介してCPU52及び画像処理部62に出力する。
ステップ354で、出力回路94Dは、上記第1実施形態で説明した画像データ出力処理終了条件を満足したか否かを判定する。ステップ354において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ2350へ移行する。ステップ354において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路94Dは画像データ出力処理を終了する。
次に、CPU52によって実行される出力用画像データ処理について図28を参照して説明する。
なお、本第3実施形態に係る撮像装置10では、出力用画像データ処理プログラムが二次記憶部60に記憶されており、CPU52は、出力用画像データ処理プログラムを二次記憶部60から読み出し、一次記憶部58に展開する。CPU52は、一次記憶部58に展開した出力用画像データ処理プログラムに従って出力用画像データ処理を実行する。
図28に示す出力用画像データ処理では、ステップ360で、CPU52は、処理回路94から出力用画像データがI/F56に入力されたか否かを判定する。ステップ360において、処理回路94から出力用画像データがI/F56に入力されていない場合は、判定が否定されて、出力用画像データ処理はステップ370へ移行する。ステップ360において、処理回路94から出力用画像データがI/F56に入力された場合は、判定が肯定されて、出力用画像データ処理はステップ362へ移行する。
ステップ362で、出力用画像データに拡大表示用画像データのみが含まれているか否かを判定する。ステップ362において、出力用画像データに拡大表示用画像データのみが含まれている場合は、判定が肯定されて、出力用画像データ処理はステップ364へ移行する。ステップ362において、出力用画像データに拡大表示用画像データ及び合焦制御用画像データが含まれている場合は、判定が否定されて、出力用画像データ処理はステップ366へ移行する。
ステップ364で、CPU52は、拡大表示用データを表示制御部に出力し、その後、出力用画像データ処理はステップ370へ移行する。拡大表示用データが表示制御部に出力されると、一例として図27に示すように、表示制御部は、表示装置に対して、拡大表示用画像データに基づく画像を表示させる。表示装置には、拡大表示用画像データに基づく画像が第2フレームレートで表示される。
ステップ366で、CPU52は、ステップ364の処理に相当する処理を実行し、その後、出力用画像データ処理はステップ368へ移行する。
ステップ368で、CPU52は、合焦制御用画像データに基づいて合焦制御を行い、その後、出力用画像データ処理はステップ370へ移行する。
ステップ370で、CPU52は、出力用画像データ処理を終了する条件である出力用画像データ処理終了条件を満足したか否かを判定する。出力用画像データ処理終了条件の一例としては、上記第1実施形態で説明した表示制御処理終了条件と同じ条件が挙げられる。
ステップ370において、出力用画像データ処理終了条件を満足していない場合は、判定が否定されて、出力用画像データ処理はステップ360へ移行する。ステップ370において、出力用画像データ処理終了条件を満足した場合は、判定が肯定されて、CPU52は出力用画像データ処理を終了する。
以上説明したように、本第3実施形態に係る撮像装置10では、合焦制御用画像データが生成され、出力用画像データには、生成された合焦用画像データが含まれている。従って、本第3実施形態に係る撮像装置10は、合焦制御用画像データが後段回路90で生成される場合に比べ、合焦制御用画像データを用いて合焦制御が行われる場合であっても、消費電力を低減することができる。
[第4実施形態]
上記第1実施形態では、画像データ生成処理及び画像データ出力処理を例示したが、本第4実施形態では、処理回路94が撮像制御処理を更に実行する形態例について説明する。なお、本第4実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
上記第1実施形態では、画像データ生成処理及び画像データ出力処理を例示したが、本第4実施形態では、処理回路94が撮像制御処理を更に実行する形態例について説明する。なお、本第4実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
本第4実施形態に係る撮像装置10は、上記第1実施形態に係る撮像装置10に比べ、処理回路94が図29に示す撮像制御処理を更に実行可能である点が異なる。また、本第4実施形態に係る撮像装置10は、上記第1実施形態に係る撮像装置10に比べ、図30に示す画像データ生成処理を更に実行可能である点が異なる。なお、図29に示す撮像制御処理及び図30に示す画像データ生成処理は、処理回路94によって第1フレームレートで実行される。
図29に示す撮像制御処理では、先ず、ステップ400で、処理回路94は、タッチパネル42及び/又は操作部54によって撮像箇所指定情報が受け付けられたか否かを判定する。撮像箇所指定情報とは、光電変換素子92内の全てのフォトダイオードのうち、部分画像データを得るために使用するフォトダイオードを指定する情報を指す。撮像箇所指定情報は、光電変換素子92内の指定された位置を特定可能な撮像箇所指定アドレスが含まれている。
ステップ400において、タッチパネル42及び/又は操作部54によって撮像箇所指定情報が受け付けられていない場合は、判定が否定されて、撮像制御処理はステップ402へ移行する。ステップ400において、タッチパネル42及び/又は操作部54によって撮像箇所指定情報が受け付けられた場合は、判定が肯定されて、撮像制御処理はステップ404へ移行する。なお、本ステップ400において判定が肯定された場合は、本開示の技術に係る「被写体の一部が指定されることで光電変換素子のうちの被写体の一部に対応する箇所が指定された場合」の一例である。
ステップ402で、光電変換素子駆動回路94Aは、光電変換素子92内の全てのフォトダイオードを使用して被写体を撮像することで撮像画像データを取得し、その後、撮像制御処理はステップ414へ移行する。
ステップ404で、光電変換素子駆動回路94Aは、撮像箇所指定情報から撮像箇所指定アドレスを取得し、その後、撮像制御処理はステップ406へ移行する。
ステップ406で、光電変換素子駆動回路94Aは、光電変換素子92に対して、撮像箇所指定アドレスに従って指定された撮像箇所で撮像を開始させ、その後、撮像制御処理はステップ408へ移行する。本ステップ406の処理が実行されることで撮像されて得られた撮像画像データは、部分画像相当データである。部分画像相当データとは、上記第1実施形態で説明した部分画像データに相当する画像データを指す。部分画像相当データは、部分画像データと同様に、メモリ96に記憶される。
ステップ408で、処理回路94は、メモリ96から部分画像相当データを取得し、その後、撮像制御処理はステップ410へ移行する。
ステップ410で、処理回路94は、光電変換素子92に対する撮像箇所の指定状態を解除する解除条件を満足したか否かを判定する。ステップ410において、解除条件を満足していない場合は、判定が否定されて、撮像制御処理はステップ400へ移行する。ステップ410において、解除条件を満足した場合は、判定が肯定されて、撮像制御処理はステップ412へ移行する。
ステップ412で、光電変換素子駆動回路94Aは、光電変換素子92に対する撮像箇所の指定状態を解除し、その後、撮像制御処理はステップ414へ移行する。
ステップ414で、処理回路94は、撮像制御処理を終了する条件である撮像制御処理終了条件を満足したか否かを判定する。撮像制御処理終了条件としては、例えば、撮像制御処理を終了させる指示がタッチパネル42及び/又は操作部54によって受け付けられたとの条件が挙げられる。
ステップ414において、撮像制御処理終了条件を満足していない場合は、判定が否定されて、撮像制御処理はステップ400へ移行する。ステップ414において、撮像制御処理終了条件を満足した場合は、判定が肯定されて、処理回路94は撮像制御処理を終了する。
次に、本第4実施形態に係る画像データ生成処理が処理回路94によって実行される場合について図30を参照して説明する。
図30に示す画像データ生成処理では、ステップ450で、処理回路94は、光電変換素子駆動回路94Aにより光電変換素子92から画像データが取得されたか否かを判定する。なお、ここでは、説明の便宜上、光電変換素子92から取得される画像データは、撮像制御処理のステップ408で取得された部分画像相当データ、又は、撮像制御処理のステップ402で取得された撮像画像データである。
ステップ450において、光電変換素子駆動回路94Aにより光電変換素子92から画像データが取得されていない場合は、判定が否定されて、画像データ生成処理はステップ468へ移行する。ステップ450において、光電変換素子駆動回路94Aにより光電変換素子92から画像データが取得された場合は、判定が肯定されて、画像データ生成処理はステップ452へ移行する。
ステップ452で、処理回路94は、光電変換素子92から取得された画像データが部分画像相当データであるか否かを判定する。ステップ452において、光電変換素子92から取得された画像データが部分画像相当データでない場合、すなわち、光電変換素子92から取得された画像データが撮像画像データの場合は、判定が否定されて、ステップ454へ移行する。ステップ452において、光電変換素子92から取得された画像データが部分画像相当データの場合は、判定が肯定されて、画像データ生成処理はステップ456へ移行する。なお、光電変換素子92から取得された画像データが撮像画像データの場合、撮像画像データは、メモリ96に記憶される。
ステップ454で、画像処理回路94Cは、メモリ96から撮像画像データを取得し、取得した撮像画像データに基づいて、上記第1実施形態で説明した全体画像データを生成して出力回路94Dに出力し、その後、画像データ生成処理はステップ468へ移行する。
ステップ456で、AD変換回路94Bは、部分画像相当データをメモリ96に記憶し、その後、画像データ生成処理はステップ458へ移行する。
ステップ458で、画像処理回路94Cは、上記第1実施形態で説明した高画質切出指示がタッチパネル42及び/又は操作部54によって受け付けられたか否かを判定する。ステップ458において、高画質切出指示がタッチパネル42及び/又は操作部54によって受け付けられていない場合は、判定が否定されて、画像データ生成処理はステップ460へ移行する。ステップ458において、高画質切出指示がタッチパネル42及び/又は操作部54によって受け付けられた場合は、判定が肯定されて、画像データ生成処理はステップ462へ移行する。
ステップ460で、画像処理回路94Cは、メモリ96から単一フレームの部分画像相当データを取得する。そして、画像処理回路94Cは、取得した単一フレームの部分画像相当データに基づいて低画質切出画像相当データを生成して出力回路94Dに出力し、その後、画像データ生成処理はステップ468へ移行する。
なお、単一フレームの部分画像相当データとは、例えば、メモリ96内に最も過去に記憶された部分画像相当データを指すが、本開示の技術はこれに限定されない。例えば、単一フレームの部分画像相当データは、メモリ96内に複数フレームの部分画像相当データが記憶されている場合、どの部分画像相当データであってもよい。
また、低画質切出画像相当データとは、上記第1実施形態で説明した低画質切出画像データに相当する画像データを指す。
ステップ462で、画像処理回路94Cは、メモリ96に複数フレームの撮像画像データが記憶されているか否かを判定する。なお、本ステップ462では、複数フレームの一例として、3フレームが採用されている。ステップ462において、メモリ96に複数フレームの撮像画像データが記憶されていない場合は、判定が否定されて、画像データ生成処理はステップ464へ移行する。ステップ462において、メモリ96に複数フレームの撮像画像データが記憶されている場合は、判定が肯定されて、画像データ生成処理はステップ466へ移行する。
ステップ464で、画像処理回路94Cは、ステップ454の処理に相当する処理を実行し、その後、画像データ生成処理はステップ462へ移行する。
ステップ466で、画像処理回路94Cは、メモリ96から複数フレームの部分画像相当データを取得する。そして、画像処理回路94Cは、取得した複数フレームの部分画像相当データに基づいて高画質切出画像相当データを生成して出力回路94Dに出力し、その後、画像データ生成処理はステップ468へ移行する。
なお、高画質切出画像相当データとは、上記第1実施形態で説明した高画質切出画像データに相当する画像データを指す。また、ここでは、高画質切出画像相当データとして、図10に示す例と同様に、3フレーム分の部分画像相当データを合成して得た合成データをそのまま採用しているが、本開示の技術はこれに限定されない。例えば、高画質切出画像相当データは、3フレーム分の部分画像データを合成して得た合成データに対して各種画像処理を施して得た画像データであってもよい。
また、上記ステップ460の処理が実行されることで生成される低画質切出画像データ、及び上記ステップ466の処理が実行されることで生成される高画質切出画像データは、本開示の技術に係る「部分画像相当データに基づく画像データ」の一例である。
ステップ468で、画像処理回路94Cは、上記第1実施形態で説明した画像データ生成処理終了条件を満足したか否かを判定する。ステップ468において、画像データ生成処理終了条件を満足していない場合は、判定が否定されて、画像データ生成処理はステップ450へ移行する。ステップ468において、画像データ生成処理終了条件を満足した場合は、判定が肯定されて、画像処理回路94Cは画像データ生成処理を終了する。
なお、以下では、説明の便宜上、低画質切出画像相当データと高画質切出画像相当データとを区別して説明する必要がない場合は、「切出画像相当データ」と称する。
次に、処理回路94の出力回路94Dによって実行される本第4実施形態に係る画像データ出力処理について図8を参照して説明する。なお、図8に示す本第4実施形態に係る画像データ出力処理は、出力回路94Dによって第2フレームレートで行われる。
図8に示す本第4実施形態に係る画像データ出力処理では、先ず、ステップ490で、出力回路94Dは、画像処理回路94Cから切出画像相当データが入力されたか否かを判定する。ステップ490において、画像処理回路94Cから切出画像相当データが入力されていない場合は、判定が否定されて、ステップ494へ移行する。ステップ490において、画像処理回路94Cから切出画像相当データが入力された場合は、判定が肯定されて、ステップ492へ移行する。
ステップ492で、出力回路94Dは、切出画像相当データを後段回路90のI/F56に出力し、その後、ステップ494へ移行する。I/F56は、出力回路94Dから入力された切出画像相当データを、例えば、バス68を介してCPU52及び画像処理部62に出力する。
ステップ494で、出力回路94Dは、画像データ出力処理終了条件を満足したか否かを判定する。ステップ494において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ490へ移行する。ステップ494において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路94Dは画像データ出力処理を終了する。
次に、後段回路90の表示制御部によって実行される本第4実施形態に係る表示制御処理について図9を参照して説明する。なお、ここでは、説明の便宜上、図8に示す画像データ出力処理が実行されることで出力回路94Dから切出画像相当データが後段回路90に出力され、切出画像相当データがCPU52及び画像処理部62に入力されたことを前提として説明する。また、高画質切出画像相当データにより示される画像と低画質切出画像相当データにより示される画像とを区別して説明する必要がない場合、「切出相当画像」と称する。
図9に示す表示制御処理では、ステップ500で、表示制御部は、画像処理部62から切出画像相当データが入力されたか否かを判定する。ステップ500において、画像処理部62から切出画像相当データが入力されていない場合は、判定が否定されて、表示制御処理はステップ504へ移行する。ステップ500において、画像処理部62から切出画像相当データが入力された場合は、判定が肯定されて、表示制御処理はステップ502へ移行する。
ステップ502で、表示制御部は、切出画像相当データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ504へ移行する。本ステップ502の処理が実行されることで切出画像相当データが表示装置に出力されると、表示装置は、切出画像相当データにより示される切出相当画像を表示する。
切出画像は、高画質切出相当画像及び低画質切出相当画像の何れかである。高画質切出相当画像は、図10に示す例と同様に、3フレーム分の撮像画像データを合成して得た合成データに基づく画像に相当する画像である。これに対し、低画質切出相当画像は、1フレーム分の撮像画像データに基づく間引き画像である。よって、表示装置に表示される画像の画質は、低画質切出相当画像よりも高画質切出相当画像の方が高い。
ステップ504で、表示制御部は、表示制御処理終了条件を満足したか否かを判定する。ステップ504において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ500へ移行する。ステップ504において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。
このように、一例として、図29に示す撮像制御処理、図30に示す画像データ生成処理、図8に示す画像データ出力処理、及び図9に示す表示制御処理が実行されることで、表示制御部の制御下で、表示装置によりライブビュー画像が表示される。この場合の「ライブビュー画像」とは、切出画像相当データに基づくライブビュー形式の画像を指す。なお、本第4実施形態に係る撮像装置10では、ライブビュー画像が第2フレームレートで表示される。
以上説明したように本第4実施形態に係る撮像装置10では、処理回路94は、光電変換素子92に対して、撮像箇所指定アドレスに従って指定された撮像箇所で撮像を行わせることで部分画像相当データを生成し、メモリ96に記憶する。処理回路94は、メモリ96から部分画像相当データを取得する。そして、出力回路94Dは、切出画像相当データが後段回路90に出力する。
従って、本第4実施形態に係る撮像装置10は、常に光電変換素子92の全領域を使用して被写体が撮像される場合に比べ、消費電力を低減することができる。
なお、上記各実施形態では、圧縮画像データがライブビュー画像の表示に供される場合について説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データは、後段回路90において、CPU52により、二次記憶部60に記憶されるようにしてもよいし、外部I/F63を介して撮像装置10の外部に出力されるようにしてもよい。
上記各実施形態では、ASICが実現される処理回路94を例示したが、上述した画像データ生成処理、画像データ出力処理、及び撮像制御処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
この場合、例えば、図31に示すように、上述した画像データ生成処理、画像データ出力処理、及び撮像制御処理を撮像素子20に内蔵されたコンピュータ20Aに実行させるためのプログラム600を記憶媒体700に記憶させておく。コンピュータ20Aは、CPU20A1、ROM20A2、及びRAM20A3を備えている。そして、記憶媒体700のプログラム600がコンピュータ20Aにインストールされ、コンピュータ20AのCPU20A1は、プログラム600に従って、上述した画像データ生成処理、画像データ出力処理、及び撮像制御処理を実行する。ここでは、CPU20A1として、単数のCPUを例示しているが、本開示の技術はこれに限定されず、CPU20A1に代えて複数のCPUを採用してもよい。つまり、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって、上述した画像データ生成処理、画像データ出力処理、及び/又は撮像制御処理が実行されるようにしてもよい。
なお、記憶媒体700の一例としては、SSD(Solid State Drive)又はUSB(Universal Serial Bus)メモリなどの任意の可搬型の記憶媒体が挙げられる。
また、通信網(図示省略)を介してコンピュータ20Aに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム600を記憶させておき、プログラム600が撮像装置10等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム600がコンピュータ20Aによって実行される。
また、コンピュータ20Aは、撮像素子20の外部に設けられるようにしてもよい。この場合、コンピュータ20Aがプログラム600に従って処理回路94を制御するようにすればよい。
上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記各実施形態で説明した各種処理とは、画像データ生成処理、画像データ出力処理、表示制御処理、単一領域切出処理、複数領域切出処理、出力用画像データ処理、及び撮像制御処理が挙げられる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上記各実施形態では、撮像装置10としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図32に示すスマートデバイス900に対して本開示の技術を適用するようにしてもよい。一例として図32に示すスマートデバイス900は、本開示の技術に係る撮像装置の一例である。スマートデバイス900には、上記実施形態で説明した撮像素子20が搭載されている。このように構成されたスマートデバイス900であっても、上記各実施形態で説明した撮像装置10と同様の作用及び効果が得られる。なお、スマートデバイス900に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
また、上記各実施形態では、表示装置として第1ディスプレイ40及び第2ディスプレイ80を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体12に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
また、上記実施形態で説明した画像データ生成処理、画像データ出力処理、表示制御処理、出力用画像データ処理、及び撮像制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (16)
- 撮像素子であって、
被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵された記憶部と、
前記撮像画像データに対して処理を施し、かつ、前記撮像素子に内蔵された処理部と、
前記撮像画像データに対して前記処理が施されることで得られた出力用画像データを第2フレームレートで前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
前記処理部は、前記記憶部のうちの指定されたアドレスから前記撮像画像データのうちの前記被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、
前記出力用画像データは、前記処理部により前記切出処理が行われることで前記撮像画像データから切り出された前記部分画像データに基づく画像データを含み、
前記第1フレームレートは、第2フレームレートよりも高いフレームレートである
撮像素子。 - 前記切出処理は、前記記憶部に記憶された前記撮像画像データから前記記憶部に対するランダムアクセスにより前記部分画像データを切り出す処理である請求項1に記載の撮像素子。
- 前記記憶部は、前記撮像画像データを複数フレームで記憶可能であり、
前記切出処理は、前記記憶部に記憶された前記撮像画像データから、前記複数フレーム分の前記部分画像データを切り出す処理を含み、
前記出力部は、前記処理部により前記切出処理が行われることで切り出された前記複数フレーム分の前記部分画像データが合成されて得られた画像データを前記出力用画像データとして出力する請求項1又は請求項2に記載の撮像素子。 - 前記部分画像データは、前記一部が分割されて得られた複数の分割領域に対応する複数の分割領域画像データのうちの少なくとも1つである請求項3に記載の撮像素子。
- 前記複数の分割領域画像データは、互いに異なる画素がライン単位で間引かれた関係性を有する請求項4に記載の撮像素子。
- 前記出力用画像データは、前記複数の分割領域画像データが合成されて得られた合成データを含む請求項4又は請求項5に記載の撮像素子。
- 前記出力部は、前記複数の分割領域画像データのうちの一部の分割領域画像データと前記合成データとを、与えられた条件に応じて選択的に前記部分画像データとして出力する請求項6に記載の撮像素子。
- 前記被写体は光電変換素子により撮像され、
前記処理部は、前記一部が指定されることで前記光電変換素子のうちの前記一部に対応する箇所が指定された場合に、前記光電変換素子のうちの前記箇所に対して撮像させ、
前記処理部は、前記箇所により撮像されることで前記部分画像データに相当する部分画像相当データを前記第1フレームレートで取得し、取得した前記部分画像相当データに基づく画像データを前記第2フレームレートで前記撮像素子の外部に出力する請求項1から請求項7の何れか一項に記載の撮像素子。 - 前記一部は、前記被写体に対して複数の領域に跨っており、
前記部分画像データは、前記撮像画像データのうちの前記複数の領域を示す複数の領域画像データである請求項1から請求項8の何れか一項に記載の撮像素子。 - 前記出力用画像データは、前記被写体のうちの前記一部よりも広い範囲の画像を示す広範囲画像データを更に含み、
前記広範囲画像データの解像度は、前記部分画像データの解像度よりも低い請求項1から請求項9の何れか一項に記載の撮像素子。 - 前記広範囲画像データは、前記被写体の全体の画像を示す画像データである請求項10に記載の撮像素子。
- 前記出力用画像データは、前記被写体のうちの前記一部よりも広い範囲であって、前記撮像素子を有する撮像装置の合焦制御に要する範囲として予め定められた範囲の画像を示す合焦制御用画像データを更に含む請求項1から請求項11の何れか一項に記載の撮像素子。
- 前記撮像素子は、光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項1から請求項12の何れか一項に記載の撮像素子。
- 請求項1から請求項13の何れか一項に記載の撮像素子と、
前記処理部により出力された前記出力用画像データに基づく画像を表示部に対して拡大表示させる制御を行う制御部と、
を含む撮像装置。 - 記憶部、処理部、及び出力部が内蔵された撮像素子の画像データ処理方法であって、
前記記憶部に対して、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶させ、
前記処理部に対して、前記撮像画像データに対して処理を施させ、
前記出力部に対して、前記撮像画像データに対して前記処理が施されることで得られた出力用画像データを第2フレームレートで前記撮像素子の外部に出力させ、
前記処理部に対して、前記記憶部のうちの指定されたアドレスから前記撮像画像データのうちの前記被写体の一部の画像を示す部分画像データを切り出す切出処理を行わせることを含み、
前記出力用画像データは、前記処理部により前記切出処理が行われることで前記撮像画像データから切り出された前記部分画像データに基づく画像データを含み、
前記第1フレームレートは、第2フレームレートよりも高いフレームレートである
画像データ処理方法。 - コンピュータを、
記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる前記処理部及び前記出力部として機能させるためのプログラムであって、
前記記憶部は、被写体が第1フレームレートで撮像されることで得られた撮像画像データを記憶し、
前記処理部は、前記撮像画像データに対して処理を施し、
前記出力部は、前記撮像画像データに対して前記処理が施されることで得られた出力用画像データを第2フレームレートで前記撮像素子の外部に出力し、
前記処理部は、前記記憶部のうちの指定されたアドレスから前記撮像画像データのうちの前記被写体の一部の画像を示す部分画像データを切り出す切出処理を行い、
前記出力用画像データは、前記処理部により前記切出処理が行われることで前記撮像画像データから切り出された前記部分画像データに基づく画像データを含み、
前記第1フレームレートは、第2フレームレートよりも高いフレームレートである
プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020540104A JP6896181B2 (ja) | 2018-08-31 | 2019-06-27 | 撮像素子、撮像装置、画像データ処理方法、及びプログラム |
CN201980056443.3A CN112640430B (zh) | 2018-08-31 | 2019-06-27 | 成像元件、摄像装置、图像数据处理方法及存储介质 |
US17/180,888 US11533437B2 (en) | 2018-08-31 | 2021-02-22 | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate |
US18/054,533 US11792519B2 (en) | 2018-08-31 | 2022-11-10 | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate |
US18/465,139 US20230421904A1 (en) | 2018-08-31 | 2023-09-11 | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163996 | 2018-08-31 | ||
JP2018-163996 | 2018-08-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/180,888 Continuation US11533437B2 (en) | 2018-08-31 | 2021-02-22 | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020044763A1 true WO2020044763A1 (ja) | 2020-03-05 |
Family
ID=69642916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/025646 WO2020044763A1 (ja) | 2018-08-31 | 2019-06-27 | 撮像素子、撮像装置、画像データ処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (3) | US11533437B2 (ja) |
JP (1) | JP6896181B2 (ja) |
CN (1) | CN112640430B (ja) |
WO (1) | WO2020044763A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021059326A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社日立国際電気 | カメラおよびカメラの制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013084124A (ja) * | 2011-10-11 | 2013-05-09 | Panasonic Corp | 撮像システム、撮像装置および画像処理方法 |
JP2015136093A (ja) * | 2013-12-20 | 2015-07-27 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
JP2016015567A (ja) * | 2014-07-01 | 2016-01-28 | 株式会社東芝 | 電子機器、処理方法およびプログラム |
JP2016136660A (ja) * | 2015-01-23 | 2016-07-28 | 株式会社ソシオネクスト | 集積回路および集積回路による画像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4548156B2 (ja) * | 2005-03-08 | 2010-09-22 | カシオ計算機株式会社 | カメラ装置、カメラ装置の自動焦点制御方法 |
WO2009098877A1 (ja) | 2008-02-06 | 2009-08-13 | Panasonic Corporation | 画像処理装置、及び画像処理方法 |
JP2012205037A (ja) * | 2011-03-25 | 2012-10-22 | Olympus Imaging Corp | 画像処理装置および画像処理方法 |
KR102146858B1 (ko) * | 2014-06-03 | 2020-08-21 | 삼성전자주식회사 | 촬영 장치 및 촬영 장치의 비디오 생성방법 |
JP6272387B2 (ja) | 2015-05-29 | 2018-01-31 | キヤノン株式会社 | 撮像素子および撮像装置 |
DE102016109179B4 (de) * | 2015-05-29 | 2023-08-03 | Canon Kabushiki Kaisha | Bildaufnahmeeinrichtung und Bildgebungsvorrichtung |
JP6802642B2 (ja) * | 2016-05-12 | 2020-12-16 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム、並びに記憶媒体 |
JP2018007210A (ja) | 2016-07-08 | 2018-01-11 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置および方法、並びに撮像装置 |
-
2019
- 2019-06-27 JP JP2020540104A patent/JP6896181B2/ja active Active
- 2019-06-27 CN CN201980056443.3A patent/CN112640430B/zh active Active
- 2019-06-27 WO PCT/JP2019/025646 patent/WO2020044763A1/ja active Application Filing
-
2021
- 2021-02-22 US US17/180,888 patent/US11533437B2/en active Active
-
2022
- 2022-11-10 US US18/054,533 patent/US11792519B2/en active Active
-
2023
- 2023-09-11 US US18/465,139 patent/US20230421904A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013084124A (ja) * | 2011-10-11 | 2013-05-09 | Panasonic Corp | 撮像システム、撮像装置および画像処理方法 |
JP2015136093A (ja) * | 2013-12-20 | 2015-07-27 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
JP2016015567A (ja) * | 2014-07-01 | 2016-01-28 | 株式会社東芝 | 電子機器、処理方法およびプログラム |
JP2016136660A (ja) * | 2015-01-23 | 2016-07-28 | 株式会社ソシオネクスト | 集積回路および集積回路による画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230421904A1 (en) | 2023-12-28 |
US20230075657A1 (en) | 2023-03-09 |
JP6896181B2 (ja) | 2021-06-30 |
US11533437B2 (en) | 2022-12-20 |
US11792519B2 (en) | 2023-10-17 |
US20210185272A1 (en) | 2021-06-17 |
CN112640430B (zh) | 2024-07-16 |
CN112640430A (zh) | 2021-04-09 |
JPWO2020044763A1 (ja) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230421904A1 (en) | Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate | |
JP6964806B2 (ja) | 撮像素子、撮像装置、画像データ処理方法、及びプログラム | |
JP2023145575A (ja) | 撮像素子、撮像装置、画像データ処理方法、及びプログラム | |
JP7004852B2 (ja) | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム | |
JP2006276683A (ja) | 撮像装置及びプログラム | |
JP7004851B2 (ja) | 撮像装置、撮像装置の画像データ処理方法、及びプログラム | |
JP6955308B2 (ja) | 撮像素子、撮像装置、撮像方法及びプログラム | |
JP7410088B2 (ja) | 撮像素子、撮像装置、画像データ出力方法、及びプログラム | |
JP7421008B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP7004853B2 (ja) | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム | |
JP6915166B2 (ja) | 撮像素子、撮像装置、画像データ処理方法、及びプログラム | |
JP7415079B2 (ja) | 撮像装置、撮像方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19854415 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020540104 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19854415 Country of ref document: EP Kind code of ref document: A1 |