WO2020044764A1 - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents

撮像素子、撮像装置、画像データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2020044764A1
WO2020044764A1 PCT/JP2019/025647 JP2019025647W WO2020044764A1 WO 2020044764 A1 WO2020044764 A1 WO 2020044764A1 JP 2019025647 W JP2019025647 W JP 2019025647W WO 2020044764 A1 WO2020044764 A1 WO 2020044764A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
captured image
bit
compressed
captured
Prior art date
Application number
PCT/JP2019/025647
Other languages
English (en)
French (fr)
Inventor
智行 河合
長谷川　亮
仁史 桜武
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201980056436.3A priority Critical patent/CN112640437B/zh
Priority to JP2020540105A priority patent/JP6915166B2/ja
Publication of WO2020044764A1 publication Critical patent/WO2020044764A1/ja
Priority to US17/180,889 priority patent/US11184535B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/417—Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding
    • H04N1/4172—Progressive encoding, i.e. by decomposition into high and low resolution components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the technology of the present disclosure relates to an imaging element, an imaging device, an image data processing method, and a program.
  • Japanese Patent Laying-Open No. 6-204891 discloses a data compression method using a run-length code.
  • first, two consecutive pieces of L-bit image data that are sequentially input are compared in bit units, and a match is “0” and a mismatch is “1”. Is obtained from the bit string.
  • W [“log 2 L” +1] bit width (where “” is a Gauss symbol).
  • the data obtained by adding the lower bits excluding the continuation number of “0” +1 bits in the difference data after the run-length code is output as compressed data.
  • Patent Document 1 After outputting image data obtained by capturing an image of a subject by a photoelectric conversion element included in the image sensor to the outside of the image sensor, a data compression method described in Patent Document 1 is used outside the image sensor.
  • image data compression processing is performed, image data output from the image sensor to the outside is image data before compression processing, and therefore, there is a concern that power consumption will increase due to output of image data to the outside of the image sensor. .
  • One embodiment of the present invention can reduce power consumption due to output of image data to the outside of the image sensor as compared to a case where image data obtained by imaging is output to the outside of the image sensor as it is.
  • Provided are an imaging device, an imaging device, an image data processing method, and a program.
  • a first aspect according to the technology of the present disclosure is an imaging device, which stores captured image data obtained by capturing a subject at a first frame rate, and includes a storage unit built in the imaging device. And a processing unit built in the image sensor for processing the captured image data, and processing the processed image data and the captured image data obtained by performing the processing on the captured image data.
  • the first captured image data is compressed by being divided by a plurality of bit ranges to generate compressed image data, and the output unit is generated by the processing unit.
  • Processed compressed image data Output to the outside at a second frame rate as the image data, an image pickup element.
  • the image pickup device is associated with the output of image data to the outside of the image pickup device as compared with the case where image data obtained by imaging is output to the outside of the image pickup device as it is. Power consumption can be reduced.
  • a second aspect according to the technology of the present disclosure is the imaging device according to the first aspect, wherein the first frame rate is a higher frame rate than the second frame rate.
  • the imaging element according to the second aspect of the technology of the present disclosure generates compressed image data more quickly than when imaging is performed at the same frame rate as the frame rate used for outputting compressed image data by the output unit. be able to.
  • the second captured image data is image data obtained one frame or more before the first captured image data obtained by being captured.
  • the degree of difference is increased as compared with a case where the first captured image data and the second captured image data are image data obtained by capturing images at the same time. be able to.
  • the difference is a difference between the first captured image data and the second captured image data each time the first captured image data is read by the reading unit in line units.
  • the degree of difference between the first captured image data and the second captured image data is determined after waiting for the reading of the first captured image data in frame units.
  • the compressed image data can be output more quickly.
  • a fifth aspect according to the technology of the present disclosure is any of the first aspect to the fourth aspect, wherein the difference is a difference regarding a predetermined upper-order bit between the first captured image data and the second captured image data.
  • the imaging device is capable of comparing the first captured image data with the second captured image data as compared with a case where all bits of the first captured image data and the second captured image data are compared. Can be quickly determined.
  • the first captured image data and the second captured image data are image data having the same number of bits, and the compressed image data is represented by the number of bits of the first captured image data.
  • An image sensor according to a fifth aspect wherein the second bit image data is smaller than a certain first bit, and the predetermined upper bits are bits corresponding to a value obtained by subtracting the second bit from the first bit. It is.
  • the imaging device compares the first captured image data and the second captured image data with bits irrelevant to the bits of the compressed image data, and compares the first captured image data with the second captured image data.
  • the degree of difference between the first captured image data and the second captured image data can be determined with higher accuracy than when determining the degree of difference from the second captured image data.
  • the compressed image data is determined according to a degree of difference among a plurality of bit image data obtained by dividing the first captured image data into a plurality of bit ranges.
  • the image sensor according to any one of the first to sixth aspects, which is data based on one piece of bit image data obtained.
  • the imaging device can reduce the power consumption associated with the output of image data as compared with the case where all bits of the first captured image data are output.
  • An eighth aspect according to the technology of the present disclosure is that the plurality of bit image data is upper bit image data and lower bit image data, and the compressed image data is the upper bit image data when the degree of difference satisfies a predetermined condition.
  • the image pickup device comprising data based on the low-order bit image data when the degree of difference does not satisfy a predetermined condition.
  • the imaging device can reduce the degree of suppression of image quality degradation and reduce power consumption as compared with the case where all bits of the first captured image data are output regardless of the movement of the subject.
  • the degree can be adjusted according to the movement of the subject.
  • some of the bits of the compressed image data are bits that can specify which of the plurality of bit image data the compressed image data is based on.
  • the imaging device of the ninth aspect has a configuration in which the compressed image data is output from the plurality of bit image data, Which bit image data is based on the bit image data can be quickly specified.
  • the compressed image data is image data in units of lines, and a plurality of divided image data obtained by dividing the first captured image data into a plurality of bit ranges.
  • the imaging device according to any one of the first to ninth aspects, having divided image specifying information capable of specifying whether the data is based on any of the divided image data.
  • the imaging element can specify, on a line-by-line basis, which divided image data the compressed image data is based on.
  • the output unit outputs the first captured image data to the outside before the second captured image data is stored in the storage unit when the capturing of the moving image is started.
  • An image pickup device according to any one of the first to tenth aspects for outputting.
  • the imaging element according to the eleventh aspect of the technology of the present disclosure can prevent the output of the image data from being delayed by the output unit even before the second captured image data is stored in the storage unit. it can.
  • the output unit when imaging for a moving image is started, the output unit outputs the first captured image data before storing the second captured image data in the storage unit.
  • An image sensor according to any one of the first to eleventh aspects, which outputs data based on image data belonging to a specific bit range to the outside.
  • the image sensor according to the twelfth aspect according to the technology of the present disclosure outputs the first captured image data per se before the second captured image data is stored in the storage unit.
  • the accompanying power consumption can be reduced.
  • the output unit when imaging for a moving image is started, substitutes the second captured image data before the second captured image data is stored in the storage unit.
  • the alternative compressed image data obtained by being compressed by dividing the first captured image data into a plurality of bit ranges according to the degree of difference between the image data predetermined as the image data and the first captured image data is An image pickup device according to any one of the first to twelfth modes for outputting to the outside.
  • the imaging device can output the image data as compared with the case where the first captured image data itself is output before the second captured image data is stored in the storage unit.
  • the accompanying power consumption can be reduced.
  • the output unit when imaging for a still image is continuously performed at a predetermined time interval, the output unit outputs the second imaging image data before the second imaging image data is stored in the storage unit. Outputs image data belonging to a predetermined bit range of the first captured image data or the first captured image data to the outside, and outputs the compressed image data to the outside on the condition that the second captured image data is stored in the storage unit.
  • the imaging device according to any one of the first to thirteenth aspects.
  • the imaging device can output the image data as compared with the case where the first captured image data itself is output before the second captured image data is stored in the storage unit.
  • the accompanying power consumption can be reduced.
  • the imaging device has a photoelectric conversion element, and is a stacked imaging element in which a storage unit is stacked on the photoelectric conversion element.
  • An image sensor according to any one of the aspects.
  • the imaging device uses the first imaging image data and the second imaging image data in comparison with the case where an imaging device in which the storage unit is not stacked on the photoelectric conversion element is used. Can be quickly determined.
  • a sixteenth aspect according to the technology of the present disclosure is output by the imaging device according to any one of the first to fifteenth aspects of the technology of the present disclosure, and an output unit included in the imaging device.
  • the imaging device involves the output of the image data to the outside of the image sensor as compared with the case where the image data obtained by imaging is output to the outside of the image sensor as it is. Power consumption can be reduced.
  • a seventeenth aspect according to the technology of the present disclosure is an image data processing method for an image sensor including a storage unit, a processing unit, and an output unit, wherein the storage unit stores a subject at a first frame rate.
  • the captured image data obtained by the imaging is stored, the processing unit performs processing on the captured image data, and the output unit performs processing on the captured image data.
  • the first captured image data is divided into a plurality of bit ranges to generate compressed image data obtained by compression. Compressed image generated by the section Comprising causing output to the outside at a second frame rate over data as processed image data, the image data processing method.
  • the image data processing method of the seventeenth aspect according to the technology of the present disclosure can output the image data to the outside of the image sensor as compared with the case where the image data obtained by imaging is directly output to the outside of the image sensor. Can be reduced.
  • An eighteenth aspect according to the technology of the present disclosure is a program for causing a computer to function as a processing unit and an output unit included in an image sensor including a storage unit, a processing unit, and an output unit,
  • the storage unit stores captured image data obtained by capturing a subject at a first frame rate
  • the processing unit performs processing on the captured image data
  • the output unit performs processing on the captured image data.
  • At least one of the processed image data and the captured image data obtained by performing the processing is output to the outside of the image sensor, and the processing unit outputs the first image captured by the photoelectric conversion element.
  • the program according to the eighteenth aspect according to the technology of the present disclosure can reduce the consumption associated with the output of the image data to the outside of the imaging element as compared with the case where the image data obtained by the imaging is directly output to the outside of the imaging element.
  • the power can be reduced.
  • a nineteenth aspect according to the technology of the present disclosure is an imaging device, which stores captured image data obtained by capturing an image of a subject at a first frame rate, and a memory built in the imaging device. Performing a process on the captured image data, and outputting at least one of the processed image data and the captured image data obtained by performing the process on the captured image data, to the outside of the image sensor; And a processor built in the imaging element, wherein the processor is configured to generate a second captured image data according to a degree of difference between the first captured image data obtained by capturing the image and the second captured image data stored in the memory. Generates compressed image data obtained by being compressed by dividing one captured image data into a plurality of bit ranges, and using the generated compressed image data as processed image data at a second frame rate. Output to an imaging device.
  • the present invention it is possible to reduce the power consumption associated with outputting image data to the outside of an image sensor as compared to a case where image data obtained by imaging is output to the outside of the image sensor as it is. Can be obtained.
  • FIG. 1 is a perspective view showing an example of an external appearance of an imaging device which is an interchangeable lens camera according to first to fourth embodiments.
  • FIG. 9 is a rear view showing the rear side of the imaging device according to the first to fourth embodiments.
  • FIG. 9 is a block diagram illustrating an example of a hardware configuration of an imaging device according to first to fourth embodiments.
  • FIG. 9 is a schematic configuration diagram illustrating an example of a configuration of a hybrid finder in the imaging device according to the first to fourth embodiments.
  • FIG. 9 is a schematic configuration diagram illustrating an example of a schematic configuration of an imaging device included in the imaging devices according to the first to fourth embodiments.
  • FIG. 9 is a block diagram illustrating an example of a main configuration of an imaging device included in the imaging devices according to the first to fourth embodiments.
  • 5 is a flowchart illustrating an example of a flow of a compression process according to the first embodiment.
  • 15 is a flowchart illustrating an example of the flow of image data output processing according to the first to fourth embodiments.
  • 15 is a flowchart illustrating an example of a flow of a display control process according to the first to fourth embodiments.
  • FIG. 9 is an explanatory diagram which is used for describing an example of a method for generating compressed pixel data.
  • FIG. 9 is an explanatory diagram provided for describing an example of a method for determining upper n bits.
  • FIG. 2 is a schematic configuration diagram illustrating an example of the configuration of compressed image data for one line.
  • FIG. 9 is a schematic configuration diagram illustrating a modification of the configuration of compressed image data for one line. It is a flow chart which shows an example of the flow of the compression processing concerning a 3rd embodiment. It is a flow chart which shows an example of the flow of the compression processing concerning a 4th embodiment.
  • FIG. 7 is a schematic configuration diagram illustrating an example of a method of assigning a bit range identification flag to compressed pixel data.
  • FIG. 11 is a state transition diagram illustrating a first example of a flow of image data when a compression process and an image data output process are performed.
  • FIG. 11 is a state transition diagram illustrating a second example of the flow of image data when a compression process and an image data output process are performed.
  • FIG. 14 is a state transition diagram illustrating a third example of the flow of image data when a compression process and an image data output process have been executed.
  • FIG. 14 is a state transition diagram illustrating a fourth example of the flow of image data when the compression process and the image data output process have been performed.
  • FIG. 14 is a state transition diagram illustrating a fifth example of the flow of image data when a compression process and an image data output process have been performed.
  • FIG. 2 is a conceptual diagram illustrating an example of a mode in which a program according to an embodiment is installed on an image sensor from a storage medium storing the program according to the embodiment.
  • FIG. 1 is a block diagram illustrating an example of a schematic configuration of a smart device in which an image sensor according to an embodiment is incorporated.
  • the imaging device 10 is an interchangeable lens camera.
  • the imaging apparatus 10 is a digital camera that includes an imaging apparatus main body 12 and an interchangeable lens 14 that is interchangeably mounted on the imaging apparatus main body 12, and does not include a reflex mirror.
  • the interchangeable lens 14 includes an imaging lens 18 having a focus lens 16 movable in the optical axis direction by manual operation.
  • a hybrid finder 21 is provided in the imaging device main body 12.
  • the hybrid finder 21 here refers to a finder in which, for example, an optical view finder (hereinafter, referred to as “OVF”) and an electronic view finder (hereinafter, referred to as “EVF”) are selectively used.
  • OVF optical view finder
  • EVF electronic view finder
  • the interchangeable lens 14 is interchangeably mounted on the imaging device body 12.
  • the lens barrel of the interchangeable lens 14 is provided with a focus ring 22 used in the manual focus mode.
  • the focus lens 16 moves in the optical axis direction in accordance with the manual rotation operation of the focus ring 22, and the subject light is imaged on an image sensor 20 (see FIG. 3) described later at a focus position corresponding to the subject distance. .
  • a finder window 24 of the OVF included in the hybrid finder 21 is provided on the front surface of the imaging device body 12. Further, a finder switching lever (finder switching unit) 23 is provided on the front surface of the imaging device body 12. When the finder switching lever 23 is rotated in the direction of the arrow SW, switching is made between an optical image that can be visually recognized by the OVF and an electronic image (live view image) that can be visually recognized by the EVF.
  • the optical axis L2 of the OVF is different from the optical axis L1 of the interchangeable lens 14.
  • a release button 25, a dial 28 for setting a mode of an imaging system, a mode of a reproduction system, and the like are provided on an upper surface of the imaging device body 12.
  • the release button 25 functions as an imaging preparation instruction unit and an imaging instruction unit, and can detect a two-stage pressing operation of an imaging preparation instruction state and an imaging instruction state.
  • the imaging preparation instruction state refers to, for example, a state where the image is pressed from the standby position to the intermediate position (half-pressed position), and the imaging instruction state refers to a state where the image is pressed to the final pressed position (fully pressed position) beyond the intermediate position. Point to.
  • the “state of being pressed from the standby position to the half-pressed position” is referred to as “half-pressed state”
  • the “state of being pressed from the standby position to the fully-pressed position” is referred to as “full-pressed state”.
  • an imaging mode and a reproduction mode are selectively set as operation modes in accordance with a user's instruction.
  • a manual focus mode and an auto focus mode are selectively set according to a user's instruction.
  • the auto focus mode the imaging condition is adjusted by pressing the release button 25 halfway, and then exposure is performed by continuously pressing the release button 25 fully. That is, when the release button 25 is half-pressed, the AE (Automatic Exposure) function operates to set the exposure state, and then the AF (Auto-Focus) function operates to perform focus control. When the state is fully pressed, imaging is performed.
  • a touch panel display 30, a cross key 32, a menu key 34, an instruction button 36, and a finder eyepiece 38 are provided on the back surface of the imaging device main body 12.
  • the touch panel display 30 includes a liquid crystal display (hereinafter, referred to as “first display”) 40 and a touch panel 42 (see FIG. 3).
  • first display liquid crystal display
  • touch panel 42 see FIG. 3
  • the first display 40 displays images, character information, and the like.
  • the first display 40 is used to display a live view image (through image) which is an example of a continuous frame image obtained by capturing images in continuous frames in the imaging mode. Further, the first display 40 is also used for displaying a still image which is an example of a single frame image obtained by being imaged in a single frame when a still image imaging instruction is given. Further, the first display 40 is also used for displaying a reproduced image in a reproduction mode and / or for displaying a menu screen or the like.
  • the touch panel 42 is a transmissive touch panel and is superimposed on the surface of the display area of the first display 40.
  • the touch panel 42 detects, for example, a contact by a pointer such as a finger or a stylus pen.
  • the touch panel 42 outputs detection result information indicating a detection result (presence or absence of contact with the pointer on the touch panel 42) at a predetermined cycle (for example, 100 milliseconds) to a predetermined output destination (for example, a later-described CPU 52 (see FIG. 3)). I do.
  • the detection result information includes two-dimensional coordinates (hereinafter, referred to as “coordinates”) that can specify a contact position of the pointer on the touch panel 42 when the touch panel 42 detects contact with the pointer, and the touch panel 42 detects the touch by the pointer. If no contact is detected, no coordinates are included.
  • the cross key 32 functions as a multi-function key that outputs various command signals such as selection of one or a plurality of menus, zooming, and / or frame advance.
  • the menu key 34 has a function as a menu button for giving a command to display one or more menus on the screen of the first display 40, and a function as a command button for giving a command for fixing and executing the selected contents. This is an operation key having both functions.
  • the instruction button 36 is operated to delete a desired target such as a selection item, cancel specified contents, and return to the previous operation state.
  • the imaging device 10 has a still image imaging mode and a moving image imaging mode as operation modes of the imaging system.
  • the still image capturing mode is an operation mode for recording a still image obtained by capturing an image of a subject by the image capturing apparatus 10
  • the moving image capturing mode is an operation mode for recording a moving image obtained by capturing an image of the subject by the image capturing apparatus 10. Mode.
  • the imaging device 10 includes a mount 46 (see also FIG. 1) provided on the imaging device main body 12 and a mount 44 on the interchangeable lens 14 side corresponding to the mount 46.
  • the interchangeable lens 14 is interchangeably mounted on the imaging device body 12 by coupling the mount 44 to the mount 46.
  • the imaging lens 18 includes a slide mechanism 48 and a motor 50.
  • the slide mechanism 48 moves the focus lens 16 along the optical axis L1 when the focus ring 22 is operated.
  • the focus lens 16 is attached to the slide mechanism 48 so as to be slidable along the optical axis L1.
  • a motor 50 is connected to the slide mechanism 48, and the slide mechanism 48 receives the power of the motor 50 to slide the focus lens 16 along the optical axis L1.
  • the motor 50 is connected to the imaging device main body 12 via the mounts 44 and 46, and its driving is controlled according to a command from the imaging device main body 12.
  • a stepping motor is applied as an example of the motor 50. Therefore, the motor 50 operates in synchronization with the pulse power according to a command from the imaging device main body 12.
  • FIG. 3 an example in which the motor 50 is provided in the imaging lens 18 is illustrated, but the invention is not limited thereto, and the motor 50 may be provided in the imaging device main body 12.
  • the imaging device 10 is a digital camera that records a still image and a moving image obtained by imaging a subject.
  • the imaging device main body 12 includes an operation unit 54, an external interface (I / F) 63, and a post-stage circuit 90.
  • the post-stage circuit 90 is a circuit that receives data sent from the image sensor 20.
  • an IC Integrated Circuit
  • LSI Large-Scale Integration
  • the imaging device 10 operates in one of the low-speed mode and the high-speed mode.
  • the low-speed mode refers to an operation mode in which processing is performed at a low frame rate by the post-stage circuit 90.
  • 60 fps (frames @ per @ second) is adopted as the low frame rate.
  • the high-speed mode refers to an operation mode in which the post-stage circuit 90 performs processing at a high frame rate.
  • 240 fps is adopted as the high frame rate.
  • 60 fps is exemplified as the low frame rate and 240 fps is exemplified as the high frame rate, but the technology of the present disclosure is not limited to this.
  • the low frame rate may be 30 fps and the high frame rate may be 120 fps. Thus, it is sufficient that the high frame rate is higher than the low frame rate.
  • the post-stage circuit 90 includes a CPU (Central Processing Unit) 52, an I / F 56, a primary storage unit 58, a secondary storage unit 60, an image processing unit 62, a first display control unit 64, a second display control unit 66, and a position detection unit. 70, and a device control unit 74.
  • a single CPU is illustrated as the CPU 52, but the technology of the present disclosure is not limited to this, and a plurality of CPUs may be employed instead of the CPU 52. That is, various processes executed by the CPU 52 may be executed by one processor or a plurality of physically separated processors.
  • each of the image processing unit 62, the first display control unit 64, the second display control unit 66, the position detection unit 70, and the device control unit 74 is realized by an ASIC (Application / Specific / Integrated / Circuit).
  • ASIC Application / Specific / Integrated / Circuit
  • the technology of the present disclosure is not limited to this.
  • at least one of a PLD (Programmable Logic Device) and an FPGA (Field-Programmable Gate Array) may be employed instead of the ASIC.
  • at least one of an ASIC, a PLD, and an FPGA may be employed.
  • a computer including a CPU, a ROM (Read Only Memory), and a RAM (Random Access Memory) may be employed. The number of CPUs may be singular or plural.
  • at least one of the image processing unit 62, the first display control unit 64, the second display control unit 66, the position detection unit 70, and the device control unit 74 is realized by a combination of a hardware configuration and a software configuration
  • the CPU 52, the I / F 56, the primary storage unit 58, the secondary storage unit 60, the image processing unit 62, the first display control unit 64, the second display control unit 66, the operation unit 54, the external I / F 63, and the touch panel 42 They are interconnected via a bus 68.
  • the CPU 52 controls the entire imaging device 10.
  • the CPU 52 performs the focusing control by controlling the driving of the motor 50 so that the contrast value of the image obtained by the imaging is maximized.
  • the CPU 52 calculates AE information that is a physical quantity indicating the brightness of an image obtained by imaging.
  • the CPU 52 derives a shutter speed and an F value according to the brightness of the image indicated by the AE information. Then, the exposure state is set by controlling the related parts so as to obtain the derived shutter speed and F value.
  • the primary storage unit 58 refers to a volatile memory, for example, a RAM.
  • the secondary storage unit 60 refers to a non-volatile memory, and refers to, for example, a flash memory or an HDD (Hard ⁇ Disk ⁇ Drive).
  • the operation unit 54 is a user interface operated by a user when giving various instructions to the subsequent circuit 90.
  • the operation unit 54 includes a release button 25, a dial 28, a finder switching lever 23, a cross key 32, a menu key 34, and an instruction button 36.
  • Various instructions received by the operation unit 54 are output to the CPU 52 as operation signals, and the CPU 52 executes processing according to the operation signals input from the operation unit 54.
  • the position detecting section 70 is connected to the CPU 52.
  • the position detection unit 70 is connected to the focus ring 22 via the mounts 44 and 46, detects the rotation angle of the focus ring 22, and outputs rotation angle information indicating the detection result to the CPU 52.
  • the CPU 52 executes a process according to the rotation angle information input from the position detection unit 70.
  • the image light indicating the subject is focused on the light receiving surface of the color imaging device 20 via the imaging lens 18 including the focus lens 16 movable by manual operation and the mechanical shutter 72.
  • the device control section 74 is connected to the CPU 52. Further, the device control section 74 is connected to the image sensor 20 and the mechanical shutter 72. Further, the device control unit 74 is connected to the motor 50 of the imaging lens 18 via the mounts 44 and 46.
  • the device control unit 74 controls the image sensor 20, the mechanical shutter 72, and the motor 50 under the control of the CPU 52.
  • the hybrid finder 21 includes an OVF 76 and an EVF 78.
  • the OVF 76 is an inverted Galilean finder having an objective lens 81 and an eyepiece 86
  • the EVF 78 has a second display 80, a prism 84, and an eyepiece 86.
  • a liquid crystal shutter 88 is disposed in front of the objective lens 81.
  • the liquid crystal shutter 88 shields light so that an optical image does not enter the objective lens 81 when the EVF 78 is used.
  • the prism 84 reflects an electronic image or various information displayed on the second display 80 and guides the reflected image to the eyepiece 86, and displays the optical image and the information on the second display 80 (the electronic image and / or various information and the like). Are synthesized.
  • an optical image can be visually recognized by the OVF 76 every time the finder switching lever 23 is rotated, and an electronic image can be visually recognized by the EVF 78.
  • the EVF mode is alternately switched.
  • the second display control unit 66 controls the liquid crystal shutter 88 to be in a non-light-shielded state so that an optical image can be visually recognized from the eyepiece. Further, in the case of the EVF mode, the second display control unit 66 controls the liquid crystal shutter 88 to be in a light-shielding state, so that only the electronic image displayed on the second display 80 can be visually recognized from the eyepiece.
  • the image sensor 20 is an example of the “stacked image sensor” according to the technology of the present disclosure.
  • the image sensor 20 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging device 20 includes a photoelectric conversion element 92, a processing circuit 94, and a memory 96.
  • a processing circuit 94 and a memory 96 are stacked on the photoelectric conversion device 92.
  • the memory 96 is an example of a “storage unit” according to the technology of the present disclosure.
  • the processing circuit 94 is, for example, an LSI, and the memory 96 is, for example, a RAM.
  • the memory 96 is, for example, a RAM.
  • a DRAM is adopted as an example of the memory 96, but the technology of the present disclosure is not limited to this, and may be an SRAM (Static Random Access Memory).
  • the processing circuit 94 is realized by an ASIC, but the technology of the present disclosure is not limited to this.
  • a PLD and an FPGA may be employed instead of the ASIC.
  • at least one of an ASIC, a PLD, and an FPGA may be employed.
  • a computer including a CPU, a ROM, and a RAM may be employed. The number of CPUs may be singular or plural.
  • the processing circuit 94 may be realized by a combination of a hardware configuration and a software configuration.
  • the photoelectric conversion element 92 has a plurality of photosensors arranged in a matrix.
  • a photodiode is employed as an example of a photo sensor.
  • a photodiode for “4896 ⁇ 3265” pixels can be given.
  • the photoelectric conversion element 92 includes a color filter.
  • the color filter includes a G filter corresponding to G (green), an R filter corresponding to R (red), and a B filter (blue). ) Is included.
  • the G filter, the R filter, and the B filter are provided with a predetermined periodicity in each of the row direction (horizontal direction) and the column direction (vertical direction) for the plurality of photodiodes of the photoelectric conversion element 92. Are located. Therefore, the imaging apparatus 10 can perform the processing according to the repetition pattern when performing the synchronization processing of the R, G, and B signals.
  • the synchronization processing refers to processing for calculating all color information for each pixel from a mosaic image corresponding to a color filter array of a single-chip color imaging device.
  • the synchronizing process means a process of calculating all RGB color information for each pixel from a mosaic image of RGB.
  • CMOS image sensor is illustrated as the imaging element 20, but the technology of the present disclosure is not limited to this.
  • the photoelectric conversion element 92 is a CCD (Charge Coupled Device) image sensor, the present invention is not limited thereto. The disclosed technology holds.
  • the image sensor 20 has a so-called electronic shutter function, and controls the charge accumulation time of each photodiode in the photoelectric conversion element 92 by operating the electronic shutter function under the control of the device control unit 74.
  • the charge accumulation time refers to a so-called shutter speed.
  • the processing circuit 94 is controlled by the device control unit 74.
  • the processing circuit 94 reads out captured image data obtained by capturing an image of the subject with the photoelectric conversion element 92.
  • captured image data refers to image data indicating a subject.
  • the captured image data is signal charges stored in the photoelectric conversion element 92. As will be described in detail later, the captured image data is roughly classified into first captured image data and second captured image data.
  • a subject is imaged by a plurality of photodiodes included in one specified partial region among all photodiodes included in the photoelectric conversion element 92.
  • image data obtained as described above is adopted, the technology of the present disclosure is not limited to this.
  • image data obtained by imaging a subject with all the photodiodes in the photoelectric conversion element 92 may be adopted.
  • the processing circuit 94 performs A / D (Analog / Digital) conversion on the captured image data read from the photoelectric conversion element 92.
  • the processing circuit 94 stores the captured image data obtained by performing A / D conversion on the captured image data in the memory 96.
  • the processing circuit 94 acquires the captured image data from the memory 96.
  • the processing circuit 94 outputs processed image data obtained by performing processing on the acquired captured image data to the I / F 56 of the subsequent circuit 90.
  • the processing circuit 94 may output the acquired captured image data itself to the I / F 56 of the subsequent circuit 90, or may output both the captured image data itself and the processed image data to the I / F 56 of the subsequent circuit 90. You may make it output to F56. Further, the processing circuit 94 selectively outputs the captured image data itself and the processed image data to the I / F 56 of the subsequent circuit 90 in accordance with an instruction given by the user or the imaging environment. Is also good.
  • the processing circuit 94 includes a photoelectric conversion element driving circuit 94A, an AD (Analog-to-Digital) conversion circuit 94B, an image processing circuit 94C, and an output circuit 94D. Operate.
  • the photoelectric conversion element driving circuit 94A is connected to the photoelectric conversion element 92 and the AD conversion circuit 94B.
  • the memory 96 is connected to the AD conversion circuit 94B and the image processing circuit 94C.
  • the image processing circuit 94C is connected to the output circuit 94D.
  • the output circuit 94D is connected to the I / F 56 of the post-stage circuit 90.
  • the image processing circuit 94C is an example of a “processing unit” according to the technology of the present disclosure.
  • the output circuit 94D is an example of the “output unit” according to the technology of the present disclosure.
  • the photoelectric conversion element drive circuit 94A controls the photoelectric conversion element 92 under the control of the device control unit 74, and reads analog captured image data from the photoelectric conversion element 92.
  • the AD conversion circuit 94B digitizes the captured image data read by the photoelectric conversion element driving circuit 94A, and stores the digitized captured image data in the memory 96.
  • the imaging device 10 can execute various processes at a plurality of frame rates including the first frame rate and the second frame rate.
  • the first frame rate and the second frame rate are both variable frame rates, and the first frame rate is a higher frame rate than the second frame rate.
  • the image processing circuit 94C performs processing on the captured image data stored in the memory 96.
  • the output circuit 94D outputs the processed image data obtained by being processed by the image processing circuit 94C to the outside of the image sensor 20 at the second frame rate.
  • “outside the image sensor 20” refers to the I / F 56 of the post-stage circuit 90.
  • the imaging element 20 captures an image of the subject at the first frame rate.
  • the reading by the photoelectric conversion element driving circuit 94A, the storage of the captured image data in the memory 96 by the AD conversion circuit 94B, and the processing by the image processing circuit 94C are performed at the first frame rate.
  • the technology is not limited to this.
  • the reading by the photoelectric conversion element driving circuit 94A, the storage of the captured image data in the memory 96 by the AD conversion circuit 94B, and the processing by the image processing circuit 94C at least the processing of the captured image data to the memory 96 by the AD conversion circuit 94B.
  • the storage may be performed at the first frame rate.
  • the reading by the photoelectric conversion element driving circuit 94A the storage of the captured image data in the memory 96 by the AD conversion circuit 94B, and the processing by the image processing circuit 94C
  • the reading by the photoelectric conversion element driving circuit 94A and the AD conversion circuit There is an example in which storage of captured image data in the memory 96 by the 94B is performed at the first frame rate.
  • the image processing circuit 94C converts the compressed image data obtained by being compressed by dividing the first captured image data into a plurality of bit ranges according to the degree of difference between the first captured image data and the second captured image data. Generate.
  • the first captured image data refers to captured image data obtained by capturing a subject by the photoelectric conversion element 92
  • the second captured image data refers to captured image data stored in the memory 96. Point.
  • the captured image data obtained by first capturing the image is the second captured image data
  • the captured image data obtained by capturing the image later is the second captured image data.
  • the first captured image data is the latest captured image data obtained by capturing a subject by the photoelectric conversion element 92
  • the second captured image data is one more than the first captured image data. This is captured image data obtained before the frame.
  • the “plurality of bit ranges” here refers to, for example, an upper bit range and a lower bit range.
  • the upper bit range indicates the upper 6 bits of the 12 bits
  • the lower bit range indicates the lower 6 bits of the 12 bits.
  • the captured image data for one frame is 12 bits
  • the upper bit range means the upper 6 bits of the 12 bits for the pixel value of each pixel
  • the lower bit range means the lower 6 bits of the 12 bits for the pixel value of each pixel. I do.
  • the pixel value is also referred to as “pixel data”.
  • the display device is an example of the “display unit” according to the technology of the present disclosure.
  • display control units when it is not necessary to distinguish the first display control unit 64 and the second display control unit 66 from each other, they will be referred to as “display control units” without reference numerals.
  • the display control unit is an example of a “control unit” according to the technology of the present disclosure.
  • the memory 96 is a memory capable of storing captured image data of two frames or more in a FIFO manner.
  • the description will be given on the assumption that the captured image data of two or more frames has already been stored in the memory 96.
  • the captured image data previously stored in the memory 96 is the second captured image data
  • the captured image data stored in the memory 96 after the data is the first captured image data.
  • the image represented by the first captured image data is referred to as “first captured image”
  • the image represented by the second captured image data is referred to as “second captured image”.
  • the compression processing shown in FIG. 7 is performed by the processing circuit 94 at the first frame rate.
  • the number of bits of one frame of captured image data stored in the memory 96 is set to 12 bits, and the first captured image data is compressed into 7-bit image data. The purpose is to do.
  • the original number of bits of the first captured image data and the second captured image data are both 12 bits.
  • the “original bit number” refers to the bit number of the first captured image data and the second captured image data stored in the memory 96 before the compression processing illustrated in FIG. 7 is performed.
  • 12 bits are an example of a “first bit” according to the technology of the present disclosure
  • 7 bits are an example of a “second bit” according to the technology of the present disclosure.
  • step 100 the image processing circuit 94C reads, from the memory 96, the current pixel data Dn of all the pixels of the first captured image for the line of interest, and then performs the compression processing in step 100.
  • the target line refers to one unused horizontal line among the first to Nth horizontal lines of the captured image data stored in the memory 96.
  • “unused” means that it is not yet used in the processing of step 106 or step 108 described below.
  • the current pixel data Dn refers to pixel data of a pixel included in the first captured image data.
  • the number of bits of the current pixel data Dn read from the memory 96 is 12 bits.
  • the image processing circuit 94C reads, from the memory 96, the previous pixel data Dp of each of all the pixels of the second captured image for the line of interest.
  • the previous pixel data Dp indicates pixel data of a pixel included in the second captured image data.
  • the number of bits of the previous pixel data Dp read from the memory 96 is 12 bits.
  • step 104 the image processing circuit 94C compares the upper n bits of the current pixel data Dn read in step 100 and the previous pixel data Dp read in step 102 for the target pixel. Then, the image processing circuit 94C determines whether or not the upper n bits of the current pixel data Dn and the previous pixel data Dp are different.
  • the “pixel of interest” refers to an unprocessed pixel among all the pixels of the line of interest.
  • An “unprocessed pixel” refers to a pixel that has not yet been processed in step 106 or 108.
  • the upper n bits are the upper 5 bits.
  • the upper 5 bits are values obtained by subtracting 7 bits, which is the number of bits of the compressed image data obtained by compressing the first captured image data, from 12 bits, which is the number of bits of the first captured image data. Is the bit corresponding to
  • step 104 if the upper n bits of the current pixel data Dn and the previous pixel data Dp are the same, the determination is negative and the compression process proceeds to step 106.
  • step 104 if the upper n bits of the current pixel data Dn and the previous pixel data Dp are different, the determination is affirmative, and the compression process proceeds to step 108.
  • the case where the upper n bits of the current pixel data Dn and the previous pixel data Dp are the same means that the subject has not changed.
  • the case where the upper n bits of the current pixel data Dn and the previous pixel data Dp are different means that the subject has changed.
  • step 106 the image processing circuit 94C generates compressed pixel data Do of the lower b bits of the current pixel data Dn for the pixel of interest, and then the compression processing proceeds to step 109.
  • the lower b bits are the lower 7 bits.
  • the reason why the compressed image data Do of lower b bits is generated is to transmit noise information to the subsequent circuit 90.
  • a specific image process may be further performed on the generated lower-order b-bit compressed pixel data Do.
  • step 108 the image processing circuit 94C generates compressed pixel data Do of the upper b bits of the current pixel data Dn for the pixel of interest, and then the compression processing proceeds to step 109.
  • the upper b bits are the upper 7 bits.
  • step 108 more specific image processing may be performed on the generated compressed pixel data Do of the upper b bits.
  • step 106 or step 108 When the processing in step 106 or step 108 is executed, the current pixel data Dn is compressed into compressed pixel data Do, for example, as shown in FIG.
  • the logical product of the exclusive OR of the 12-bit data whose upper 5 bits are “1” and the lower 7 bits is “0” is calculated.
  • “upper 5 bits” is illustrated because the upper 5 bits are used as the upper n bits in step 104.
  • the logic of the 12-bit data in which the upper 7 bits are “1” and the lower 5 bits are “0” and the exclusive OR The product is calculated.
  • the upper [11: 5] bits of the current pixel data Dn are set as the [6: 0] bits of the compressed pixel data Do.
  • the lower [6: 0] bits of the current pixel data Dn are set as the [6: 0] bits of the compressed image data Do.
  • step 109 it is determined whether or not the processing for one line has been completed in steps 104 to 108. In step 109, if the processing for one line has not been completed in steps 104 to 108, the determination is negative and the compression processing proceeds to step 104. In step 109, when the processing for one line is completed in steps 104 to 108, the determination is affirmative, and the compression processing proceeds to step 110.
  • step 110 it is determined whether or not the line of interest has reached the last vertical line of the first captured image data stored in the memory 96. In step 110, if the line of interest has not reached the last vertical line of the first captured image data stored in the memory 96, the determination is negative and the compression process proceeds to step 112. In step 110, if the line of interest has reached the last vertical line of the first captured image data stored in the memory 96, the determination is affirmative and the compression process proceeds to step 114.
  • step 112 the image processing circuit 94C shifts the line of interest by one line in the vertical direction of the first captured image data stored in the memory 96 by incrementing the address of the line of interest by one. Move to 100.
  • step 114 the image processing circuit 94C sets the compressed pixel data Do for all pixels obtained by performing the processing in step 106 or step 108 as compressed image data for one frame, and generates a compressed image for one frame.
  • the data is output to the output circuit 94D, and the image processing circuit 94C ends the compression processing.
  • the compressed image data output by executing the processing of step 114 is “processed image data”, “data based on one bit image data”, and “divided image data” according to the technology of the present disclosure. Data based on the data ".
  • the image processing circuit 94C may perform specific image processing on the compressed image data.
  • processed compressed image data obtained by subjecting the compressed image data to specific image processing is output to the output circuit 94D.
  • the “processed compressed image data” here is an example of “processed image data”, “data based on one bit image data”, and “data based on divided image data” according to the technology of the present disclosure.
  • step 130 the output circuit 94D determines whether or not compressed image data has been input from the image processing circuit 94C.
  • the compressed image data input from the image processing circuit 94C is the compressed image data output in step 114 included in the compression processing shown in FIG.
  • step 130 if the compressed image data is input from the image processing circuit 94C, the determination is affirmative, and the image data output process proceeds to step 132. If it is determined in step 130 that the compressed image data has not been input from the image processing circuit 94C, the determination is negative, and the image data output process proceeds to step 134.
  • step 132 the output circuit 94D outputs the compressed image data input in step 130 to the I / F 56 of the subsequent circuit 90 at the second frame rate, and thereafter, the image data output process proceeds to step 134.
  • the output circuit 94D determines whether or not the image data output processing end condition which is a condition for ending the image data output processing is satisfied.
  • the image data output process end condition includes, for example, a condition that an instruction to end the image data output process has been received by the touch panel 42 and / or the operation unit 54.
  • the image data output process end condition includes, for example, a condition that a predetermined time has passed without the release button 25 being pressed after the image data output process was started.
  • the “predetermined time” indicates, for example, 5 minutes.
  • the predetermined time may be a fixed value or a variable value that can be changed according to an instruction given by the user.
  • step 134 If it is determined in step 134 that the image data output processing end condition is not satisfied, the determination is negative, and the image data output processing proceeds to step 130. In step 134, when the image data output processing end condition is satisfied, the determination is affirmative, and the output circuit 94D ends the image data output processing.
  • reading of one frame of captured image data is started in synchronization with the vertical drive signal, and pixel data is transferred from the first horizontal line to the N (> 1) th horizontal line by the photoelectric conversion element 92. Is read from. Pixel data for one frame read from the photoelectric conversion element 92 is first stored in the memory 96 as current pixel data Dn.
  • the current pixel data Dn for one frame before that has already been stored in the memory 96 becomes the previous pixel data.
  • Dp and the new pixel data is stored in the memory 96 as the current pixel data Dn.
  • the pixel data of the (n-1) -th frame is changed from the current pixel data Dn to the previous pixel data Dp, and the n-th pixel data stored in the memory 96 is changed.
  • the pixel data of the frame becomes the current pixel data Dn.
  • Bit compression refers to, for example, the processing of steps 106 and 108 shown in FIG. 7, that is, the processing of generating compressed pixel data Do from the first captured image.
  • the compressed image data is output from the output circuit 94D to the subsequent circuit 90 by executing the image data output processing shown in FIG. 8 and the compressed image data is input to the CPU 52 and the image processing unit 62. It is assumed that this has been done.
  • step 150 the display control unit determines whether compressed image data has been input from the image processing unit 62. If the compressed image data is not input from the image processing unit 62 in step 150, the determination is negative and the display control process proceeds to step 154. In step 150, when the compressed image data is input from the image processing unit 62, the determination is affirmative, and the display control process proceeds to step 152.
  • step 152 the display control section outputs the compressed image data to the display device as graphic data, and then the display control process proceeds to step 154.
  • the display device displays an image indicated by the compressed image data.
  • step 154 the display control unit determines whether or not a display control process ending condition, which is a condition for ending the display control process, is satisfied.
  • the display control process end condition is, for example, the same condition as the above-described compression process end condition.
  • step 154 If it is determined in step 154 that the display control process end condition is not satisfied, the determination is negative and the display control process proceeds to step 150. In step 154, when the display control process end condition is satisfied, the determination is affirmed, and the display control unit ends the display control process.
  • the image processing circuit 94 ⁇ / b> C stores the first captured image data obtained by capturing the image of the subject by the photoelectric conversion element 92 and the memory 96.
  • the difference from the second captured image data is determined.
  • the “degree of difference” referred to here is, for example, the determination result of step 104.
  • the image processing circuit 94C generates compressed image data obtained by being compressed by dividing the first captured image data into a plurality of bit ranges in accordance with the degree of difference.
  • the output circuit 94D outputs the compressed image data generated by the image processing circuit 94C to the subsequent circuit 90 at the second frame rate.
  • the imaging device 10 outputs the image data to the outside of the image sensor 20 as compared with the case where the first captured image data obtained by imaging is output to the outside of the image sensor 20 as it is. Can be reduced.
  • a frame rate higher than the second frame rate is adopted as the first frame rate.
  • the imaging device 10 converts the compressed image data into a smaller image data than when the image processing circuit 94C performs processing at the same frame rate as the frame rate used for outputting the compressed image data by the output circuit 94D. Can be generated quickly.
  • the second captured image data is image data obtained one frame before the first captured image data.
  • the imaging device 10 according to the first embodiment is different from the imaging device 10 in that the first captured image data and the second captured image data are image data obtained by capturing images at the same time.
  • the degree of difference from the captured image data can be increased.
  • the difference between the first captured image data and the second captured image data is the difference between the first captured image data and the second captured image data in the upper n bits. Degrees.
  • the imaging device 10 according to the first embodiment is different from the case where all the bits of the first captured image data and the second captured image data are compared with each other in the difference between the first captured image data and the second captured image data.
  • the degree can be determined quickly.
  • the first captured image data and the second captured image data are image data having the same number of bits, and the compressed image data is 7 bits smaller than 12 bits.
  • the upper n bits are bits corresponding to the value obtained by subtracting 7 bits from 12 bits, that is, 5 bits.
  • the imaging device 10 compares the first captured image data and the second captured image data with bits irrelevant to the bits of the compressed image data, and compares the first captured image data with the second captured image data.
  • the degree of difference between the first captured image data and the second captured image data can be determined with higher accuracy than when determining the degree of difference from image data.
  • a stacked CMOS image sensor is employed as the imaging device 20.
  • the imaging device 10 according to the first embodiment differs from the imaging device 10 of the type in which the photoelectric conversion element 92 is not stacked on the memory 96 in the difference between the first captured image data and the second captured image data.
  • the degree can be determined quickly.
  • 9-bit compressed image data may be generated from a 16-bit first captured image.
  • the upper n bits used in the process of step 104 shown in FIG. 7 are 7 bits obtained by subtracting 9 bits of the compressed image data from 16 bits of the first captured image.
  • 7-bit compressed image data may be generated from the 14-bit first captured image. In this case, the upper n bits used in the process of step 104 shown in FIG.
  • 7 are 7 bits obtained by subtracting 7 bits of the compressed image data from 14 bits of the first captured image.
  • 7-bit compressed image data may be generated from the 12-bit first captured image.
  • the upper n bits used in the processing of step 104 shown in FIG. 7 are 5 bits obtained by subtracting 7 bits of the compressed image data from 12 bits of the first captured image.
  • 6-bit compressed image data may be generated from the 10-bit first captured image.
  • the upper n bits used in the processing of step 104 shown in FIG. 7 are 4 bits obtained by subtracting 6 bits of the compressed image data from 10 bits of the first captured image.
  • the line of interest is one line, but the technology of the present disclosure is not limited to this.
  • the attention line may be a plurality of lines.
  • the first captured image data and the second captured image data are line-by-line by the image processing circuit 94C.
  • the comparison between the first captured image data and the second captured image data in step 104 shown in FIG. 7 may be performed before the first captured image data for one frame is stored in the memory 96. Good.
  • the first captured image data and the second captured image data each time the first captured image data is read out from the photoelectric conversion element 92 by the processing circuit 94, which is an example of the “reading unit” according to the technology of the present disclosure, are read.
  • the first captured image data is compressed according to the degree of difference from the captured image data in line units.
  • the imaging apparatus 10 can wait for the reading of the first captured image data in frame units, and then quickly perform the compressed image data compared with the case where the degree of difference between the first captured image data and the second captured image data is determined. Can be output.
  • the “degree of difference” here corresponds to, for example, the determination result in step 104 shown in FIG.
  • the “line unit” referred to here may be one line or a plurality of lines.
  • the captured image data one frame before the first captured image data is adopted as the second captured image data, but the technology of the present disclosure is not limited to this.
  • the second captured image data may be captured image data that is a plurality of frames before the first captured image data.
  • a compression process illustrated in FIG. 12 is executed by the image processing circuit 94C instead of the compression process illustrated in FIG.
  • the points are different.
  • the compression process shown in FIG. 12 is different from the compression process shown in FIG. 7 in that it has the process of step 200 and that it has the process of step 202 instead of the process of step 114.
  • step 109 if the determination is affirmative in step 109, the compression processing proceeds to step 200.
  • step 200 the image processing circuit 94C gives a bit range specifying flag to the two most significant bits of one line of the compressed image data Do which is the compressed pixel data Do of all the pixels in the line of interest. Move to.
  • the bit range specifying flag is an example of “bit image specifying information” and “divided image specifying information” according to the technology of the present disclosure.
  • step 200 is executed by the image processing circuit 94C to generate compressed image data to which the bit range specifying flag has been added.
  • the compressed image data generated here is determined according to the degree of difference among a plurality of bits obtained by dividing the first captured image data into a plurality of bit ranges according to the technology of the present disclosure. Data based on the obtained one bit image data ".
  • the compressed image data generated here is “data based on any one of a plurality of divided image data obtained by dividing the first captured image data in a plurality of bit ranges”. It is also an example.
  • the bit range specifying flag is roughly classified into an upper bit specifying flag and a lower bit specifying flag.
  • the upper bit specifying flag indicates a flag that can specify the upper bit compressed image data.
  • the high-order bit compressed image data refers to, for example, one line of compressed image data in which the pixel data of the majority pixel is the high-order b-bit compressed pixel data Do.
  • the lower bit specifying flag indicates a flag that can specify lower bit compressed image data.
  • the lower bit compressed image data refers to, for example, one line of compressed image data in which the pixel data of the majority of the pixels is the lower b bits of compressed pixel data Do.
  • bit compressed image data when it is not necessary to distinguish between the upper bit compressed image data and the lower bit compressed image data, it is referred to as “bit compressed image data”.
  • the upper bit compressed image data and the lower bit compressed image data are examples of “a plurality of bit image data” and “a plurality of divided image data” according to the technology of the present disclosure.
  • the upper bit compressed image data is an example of “upper bit image data” according to the technology of the present disclosure.
  • the lower bit compressed image data is an example of “lower bit image data” according to the technology of the present disclosure.
  • a bit range specifying flag is added to the most significant two bits of the compressed image data of one line of two bytes.
  • a bit range specifying flag is added to the most significant two bits, a synchronization code such as blanking and dummy, and a bit-by-pixel
  • the compressed pixel data Do is continuous. For example, "00" is given as an upper bit specifying flag added to the two most significant bits of the compressed image data for one line shown in FIG. 13, and "01" is given as a lower bit specifying flag, for example.
  • the compressed image data for one line in which “00” is added to the most significant 2 bits is treated as an upper bit compressed image, and the compressed image data for one line in which “01” is added to the most significant 2 bits. Is treated as a lower bit compressed image.
  • step 202 the image processing circuit 94C sets the compressed image data for one frame, which is the compressed image data of a plurality of lines to which the bit range specifying flags are respectively added, and outputs the compressed image data for one frame to the output circuit 94D. Then, the image processing circuit 94C ends the compression processing.
  • the compressed image data output by performing the process of step 202 is based on “processed image data”, “data based on bit image data”, and “based on divided image data” according to the technology of the present disclosure.
  • Data is an example.
  • the image processing circuit 94C may perform specific image processing on the compressed image data.
  • processed compressed image data obtained by subjecting the compressed image data to specific image processing is output to the output circuit 94D.
  • the “processed compressed image data” here is an example of “processed image data”, “data based on one bit image data”, and “data based on divided image data” according to the technology of the present disclosure.
  • the compressed image data includes the upper bit compressed image data and the lower bit obtained by dividing the first captured image data into a plurality of bit ranges.
  • This is one piece of bit-compressed image data determined according to the degree of difference in the compressed image data.
  • the “degree of difference” here is, for example, the result of the determination in step 104 described above.
  • the imaging device 10 can reduce the power consumption associated with the output of the image data as compared with the case where all the bits of the first captured image data are output.
  • the two most significant bits of the compressed image data are bits to which a bit range specifying flag is added.
  • the compressed image data is It is possible to quickly specify which bit compressed image data is based on the data.
  • the processing of steps 104 to 109 is executed, so that compressed image data is generated for each line.
  • the compressed image data has a bit range specifying flag.
  • the imaging device 10 can specify, for each line, which bit compressed image data the compressed image data is.
  • bit range specifying flag may be provided to the least significant two bits of the compressed image data, or a bit range specifying flag may be provided to two specifiable bits in the compressed image data.
  • a specific one bit in the compressed image data may be used as a bit to which a bit range specifying flag is added. In this way, some bits of the compressed image data may be used as bits to which the bit range specifying flag is added.
  • step 104 it is determined whether or not the upper n bits of the current pixel data Dn and the previous pixel data Dp are different, but the technology of the present disclosure is not limited to this.
  • step 104 it may be determined whether or not the difference between the upper n bits between the current pixel data Dn and the previous pixel data Dp satisfies a predetermined condition.
  • the compressed pixel data Do generated by performing the process of step 106 is an example of “data based on lower-order bit image data” according to the technology of the present disclosure.
  • the compressed pixel data Do generated by performing the processing of step 108 is an example of “data based on higher-order bit image data” according to the technology of the present disclosure.
  • the process of step 108 is executed, and the upper n bits of the current pixel data Dn and the previous pixel data Dp are processed. If the absolute value of the difference is less than the threshold, the process of step 106 is performed.
  • the degree of suppression of image quality degradation and the degree of suppression of power consumption are adjusted in accordance with the movement of the subject, as compared with the case where all bits of the first captured image data are output regardless of the movement of the subject.
  • the “difference” here is an example of the “degree of difference” according to the technology of the present disclosure.
  • the threshold may be a fixed value or a variable value that is variable according to an instruction received by the touch panel 42 and / or the operation unit 54.
  • the upper n bits are compared between the current pixel data Dn of the latest frame and the previous pixel data Dp of the previous frame, and compressed pixel data is obtained.
  • the technology of the present disclosure is not limited to this. For example, if the average value of the upper n bits of the current pixel data Dn of the latest frame and the average value of the upper n bits of the previous pixel data Dp one frame before are the same for all the pixels of the line of interest, The process of step 106 may be executed for each of all the pixels of the line of interest.
  • the average value of the upper n bits of the current pixel data Dn of the latest frame and the average value of the upper n bits of the previous pixel data Dp one frame before are different for all the pixels of the target line.
  • the process of step 108 is performed on each of all the pixels on the line of interest.
  • “match” means not only perfect match but also match within an error that is predetermined as an allowable error.
  • the “predetermined error” for example, a value previously derived as an error in which a change in a subject is not visually recognized by a sensory test and / or computer simulation using an actual device is adopted.
  • the process of step 106 may be executed for each of all the pixels in the line.
  • the representative n-bit representative pixel data of the current pixel data Dn of the latest frame is different from the representative n-bit representative pixel data of the previous pixel data Dp one frame before in the target line
  • the process of step 108 is performed for each of all the pixels in the line.
  • the process of step 106 may be performed for each of all the pixels of the line of interest. In this case, if the total of the upper n-bit pixel data of the current pixel data Dn of the latest frame is different from the total of the upper n-bit pixel data of the previous pixel data Dp one frame before in the target line. Then, the process of step 108 is executed for each of all pixels of the line of interest.
  • the compressed image data of one line in which the pixel data of the majority of the pixels is the compressed pixel data Do of the upper b bits is described. It is not limited to this.
  • the compressed image data of the line of interest is replaced with the upper bit compressed image data. It may be. If the average pixel value of the upper n bits of the previous pixel data Dp is different from the average pixel value of the upper n bits of the current pixel data Dn in the target line, the compressed image data of the target line is set as the lower bit compressed image data. Is also good.
  • the compressed image data of the line of interest is , High-order bit compressed image data.
  • the compressed image data of the line of interest is replaced with the lower bit compressed image. It may be data.
  • the compressed image of the line of interest is The data may be upper bit compressed image data. If the total of the upper n-bit pixel data of the previous pixel data Dp and the total of the upper n-bit pixel data of the current pixel data Dn of the line of interest are different, the compressed image data of the line of interest is replaced with the lower bit. It may be compressed image data.
  • upper bit compressed image data and lower bit compressed image data are illustrated as examples of “plurality of bit image data” and “plurality of divided image data” according to the technology of the present disclosure.
  • the disclosed technology is not limited to this.
  • three or more bit compressed image data may be adopted.
  • upper bit compressed image data, middle bit compressed image data, and lower bit compressed image data are given.
  • the upper bit compressed image data, the middle bit compressed image data, and the lower bit compressed image data are obtained by dividing the first captured image data into three bit ranges of an upper bit, a middle bit, and a lower bit.
  • an upper bit specifying flag, a middle bit specifying flag, or a lower bit specifying flag is added to the two most significant bits of the compressed image data of the line of interest.
  • upper bit compressed image data is obtained.
  • middle bit specifying flag By assigning a middle bit specifying flag to the two most significant bits of the compressed image data of the target line, middle bit compressed image data is obtained.
  • lower bit specifying flag By assigning a lower bit specifying flag to the two most significant bits of the compressed image data of the line of interest, lower bit compressed image data is obtained. As described above, when the upper bit specifying flag is “00” and the lower bit specifying flag is “01”, the lower bit specifying flag includes “10” or “11”.
  • the compressed image data shown in step 202 is the compressed image data of a plurality of lines, but it is not necessary to use the compressed image data of each line as it is.
  • the compressed image data shown in step 202 includes, for example, a processed compressed image obtained by performing a specific image process on the compressed image data of at least one of the compressed image data of a plurality of lines. Data may be included.
  • a compression process shown in FIG. 15 is executed by the image processing circuit 94C instead of the compression process shown in FIG. 7 as compared with the imaging device 10 according to the first embodiment.
  • the points are different.
  • step 250 the image processing circuit 94C reads the unprocessed current pixel data Dn of all the pixels of the first captured image from the memory 96, and then the compression processing proceeds to step 252. I do.
  • the “unprocessed current pixel data Dn” refers to the current pixel data Dn that has not been used in the process of step 254 described below.
  • step 252 the image processing circuit 94C reads the unprocessed previous pixel data Dp of all the pixels of the second captured image from the memory 96, and then the compression processing proceeds to step 254.
  • step 254 the image processing circuit 94C compares the upper n bits of the current pixel data Dn read in step 250 and the previous pixel data Dp read in step 252. Then, the image processing circuit 94C determines whether or not the upper n bits of the current pixel data Dn and the previous pixel data Dp are different.
  • step 254 if the upper n bits of the current pixel data Dn and the previous pixel data Dp are the same, the determination is negative and the compression process proceeds to step 256. In step 254, if the upper n bits of the current pixel data Dn and the previous pixel data Dp are different, the determination is affirmative, and the compression process proceeds to step 258.
  • step 256 the image processing circuit 94C generates compressed pixel data Do of the lower b bits of the current pixel data Dn, and then the compression processing proceeds to step 260.
  • step 258 the image processing circuit 94C generates the compressed pixel data Do of the upper b bits of the current pixel data Dn.
  • step 260 the image processing circuit 94C determines whether or not the processing has been completed for all pixels.
  • the image processing circuit 94C determines whether or not the pixel data of all the pixels included in the first captured image and the second captured image has been used in the process of Step 254.
  • step 260 If it is determined in step 260 that the processing has not been completed for all pixels, the determination is negative, and the compression processing proceeds to step 250. If the processing has been completed for all pixels in step 260, the determination is affirmative, and the compression processing proceeds to step 262.
  • step 262 the image processing circuit 94C sets the compressed pixel data Do for all pixels obtained by executing the processing in step 256 or step 258 as compressed image data for one frame, and generates a compressed image for one frame.
  • the data is output to the output circuit 94D, and the image processing circuit 94C ends the compression processing.
  • the compressed image data output by performing the process of step 262 includes “processed image data”, “data based on bit image data”, and “compressed image data based on the divided image data” according to the technology of the present disclosure.
  • Data is an example.
  • the image processing circuit 94C may perform specific image processing on the compressed image data.
  • processed compressed image data obtained by subjecting the compressed image data to specific image processing is output to the output circuit 94D.
  • the “processed compressed image data” here is an example of “processed image data”, “data based on one bit image data”, and “data based on divided image data” according to the technology of the present disclosure.
  • the processing of steps 250 to 258 shown in FIG. 15 is executed for each pixel, and at step 262, the same as in the first embodiment described above.
  • One frame of compressed image data is generated.
  • the imaging device 10 according to the third embodiment outputs the first captured image data obtained by imaging to the outside of the imaging device 20 as it is.
  • the power consumption associated with outputting image data to the outside of the image sensor 20 can be reduced as compared with the case of the first embodiment.
  • a compression process shown in FIG. 16 is executed by the image processing circuit 94C instead of the compression process shown in FIG. The points are different.
  • the compression processing shown in FIG. 16 is different from the compression processing shown in FIG. 15 in that the processing of steps 300 and 302 is performed and that the processing of step 304 is replaced with the processing of step 304.
  • step 256 the compression processing proceeds to step 300.
  • step 300 the image processing circuit 94 ⁇ / b> C assigns a low-order bit specifying flag to the most significant bit of the compressed pixel data Do generated in step 256.
  • the lower bit specifying flag used in step 300 indicates, for example, “0” as shown in FIG.
  • step 302 the image processing circuit 94C gives an upper bit specifying flag to the most significant bit of the compressed pixel data Do generated in step 256, and then the compression processing proceeds to step 260.
  • the upper bit identification flag used in step 302 indicates, for example, "1" as shown in FIG.
  • step 304 the image processing circuit 94C uses the compressed image data of one frame, which is the compressed image data of all the pixels to which the bit range identification flags have been added, and outputs the compressed image data of one frame to the output circuit 94D. Then, the image processing circuit 94C ends the compression processing.
  • the compressed image data output by performing the processing of step 114 is based on “processed image data”, “data based on bit image data”, and “based on divided image data” according to the technology of the present disclosure.
  • Data is an example.
  • the image processing circuit 94C may perform specific image processing on the compressed image data.
  • processed compressed image data obtained by subjecting the compressed image data to specific image processing is output to the output circuit 94D.
  • the “processed compressed image data” here is an example of “processed image data”, “data based on one bit image data”, and “data based on divided image data” according to the technology of the present disclosure.
  • the bit range identification flag is added to the compressed image data in units of one line, whereas the imaging device 10 according to the fourth embodiment In, a bit range specifying flag is added to the compressed pixel data Do in units of one pixel.
  • the imaging device 10 can specify, for each pixel, which bit range of the plurality of bit ranges the compressed pixel data Do belongs to.
  • pixel data is compared for each line
  • pixel data is compared for each pixel.
  • the first captured image data and the second captured image data may be compared on a frame-by-frame basis.
  • the first captured image data is divided into a plurality of bit ranges according to the degree of difference between the first captured image data and the second captured image data for each frame.
  • Compressed image data may be generated.
  • compressed image data for each frame may be generated in accordance with the degree of difference of the upper n bits between the first captured image data and the second captured image data for each frame.
  • the upper bit compressed image data is generated.
  • the current pixel data Dn and the previous pixel data Dp match for more than a majority of all the pixels, lower bit compressed image data is generated.
  • bit range specifying flag may be added to the compressed image data for each frame.
  • whether or not the current pixel data Dn and the previous pixel data Dp are different is determined according to the difference between the current pixel data Dn and the previous pixel data Dp. It is not limited to this.
  • the captured image data of the first frame is not output to the I / F 56 of the subsequent circuit 90.
  • the technology of the present disclosure is not limited to this. Not limited.
  • the first captured image data is output to the I / F 56 of the subsequent circuit 90 by the output circuit 94D before the second captured image data is stored in the memory 96. It may be output.
  • the first captured image data which is the captured image data of the first frame, is output to the I / F 56 of the post-stage circuit 90 as it is.
  • a specific bit of the first captured image data is output by the output circuit 94D.
  • Data based on the image data belonging to the range may be output to the I / F 56 of the post-stage circuit 90.
  • the output circuit 94D outputs the upper n bits of the first captured image data, which is the captured image data of the first frame, to the I / F 56 of the subsequent circuit 90 as compressed image data. do it.
  • image data obtained by subjecting the upper n bits of the first captured image data, which is the captured image data of the first frame, to specific image processing is output to the I / F 56 of the subsequent circuit 90 as compressed image data. It may be.
  • the output circuit 94D when imaging of a live view image or a moving image for recording is started, before the second captured image data is stored in the memory 96, the output circuit 94D outputs the reference image data and the first captured image data.
  • Alternative compressed image data may be output according to the degree of difference. Thereby, the power consumption associated with the output of the image data by the output circuit 94D is reduced as compared with the case where the first captured image data itself is output before the second captured image data is stored in the memory 96.
  • the reference image data refers to image data determined in advance as image data to substitute for the second captured image data.
  • An example of the predetermined image data is image data indicating a black-level image visually perceived as black.
  • the substitute compressed image data refers to compressed image data obtained by compressing the first captured image data by dividing the first captured image data into the plurality of bit ranges described above.
  • the difference between the reference image data and the first captured image data may be a difference between the reference image data and the first captured image data, or the upper n bits of the reference image data and the first captured image data. It may be a difference or the like.
  • the output circuit 94 ⁇ / b> D stores the second captured image data in the memory 96.
  • the first captured image data itself may be output before the first image data is output.
  • the output circuit 94D outputs the compressed image data to the I / F 56 of the subsequent circuit 90.
  • the first captured image data itself is output by the output circuit 94D before the second captured image data is stored in the memory 96, and after the second frame, Compressed image data is being output.
  • a delay in the output of the image data by the output circuit 94D is avoided.
  • the output circuit 94D When the still image is continuously captured at a predetermined time interval by the photoelectric conversion element 92, the output circuit 94D outputs the first captured image data before the second captured image data is stored in the memory 96. May be output.
  • image data belonging to a predetermined bit range of the first captured image data image data of upper n bits of the first captured image data can be cited.
  • a time interval determined according to the vertical drive signal is used as the “predetermined time interval”.
  • An example of the time interval determined according to the vertical drive signal is 16.667 ms corresponding to 60 fps.
  • the compressed image data may be stored in the secondary storage unit 60 by the CPU 52 in the subsequent circuit 90, or may be output to the outside of the imaging device 10 via the external I / F 63. Is also good.
  • the processing circuit 94 in which the ASIC is realized has been illustrated.
  • the above-described compression processing and image data output processing may be realized by a software configuration using a computer.
  • a program 600 for causing the computer 20A built in the image sensor 20 to execute the above-described compression processing and image data output processing is stored in the storage medium 700.
  • the computer 20A includes a CPU 20A1, a ROM 20A2, and a RAM 20A3.
  • the program 600 of the storage medium 700 is installed in the computer 20A, and the CPU 20A1 of the computer 20A executes the above-described compression processing and image data output processing according to the program 600.
  • a single CPU is illustrated as the CPU 20A1, but the technology of the present disclosure is not limited to this, and a plurality of CPUs may be employed instead of the CPU 20A1. That is, the above-described compression processing and / or image data output processing may be executed by one processor or a plurality of physically separated processors.
  • an example of the storage medium 700 is an arbitrary portable storage medium such as an SSD (Solid State Drive) or a USB (Universal Serial Bus) memory.
  • SSD Solid State Drive
  • USB Universal Serial Bus
  • the program 600 is stored in a storage unit such as another computer or a server device connected to the computer 20A via a communication network (not shown), and the program 600 is downloaded in response to a request from the imaging device 10 or the like. You may make it. In this case, the downloaded program 600 is executed by the computer 20A.
  • the computer 20A may be provided outside the image sensor 20. In this case, the computer 20A may control the processing circuit 94 according to the program 600.
  • the various processes described in the above embodiments include a compression process, an image data output process, and a display control process.
  • examples of the processor include a CPU that is a general-purpose processor that functions as a hardware resource that executes various processes according to the technology of the present disclosure by executing software, that is, a program, as described above.
  • the processor includes, for example, a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as an FPGA, a PLD, or an ASIC.
  • Each processor has a built-in or connected memory, and each processor executes various processes by using the memory.
  • the hardware resources that execute various processes according to the technology of the present disclosure may be configured by one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a plurality of processors). (A combination of an FPGA or a combination of a CPU and an FPGA).
  • the hardware resource that executes various processes according to the technology of the present disclosure may be a single processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor is disclosed in the present disclosure. There is a mode that functions as a hardware resource that executes various processes according to the technology.
  • SoC System-on-a-chip
  • the functions of the entire system including a plurality of hardware resources that execute various processes according to the technology of the present disclosure are implemented by one IC chip.
  • circuit elements such as semiconductor elements are combined can be used.
  • the interchangeable lens camera is exemplified as the imaging device 10, but the technology of the present disclosure is not limited to this.
  • the technology of the present disclosure may be applied to a smart device 900 illustrated in FIG.
  • the smart device 900 illustrated in FIG. 24 is an example of an imaging device according to the technology of the present disclosure.
  • the imaging device 20 described in the above embodiment is mounted on the smart device 900. Even with the smart device 900 configured as described above, the same operations and effects as those of the imaging device 10 described in each of the above embodiments can be obtained.
  • the technology of the present disclosure is applicable not only to the smart device 900 but also to a personal computer or a wearable terminal device.
  • the first display 40 and the second display 80 are illustrated as the display devices, but the technology of the present disclosure is not limited thereto.
  • a separate display attached to the imaging device body 12 may be used as the “display unit” according to the technology of the present disclosure.
  • a and / or B has the same meaning as “at least one of A and B”. That is, “A and / or B” means that only A may be used, only B may be used, or a combination of A and B may be used. Also, in the present specification, the same concept as “A and / or B” is applied to a case where three or more matters are expressed by being connected by “and / or”.

Abstract

撮像素子は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、撮像素子に内蔵された記憶部と、撮像画像データに対して処理を施す処理部と、処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、前記撮像素子に内蔵された出力部と、を含み、処理部は、撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する。

Description

撮像素子、撮像装置、画像データ処理方法、及びプログラム
　本開示の技術は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。
　特開平６－２０４８９１号公報には、ランレングス符号を用いたデータ圧縮方法が開示されている。特開平６－２０４８９１号公報に記載のデータ圧縮方法では、先ず、順次入力するＬビットの画像データの連続する二つのデータをビット単位で比較して、一致を“０”、不一致を“１”とするビット列からなる差分データを求める。次に、差分データの上位ビットからの“０”連続数を求めてＷ＝［「ｌｏｇ２Ｌ」＋１］ビット幅（但し「」はＧａｕｓｓの記号）のランレングス符号に変換する。そして、差分データ中の“０”連続数＋１ビットを除く下位ビットをランレングス符号の後に付加したものを圧縮データとして出力する。
　しかしながら、撮像素子に含まれる光電変換素子により被写体が撮像されて得られた画像データを撮像素子の外部に出力してから、撮像素子の外部にて特許文献１に記載のデータ圧縮方法を用いて画像データの圧縮処理が行われる場合、撮像素子から外部に出力される画像データは、圧縮処理前の画像データなので、撮像素子の外部への画像データの出力に伴う消費電力の増大が懸念される。
　本発明の一つの実施形態は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる撮像素子、撮像装置、画像データ処理方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像画像データに対して処理を施し、かつ、撮像素子に内蔵された処理部と、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、かつ、撮像素子に内蔵された出力部と、を含み、処理部は、撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、処理部で生成された圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する、撮像素子である。
　従って、本開示の技術に係る第１の態様の撮像素子は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第２の態様は、第１フレームレートは、第２フレームレートよりも高いフレームレートである、第１の態様に係る撮像素子である。
　従って、本開示の技術に係る第２の態様の撮像素子は、出力部による圧縮画像データの出力に用いられるフレームレートと同じフレームレートで撮像される場合に比べ、圧縮画像データを迅速に生成することができる。
　本開示の技術に係る第３の態様は、第２撮像画像データは、撮像されることで得られた第１撮像画像データよりも１フレーム以上前に得られた画像データである、第１の態様又は第２の態様に係る撮像素子である。
　従って、本開示の技術に係る第３の態様の撮像素子は、第１撮像画像データと第２撮像画像データとが同時に撮像されて得られた画像データである場合に比べ、相違度を大きくすることができる。
　本開示の技術に係る第４の態様は、相違度は、読出部により第１撮像画像データがライン単位で読み出される毎の第１撮像画像データと第２撮像画像データとのライン単位での相違度である、第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第４の態様の撮像素子は、フレーム単位で第１撮像画像データが読み出されるのを待ってから第１撮像画像データと第２撮像画像データとの相違度が定まる場合に比べ、迅速に圧縮画像データを出力することができる。
　本開示の技術に係る第５の態様は、相違度は、第１撮像画像データと第２撮像画像データとの既定上位ビットについての相違度である、第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第５の態様の撮像素子は、第１撮像画像データと第２撮像画像データとの全ビットを比較する場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。
　本開示の技術に係る第６の態様は、第１撮像画像データ及び第２撮像画像データは、互いにビット数が揃った画像データであり、圧縮画像データは、第１撮像画像データのビット数である第１ビットよりも小さな第２ビットの画像データであり、既定上位ビットは、第１ビットから第２ビットを減じることで得た値に相当するビットである、第５の態様に係る撮像素子である。
　従って、本開示の技術に係る第６の態様の撮像素子は、圧縮画像データのビットとは無関係なビットで第１撮像画像データと第２撮像画像データとを比較して第１撮像画像データと第２撮像画像データとの相違度を定める場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を高精度に定めることができる。
　本開示の技術に係る第７の態様は、圧縮画像データは、第１撮像画像データが複数のビット範囲で分割されることにより得られた複数のビット画像データのうちの相違度に応じて定められた１つのビット画像データに基づくデータである、第１の態様から第６の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第７の態様の撮像素子は、第１撮像画像データの全ビットを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第８の態様は、複数のビット画像データは、上位ビット画像データ及び下位ビット画像データであり、圧縮画像データは、相違度が既定条件を満たす場合に、上位ビット画像データに基づくデータを有し、相違度が既定条件を満たさない場合に、下位ビット画像データに基づくデータを有する、第７の態様に係る撮像素子である。
　従って、本開示の技術に係る第８の態様の撮像素子は、被写体の動きに拘らず第１撮像画像データの全ビットを出力する場合に比べ、画質低下の抑制の度合いと消費電力の低減の度合いとを被写体の動きに合わせて調整することができる。
　本開示の技術に係る第９の態様は、圧縮画像データの一部のビットは、圧縮画像データが複数のビット画像データのうちの何れのビット画像データに基づくデータであるのかを特定可能なビット画像特定情報が付与されるビットである、第７の態様又は第８の態様に係る撮像素子である。
　従って、本開示の技術に係る第９の態様の撮像素子は、圧縮画像データの出力タイミングとは異なるタイミングでビット画像特定情報を出力する場合に比べ、圧縮画像データが複数のビット画像データのうちの何れのビット画像データに基づくデータであるのかを迅速に特定することができる。
　本開示の技術に係る第１０の態様は、圧縮画像データは、ライン単位の画像データであり、第１撮像画像データが複数のビット範囲で分割されることにより得られた複数の分割画像データのうちの何れかの分割画像データに基づくデータであるのかを特定可能な分割画像特定情報を有する、第１の態様から第９の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第１０の態様の撮像素子は、ライン単位で、圧縮画像データが何れの分割画像データに基づくデータであるのかを特定することができる。
　本開示の技術に係る第１１の態様は、出力部は、動画像用の撮像が開始された場合、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データを外部に出力する、第１の態様から第１０の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第１１の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前であっても、出力部による画像データの出力が滞ることを回避することができる。
　本開示の技術に係る第１２の態様は、出力部は、動画像用の撮像が開始された場合、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データのうちの特定のビット範囲に属する画像データに基づくデータを外部に出力する、第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第１２の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データそのものを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第１３の態様は、出力部は、動画像用の撮像が開始された場合、記憶部に第２撮像画像データが記憶される前に、第２撮像画像データに代替する画像データとして予め定められた画像データと第１撮像画像データとの相違度に応じて、第１撮像画像データが複数のビット範囲で分割されることで圧縮されて得られた代替圧縮画像データを外部に出力する、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第１３の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データそのものを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第１４の態様は、出力部は、既定の時間間隔で静止画用の撮像が連続的に行われる場合、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データ又は第１撮像画像データのうちの既定ビット範囲に属する画像データを外部に出力し、記憶部に第２撮像画像データが記憶されたことを条件に、圧縮画像データを外部に出力する、第１の態様から第１３の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第１４の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データそのものを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第１５の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第１の態様から第１４の態様の何れか１つの態様に係る撮像素子である。
　従って、本開示の技術に係る第１５の態様の撮像素子は、光電変換素子に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。
　本開示の技術に係る第１６の態様は、本開示の技術に係る第１の態様から第１５の態様の何れか１つの態様に係る撮像素子と、撮像素子に含まれる出力部により出力された圧縮画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む、撮像装置である。
　従って、本開示の技術に係る第１６の態様の撮像装置は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第１７の態様は、記憶部と、処理部と、出力部とが内蔵された撮像素子の画像データ処理方法であって、記憶部に対して、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶させ、処理部に対して、撮像画像データに対して処理を施させ、出力部に対して、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力させ、処理部に対して、撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成させ、出力部に対して、処理部で生成された圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力させることを含む、画像データ処理方法。
　従って、本開示の技術に係る第１７の態様の画像データ処理方法は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第１８の態様は、コンピュータを、記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる処理部及び出力部として機能させるためのプログラムであって、記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、処理部は、撮像画像データに対して処理を施し、出力部は、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、処理部は、光電変換素子により撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、処理部で生成された圧縮画像データを処理済画像データとして第２フレームレートで外部に出力する、プログラムである。
　従って、本開示の技術に係る第１８の態様のプログラムは、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。
　本開示の技術に係る第１９の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、撮像画像データに対して処理を施し、かつ、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、プロセッサは、撮像されることで得られた第１撮像画像データとメモリに記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、生成した圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する、撮像素子である。
　本発明の一つの実施形態によれば、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる、という効果が得られる。
第１～第４実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１～第４実施形態に係る撮像装置の背面側を示す背面図である。 第１～第４実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１～第４実施形態に係る撮像装置にハイブリッドファインダーの構成の一例を示す概略構成図である。 第１～第４実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 第１～第４実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 第１実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 第１～第４実施形態に係る画像データ出力処理の流れの一例を示すフローチャートである。 第１～第４実施形態に係る表示制御処理の流れの一例を示すフローチャートである。 圧縮画素データの生成方法の一例の説明に供する説明図である。 上位ｎビットの決定方法の一例の説明に供する説明図である。 第２実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 １ライン分の圧縮画像データの構成の一例を示す概略構成図である。 １ライン分の圧縮画像データの構成の変形例を示す概略構成図である。 第３実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 第４実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 圧縮画素データに対するビット範囲特定フラグの付与方法の一例を示す概略構成図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第１の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第２の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第３の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第４の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第５の例を示す状態遷移図である。 実施形態に係るプログラムが記憶された記憶媒体から、実施形態に係るプログラムが撮像素子にインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。
　以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
　［第１実施形態］
　一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ１４は、手動操作により光軸方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。
　また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ　ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ　ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。
　交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。
　撮像装置本体１２の前面には、ハイブリッドファインダー２１に含まれるＯＶＦのファインダー窓２４が設けられている。また、撮像装置本体１２の前面には、ファインダー切替えレバー（ファインダー切替え部）２３が設けられている。ファインダー切替レバー２３を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている。
　なお、ＯＶＦの光軸Ｌ２は、交換レンズ１４の光軸Ｌ１とは異なる光軸である。また、撮像装置本体１２の上面には、レリーズボタン２５、撮像系のモード、及び再生系のモード等の設定用のダイヤル２８が設けられている。
　レリーズボタン２５は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
　本第１実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２５が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２５が半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ－Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタン２５を全押し状態にすると撮像が行われる。
　一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０、十字キー３２、メニューキー３４、指示ボタン３６、及びファインダー接眼部３８が設けられている。
　タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２（図３参照）を備えている。
　第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及び／又はメニュー画面等の表示にも用いられる。
　タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル４２は、検知結果（タッチパネル４２に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ５２（図３参照））に出力する。検知結果情報は、タッチパネル４２が指示体による接触を検知した場合、タッチパネル４２上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル４２が指示体による接触を検知していない場合、座標を含まない。
　十字キー３２は、１つ又は複数のメニューの選択、ズーム及び／又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー３４は、第１ディスプレイ４０の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン３６は、選択項目など所望の対象の消去、指定内容の取消し、及び１つ前の操作状態に戻す場合に等に操作される。
　撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られ静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。
　一例として図３に示すように、撮像装置１０は、撮像装置本体１２に備えられたマウント４６（図１も参照）と、マウント４６に対応する交換レンズ１４側のマウント４４と、を含む。交換レンズ１４は、マウント４６にマウント４４が結合されることにより撮像装置本体１２に交換可能に装着される。
　撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。
　モータ５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ５０の一例として、ステッピングモータを適用している。従って、モータ５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ５０は撮像装置本体１２に設けられていてもよい。
　撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本第１実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。
　撮像装置１０は、低速モードと高速モードとの何れかの動作モードで動作する。低速モードとは、後段回路９０により低フレームレートで処理が行われる動作モードを指す。本第１実施形態では、低フレームレートとして、６０ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）が採用されている。
　これに対し、高速モードとは、後段回路９０により高フレームレートで処理が行われる動作モードを指す。本第１実施形態では、高フレームレートとして、２４０ｆｐｓが採用されている。
　なお、本第１実施形態では、低フレームレートとして６０ｆｐｓが例示され、高フレームレートとして２４０ｆｐｓが例示されているが、本開示の技術はこれに限定されない。低フレームレートが３０ｆｐｓであり、高フレームレートが１２０ｆｐｓであってもよい。このように、高フレームレートが低フレームレートよりも高ければよい。
　後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本第１実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ５２によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。
　なお、本第１実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。
　ＣＰＵ５２は、撮像装置１０の全体を制御する。本第１実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ５２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、レリーズボタン２５が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。
　一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）を指す。
　操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、レリーズボタン２５、ダイヤル２８、ファインダー切替レバー２３、十字キー３２、メニューキー３４、及び指示ボタン３６を含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。
　位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。
　撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。
　デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ５０に接続されている。
　デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ５０を制御する。
　一例として図４に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。
　また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。
　プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される（電子像及び／又は各種情報とを合成する。
　ここで、ファインダー切替レバー２３を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
　第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。
　撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図５に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層されている。なお、メモリ９６は、本開示の技術に係る「記憶部」の一例である。
　処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本第１実施形態では、メモリ９６の一例として、ＤＲＡＭが採用されているが、本開示の技術はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）であってもよい。
　本第１実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本第１実施形態は、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。
　光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本第１実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。
　なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。
　撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
　処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。詳しくは後述するが、撮像画像データは、第１撮像画像データと第２撮像画像データとに大別される。
　また、本第１実施形態では、撮像画像データの一例として、光電変換素子９２に含まれる全てのフォトダイオードのうち、指定された１つの部分領域に含まれる複数のフォトダイオードにより被写体が撮像されることで得られた画像データを採用しているが、本開示の技術はこれに限定されない。例えば、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されることで得られた画像データを採用してもよい。
　処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡ／Ｄ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得する。処理回路９４は、取得した撮像画像データに対して処理を施すことで得た処理済み画像データを後段回路９０のＩ／Ｆ５６に出力する。
　なお、以下では、説明の便宜上、処理回路９４が処理済み画像データを後段回路９０のＩ／Ｆ５６に出力する形態例を挙げて説明するが、本開示の技術はこれに限定されない。例えば、処理回路９４は、取得した撮像画像データそのものを後段回路９０のＩ／Ｆ５６に出力するようにしてもよいし、撮像画像データそのもの、及び処理済み画像データの双方を後段回路９０のＩ／Ｆ５６に出力するようにしてもよい。また、ユーザから与えられた指示、又は、撮像環境に応じて、処理回路９４により、撮像画像データそのもの、及び処理済み画像データが選択的に後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。
　一例として図６に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ（Ａｎａｌｏｇ－ｔｏ－Ｄｉｇｉｔａｌ）変換回路９４Ｂ、画像処理回路９４Ｃ、及び出力回路９４Ｄを含み、ＣＰＵ５２の制御下で動作する。光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。
　なお、画像処理回路９４Ｃは、本開示の技術に係る「処理部」の一例である。また、出力回路９４Ｄは、本開示の技術に係る「出力部」の一例である。
　光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で、光電変換素子９２を制御し、光電変換素子９２からアナログの撮像画像データを読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。
　撮像装置１０では、第１フレームレート及び第２フレームレートを含む複数のフレームレートで各種処理が実行可能とされている。第１フレームレート及び第２フレームレートは共に可変なフレームレートであり、第１フレームレートは、第２フレームレートよりも高いフレームレートである。
　画像処理回路９４Ｃは、メモリ９６に記憶されている撮像画像データに対して処理を施す。出力回路９４Ｄは、画像処理回路９４Ｃにより処理が施されることで得られた処理済み画像データを第２フレームレートで撮像素子２０の外部に出力する。ここで言う「撮像素子２０の外部」とは、後段回路９０のＩ／Ｆ５６を指す。
　なお、撮像素子２０では、第１フレームレートで被写体が撮像される。撮像素子２０では、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理が、第１フレームレートで行われるが、本開示の技術はこれに限定されない。例えば、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、少なくともＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶が第１フレームレートで行われるようにしてもよい。この場合、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、光電変換素子駆動回路９４Ａによる読み出し、及びＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶が第１フレームレートで行われる、という形態例が挙げられる。
　画像処理回路９４Ｃは、第１撮像画像データと第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成する。
　ここで、第１撮像画像データとは、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを指し、第２撮像画像データとは、メモリ９６に記憶された撮像画像データを指す。換言すると、被写体が撮像された時期が前後する一対の撮像画像データのうち先に撮像されて得られた撮像画像データが第２撮像画像データであり、後に撮像されて得られた撮像画像データが第１撮像画像データである。本第１実施形態において、第１撮像画像データは、被写体が光電変換素子９２により撮像されて得られた最新の撮像画像データであり、第２撮像画像データは、第１撮像画像データよりも１フレーム前に得られた撮像画像データである。
　また、ここで言う「複数のビット範囲」とは、例えば、上位ビット範囲と下位ビット範囲とを指す。１フレーム分の撮像画像データが１２ビットの場合、上位ビット範囲とは、１２ビットのうちの上位６ビットを指し、下位ビット範囲とは、１２ビットのうちの下位６ビットを指す。ここで言う「１フレーム分の撮像画像データが１２ビット」とは、各画素が１２ビットの画素値を有することを意味する。よって、上位ビット範囲とは、各画素の画素値について、１２ビットのうちの上位６ビットを意味し、下位ビット範囲とは、各画素の画素値について、１２ビットのうちの下位６ビットを意味する。なお、以下では、画素値を「画素データ」とも称する。
　次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。
　なお、以下では、説明の便宜上、第１ディスプレイ４０及び第２ディスプレイ８０を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第１表示制御部６４及び第２表示制御部６６を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。表示制御部は、本開示の技術に係る「制御部」の一例である。
　また、以下では、説明の便宜上、表示装置に対してライブビュー画像を表示させる場合について説明する。また、以下では、説明の便宜上、メモリ９６が２フレーム分以上の撮像画像データをＦＩＦＯ方式で記憶可能なメモリであることを前提として説明する。また、以下では、説明の便宜上、メモリ９６には、２フレーム以上の撮像画像データが既に記憶されていることを前提として説明する。また、以下の説明において、メモリ９６に記憶された時期が前後する２フレームの撮像画像データのうち、メモリ９６に先に記憶された撮像画像データが第２撮像画像データであり、第２撮像画像データの次にメモリ９６に記憶された撮像画像データが第１撮像画像データである。なお、以下では、第１撮像画像データにより示される画像を「第１撮像画像」と称し、第２撮像画像データにより示される画像を「第２撮像画像」と称する。
　先ず、処理回路９４の画像処理回路９４Ｃが１フレーム分の圧縮画像データを生成する場合に画像処理回路９４Ｃによって実行される圧縮処理について図７を参照して説明する。
　なお、図７に示す圧縮処理では、処理回路９４によって第１フレームレートで行われる。また、説明の便宜上、図７に示す圧縮処理では、メモリ９６に記憶されている１フレーム分の撮像画像データのビット数を１２ビットとし、第１撮像画像データを、７ビットの画像データに圧縮することを目的とする。また、第１撮像画像データ及び第２撮像画像データの元のビット数はいずれも１２ビットである。ここで言う「元のビット数」とは、図７に示す圧縮処理が実行される前にメモリ９６に記憶されている第１撮像画像データ及び第２撮像画像データのビット数を指す。また、図７に示す圧縮処理において、１２ビットは、本開示の技術に係る「第１ビット」の一例であり、７ビットは、本開示の技術に係る「第２ビット」の一例である。
　図７に示す圧縮処理では、先ず、ステップ１００で、画像処理回路９４Ｃは、注目ラインについて、第１撮像画像の全画素の各々の現画素データＤｎをメモリ９６から読み出し、その後、圧縮処理はステップ１０２へ移行する。ここで、注目ラインとは、メモリ９６に記憶されている撮像画像データの１番目～Ｎ番目の水平ラインのうちの未使用の１つの水平ラインを指す。ここで言う「未使用」とは、後述のステップ１０６又はステップ１０８の処理に未だに使用されていないことを意味する。現画素データＤｎとは、第１撮像画像データに含まれる画素の画素データを指す。メモリ９６から読み出される現画素データＤｎのビット数は１２ビットである。
　ステップ１０２で、画像処理回路９４Ｃは、注目ラインについて、第２撮像画像の全画素の各々の前画素データＤｐをメモリ９６から読み出し、その後、圧縮処理はステップ１０４へ移行する。前画素データＤｐとは、第２撮像画像データに含まれる画素の画素データを指す。メモリ９６から読み出される前画素データＤｐのビット数は１２ビットである。
　ステップ１０４で、画像処理回路９４Ｃは、注目画素について、ステップ１００で読み出した現画素データＤｎとステップ１０２で読み出した前画素データＤｐとの上位ｎビットを比較する。そして、画像処理回路９４Ｃは、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なるか否かを判定する。ここで、「注目画素」とは、注目ラインの全画素のうちの未処理の画素を指す。「未処理の画素」とは、未だにステップ１０６又はステップ１０８の処理対象とされていない画素を指す。
　ここで言う「上位ｎビット」は、本開示の技術に係る既定上位ビットの一例である。本ステップ１０４において、上位ｎビットは、上位５ビットである。ここでの上位５ビットは、第１撮像画像データのビット数である１２ビットから、第１撮像画像データを圧縮して得られる圧縮画像データのビット数である７ビットを減じることで得た値に相当するビットである。
　ステップ１０４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが同じ場合は、判定が否定されて、圧縮処理はステップ１０６へ移行する。ステップ１０４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なる場合は、判定が肯定されて、圧縮処理はステップ１０８へ移行する。
　ここで、現画素データＤｎと前画素データＤｐとの上位ｎビットが同じ場合とは、被写体が変化していない場合を意味する。これに対し、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なる場合とは、被写体が変化した場合を意味する。
　ステップ１０６で、画像処理回路９４Ｃは、注目画素について、現画素データＤｎの下位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ１０９へ移行する。本ステップ１０６において、下位ｂビットは、下位７ビットである。ここで、下位ｂビットの圧縮画像データＤｏを生成するのは、ノイズ情報を後段回路９０に伝えるためである。
　なお、本ステップ１０６では、生成された下位ｂビットの圧縮画素データＤｏに対して更に特定の画像処理が施されるようにしてもよい。
　ステップ１０８で、画像処理回路９４Ｃは、注目画素について、現画素データＤｎの上位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ１０９へ移行する。本ステップ１０８において、上位ｂビットは、上位７ビットである。
　なお、本ステップ１０８では、生成された上位ｂビットの圧縮画素データＤｏに対して更に特定の画像処理が施されるようにしてもよい。
　ステップ１０６又はステップ１０８の処理が実行されると、現画素データＤｎは、例えば、図１０に示すように、圧縮画素データＤｏに圧縮される。
　図１０に示す例では、先ず、１２ビットの現画素データＤｎと１２ビットの前画素データＤｐとの排他的論理和が算出される。
　次に、上位５ビットが“１”で、下位７ビットが“０”の１２ビットデータと、排他的論理和との論理積が算出される。ここでは「上位５ビット」を例示しているが、これは、ステップ１０４において上位ｎビットとして上位５ビットが使用されているからである。仮に、例えば、ステップ１０４において上位ｎビットとして上位７ビットが使用されていれば、上位７ビットが“１”で、下位５ビットが“０”の１２ビットデータと、排他的論理和との論理積が算出される。
　そして、算出された論理積が“０”でない場合は、現画素データＤｎの上位［１１：５］のビットを圧縮画素データＤｏの［６：０］のビットとする。算出された論理積が“０”の場合は、現画素データＤｎの下位［６：０］のビットを圧縮画像データＤｏの［６：０］のビットとする。
　ステップ１０９で、ステップ１０４～ステップ１０８で１ライン分の処理が終了したか否かを判定する。ステップ１０９において、ステップ１０４～ステップ１０８で１ライン分の処理が終了していない場合は、判定が否定されて、圧縮処理はステップ１０４へ移行する。ステップ１０９において、ステップ１０４～ステップ１０８で１ライン分の処理が終了した場合は、判定が肯定されて、圧縮処理はステップ１１０へ移行する。
　ステップ１１０で、メモリ９６に記憶されている第１撮像画像データの垂直方向の最終ラインに注目ラインが到達しているか否かを判定する。ステップ１１０において、メモリ９６に記憶されている第１撮像画像データの垂直方向の最終ラインに注目ラインが到達していない場合は、判定が否定されて、圧縮処理はステップ１１２へ移行する。ステップ１１０において、メモリ９６に記憶されている第１撮像画像データの垂直方向の最終ラインに注目ラインが到達している場合は、判定が肯定されて、圧縮処理はステップ１１４へ移行する。
　ステップ１１２で、画像処理回路９４Ｃは、注目ラインのアドレスを１インクリメントすることで、メモリ９６に記憶されている第１撮像画像データの垂直方向に注目ラインを１ラインずらし、その後、圧縮処理はステップ１００へ移行する。
　ステップ１１４で、画像処理回路９４Ｃは、ステップ１０６又はステップ１０８の処理が実行されることで得られた全画素についての圧縮画素データＤｏを１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。
　なお、本ステップ１１４の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　また、本ステップ１１４において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　次に、処理回路９４の出力回路９４Ｄによって実行される画像データ出力処理について図８を参照して説明する。
　図８に示す画像データ出力処理では、先ず、ステップ１３０で、出力回路９４Ｄは、画像処理回路９４Ｃから圧縮画像データが入力されたか否かを判定する。本ステップ１３０において、画像処理回路９４Ｃから入力される圧縮画像データは、図７に示す圧縮処理に含まれるステップ１１４で出力された圧縮画像データである。
　ステップ１３０において、画像処理回路９４Ｃから圧縮画像データが入力された場合は、判定が肯定されて、画像データ出力処理はステップ１３２へ移行する。ステップ１３０において、画像処理回路９４Ｃから圧縮画像データが入力されていない場合は、判定が否定されて、画像データ出力処理はステップ１３４へ移行する。
　ステップ１３２で、出力回路９４Ｄは、ステップ１３０で入力された圧縮画像データを第２フレームレートで後段回路９０のＩ／Ｆ５６に出力し、その後、画像データ出力処理はステップ１３４へ移行する。
　ステップ１３４で、出力回路９４Ｄは、画像データ出力処理を終了する条件である画像データ出力処理終了条件を満足したか否かを判定する。画像データ出力処理終了条件としては、例えば、画像データ出力処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。また、画像データ出力処理終了条件としては、例えば、画像データ出力処理が開始されてからレリーズボタン２５が押されることなく、予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、５分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。
　ステップ１３４において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ１３０へ移行する。ステップ１３４において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。
　図７に示す圧縮処理及び図８に示す画像データ出力処理が処理回路９４によって実行されることで、一例として図１８に示すように画像データが遷移する。
　図１８に示す例では、垂直駆動信号に同期して１フレーム分の撮像画像データの読み出しが開始され、１番目の水平ラインからＮ（＞１）番目の水平ラインにかけて画素データが光電変換素子９２から読み出される。光電変換素子９２から読み出された１フレーム分の画素データは、先ず、現画素データＤｎとしてメモリ９６に記憶される。
　次に、光電変換素子９２から１フレーム分の画素データが読み出されてメモリ９６への記憶が開始されると、メモリ９６に既に記憶されている１フレーム前の現画素データＤｎは前画素データＤｐとなり、新たな画素データが現画素データＤｎとしてメモリ９６に記憶される。例えば、ｎフレーム目の画素データのメモリ９６への記憶が開始されると、ｎ－１フレーム目の画素データは、現画素データＤｎから前画素データＤｐに変更され、メモリ９６に記憶されたｎフレーム目の画素データが現画素データＤｎとなる。そして、前フレームの第２撮像画像と現フレームの第１撮像画像とが比較され、第１撮像画像がビット圧縮される。ビット圧縮とは、例えば図７に示すステップ１０６，１０８の処理、すなわち、第１撮像画像から圧縮画素データＤｏを生成する処理を指す。
　次に、後段回路９０の表示制御部によって実行される表示制御処理について図９を参照して説明する。なお、ここでは、説明の便宜上、図８に示す画像データ出力処理が実行されることで出力回路９４Ｄから圧縮画像データが後段回路９０に出力され、圧縮画像データがＣＰＵ５２及び画像処理部６２に入力されたことを前提として説明する。
　図９に示す表示制御処理では、ステップ１５０で、表示制御部は、画像処理部６２から圧縮画像データが入力されたか否かを判定する。ステップ１５０において、画像処理部６２から圧縮画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ１５４へ移行する。ステップ１５０において、画像処理部６２から圧縮画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ１５２へ移行する。
　ステップ１５２で、表示制御部は、圧縮画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ１５４へ移行する。本ステップ１５２の処理が実行されることで圧縮画像データが表示装置に出力されると、表示装置は、圧縮画像データにより示される画像を表示する。
　ステップ１５４で、表示制御部は、表示制御処理を終了する条件である表示制御処理終了条件を満足したか否かを判定する。表示制御処理終了条件は、例えば、上述した圧縮処理終了条件と同じ条件である。
　ステップ１５４において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ１５０へ移行する。ステップ１５４において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。
　以上説明したように、本第１実施形態に係る撮像装置１０では、画像処理回路９４Ｃにより、被写体が光電変換素子９２により撮像されることで得られた第１撮像画像データとメモリ９６に記憶された第２撮像画像データとの相違度が決定される。ここで言う「相違度」は、例えば、ステップ１０４の判定結果である。また、画像処理回路９４Ｃにより、相違度に応じて、第１撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データが生成される。そして、出力回路９４Ｄにより、画像処理回路９４Ｃで生成された圧縮画像データが第２フレームレートで後段回路９０に出力される。
　従って、本第１実施形態に係る撮像装置１０は、撮像されて得られた第１撮像画像データをそのまま撮像素子２０の外部に出力する場合に比べ、撮像素子２０の外部への画像データの出力に伴う消費電力を低減することできる。
　また、本第１実施形態に係る撮像装置１０では、第１フレームレートとして、第２フレームレートよりも高いフレームレートが採用されている。
　従って、本第１実施形態に係る撮像装置１０は、出力回路９４Ｄによる圧縮画像データの出力に用いられるフレームレートと同じフレームレートで画像処理回路９４Ｃによって処理が行われる場合に比べ、圧縮画像データを迅速に生成することができる。
　また、本第１実施形態に係る撮像装置１０では、第２撮像画像データが、第１撮像画像データよりも１フレーム前に得られた画像データである。
　従って、本第１実施形態に係る撮像装置１０は、第１撮像画像データと第２撮像画像データとが同時に撮像されて得られた画像データである場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を大きくすることができる。
　また、本第１実施形態に係る撮像装置１０では、第１撮像画像データと第２撮像画像データとの相違度が、第１撮像画像データと第２撮像画像データとの上位ｎビットについての相違度である。
　従って、本第１実施形態に係る撮像装置１０は、第１撮像画像データと第２撮像画像データとの全ビットを比較する場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。
　また、本第１実施形態に係る撮像装置１０では、第１撮像画像データ及び第２撮像画像データは、互いにビット数が揃った画像データであり、圧縮画像データは、１２ビットよりも小さな７ビットであり、上位ｎビットは、１２ビットから７ビットを減じることで得た値に相当するビット、すなわち、５ビットである。
　従って、本第１実施形態に係る撮像装置１０は、圧縮画像データのビットとは無関係なビットで第１撮像画像データと第２撮像画像データとを比較して第１撮像画像データと第２撮像画像データとの相違度を定める場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を高精度に定めることができる。
　更に、本第１実施形態に係る撮像装置１０では、撮像素子２０として積層型ＣＭＯＳイメージセンサが採用されている。
　従って、本第１実施形態に係る撮像装置１０は、光電変換素子９２がメモリ９６に積層されていないタイプの撮像素子を用いる場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。
　なお、上記第１実施形態では、メモリ９６に記憶されている１フレーム分の第１撮像画像データのビット数を１２ビットとし、７ビットの圧縮画像データを生成する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１１に示すように、１６ビットの第１撮像画像から９ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１６ビットから圧縮画像データの９ビットを減じて得た７ビットである。また、１４ビットの第１撮像画像から７ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１４ビットから圧縮画像データの７ビットを減じて得た７ビットである。また、１２ビットの第１撮像画像から７ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１２ビットから圧縮画像データの７ビットを減じて得た５ビットである。更に、１０ビットの第１撮像画像から６ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１０ビットから圧縮画像データの６ビットを減じて得た４ビットである。
　また、上記第１実施形態では、注目ラインを１ラインとしたが、本開示の技術はこれに限定されない。例えば、注目ラインを複数ラインとしてもよい。
　また、上記第１実施形態では、１フレーム分の第１及び第２撮像画像データがメモリ９６に記憶されてから画像処理回路９４Ｃによりライン単位で第１撮像画像データと第２撮像画像データとが比較される形態例を挙げて説明したが、本開示の技術はこれに限定されない。つまり、図７に示すステップ１０４での第１撮像画像データと第２撮像画像データとの比較は、１フレーム分の第１撮像画像データがメモリ９６に記憶される前に行われるようにしてもよい。
　この場合、例えば、光電変換素子９２から、本開示の技術に係る「読出部」の一例である処理回路９４により第１撮像画像データがライン単位で読み出される毎の第１撮像画像データと第２撮像画像データとのライン単位での相違度に応じて、第１撮像画像データが圧縮される。これにより、撮像装置１０は、フレーム単位で第１撮像画像データが読み出されるのを待ってから第１撮像画像データと第２撮像画像データとの相違度が定まる場合に比べ、迅速に圧縮画像データを出力することができる。なお、ここで言う「相違度」とは、例えば、図７に示すステップ１０４での判定結果に相当する。また、ここで言う「ライン単位」は、１ラインであってもよいし、複数ラインであってもよい。
　また、上記第１実施形態では、第２撮像画像データとして第１撮像画像データの１フレーム前の撮像画像データが採用されているが、本開示の技術はこれに限定されない。例えば、第２撮像画像データは、第１撮像画像データの複数フレーム前の撮像画像データであってもよい。
　［第２実施形態］
　上記第１実施形態では、単に注目ライン毎に圧縮画素データＤｏが生成される形態例を挙げて説明したが、本第２実施形態では、１ライン毎に上位ビットの圧縮画像データなのか、下位ビットの圧縮画像データなのかを特定可能な形態例について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
　本第２実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、画像処理回路９４Ｃにより、図７に示す圧縮処理に代えて図１２に示す圧縮処理が実行される点が異なる。
　そこで、画像処理回路９４Ｃによって実行される本第２実施形態に係る圧縮処理について図１２を参照して説明する。
　図１２に示す圧縮処理は、図７に示す圧縮処理に比べ、ステップ２００の処理を有する点、及び、ステップ１１４の処理に代えてステップ２０２の処理を有する点が異なる。
　図１２に示す圧縮処理では、ステップ１０９において判定が肯定された場合、圧縮処理はステップ２００へ移行する。
　ステップ２００で、画像処理回路９４Ｃは、注目ラインの全画素の圧縮画素データＤｏである１ライン分の圧縮画像データの最上位２ビットにビット範囲特定フラグを付与し、その後、圧縮処理はステップ１１０へ移行する。なお、ビット範囲特定フラグは、本開示の技術に係る「ビット画像特定情報」及び「分割画像特定情報」の一例である。
　画像処理回路９４Ｃにより本ステップ２００の処理が実行されることで、ビット範囲特定フラグが付与された圧縮画像データが生成される。なお、ここで生成された圧縮画像データは、本開示の技術に係る「第１撮像画像データが複数のビット範囲で分割されることにより得られた複数のビットのうちの相違度に応じて定められた１つのビット画像データに基づくデータ」の一例である。また、ここで生成された圧縮画像データは、「第１撮像画像データが複数のビット範囲で分割されることにより得られた複数の分割画像データのうちの何れかの分割画像データに基づくデータ」の一例でもある。
　ビット範囲特定フラグは、上位ビット特定フラグと下位ビット特定フラグとに大別される。上位ビット特定フラグとは、上位ビット圧縮画像データを特定可能なフラグを指す。上位ビット圧縮画像データとは、例えば、過半数の画素の画素データが上位ｂビットの圧縮画素データＤｏである１ライン分の圧縮画像データを指す。下位ビット特定フラグとは、下位ビット圧縮画像データを特定可能なフラグを指す。下位ビット圧縮画像データとは、例えば、過半数の画素の画素データが下位ｂビットの圧縮画素データＤｏである１ライン分の圧縮画像データを指す。以下では、説明の便宜上、上位ビット圧縮画像データと下位ビット圧縮画像データとを区別して説明する必要がない場合、「ビット圧縮画像データ」と称する。
　なお、上位ビット圧縮画像データ及び下位ビット圧縮画像データは、本開示の技術に係る「複数のビット画像データ」及び「複数の分割画像データ」の一例である。また、上位ビット圧縮画像データは、本開示の技術に係る「上位ビット画像データ」の一例である。更に、下位ビット圧縮画像データは、本開示の技術に係る「下位ビット画像データ」の一例である。
　図１３に示す例では、２バイトの１ライン分の圧縮画像データの最上位２ビットにビット範囲特定フラグが付与されている。一例として図１３に示す１ライン分の圧縮画像データでは、最上位２ビットに、ビット範囲特定フラグが付与され、ビット範囲特定フラグに続いてブランキング及びダミー等の同期コード、及び、画素毎の圧縮画素データＤｏが連なっている。図１３に示す１ライン分の圧縮画像データの最上位２ビットに付与される上位ビット特定フラグとしては、例えば、“００”が挙げられ、下位ビット特定フラグとしては、例えば、“０１”が挙げられる。つまり、最上位２ビットに“００”が付与された１ライン分の圧縮画像データは、上位ビット圧縮画像として扱われ、最上位２ビットに“０１”が付与された１ライン分の圧縮画像データは、下位ビット圧縮画像として扱われる。
　ステップ２０２で、画像処理回路９４Ｃは、ビット範囲特定フラグが各々付与された複数ラインの圧縮画像データである１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。
　なお、本ステップ２０２の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　また、本ステップ２０２において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　以上説明したように、本第２実施形態に係る撮像装置１０では、圧縮画像データは、第１撮像画像データが複数のビット範囲で分割されることで得られた上位ビット圧縮画像データ及び下位ビット圧縮画像データのうちの相違度に応じて定められた１つのビット圧縮画像データである。ここで言う「相違度」は、例えば、上記ステップ１０４の判定結果である。
　従って、本第２実施形態に係る撮像装置１０は、第１撮像画像データの全ビットを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。
　また、撮像装置１０では、圧縮画像データの最上位２ビットを、ビット範囲特定フラグが付与されるビットとされている。
　従って、本第２実施形態に係る撮像装置１０は、圧縮画像データの出力タイミングとは異なるタイミングでビット範囲特定フラグを後段回路９０に出力する場合に比べ、後段回路９０にて、圧縮画像データが何れのビット圧縮画像データに基づくデータであるのかを迅速に特定することができる。
　更に、本第２実施形態に係る撮像装置１０では、ステップ１０４～ステップ１０９の処理が実行されることで、１ライン毎に圧縮画像データが生成される。そして、圧縮画像データは、ビット範囲特定フラグを有する。
　従って、本第２実施形態に係る撮像装置１０は、１ライン毎に、圧縮画像データが何れのビット圧縮画像データであるのかを特定することができる。
　なお、上位第２実施形態では、圧縮画像データの最上位２ビットにビット範囲特定フラグが付与される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データの最下位２ビットにビット範囲特定フラグが付与されるようにしてもよいし、圧縮画像データ内の特定可能な２ビットにビット範囲特定フラグが付与されるようにしてもよい。また、例えば、圧縮画像データ内のうちの特定の１ビットを、ビット範囲特定フラグが付与されるビットとして用いてもよい。このように、圧縮画像データの一部のビットがビット範囲特定フラグの付与されるビットとして用いられるようにすればよい。
　また、上記第２実施形態では、ステップ１０４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なるか否かが判定されているが、本開示の技術はこれに限定されない。ステップ１０４では、現画素データＤｎと前画素データＤｐとの上位ｎビットの相違度が既定条件を満たしているか否かが判定されるようにしてもよい。この場合、ステップ１０６の処理が実行されることで生成される圧縮画素データＤｏは、本開示の技術に係る「下位ビット画像データに基づくデータ」の一例である。また、ステップ１０８の処理が実行されることで生成される圧縮画素データＤｏは、本開示の技術に係る「上位ビット画像データに基づくデータ」の一例である。
　例えば、現画素データＤｎと前画素データＤｐとの上位ｎビットの差分の絶対値が閾値以上の場合、ステップ１０８の処理が実行され、現画素データＤｎと前画素データＤｐとの上位ｎビットの差分の絶対値が閾値未満の場合、ステップ１０６の処理が実行される。これにより、被写体の動きに拘らず第１撮像画像データの全ビットが出力される場合に比べ、画質の低下の抑制の度合いと消費電力の抑制の度合いとが被写体の動きに合わせて調整される。なお、ここで言う「差分」は本開示の技術に係る「相違度」の一例である。ここで言う「閾値以上の場合」は、本開示の技術に係る「既定条件を満たす場合」の一例であり、「閾値未満の場合」は、本開示の技術に係る「既定条件を満たさない場合」の一例である。閾値は、固定値であってもよいし、タッチパネル４２及び／又は操作部５４によって受け付けられた指示に応じて可変な可変値であってもよい。
　また、上記第２実施形態では、注目ラインの全画素の各々について最新のフレームの現画素データＤｎと１フレーム前の前画素データＤｐとの間で上位ｎビットの比較を行って圧縮画素データを生成したが、本開示の技術はこれに限定されない。例えば、注目ラインの全画素を対象として、最新のフレームの現画素データＤｎの上位ｎビットの平均値と１フレーム前の前画素データＤｐの上位ｎビットの平均値とが一致していれば、注目ラインの全画素の各々に対してステップ１０６の処理が実行されるようにしてもよい。また、この場合、注目ラインの全画素を対象として、最新のフレームの現画素データＤｎの上位ｎビットの平均値と１フレーム前の前画素データＤｐの上位ｎビットの平均値とが異なっていれば、注目ラインの全画素の各々に対してステップ１０８の処理が実行される。
　なお、本実施形態において、「一致」とは、完全一致のみならず、許容される誤差として予め定められた誤差内での一致も意味する。ここで言う「予め定められた誤差」としては、例えば、実機を用いた官能試験及び／又はコンピュータ・シミュレーション等により、被写体の変化が視認されない誤差として予め導き出された値が採用される。
　また、例えば、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの代表画素データと１フレーム前の前画素データＤｐの上位ｎビットの代表画素データとが一致していれば、注目ラインの全画素の各々に対してステップ１０６の処理が実行されるようにしてもよい。また、この場合、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの代表画素データと１フレーム前の前画素データＤｐの上位ｎビットの代表画素データとが異なっていれば、注目ラインの全画素の各々に対してステップ１０８の処理が実行される。
　更に、例えば、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの画素データの総計と１フレーム前の前画素データＤｐの上位ｎビットの画素データの総計とが一致していれば、注目ラインの全画素の各々に対してステップ１０６の処理が実行されるようにしてもよい。また、この場合、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの画素データの総計と１フレーム前の前画素データＤｐの上位ｎビットの画素データの総計とが異なっていれば、注目ラインの全画素の各々に対してステップ１０８の処理が実行される。
　また、上記第２実施形態では、上位ビット圧縮画像データとして、過半数の画素の画素データが上位ｂビットの圧縮画素データＤｏである１ライン分の圧縮画像データを例示したが、本開示の技術はこれに限定されない。例えば、注目ラインにおいて前画素データＤｐの上位ｎビットの平均値と現画素データＤｎの上位ｎビットの平均値とが一致している場合に、注目ラインの圧縮画像データを、上位ビット圧縮画像データとしてもよい。また、注目ラインにおいて前画素データＤｐの上位ｎビットの平均画素値と現画素データＤｎの上位ｎビットの平均画素値とが異なる場合に、注目ラインの圧縮画像データを、下位ビット圧縮画像データとしてもよい。
　また、例えば、注目ラインのうちの前画素データＤｐの上位ｎビットの代表画素データと現画素データＤｎの上位ｎビットの代表画素データとが一致している場合に、注目ラインの圧縮画像データを、上位ビット圧縮画像データとしてもよい。また、注目ラインのうちの前画素データＤｐの上位ｎビットの代表画素データと現画素データＤｎの上位ｎビットの代表画素データとが異なる場合に、注目ラインの圧縮画像データを、下位ビット圧縮画像データとしてもよい。
　更に、例えば、注目ラインのうちの前画素データＤｐの上位ｎビットの画素データの総計と現画素データＤｎの上位ｎビットの画素データの総計とが一致している場合に、注目ラインの圧縮画像データを、上位ビット圧縮画像データとしてもよい。また、注目ラインのうちの前画素データＤｐの上位ｎビットの画素データの総計と現画素データＤｎの上位ｎビットの画素データの総計とが異なる場合に、注目ラインの圧縮画像データを、下位ビット圧縮画像データとしてもよい。
　また、上記第２実施形態では、本開示の技術に係る「複数のビット画像データ」及び「複数の分割画像データ」の一例として上位ビット圧縮画像データ及び下位ビット圧縮画像データを例示したが、本開示の技術はこれに限定されない。本開示の技術に係る「複数のビット画像データ」及び「複数の分割画像データ」として３つ以上のビット圧縮画像データを採用してもよい。
　この場合、例えば、上位ビット圧縮画像データ、中位ビット圧縮画像データ、及び下位ビット圧縮画像データが挙げられる。上位ビット圧縮画像データ、中位ビット圧縮画像データ、及び下位ビット圧縮画像データは、第１撮像画像データが、上位ビット、中位ビット、及び下位ビットの３つのビット範囲で分割されることにより得られる。この場合、例えば、図１４に示すように、注目ラインの圧縮画像データの最上位２ビットに対して、上位ビット特定フラグ、中位ビット特定フラグ、又は下位ビット特定フラグが付与される。注目ラインの圧縮画像データの最上位２ビットに対して上位ビット特定フラグが付与されることで上位ビット圧縮画像データが得られる。注目ラインの圧縮画像データの最上位２ビットに対して中位ビット特定フラグが付与されることで中位ビット圧縮画像データが得られる。注目ラインの圧縮画像データの最上位２ビットに対して下位ビット特定フラグが付与されることで下位ビット圧縮画像データが得られる。なお、上述したように、上位ビット特定フラグが“００”であり、下位ビット特定フラグが“０１”の場合、下位ビット特定フラグとしては、“１０”又は“１１”が挙げられる。
　また、上記第２実施形態では、上記ステップ２０２に示す圧縮画像データは、複数ラインの圧縮画像データであるが、各ラインの圧縮画像データをそのまま使う必要はない。上記ステップ２０２に示す圧縮画像データには、例えば、複数ラインの圧縮画像データのうちの少なくとも１つのラインの圧縮画像データに対して特定の画像処理が施されることで得られた処理済み圧縮画像データが含まれていても良い。
　［第３実施形態］
　上記第１及び第２実施形態では、１ライン単位で画素データが比較される形態例を挙げて説明したが、本第３実施形態では、１画素毎に画素データが比較される場合について説明する。なお、本第３実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
　本第３実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、画像処理回路９４Ｃにより、図７に示す圧縮処理に代えて図１５に示す圧縮処理が実行される点が異なる。
　そこで、画像処理回路９４Ｃによって実行される本第３実施形態に係る圧縮処理について図１５を参照して説明する。
　図１５に示す圧縮処理では、ステップ２５０で、画像処理回路９４Ｃは、第１撮像画像の全画素のうちの未処理の現画素データＤｎをメモリ９６から読み出し、その後、圧縮処理はステップ２５２へ移行する。ここで言う「未処理の現画素データＤｎ」とは、後述のステップ２５４の処理で未だに用いられていない現画素データＤｎを指す。
　ステップ２５２で、画像処理回路９４Ｃは、第２撮像画像の全画素のうちの未処理の前画素データＤｐをメモリ９６から読み出し、その後、圧縮処理はステップ２５４へ移行する。
　ステップ２５４で、画像処理回路９４Ｃは、ステップ２５０で読み出した現画素データＤｎとステップ２５２で読み出した前画素データＤｐとの上位ｎビットを比較する。そして、画像処理回路９４Ｃは、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なるか否かを判定する。
　ステップ２５４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが同じ場合は、判定が否定されて、圧縮処理はステップ２５６へ移行する。ステップ２５４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なる場合は、判定が肯定されて、圧縮処理はステップ２５８へ移行する。
　ステップ２５６で、画像処理回路９４Ｃは、現画素データＤｎの下位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ２６０へ移行する。
　ステップ２５８で、画像処理回路９４Ｃは、現画素データＤｎの上位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ２６０へ移行する。
　ステップ２６０で、画像処理回路９４Ｃは、全画素について処理が終了した否かを判定する。本ステップ２６０では、例えば、画像処理回路９４Ｃは、第１撮像画像及び第２撮像画像に含まれる全ての画素の画素データがステップ２５４の処理で用いられた否かを判定する。
　ステップ２６０において、全画素について処理が終了していない場合は、判定が否定されて、圧縮処理はステップ２５０へ移行する。ステップ２６０において、全画素について処理が終了した場合は、判定が肯定されて、圧縮処理はステップ２６２へ移行する。
　ステップ２６２で、画像処理回路９４Ｃは、ステップ２５６又はステップ２５８の処理が実行されることで得られた全画素についての圧縮画素データＤｏを１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。
　なお、本ステッ２６２の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　また、本ステップ２６２において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　以上説明したように、本第３実施形態に係る撮像装置１０では、図１５に示すステップ２５０～ステップ２５８の処理が１画素毎に実行され、ステップ２６２にて、上記第１実施形態と同様に１フレーム分の圧縮画像データが生成される。
　従って、本第３実施形態に係る撮像装置１０でも、上記第１実施形態に係る撮像装置１０と同様に、撮像されて得られた第１撮像画像データをそのまま撮像素子２０の外部に出力する場合に比べ、撮像素子２０の外部への画像データの出力に伴う消費電力を低減することできる。
　［第４実施形態］
　上記第３実施形態では、単に注目画素の圧縮画素データＤｏを生成する形態例を挙げて説明したが、本第４実施形態では、画素毎に上位ビットの圧縮画素データか下位ビットの圧縮画素データかを特定可能な形態例について説明する。なお、本第４実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。
　本第４実施形態に係る撮像装置１０は、上記第３実施形態に係る撮像装置１０に比べ、画像処理回路９４Ｃにより、図１５に示す圧縮処理に代えて図１６に示す圧縮処理が実行される点が異なる。
　そこで、画像処理回路９４Ｃによって実行される本第４実施形態に係る圧縮処理について図１６を参照して説明する。
　図１６に示す圧縮処理は、図１５に示す圧縮処理に比べ、ステップ３００，３０２の処理を有する点、及び、ステップ２６２の処理に代えてステップ３０４の処理を有する点が異なる。
　図１６に示す圧縮処理では、ステップ２５６の処理が実行された後、圧縮処理はステップ３００へ移行する。
　ステップ３００で、画像処理回路９４Ｃは、ステップ２５６で生成した圧縮画素データＤｏの最上位ビットに下位ビット特定フラグを付与し、その後、圧縮処理はステップ２６０へ移行する。本ステップ３００で用いられる下位ビット特定フラグとは、例えば、図１７に示すように“０”を指す。
　ステップ３０２で、画像処理回路９４Ｃは、ステップ２５６で生成した圧縮画素データＤｏの最上位ビットに上位ビット特定フラグを付与し、その後、圧縮処理はステップ２６０へ移行する。本ステップ３０２で用いられる上位ビット特定フラグとは、例えば、図１７に示すように“１”を指す。
　なお、図１７に示す例では、下位ビット特定フラグとして“０”が例示され、上位ビット特定フラグとして“１”が例示されているが、本開示の技術はこれに限定されない。例えば、下位ビット特定フラグとして“１”を採用し、上位ビット特定フラグとして“０”を採用してもよい。
　ステップ２６０において判定が肯定されると、圧縮処理はステップ３０４へ移行する。ステップ３０４で、画像処理回路９４Ｃは、ビット範囲特定フラグが各々付与された全画素の圧縮画像データである１フレーム分の圧縮画像データをとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。
　なお、本ステップ１１４の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　また、本ステップ３０４において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。
　以上説明したように、上記第３実施形態に係る撮像装置１０では、１ライン単位で圧縮画像データに対してビット範囲特定フラグが付与されるのに対し、本第４実施形態に係る撮像装置１０では、１画素単位で圧縮画素データＤｏに対してビット範囲特定フラグが付与される。
　従って、本第４実施形態に係る撮像装置１０は、１画素毎に、圧縮画素データＤｏが複数のビット範囲のうちの何れのビット範囲に属しているかを特定することができる。
　なお、上記第１及び第２実施形態では、１ライン単位で画素データが比較され、上記第３及び第４実施形態では、１画素毎に画素データが比較されたが、本開示の技術はこれに限定されず、１フレーム単位で第１撮像画像データと第２撮像画像データとが比較されるようにしてもよい。この場合、例えば、１フレーム毎に、第１撮像画像データと第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより、１フレーム毎の圧縮画像データが生成されるようにしてもよい。また、１フレーム毎に第１撮像画像データと第２撮像画像データとの上位ｎビットの相違度に応じて１フレーム毎の圧縮画像データが生成されるようにしてもよい。
　この場合、例えば、全画素のうちの過半数を超える画素について現画素データＤｎと前画素データＤｐとが異なる場合に、上位ビット圧縮画像データが生成される。また、全画素のうちの過半数を超える画素について現画素データＤｎと前画素データＤｐとが一致する場合に、下位ビット圧縮画像データが生成される。
　また、この場合、１フレーム単位で、圧縮画像データに対してビット範囲特定フラグが付与されるようにしてもよい。
　上記各実施形態では、現画素データＤｎと前画素データＤｐとの差分に応じて現画素データＤｎと前画素データＤｐとが異なるか否かが判定されるようにしたが、本開示の技術はこれに限定されない。現画素データＤｎ及び前画素データＤｐの一方に対する他方の割合、現画素データＤｎと前画素データＤｐとの和、及び現画素データＤｎと前画素データＤｐとの積に応じて現画素データＤｎと前画素データＤｐとが異なるか否かが判定されるようにしてもよい。また、画素単位での比較に限らず、第１撮像画像及び第２撮像画像を対象としたライン単位での比較でも、フレーム単位での比較でも同様のことが言える。
　上記各実施形態では、ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、１フレーム目の撮像画像データが後段回路９０のＩ／Ｆ５６に出力されないが、本開示の技術はこれに限定されない。ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、メモリ９６に第２撮像画像データが記憶される前に、出力回路９４Ｄにより第１撮像画像データが後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。図１９に示す例では、１フレーム目の撮像画像データである第１撮像画像データがそのまま後段回路９０のＩ／Ｆ５６に出力されている。これにより、メモリ９６に第２撮像画像データが記憶される前であっても、出力回路９４Ｄによる画像データの出力の滞りが回避される。
　また、ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、メモリ９６に第２撮像画像データが記憶される前に、出力回路９４Ｄにより、第１撮像画像データのうちの特定のビット範囲に属する画像データに基づくデータが後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。例えば、図２０に示すように、出力回路９４Ｄにより、１フレーム目の撮像画像データである第１撮像画像データの上位ｎビットが圧縮画像データとして後段回路９０のＩ／Ｆ５６に出力されるようにすればよい。また、１フレーム目の撮像画像データである第１撮像画像データの上位ｎビットに対して特定の画像処理が施された画像データが圧縮画像データとして後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。
　これにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力される場合に比べ、出力回路９４Ｄによる画像データの出力に伴う消費電力が低減される。
　また、ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、メモリ９６に第２撮像画像データが記憶される前に、出力回路９４Ｄにより、基準画像データと第１撮像画像データとの相違度に応じて、代替圧縮画像データが出力されるようにしてもよい。これにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力される場合に比べ、出力回路９４Ｄによる画像データの出力に伴う消費電力が低減される。
　なお、基準画像データとは、第２撮像画像データに代替する画像データとして予め定められた画像データを指す。予め定められた画像データの一例としては、黒色として視覚的に知覚される黒色レベルの画像を示す画像データが挙げられる。代替圧縮画像データとは、第１撮像画像データが上述した複数のビット範囲で分割されることで圧縮されて得られた圧縮画像データを指す。基準画像データと第１撮像画像データとの相違度は、基準画像データと第１撮像画像データとの差分等であってもよいし、基準画像データと第１撮像画像データとの上位ｎビットの差分等であってもよい。
　また、一例として図２２に示すように、光電変換素子９２により既定の時間間隔で静止画用の撮像が連続的に行われる場合、出力回路９４Ｄにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力されるようにしてもよい。この場合、メモリ９６に第２撮像画像データが記憶されたことを条件に、出力回路９４Ｄにより、圧縮画像データが後段回路９０のＩ／Ｆ５６に出力される。例えば、図２２に示す例では、１フレーム目は、出力回路９４Ｄにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力され、２フレーム目以降に、圧縮画像データが出力されている。これにより、メモリ９６に第２撮像画像データが記憶される前であっても、出力回路９４Ｄによる画像データの出力の滞りが回避される。
　また、光電変換素子９２により既定の時間間隔で静止画用の撮像が連続的に行われる場合、出力回路９４Ｄにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データのうちの既定ビット範囲に属する画像データが出力されるようにしてもよい。「第１撮像画像データのうちの既定ビット範囲に属する画像データ」の一例としては、第１撮像画像データのうちの上位ｎビットの画像データが挙げられる。また、図２２に示す例では、「既定の時間間隔」として、垂直駆動信号に応じて定まる時間間隔が採用されている。垂直駆動信号に応じて定まる時間間隔の一例としては、６０ｆｐｓに対応する１６．６６７ｍｓが挙げられる。
　上記各実施形態では、圧縮画像データがライブビュー画像の表示に供される場合について説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データは、後段回路９０において、ＣＰＵ５２により、二次記憶部６０に記憶されるようにしてもよいし、外部Ｉ／Ｆ６３を介して撮像装置１０の外部に出力されるようにしてもよい。
　上記各実施形態では、ＡＳＩＣが実現される処理回路９４を例示したが、上述した圧縮処理及び画像データ出力処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。
　この場合、例えば、図２３に示すように、上述した圧縮処理及び画像データ出力処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム６００を記憶媒体７００に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体７００のプログラム６００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム６００に従って、上述した圧縮処理及び画像データ出力処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって、上述した圧縮処理及び／又は画像データ出力処理が実行されるようにしてもよい。
　なお、記憶媒体７００の一例としては、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリなどの任意の可搬型の記憶媒体が挙げられる。
　また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム６００を記憶させておき、プログラム６００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム６００がコンピュータ２０Ａによって実行される。
　また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム６００に従って処理回路９４を制御するようにすればよい。
　上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記各実施形態で説明した各種処理とは、圧縮処理、画像データ出力処理、及び表示制御処理が挙げられる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
　本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２４に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図２４に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス９００であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。
　また、上記各実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
　また、上記各実施形態では、第１撮像画像データがビット圧縮される形態例を挙げて説明したが、本開示の技術を応用すれば、第１撮像画像データ及び第２撮像画像データの双方をビット圧縮したり、第２撮像画像データをビット圧縮したりすることも可能である。
　また、上記実施形態で説明した圧縮処理、画像データ出力処理、及び表示制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (18)

  1. 　撮像素子であって、
    　被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵された記憶部と、
    　前記撮像画像データに対して処理を施し、かつ、前記撮像素子に内蔵された処理部と、
    　前記撮像画像データに対して前記処理が施されることで得られた処理済み画像データと前記撮像画像データとの少なくとも一方を前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
    　前記処理部は、撮像されることで得られた第１撮像画像データと前記記憶部に記憶された第２撮像画像データとの相違度に応じて、前記第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、
    　前記出力部は、前記処理部で生成された前記圧縮画像データを前記処理済み画像データとして第２フレームレートで前記外部に出力する
    　撮像素子。
  2. 　前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートである請求項１に記載の撮像素子。
  3. 　前記第２撮像画像データは、撮像されることで得られた前記第１撮像画像データよりも１フレーム以上前に得られた画像データである請求項１又は請求項２に記載の撮像素子。
  4. 　前記相違度は、読出部により前記第１撮像画像データがライン単位で読み出される毎の前記第１撮像画像データと前記第２撮像画像データとの前記ライン単位での相違度である請求項１から請求項３の何れか一項に記載の撮像素子。
  5. 　前記相違度は、前記第１撮像画像データと前記第２撮像画像データとの既定上位ビットについての相違度である請求項１から請求項４の何れか一項に記載の撮像素子。
  6. 　前記第１撮像画像データ及び前記第２撮像画像データは、互いにビット数が揃った画像データであり、
    　前記圧縮画像データは、前記第１撮像画像データのビット数である第１ビットよりも小さな第２ビットの画像データであり、
    　前記既定上位ビットは、前記第１ビットから前記第２ビットを減じることで得た値に相当するビットである請求項５に記載の撮像素子。
  7. 　前記圧縮画像データは、前記第１撮像画像データが前記複数のビット範囲で分割されることにより得られた複数のビット画像データのうちの前記相違度に応じて定められた１つのビット画像データに基づくデータである請求項１から請求項６の何れか一項に記載の撮像素子。
  8. 　前記複数のビット画像データは、上位ビット画像データ及び下位ビット画像データであり、
    　前記圧縮画像データは、前記相違度が既定条件を満たす場合に、前記上位ビット画像データに基づくデータを有し、前記相違度が前記既定条件を満たさない場合に、前記下位ビット画像データに基づくデータを有する請求項７に記載の撮像素子。
  9. 　前記圧縮画像データの一部のビットは、前記圧縮画像データが前記複数のビット画像データのうちの何れのビット画像データに基づくデータであるのかを特定可能なビット画像特定情報が付与されるビットである請求項７又は請求項８に記載の撮像素子。
  10. 　前記圧縮画像データは、ライン単位の画像データであり、前記第１撮像画像データが前記複数のビット範囲で分割されることにより得られた複数の分割画像データのうちの何れかの分割画像データに基づくデータであるのかを特定可能な分割画像特定情報を有する請求項１から請求項９の何れか一項に記載の撮像素子。
  11. 　前記出力部は、動画像用の撮像が開始された場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第１撮像画像データを前記外部に出力する請求項１から請求項１０の何れか一項に記載の撮像素子。
  12. 　前記出力部は、動画像用の撮像が開始された場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第１撮像画像データのうちの特定のビット範囲に属する画像データに基づくデータを前記外部に出力する請求項１から請求項１１の何れか一項に記載の撮像素子。
  13. 　前記出力部は、動画像用の撮像が開始された場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第２撮像画像データに代替する画像データとして予め定められた画像データと前記第１撮像画像データとの相違度に応じて、前記第１撮像画像データが複数のビット範囲で分割されることで圧縮されて得られた代替圧縮画像データを前記外部に出力する請求項１から請求項１２の何れか一項に記載の撮像素子。
  14. 　前記出力部は、既定の時間間隔で静止画用の撮像が連続的に行われる場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第１撮像画像データ又は前記第１撮像画像データのうちの既定ビット範囲に属する画像データを前記外部に出力し、前記記憶部に前記第２撮像画像データが記憶されたことを条件に、前記圧縮画像データを前記外部に出力する請求項１から請求項１３の何れか一項に記載の撮像素子。
  15. 　前記撮像素子は、光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項１から請求項１４の何れか一項に記載の撮像素子。
  16. 　請求項１から請求項１５の何れか一項に記載の撮像素子と、
    　前記撮像素子に含まれる前記出力部により出力された前記圧縮画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、
    　を含む撮像装置。
  17. 　記憶部と、処理部と、出力部とが内蔵された撮像素子の画像データ処理方法であって、
    　前記記憶部に対して、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶させ、
    　前記処理部に対して、前記撮像画像データに対して処理を施させ、
    　前記出力部に対して、前記撮像画像データに対して前記処理が施されることで得られた処理済み画像データと前記撮像画像データとの少なくとも一方を前記撮像素子の外部に出力させ、
    　前記処理部に対して、撮像されることで得られた第１撮像画像データと前記記憶部に記憶された第２撮像画像データとの相違度に応じて、前記第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成させ、
    　前記出力部に対して、前記処理部で生成された前記圧縮画像データを前記処理済み画像データとして第２フレームレートで前記外部に出力させることを含む画像データ処理方法。
  18. 　コンピュータを、
    　記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる前記処理部及び前記出力部として機能させるためのプログラムであって、
    　前記記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、
    　前記処理部は、前記撮像画像データに対して処理を施し、
    　前記出力部は、前記撮像画像データに対して前記処理が施されることで得られた処理済み画像データと前記撮像画像データとの少なくとも一方を前記撮像素子の外部に出力し、
    　前記処理部は、撮像されることで得られた第１撮像画像データと前記記憶部に記憶された第２撮像画像データとの相違度に応じて、前記第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、
    　前記出力部は、前記処理部で生成された前記圧縮画像データを前記処理済み画像データとして第２フレームレートで前記外部に出力する
    　プログラム。
PCT/JP2019/025647 2018-08-31 2019-06-27 撮像素子、撮像装置、画像データ処理方法、及びプログラム WO2020044764A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980056436.3A CN112640437B (zh) 2018-08-31 2019-06-27 成像元件、摄像装置、图像数据处理方法及存储介质
JP2020540105A JP6915166B2 (ja) 2018-08-31 2019-06-27 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US17/180,889 US11184535B2 (en) 2018-08-31 2021-02-22 Imaging element, imaging apparatus, image data processing method, and program for reducing power consumption

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-163997 2018-08-31
JP2018163997 2018-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/180,889 Continuation US11184535B2 (en) 2018-08-31 2021-02-22 Imaging element, imaging apparatus, image data processing method, and program for reducing power consumption

Publications (1)

Publication Number Publication Date
WO2020044764A1 true WO2020044764A1 (ja) 2020-03-05

Family

ID=69644102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025647 WO2020044764A1 (ja) 2018-08-31 2019-06-27 撮像素子、撮像装置、画像データ処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11184535B2 (ja)
JP (1) JP6915166B2 (ja)
WO (1) WO2020044764A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191939A (ja) * 2003-12-25 2005-07-14 Nikon Corp 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP2007027848A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 可逆符号化方法、可逆復号方法およびこれらの装置
JP2015136093A (ja) * 2013-12-20 2015-07-27 ソニー株式会社 撮像素子、撮像装置、および電子装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06204891A (ja) 1993-01-05 1994-07-22 Fujitsu Ltd データ圧縮方法
US5412741A (en) * 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
KR101270167B1 (ko) * 2006-08-17 2013-05-31 삼성전자주식회사 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005191939A (ja) * 2003-12-25 2005-07-14 Nikon Corp 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP2007027848A (ja) * 2005-07-12 2007-02-01 Oki Electric Ind Co Ltd 可逆符号化方法、可逆復号方法およびこれらの装置
JP2015136093A (ja) * 2013-12-20 2015-07-27 ソニー株式会社 撮像素子、撮像装置、および電子装置

Also Published As

Publication number Publication date
US11184535B2 (en) 2021-11-23
US20210176406A1 (en) 2021-06-10
JP6915166B2 (ja) 2021-08-04
JPWO2020044764A1 (ja) 2021-08-10
CN112640437A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
JP2023145575A (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US20230421904A1 (en) Imaging element, imaging apparatus, image data processing method, and program that performs imaging in a first frame rate and outputs data in a second frame rate
JP7004852B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP7460588B2 (ja) 撮像素子、撮像装置、撮像方法及びプログラム
WO2020044764A1 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US11812177B2 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
US11546561B2 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
CN112640437B (zh) 成像元件、摄像装置、图像数据处理方法及存储介质
US11785362B2 (en) Imaging element with output circuit that outputs to first and second circuits, imaging apparatus, image data output method, and program
JP6091216B2 (ja) 画像信号処理装置およびその制御方法、並びに撮像装置
US20220141420A1 (en) Imaging element, imaging apparatus, operation method of imaging element, and program
JP2022504849A (ja) 画像データを処理するための方法、装置、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855379

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020540105

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19855379

Country of ref document: EP

Kind code of ref document: A1