WO2014013619A1 - 撮像装置及び電子ズーム方法 - Google Patents
撮像装置及び電子ズーム方法 Download PDFInfo
- Publication number
- WO2014013619A1 WO2014013619A1 PCT/JP2012/068508 JP2012068508W WO2014013619A1 WO 2014013619 A1 WO2014013619 A1 WO 2014013619A1 JP 2012068508 W JP2012068508 W JP 2012068508W WO 2014013619 A1 WO2014013619 A1 WO 2014013619A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- signal processing
- imaging signal
- processing unit
- imaging
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Definitions
- the present invention relates to an imaging apparatus having an electronic zoom function and an electronic zoom method.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- the electronic zoom is a function of obtaining a subject image having a size corresponding to a zoom magnification by cutting out a part of an image picked up by an image sensor and enlarging or reducing the cut-out image.
- Pixel addition readout is to read out by adding the charges of signals corresponding to a plurality of pixels showing the same color.
- the thinning-out reading is to read out signal charges by thinning out pixels from the image sensor.
- an image pickup apparatus or the like that further reduces the signal processing load by dynamically changing a pixel luminance value readout method (readout mode) such as pixel addition readout or thinning readout according to the zoom magnification is disclosed.
- readout mode a pixel luminance value readout method
- pixel addition readout or thinning readout a pixel addition readout or thinning readout according to the zoom magnification
- the present invention has been made in view of the above circumstances, and realizes a smooth electronic zoom by preventing image disturbance that occurs when a readout mode is switched in accordance with a zoom magnification in shooting a moving image.
- An object of the present invention is to provide an imaging apparatus and an electronic zoom method that can perform the above-described operation.
- an imaging apparatus provides: An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification; An imaging signal processing unit that outputs an image frame by performing signal processing on an imaging signal output from the image sensor while switching an operation mode in accordance with switching of a readout mode of the image sensor when the zoom magnification is changed
- An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer;
- An operation unit capable of changing the zoom magnification by an operation input;
- the imaging signal processing unit Validating the transition state signal during the transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output,
- the image encoding unit includes: While the transition state signal is valid, video coding is performed using the image frame stored in the frame buffer immediately before the transition period. It is characterized by that.
- An electronic zoom method includes: An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification; An imaging signal processing unit that performs signal processing on an imaging signal output from the image sensor and outputs an image frame while switching an operation mode in accordance with switching of a reading mode of the image sensor when the zoom magnification is changed; , An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer; An operation unit capable of changing the zoom magnification by an operation input; An electronic zoom method for an imaging apparatus comprising: In the imaging signal processing unit, Enabling a transition state signal during a transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output; In the image encoding unit, While the transition state signal is valid, using the image frame stored in the frame buffer immediately before the transition period, performing a video en
- the moving image encoding is performed using the image frame immediately before the operation mode is switched. Is done. Thereby, the disturbance of the image can be prevented.
- FIG. 3A to FIG. 3G are timing charts of signals exchanged between the constituent elements included in the imaging device. It is a block diagram which shows the structure of the imaging device which concerns on 2nd Embodiment.
- FIG. 5A to FIG. 5D are timing charts for explaining the transition period according to the second embodiment.
- FIGS. 7A to 7D are timing charts for explaining the transition period according to the third embodiment.
- FIG. 9A to FIG. 9D are timing charts for explaining the transition period according to the fourth embodiment.
- FIG. 1 shows the configuration of the imaging apparatus 100 according to the present embodiment.
- the imaging apparatus 100 includes an image sensor 110, an imaging signal processing unit 120, an image encoding unit 130, a recording unit 140, a display unit 150, and an operation unit 160.
- the image sensor 110 has an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). Each pixel of the image sensor of the image sensor 110 receives light from an imaging target (subject) through a color filter and performs photoelectric conversion. The imaging element outputs a set of charges of each pixel as an imaging signal. The image sensor 110 outputs an image pickup signal obtained by photoelectric conversion of the image pickup device in a read mode corresponding to the zoom magnification as will be described later.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- the color filters included in the image sensor 110 are arranged in a periodic arrangement of color patterns in units of m ⁇ n pixels (m and n are integers).
- This arrangement is, for example, a primary color Bayer arrangement composed of three colors of R, G, and B, or a complementary color Bayer arrangement composed of four colors of C, M, Y, and G.
- the image transmitted by the imaging signal becomes a color image.
- the image data transmitted by this imaging signal is referred to as a RAW image.
- the image sensor 110 can be set in a plurality of readout modes. More specifically, when charge (luminance value) is read out from the image sensor 110, the image sensor 110 is set to either the no pixel addition mode or the pixel addition reading mode.
- the mode without pixel addition is a mode in which the image sensor 110 reads the luminance value as it is, pixel by pixel.
- the pixel addition reading mode is a mode in which the image sensor 110 adds and reads the luminance values of a plurality of pixels of the same color located in the vicinity of each other.
- the image sensor 110 When the no pixel addition mode is set, the image sensor 110 outputs the luminance value of the pixel acquired from a part of the image sensor. Thereby, the image sensor 110 can reduce the data amount of the RAW image output.
- the image sensor 110 when the pixel addition readout mode is set, the image sensor 110 adds the luminance values of a plurality of pixels of the same color located in the vicinity of each other, and outputs the result as a luminance value of one pixel. For example, when the pixel addition reading mode for adding 2 ⁇ 2 pixels is set, the luminance value is added by four pixels. For this reason, the image sensor 110 can reduce the data amount of the output image to 1 ⁇ 4 of the data amount in the case of the no pixel addition mode.
- the image sensor 110 can be set to a pixel addition reading mode (2 ⁇ 2 pixel addition) and a mode without pixel addition.
- the read mode is not limited to this, and other modes may be set.
- a mode in which the number of added pixels is different such as a pixel addition reading mode (3 ⁇ 3 pixel addition) may be set as a reading mode.
- the image sensor 110 may be capable of setting a mode (thinning readout mode) in which pixels are read out.
- the imaging signal processing unit 120 switches the operation mode in accordance with the switching of the reading mode of the image sensor 110 when the zoom magnification is changed.
- the imaging signal processing unit 120 performs signal processing (digital image processing) on the imaging signal (RAW image) output from the image sensor 110 while switching the operation mode.
- the imaging signal processing unit 120 converts the imaging signal into a YUV signal that is a color imaging signal including a Y component indicating luminance, a U component indicating color difference, and a V component, and outputs the YUV signal.
- a YUV image output during a period of one frame becomes one image constituting a moving image. This image is called an image frame 170.
- the image encoding unit 130 encodes the image frame 170 output from the imaging signal processing unit 120 and outputs the encoded image frame 170 as a moving image stream.
- the image encoding unit 130 is an H.264 filer.
- H.264 / AVC Advanced Video Video Coding
- the recording unit 140 is a recording device such as a flash memory or an HDD (Hard Disc Drive).
- the recording unit 140 records the image frame output from the image encoding unit 130.
- Display unit 150 displays an image. Specifically, an image based on the image frame output from the display data reading unit 134 is displayed on the display unit 150.
- the operation unit 160 is a user interface for the user to specify recording start / end timing, zoom magnification, and the like. For example, the operation unit 160 can change the zoom magnification of the image based on the image frame by an operation input.
- the operation unit 160 outputs an operation signal indicating the content of the operation by the user to the imaging signal processing unit 120.
- the imaging signal processing unit 120 includes a RAW-YUV conversion unit 121, an imaging signal processing clock generation unit 122, an imaging signal processing timing generator 123, an imaging signal processing control unit 124, and a transition state signal generation unit 125. *
- the RAW-YUV conversion unit 121 converts the RAW image output from the image sensor 110 into a YUV image at the timing when the control signal is input from the imaging signal processing control unit 124. Further, the RAW-YUV conversion unit 121 outputs, as an image frame 170, image data obtained by enlarging (scaling) a partial region of the YUV image according to the zoom magnification.
- the imaging signal processing clock generation unit 122 includes an oscillator and a PLL (Phase-Locked Loop). The imaging signal processing clock generation unit 122 generates an operation clock signal and outputs it to the imaging signal processing timing generator 123.
- PLL Phase-Locked Loop
- the imaging signal processing timing generator 123 generates a sampling pulse signal synchronized with the operation clock signal output from the imaging signal processing clock generation unit 122 and outputs the sampling pulse signal to the imaging signal processing control unit 124.
- This sampling pulse signal is a signal for designating the timing at which the RAW-YUV conversion unit 121 reads the imaging signal from the image sensor 110.
- the sampling pulse signal includes a vertical synchronization signal and a horizontal synchronization signal.
- the imaging signal processing control unit 124 determines the operation mode according to the operation signal output from the operation unit 160 and designating the zoom magnification and the like.
- the imaging signal processing control unit 124 outputs a control signal including the contents of the determined operation mode to each of the RAW-YUV conversion unit 121, the image sensor 110, and the transition state signal generation unit 125.
- a read mode and an image enlargement magnification are set based on this control signal.
- the imaging signal processing control unit 124 performs a reset sequence as necessary to switch the operation mode.
- the transition state signal generation unit 125 outputs the transition state signal 171 to the transition state control unit 138 of the image encoding unit 130 based on the control signal output from the imaging signal processing control unit 124.
- the transition state signal 171 is a 1-bit signal indicating whether or not the imaging signal processing unit 120 is in a transition period described later.
- the transition state signal generation unit 125 outputs the signal level of the transition state signal 171 as an effective level (for example, a high level).
- the transition state signal 171 having an effective signal level indicates that the imaging signal processing unit 120 is in the transition period.
- the transition state signal generation unit 125 sets the signal level of the transition state signal 171 to an invalid level (for example, a low level). change.
- the image encoding unit 130 includes a frame buffer 131, a stream generation unit 132, a reference frame buffer 133, a display data reading unit 134, an image encoding clock generation unit 135, an image encoding timing generator 136, an image encoding control unit 137, and a transition.
- a state control unit 138 is provided.
- the frame buffer 131 temporarily stores the image frame 170 output from the RAW-YUV conversion unit 121.
- the frame buffer 131 outputs the image frame 172 to the stream generation unit 132. Further, the frame buffer 131 outputs the image frame 173 to the display data reading unit 134.
- the stream generation unit 132 encodes the image frames 172 continuously output from the frame buffer 131 using the above-described moving image encoding method. Then, the stream generation unit 132 outputs the encoded moving image stream to the recording unit 140.
- the reference frame buffer 133 receives a reference frame necessary for inter-picture prediction encoding of moving image encoding from the stream generation unit 132 and temporarily records the reference frame. Further, the reference frame buffer 133 outputs the recorded reference frame to the stream generation unit 132 as necessary.
- the display data reading unit 134 performs image processing necessary for displaying a through image. For example, the display data reading unit 134 generates display data by superimposing information related to shooting (such as captions) on the image frame 173 output from the frame buffer 131. Then, the display data reading unit 134 outputs the generated display data to the display unit 150.
- information related to shooting such as captions
- the image encoding clock generation unit 135 generates an operation clock signal and outputs it to the image encoding timing generator 136.
- the operation clock signal output from the image encoding clock generator 135 is input to the image encoding timing generator 136.
- the image encoding timing generator 136 generates a sampling pulse signal (vertical synchronization signal and horizontal synchronization signal) in synchronization with the input operation clock signal. Then, the image encoding timing generator 136 outputs the sampling pulse signal to the image encoding control unit 137.
- the sampling pulse signal is a signal indicating the timing at which the stream generation unit 132 reads an image frame.
- the sampling pulse signal is synchronized with the operation clock signal output from the image encoding clock generation unit 135.
- the image encoding control unit 137 outputs a predetermined control signal at a timing synchronized with the sampling pulse signal output from the image encoding timing generator 136. Specifically, the image coding control unit 137 outputs a control signal necessary for moving image coding, such as a picture coding control signal, to the stream generation unit 132. Further, the image encoding control unit 137 outputs a control signal necessary for image display to the display data reading unit 134.
- the image encoding control unit 137 outputs the sampling pulse signal to the transition state control unit 138.
- This sampling pulse signal is a signal that specifies the timing at which the image frame 170 is written to the frame buffer 131 and the timing at which the image frames 172 and 173 are read from the frame buffer 131.
- the transition state control unit 138 generates a control signal indicating whether or not to write the image frame 170 to the frame buffer 131 based on a transition state signal 171 described later, and outputs the control signal to the frame buffer 131.
- the transition state control unit 138 controls the frame buffer 131 to store the image frame 170 and output the image frames 172 and 173 while the signal level of the transition state signal 171 is an invalid level. To do.
- the transition state control unit 138 controls the frame buffer 131 to perform a predetermined operation while the signal level of the transition state signal 171 is an effective level.
- the stream generation unit 132 performs moving image encoding using the image frame stored in the frame buffer 131 immediately before the transition period.
- the electronic zoom process is realized by changing the reading mode in the image sensor 110 and the image scaling function of the RAW-YUV conversion unit 121.
- the readout mode of the image sensor 110 is switched depending on the zoom magnification. For example, during wide-angle shooting with a low zoom magnification, a pixel addition readout mode (2 ⁇ 2 pixel addition) is set in the image sensor 110. Then, an image is read from the entire image sensor of the image sensor 110 at the maximum angle of view. On the other hand, during telephoto shooting with a high zoom magnification, the image sensor 110 is set to a mode without pixel addition. A fine image with no added pixels is read out with a narrow angle of view. In the present embodiment, when the zoom magnification is 1.0 times or more and less than 2.0 times, the pixel addition reading mode (2 ⁇ 2 pixel addition) is set. Further, when the zoom magnification is 2.0 times or more, a mode without pixel addition is set.
- the imaging apparatus 100 can only change to a fixed zoom magnification, such as 1.0 times or 2.0 times, only by changing the reading mode of the image sensor 110. Therefore, in order to obtain an arbitrary zoom magnification, the RAW-YUV conversion unit 121 is provided with an image scaling function.
- the image scaling function is a function for cutting out and enlarging a partial area of the image in accordance with the zoom magnification. This function enables imaging at an arbitrary zoom magnification.
- FIG. 2 shows an example of a change in the reading mode when the zoom magnification is changed while shooting is continued.
- the zoom magnification is changed by the user operating the operation unit 160.
- an operation signal including information regarding the changed zoom magnification is output from the operation unit 160 to the imaging signal processing control unit 124.
- the imaging signal processing control unit 124 outputs a control signal based on the zoom magnification included in the operation signal to the image sensor 110 and the RAW-YUV conversion unit 121.
- the image sensor 110 and the RAW-YUV conversion unit 121 cooperate to generate the image frame 170 at the changed zoom magnification.
- the zoom magnification is changed only when the image frame is switched. For this reason, in the period of one frame, the output of the image frame 170 enlarged at the same zoom magnification is continued. In FIG. 2, the zoom magnification is changed at times T4, T5, T6, T8, T9, and T10.
- the zoom magnification gradually increases from time T4 by the operation of the operation unit 160 by the user.
- the image sensor 110 outputs a RAW image in a readout mode set according to the input control signal.
- the RAW-YUV conversion unit 121 cuts out an image using an image scaling function in accordance with the input control signal.
- the zoom magnification is less than 2.0 until time T5
- the pixel addition reading mode (2 ⁇ 2 pixel addition) is set as the reading mode of the image sensor 110 until time T6. Fine adjustment of the zoom magnification from 1.0 times to 2.0 times is performed by the image scaling function of the RAW-YUV conversion unit 121.
- the readout mode of the image sensor 110 is changed to a mode without pixel addition.
- the imaging signal processing unit 120 performs a reset sequence in order to change its own operation mode in response to the change of the readout mode. Thereby, the output of the image frame 170 is stopped.
- this period is referred to as a transition period.
- the start time of the transition period is time T6, and the end time is time T7. After the transition period ends (that is, from time T7), the image sensor 110 outputs an image frame in a mode without pixel addition.
- the transition period starts with a change in the internal operation mode of the imaging signal processing unit 120.
- the transition period is given as a design specification of the imaging signal processing unit 120.
- the transition period needs to be provided for the following reasons, for example.
- the imaging signal processing unit 120 performs internal signal processing in synchronization with a cycle in which the image sensor 110 outputs a luminance value for each pixel.
- the imaging signal processing unit 120 attempts to change the frame rate in accordance with the change of the reading mode of the image sensor 110, the imaging signal processing unit 120 needs to change the operating frequency of the imaging signal processing unit 120 and temporarily stop the operation clock at that time. There may be.
- the imaging signal processing unit 120 performs internal signal processing in synchronization with the timing (vertical synchronization signal, horizontal synchronization signal) at which the image sensor 110 outputs the luminance value of each pixel. For this reason, when the reading mode of the image sensor 110 is changed, the imaging signal processing unit 120 may need to change the timing for reading the luminance value of the pixel from the image sensor 110.
- the imaging signal processing unit 120 may need to change the timing for reading the pixel luminance value from the image sensor 110. is there.
- the imaging signal processing unit 120 In order to cope with such a change in timing at which the luminance value of the pixel is read out, the imaging signal processing unit 120 needs to perform a reset sequence.
- the reset sequence is a process that requires a certain amount of time. Since the imaging signal processing unit 120 performs this process, a transition period is required.
- FIG. 3A shows a transition state signal 171.
- FIG. 3B shows a sampling pulse signal 303 of the imaging signal processing timing generator 123.
- FIG. 3C shows an image frame 170 output from the RAW-YUV conversion unit 121.
- FIG. 3D shows a vertical synchronization signal 306 output from the image encoding timing generator 136.
- FIG. 3E shows an image frame 173 input to the display data reading unit 134.
- FIG. 3F shows an image frame 172 that is input to the stream generation unit 132.
- FIG. 3G shows an image frame 172 represented as an encoded stream 311.
- the time T0 to time T12 in FIGS. 3A to 3G correspond to the time T0 to time T12 in FIG. Further, in this embodiment, when the zoom magnification changes from time T0 to time T12 as shown in FIG. 2, the sequence of signals processed by the imaging apparatus 100 is as shown in FIGS. ).
- the transition state signal 171 output from the transition state signal generation unit 125 is low from time T0 to time T6 when the zoom magnification is 1.0 or more and less than 2.0. It is a level.
- the sampling pulse signal 303 shown in FIG. 3B is input to the RAW-YUV conversion unit 121 via the imaging signal processing control unit 124.
- the RAW-YUV conversion unit 121 converts the imaging signal for transmitting each pixel constituting one image frame in raster scan order every time the sampling pulse signal 303 rises. Output. That is, the timing at which the image frame 170 is output from the imaging signal processing unit 120 is synchronized with the sampling pulse signal 303 output from the imaging signal processing timing generator 123.
- each image frame 170 is a frame number given to the image frame 170 output from the imaging signal processing unit 120 as a time-series number.
- the first image frame (frame number 1) is output between times T0 and T1
- the next image frame (frame number 2) is output between times T1 and T2.
- the image frame 170 output from the imaging signal processing unit 120 is recorded in the frame buffer 131.
- the vertical synchronization signal 306 shown in FIG. 3D is input to the display data reading unit 134 via the image encoding control unit 137.
- the display data reading unit 134 reads one image frame 173 from the frame buffer 131 every time the vertical synchronization signal 306 rises.
- Image frames with frame numbers 1 to 6 are output from the frame buffer 131 to the display data reading unit 134 in the order recorded in the frame buffer 131.
- the vertical synchronization signal 306 shown in FIG. 3D is input to the stream generation unit 132 via the image encoding control unit 137.
- the stream generation unit 132 reads out one image frame 172 from the frame buffer 131 each time the vertical synchronization signal 306 rises, and performs moving image encoding.
- the image frame 172 has been subjected to a reordering process so as to be in an order suitable for moving picture coding (coding order).
- the reordering process causes the I picture to be delayed by one frame from the display order and the B picture to be delayed by two frames from the display order. Is output.
- the P picture is output to the stream generation unit 132 at the same timing as the display order.
- the pictures constituting the encoded stream 311 generated by the stream generation unit 132 are an I picture for performing intra-screen encoding and a P picture for performing inter-screen encoding.
- B picture can be selected.
- encoding is performed by repeating the order of I, P, B, P, and B as one unit. More specifically, the P picture is encoded with reference to an I picture encoded in the past. The B picture is encoded with reference to an I picture or P picture encoded in the past.
- the imaging signal processing control unit 124 outputs a control signal indicating that the zoom magnification is 2.0 times to the image sensor 110, the RAW-YUV conversion unit 121, and the transition state signal generation unit 125.
- the image sensor 110 Upon receiving this control signal, the image sensor 110 switches the readout mode to the pixel addition-free mode.
- the RAW-YUV conversion unit 121 initializes the enlargement magnification of the image scaling function. Furthermore, the transition state signal generation unit 125 switches the signal level of the transition state signal 171 from a low level to a high level at the start of the transition period. Thereby, the imaging device 100 transitions to the transition state. Thereafter, the imaging signal processing unit 120 performs a reset sequence.
- the transition state control unit 138 that has detected that the transition state signal 171 has become high level controls the frame buffer 131 so that the image frame 170 is not recorded.
- the transition state control unit 138 controls the frame buffer 131 so as to repeatedly output the image frame recorded immediately before the transition state.
- FIG. 3E shows a state in which the image frame having the frame number 6 is repeatedly output to the display data reading unit 134 five times in succession.
- the transition state signal 171 is held in a storage area such as a memory or a register inside the transition state signal generation unit 125.
- the transition state signal generation unit 125 is configured such that the transition state signal 171 is maintained at a high level even when the imaging signal processing unit 120 is reset. Thus, the value of the transition state signal 171 is held while the imaging signal processing unit 120 is performing the reset sequence.
- the transition state signal generation unit 125 switches the transition state signal 171 from the high level to the low level.
- the transition state control unit 138 that has detected that the transition state signal 171 has become low level returns the state of the frame buffer 131 to the state in which the image frame 170 is recorded and output.
- the readout mode of the image sensor 110 has already been switched to the no pixel addition mode. Therefore, the image sensor 110 outputs an imaging signal in the pixel addition-free mode. Then, as shown in FIG. 3C, the RAW-YUV conversion unit 121 generates and outputs an image frame of frame number 7 and later as an image frame 170 based on the input imaging signal.
- the display data reading unit 134 reads the image frame 173 from the frame buffer 131 one by one every time the vertical synchronization signal 306 rises, similarly to the time T0 to the time T6.
- the stream generation unit 132 frames one image frame 172 every time the vertical synchronization signal 306 rises, similarly to the times T0 to T6. It reads out from the buffer 131 and performs video encoding.
- the length of the transition period is not necessarily an integer multiple of the frame period. For this reason, after the imaging apparatus 100 returns from the transition state to the normal state, the output timing of the imaging signal processing unit 120 may deviate from the timing before the transition. In order to cope with this problem, the imaging apparatus 100 needs a function of a frame synchronizer that synchronizes the image frame 170 with the vertical synchronization signal 306 output from the image encoding unit timing generator 123.
- the frame synchronizer function is realized by using the frame buffer 131 in the image encoding unit 130. As a result, image encoding can be performed regardless of the timing at which an image frame is output from the imaging signal processing unit 120.
- the imaging apparatus 100 repeats the image frame and realizes the function of the frame synchronizer, thereby preventing image disturbance due to the reset sequence.
- it is necessary to prepare a buffer for recording the image frame 170 output from the RAW-YUV processing unit 121 at a stage subsequent to the imaging signal processing unit 120.
- a new frame buffer is added, the manufacturing cost increases.
- the image encoding unit 130 includes a frame buffer 131. Therefore, in this embodiment, the frame buffer 131 is also used for repeating output of image frames. Thereby, since it is not necessary to add a new buffer in the imaging apparatus 100, it is possible to prevent image distortion at a lower cost.
- the reset sequence is executed by the imaging signal processing unit 120 in accordance with the change of the reading mode of the image sensor 110. Further, due to the execution of the reset sequence, a period during which the imaging signal processing unit 120 cannot output an image frame (transition period) occurs. In addition, image distortion that occurred during that period was prevented.
- attention is paid to the fact that the imaging signal processing unit 120 performs automatic exposure (AE) control. More specifically, in the present embodiment, attention is paid to the point that it takes time from one frame to several frames until the AE control is stabilized after the reading mode of the image sensor 110 is switched.
- AE automatic exposure
- the image sensor 110 changes the readout mode between the pixel addition readout mode and the no pixel addition mode, the output pixel gain changes. It takes time for several frames until the AE control evaluation value (photometric value) converges by correcting the gain change. For this reason, even if the reset sequence of the imaging signal processing unit 120 does not occur or ends, if the photometric value has not converged, the image quality of the image frame output from the imaging signal processing unit 120 Is not stable. As a result, the image is disturbed.
- the AE control evaluation value photometric value
- the imaging apparatus 100 prevents image disturbance that occurs before the photometric value converges, and smoothly performs electronic zoom.
- FIG. 4 shows the configuration of the imaging apparatus 100 of the present embodiment.
- the imaging signal processing control unit 124 according to this embodiment is different from that according to the first embodiment in that an AE control unit 400 is provided.
- the AE control unit 400 outputs a control signal to the image sensor 110 and outputs a control signal to the transition state signal generation unit 125.
- FIG. 5A shows an aperture value (F value) control signal (F value control signal).
- FIG. 5B shows a shutter speed control signal.
- FIG. 5C shows photometric values. Further, FIG. 5D shows the zoom magnification.
- AE operation modes include an aperture priority mode and a shutter speed priority mode.
- the control amount of either the aperture value (F value) or the shutter speed is preferentially matched with the numerical value designated by the user.
- the other control amount is adaptively changed so that the exposure becomes appropriate.
- FIGS. 5A to 5D show the case of the aperture priority mode.
- the aperture is set to '5.6'.
- FIG. 5D when the zoom magnification becomes 2.0 times at time T6, switching between the reading mode of the image sensor 110 and the operation mode of the imaging signal processing unit 120 is started. The Thereafter, as shown in FIG. 5C, AE control is performed by adjusting the shutter speed as shown in FIG. 5B until the photometric value becomes optimum at time T7.
- the photometric value is not optimal, so the image is disturbed.
- the readout mode of the image sensor 110 is switched, and the change of the operation mode of the imaging signal processing unit 120 is started.
- the AE control is started with the start of the change of the operation mode. A period from when the AE control is started until the photometric value converges is defined as a transition period.
- FIGS. 5A to 5D show the case of the aperture priority mode
- the transition period similarly occurs in the case of the shutter speed priority mode.
- AE control is performed by adjusting the shutter speed until the photometric value becomes optimal. That is, the transition period continues until the photometric value is optimized.
- the transition state control unit 125 monitors the photometric value after the operation mode change (after time T6) based on the control signal output from the AE control unit 400. In addition, the transition state control unit 125 generates and outputs the transition state signal 171 so that the period until the photometric value converges (the period until time T7) becomes the transition period.
- the output transition state signal 171 is input to the transition state control unit 138.
- the transition state control unit 138 prevents image distortion by preventing the image frame output during the transition period from being used for display / encoding.
- a period in which the photometric value does not converge and the image frame 170 is unstable is generated by AE control.
- moving image encoding or the like continues using the image frame 170 immediately before the operation mode is switched. Thereby, the disturbance of the image during that period can be prevented.
- the frame buffer 131 used for encoding is also used for repeating output of image frames, so that a new buffer need not be added. As a result, image disturbance can be prevented at a lower cost.
- attention is paid to the point that the imaging signal processing unit 120 performs auto white balance (Auto A White Balance) control. More specifically, in the present embodiment, attention is paid to the point that it takes time from one frame to several frames until the AWB control is stabilized after the reading mode of the image sensor 110 is switched.
- auto white balance Auto A White Balance
- the image sensor 110 changes the readout mode between the pixel addition readout mode and the no pixel addition mode
- the gain of each pixel of the image sensor of the image sensor 110 changes. It takes time for several frames until the evaluation value (color temperature) of the AWB control converges to a desired value by correcting the gain change. For this reason, when the reset sequence of the imaging signal processing unit 120 does not occur or when the color temperature has not converged even after the reset sequence is finished, the imaging signal processing unit 120 outputs it. Image frame quality is not stable. As a result, the image is disturbed.
- the imaging apparatus 100 prevents image disturbance that occurs before the color temperature converges, and smoothly performs electronic zoom.
- FIG. 6 shows the configuration of the imaging apparatus 100 according to the third embodiment.
- the imaging signal processing control unit 124 according to the present embodiment is different from that according to the first embodiment in that it includes an AWB control unit 600.
- the AWB control unit 600 outputs a control signal to the RAW-YUV conversion unit 121 and notifies the transition state signal generation unit 125 of the control signal.
- FIG. 7A shows an R / G gain control signal output from the AWB control unit 600 to the RAW-YUV conversion unit 121.
- FIG. 7B shows a B / G gain control signal output from the AWB control unit 600 to the RAW-YUV conversion unit 121.
- FIG. 7C shows the color temperature.
- FIG. 7D shows the zoom magnification.
- the AWB control unit 600 analyzes the color temperature of the captured image and adjusts the R / G gain and the B / G gain so that the image is converted to a desired color temperature (for example, 6500K). While the AWB control is being performed (from time T6 to time T7), the color temperature is not optimal, so the image is distorted. In the present embodiment, switching between the reading mode of the image sensor 110 and the operation mode of the imaging signal processing unit 120 is started, and the AWB control of the AWB control unit 600 is started. The period from the start of AWB control to the convergence of the color temperature is defined as the transition period.
- the transition state signal generation unit 125 monitors the color temperature after the operation mode of the imaging signal processing unit 120 is changed based on the control signal output from the AWB control unit 600. In addition, the transition state signal generation unit 125 sets the signal level of the transition state signal 171 to a high level so that the period until the color temperature converges becomes the transition period.
- the transition state signal 171 is input to the transition state control unit 138.
- the transition state control unit 138 prevents the image frame 170 output from the imaging signal processing unit 120 during the transition period from being used for display / encoding, thereby disturbing the image. To prevent.
- the AWB control causes a period in which the color temperature does not converge and the image frame 170 is unstable. In this period, moving image encoding or the like continues using the image frame 170 immediately before the operation mode is switched. Thereby, the disturbance of the image during that period can be prevented.
- the frame buffer 131 used for encoding is also used for repeating output of image frames, so that a new buffer does not have to be added. As a result, image disturbance can be prevented at a lower cost.
- the imaging signal processing unit 120 performs a frame noise reduction (FNR) process.
- FNR frame noise reduction
- the FNR process is a process for reducing noise mainly from an image of a stationary subject using image frames taken continuously.
- FNR processing is performed using three consecutive image frames.
- the imaging apparatus 100 In FNR processing, continuous image frames are compared, and the difference is determined as noise, and then noise removal is performed. However, when the operation mode of the imaging signal processing unit 120 is switched, the image quality of the image frame output from the RAW-YUV processing unit 121 greatly changes before and after the switching. For this reason, when the FNR process is performed, the output image is disturbed. Therefore, the imaging apparatus 100 according to the present embodiment prevents image distortion that occurs when the FNR process is performed, and smoothly performs electronic zoom.
- FIG. 8 shows a configuration of the imaging apparatus 100 according to the present embodiment. This embodiment is different from the first embodiment in that the imaging signal processing unit 120 includes an FNR processing unit 800 and an FNR frame buffer 801.
- the FNR processing unit 800 performs FNR processing on the image frame output from the RAW-YUV conversion unit 121. Further, the FNR processing unit 800 outputs the image frame 170 on which the FNR processing has been performed to the frame buffer 131.
- the FNR frame buffer 801 receives the image frame from the FNR processing unit 800 and temporarily records it. Further, the FNR frame buffer 801 outputs image frames recorded two or more before the past to the FNR processing unit 800.
- the second previous image frame is referred to as an image frame A
- the previous image frame is referred to as an image frame B.
- FIG. 9A shows an image frame A two frames before recorded in the FNR frame buffer 801.
- FIG. 9B shows an image frame B one frame before recorded in the FNR frame buffer 801.
- FIG. 9C shows an image frame output from the RAW-YUV conversion unit 121.
- FIG. 9D shows the zoom magnification.
- a total of three image frames, one image frame output from the RAW-YUV conversion unit 121 and the past two image frames A and B read from the FNR frame buffer 801, are used.
- Noise removal is performed. For example, between time T 2 and time T 3, noise is generated using the image frame A with frame number 1, the image frame B with frame number 2, and the image frame with frame number 3 output from the RAW-YUV conversion unit 121. Removal is performed.
- the FNR process using the image frame output from the RAW-YUV conversion unit 121 is performed between time T6 and time T7, that is, before and after the change of the operation mode of the imaging signal processing unit 120, the image is distorted. End up.
- a period of two frames that is, a period from time T6 to time T7 necessary for FNR processing after the change of the operation mode is set as the transition period.
- the transition state signal generation unit 125 monitors image frames used for FNR processing based on information output from the FNR processing unit 800. Further, the transition state signal generation unit 125 generates and outputs the transition state signal 171 so that the predetermined period becomes the transition period. This predetermined period is a period in which all image frames used for the FNR process are not output from the RAW-YUV conversion unit 121 under the same operation mode.
- the output transition state signal 171 is input to the transition state control unit 138.
- the transition state control unit 138 prevents the image frame output from the imaging signal processing unit 120 during the transition period from being used for display / encoding, thereby preventing image distortion. To prevent.
- a period in which the image frame 170 on which the FNR process has been performed is unstable occurs. During this period, moving image encoding or the like continues using the image frame 170 immediately before the operation mode of the imaging signal processing unit 120 is switched. Thereby, the disturbance of the image during that period can be prevented.
- the frame buffer 131 used for encoding is also used for repeating output of image frames, so that a new buffer does not have to be added. For this reason, image disturbance can be prevented at a lower cost.
- the transition period is set to two frames, but this transition period increases or decreases according to the number of frames required for the FNR frame.
- An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification
- An imaging signal processing unit that outputs an image frame by performing signal processing on an imaging signal output from the image sensor while switching an operation mode in accordance with switching of a readout mode of the image sensor when the zoom magnification is changed
- An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer;
- An operation unit capable of changing the zoom magnification by an operation input;
- the imaging signal processing unit Validating the transition state signal during the transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output,
- the image encoding unit includes: While the transition state signal is valid, video coding is performed using the image frame stored in the frame buffer immediately before the transition period.
- the imaging signal processing unit Perform frame noise reduction on the output image frame,
- the transition state signal is validated with the transition period being a period from the start of the change of the operation mode of the imaging signal processing unit to the time required for the frame noise reduction process.
- An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification;
- An imaging signal processing unit that performs signal processing on an imaging signal output from the image sensor and outputs an image frame while switching an operation mode in accordance with switching of a reading mode of the image sensor when the zoom magnification is changed;
- An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer;
- An operation unit capable of changing the zoom magnification by an operation input;
- An electronic zoom method for an imaging apparatus comprising: In the imaging signal processing unit, Enabling a transition state signal during a transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output; In the image encoding unit, While the transition state signal is valid, using the image frame stored in the frame buffer immediately before the transition period, performing a video encoding;
- An electronic zoom method compris
- the present invention is suitable for an image pickup apparatus having an electronic zoom function.
- Imaging device 110 Image sensor 120 Imaging signal processing part 121 RAW-YUV conversion part 122 Imaging signal processing clock generation part 123 Imaging signal processing timing generator 124 Imaging signal processing control part 125 Transition state signal generation part 130 Image encoding part 131 Frame buffer 132 Stream generation unit 133 Reference frame buffer 134 Display data reading unit 135 Image encoding clock generation unit 136 Image encoding timing generator 137 Image encoding control unit 138 Transition state control unit 140 Recording unit 150 Display unit 160 Operation unit 170 Image frame 171 Transition status signal 172 Image frame 173 Image frame 303 Sampling pulse signal 306 Vertical synchronization signal 311 Encoded stream 400 AE control unit 600 AWB Frame buffer for the control section 800 FNR processing unit 801 FNR
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
撮像装置(100)は、撮像信号を出力するイメージセンサ(110)と、撮像信号に対する信号処理を行って画像フレーム(170)を出力する撮像信号処理部(120)と、画像フレーム(170)をフレームバッファ(131)に一時記憶し、フレームバッファ(131)から出力された画像フレームに対して動画像符号化を行う画像符号化部(130)と、ズーム倍率を変更可能な操作部(160)とを備える。撮像信号処理部(120)は、ズーム倍率の変更に伴う撮像信号処理部(120)の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号(171)を有効とする。画像符号化部(130)は、移行状態信号(171)が有効となっている間では、移行期間直前にフレームバッファ(131)に記憶された画像フレームを用いて、動画像符号化を行う。
Description
本発明は、電子ズーム機能を有する撮像装置及び電子ズーム方法に関する。
CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子により動画像の撮像を行うデジタルカメラが普及している。デジタルカメラでは、撮像素子から出力された撮像信号は、デジタル信号処理、画像符号化処理を経て、フラッシュメモリ等の記録装置に記録される。
このようなデジタルカメラの一種として、従来の光学ズーム機能に加え、いわゆる電子ズーム機能を有するものが登場している。電子ズームは、一般的に、撮像素子により撮像された画像の一部を切り出し、切り出した画像を拡大又は縮小することによって、ズーム倍率に応じた大きさの被写体画像を得る機能である。
さらに、デジタルカメラでは、画像の切り出し処理や拡大又は縮小処理のような電子ズームに必要な処理の負荷を軽減するために、例えば撮像素子から撮像信号を読み出すときに、「画素加算読み出し」や、「間引き読み出し」が行われている。画素加算読み出しは、同一の色を示す複数の画素に対応する信号の電荷を加算して読み出すことである。また、間引き読み出しは、撮像素子から画素を間引いて、信号の電荷を読み出すことである。
さらに、画素加算読み出しや間引き読み出し等の、画素の輝度値の読み出し方法(読み出しモード)を、ズーム倍率に応じて動的に変更することにより、信号処理負荷をさらに削減する撮像装置等が開示されている(例えば、特許文献1参照)。
しかしながら、ズーム倍率に応じて画素の輝度値の読み出しモードが切り替わると、正常な画像の出力が一時的に停止する期間が生じる。この期間では、動画像を構成する画像(画像フレーム)に乱れが生じ、正確な画像の表示や符号化が困難になる。この問題は、上記特許文献1に記載の撮像装置等においても同様である。
本発明は、上記実情に鑑みてなされたものであり、動画像の撮影において、ズーム倍率に応じて読み出しモードが切り替わる際に生じる画像の乱れを防止することにより、スムーズな電子ズームを実現することができる撮像装置及び電子ズーム方法を提供することを目的とする。
上記目的を達成するために、本発明の第1の観点に係る撮像装置は、
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする。
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする。
本発明の第2の観点に係る電子ズーム方法は、
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含むことを特徴とする。
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含むことを特徴とする。
本発明によれば、ズーム倍率の変更に伴う撮像信号処理部の動作モードの切り替えにより、画像フレームが不安定となっている間は、動作モードが切り替わる直前の画像フレームを用いて動画像符号化が行われる。これにより、画像の乱れを防止することができる。
本発明の実施形態について、図面を参照して詳細に説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
まず、本発明の第1の実施形態について説明する。
図1には、本実施形態に係る撮像装置100の構成が示されている。図1に示すように、撮像装置100は、イメージセンサ110、撮像信号処理部120、画像符号化部130、記録部140、表示部150及び操作部160を備える。
イメージセンサ110は、CMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge Coupled Device)などの撮像素子を有する。イメージセンサ110の撮像素子の各画素は、カラーフィルタを通して撮像対象(被写体)からの光を受光して光電変換を行う。撮像素子は、各画素の電荷の集合を撮像信号として出力する。イメージセンサ110は、撮像素子の光電変換により得られた撮像信号を、後述するようにズーム倍率に応じた読み出しモードで出力する。
イメージセンサ110が備えるカラーフィルタは、m×n画素(m,nは整数)を単位とする周期的な配列のカラーパターンで並べられている。この配列は、例えば、R、G、Bの3色で構成される原色ベイヤ配列や、C、M、Y、Gの4色で構成される補色ベイヤ配列などである。このカラーフィルタにより、撮像信号により伝送される画像は、カラー画像となる。以下では、この撮像信号により伝送される画像データを、RAW画像と呼ぶ。
イメージセンサ110には、複数の読み出しモードを設定可能である。より具体的には、イメージセンサ110には、撮像素子から電荷(輝度値)が読み出される際に、画素加算なしモードと、画素加算読み出しモードとのいずれかが設定される。画素加算なしモードは、イメージセンサ110が1画素ずつそのまま輝度値を読み出すモードである。また、画素加算読み出しモードは、イメージセンサ110が、互いに近隣に位置する同色の複数の画素それぞれの輝度値を加算して読み出すモードである。
画素加算なしモードが設定された場合には、イメージセンサ110は、撮像素子のうちの一部の領域から取得した画素の輝度値を出力する。これにより、イメージセンサ110は、出力されるRAW画像のデータ量を減らすことができる。一方、画素加算読み出しモードが設定された場合には、イメージセンサ110は、互いに近隣に位置する同色の複数の画素それぞれの輝度値を加算して、1つの画素の輝度値として出力する。例えば2×2の画素を加算する画素加算読み出しモードが設定された場合だと、4画素ずつ輝度値が加算される。このため、イメージセンサ110は、出力される画像のデータ量を、画素加算なしモードの場合におけるデータ量の1/4に減らすことができる。
本実施形態では、イメージセンサ110に、画素加算読み出しモード(2×2画素加算)と、画素加算なしモードとを設定可能であるものとする。しかしながら、読み出しモードはこれには限られることなく、その他のモードが設定可能であってもよい。例えば、イメージセンサ110には、読み出しモードとして、他に、画素加算読み出しモード(3×3画素加算)などの加算される画素数が異なるモードが設定可能であってもよい。また、イメージセンサ110には、画素を間引いて読み出すモード(間引き読み出しモード)が設定可能であってもよい。
撮像信号処理部120は、ズーム倍率が変更された場合の、イメージセンサ110の読み出しモードの切り替えに伴って、動作モードを切り替える。また、撮像信号処理部120は、動作モードを切り替えながら、イメージセンサ110から出力された撮像信号(RAW画像)に対して、信号処理(デジタル画像処理)を行う。具体的には、撮像信号処理部120は、撮像信号を、輝度を示すY成分、色差を示すU成分及びV成分からなるカラーの撮像信号であるYUV信号に変換して出力する。1フレームの期間に出力されるYUV画像は、動画像を構成する1枚の画像となる。この画像を、画像フレーム170と呼ぶ。
画像符号化部130は、撮像信号処理部120から出力された画像フレーム170を符号化し、動画像のストリームとして出力する。具体的には、画像符号化部130は、H.264/AVC(Advanced Video Coding)などに準拠した動画像符号化処理を行う。
記録部140は、フラッシュメモリやHDD(Hard Disc Drive)などの記録デバイスである。記録部140には、画像符号化部130から出力された画像フレームが記録される。
表示部150は、画像を表示する。具体的には、表示部150には、表示データ読み出し部134から出力された画像フレームに基づく画像が表示される。
操作部160は、録画の開始・終了のタイミングや、ズーム倍率等をユーザが指定するためのユーザインターフェイスである。例えば、操作部160は、操作入力により、画像フレームに基づく画像のズーム倍率を変更可能である。操作部160は、ユーザによる操作の内容を示す操作信号を、撮像信号処理部120に出力する。
続いて、撮像信号処理部120の詳細な構成について説明する。撮像信号処理部120は、RAW-YUV変換部121、撮像信号処理クロック生成部122、撮像信号処理タイミングジェネレータ123、撮像信号処理制御部124及び移行状態信号生成部125を備えている。
RAW-YUV変換部121は、撮像信号処理制御部124から制御信号が入力されるタイミングで、イメージセンサ110から出力されたRAW画像を、YUV画像へ変換する。さらに、RAW-YUV変換部121は、ズーム倍率に応じて、YUV画像の一部領域を拡大(スケーリング)した画像データを、画像フレーム170として出力する。
撮像信号処理クロック生成部122は、発振子とPLL(Phase-Locked loop)とを備える。撮像信号処理クロック生成部122は、動作クロック信号を生成し、撮像信号処理タイミングジェネレータ123に出力する。
撮像信号処理タイミングジェネレータ123は、撮像信号処理クロック生成部122から出力された動作クロック信号に同期するサンプリングパルス信号を生成して、撮像信号処理制御部124に出力する。このサンプリングパルス信号は、RAW-YUV変換部121がイメージセンサ110から撮像信号を読み出すタイミングを指定するための信号である。サンプリングパルス信号には、垂直同期信号と水平同期信号とが含まれる。
撮像信号処理制御部124は、操作部160から出力された、ズーム倍率等を指定する操作信号に従って、動作モードを決定する。撮像信号処理制御部124は、RAW-YUV変換部121と、イメージセンサ110と、移行状態信号生成部125とのそれぞれに、決定された動作モードの内容を含む制御信号を出力する。RAW-YUV変換部121及びイメージセンサ110には、この制御信号に基づいて読み出しモードや画像の拡大倍率が設定される。撮像信号処理制御部124は、動作モードを切り替えるため、必要に応じてリセット・シーケンスを行う。
移行状態信号生成部125は、撮像信号処理制御部124から出力される制御信号に基づいて、移行状態信号171を画像符号化部130の移行状態制御部138に出力する。移行状態信号171は、撮像信号処理部120が後述の移行期間中にあるか否かを示す1ビットの信号である。
具体的には、操作部160によるズーム倍率の変更に伴って、撮像信号処理部120の動作モードの切り替えが開始される。移行状態信号生成部125は、この切り替えが開始されると、移行状態信号171の信号レベルを有効なレベル(例えばハイレベル)として出力する。なお、有効な信号レベルの移行状態信号171は、撮像信号処理部120が移行期間中にあることを示す。また、撮像信号処理部120から正常な画像フレーム170の出力が可能となり、移行期間が完了すると、移行状態信号生成部125は、移行状態信号171の信号レベルを無効なレベル(例えばローレベル)に変更する。
続いて、画像符号化部130の詳細な構成について説明する。
画像符号化部130は、フレームバッファ131、ストリーム生成部132、参照フレームバッファ133、表示データ読み出し部134、画像符号化クロック生成部135、画像符号化タイミングジェネレータ136、画像符号化制御部137及び移行状態制御部138を備える。
フレームバッファ131は、RAW-YUV変換部121から出力された画像フレーム170を一時記憶する。フレームバッファ131は、ストリーム生成部132に画像フレーム172を出力する。また、フレームバッファ131は、表示データ読み出し部134に画像フレーム173を出力する。
なお、フレームバッファ131からストリーム生成部132に画像フレーム172が出力される際には、動画像符号化に適した順序に画像フレーム172を入れ替える処理(リオーダリング処理)が行われる。一方、フレームバッファ131から表示データ読み出し部134に画像フレーム173が出力される際に、リオーダリング処理は行われない。
ストリーム生成部132は、フレームバッファ131から連続して出力される画像フレーム172を、前述の動画像符号化方式を用いて符号化する。そして、ストリーム生成部132は、符号化された動画像のストリームを記録部140に出力する。
参照フレームバッファ133は、動画像符号化の画面間予測符号化に必要な参照フレームを、ストリーム生成部132から受け取り、一時的に記録する。さらに、参照フレームバッファ133は、記録された参照フレームを、必要に応じてストリーム生成部132に出力する。
表示データ読み出し部134は、スルー画像の表示に必要な画像処理を行う。例えば、表示データ読み出し部134は、フレームバッファ131から出力された画像フレーム173に、撮影に関する情報(字幕等)を重畳することにより、表示データを生成する。そして、表示データ読み出し部134は、生成された表示データを表示部150に出力する。
画像符号化クロック生成部135は、動作クロック信号を生成して画像符号化タイミングジェネレータ136に出力する。
画像符号化タイミングジェネレータ136には、画像符号化クロック生成部135から出力された動作クロック信号が入力される。画像符号化タイミングジェネレータ136は、入力された動作クロック信号に同期して、サンプリングパルス信号(垂直同期信号及び水平同期信号)を生成する。そして、画像符号化タイミングジェネレータ136は、サンプリングパルス信号を画像符号化制御部137に出力する。なお、このサンプリングパルス信号は、ストリーム生成部132が画像フレームを読み込むタイミングを示す信号である。また、このサンプリングパルス信号は、画像符号化クロック生成部135から出力された動作クロック信号に同期している。
画像符号化制御部137は、画像符号化タイミングジェネレータ136から出力されたサンプリングパルス信号に同期したタイミングで、所定の制御信号を出力する。具体的には、画像符号化制御部137は、ピクチャ符号化制御信号など、動画像符号化に必要な制御信号をストリーム生成部132に出力する。また、画像符号化制御部137は、画像の表示に必要な制御信号を、表示データ読み出し部134に出力する。
また、画像符号化制御部137は、サンプリングパルス信号を、移行状態制御部138に出力する。このサンプリングパルス信号は、画像フレーム170がフレームバッファ131に書き込まれるタイミングと、フレームバッファ131から画像フレーム172、173が読み出されるタイミングとを指定する信号である。
移行状態制御部138は、後述する移行状態信号171に基づいて、画像フレーム170をフレームバッファ131に書き込むか否かを示す制御信号を生成して、フレームバッファ131に出力する。例えば、移行状態制御部138は、移行状態信号171の信号レベルが無効なレベルとなっている間は、フレームバッファ131を、画像フレーム170を記憶し、画像フレーム172、173を出力するように制御する。一方、移行状態制御部138は、移行状態信号171の信号レベルが有効なレベルとなっている間は、所定の動作を行うように、フレームバッファ131を制御する。これにより、ストリーム生成部132は、移行期間の直前にフレームバッファ131に記憶された画像フレームを用いて、動画像符号化を実行する。
次に、本実施形態に係る撮像装置100における電子ズーム処理について説明する。
電子ズーム処理は、イメージセンサ110における読み出しモードの変更と、RAW-YUV変換部121の画像スケーリング機能とによって実現される。
イメージセンサ110の読み出しモードは、ズーム倍率によって切り替えられる。例えば、ズーム倍率が低い広角撮影時には、イメージセンサ110に画素加算読み出しモード(2×2画素加算)が設定される。そして、イメージセンサ110の撮像素子の全体から最大画角で画像が読み出される。一方、ズーム倍率が高い望遠撮影時には、イメージセンサ110に画素加算なしモードが設定される。そして、画素が加算されていない精細な画像が、狭い画角で読み出される。本実施形態では、ズーム倍率が1.0倍以上2.0倍未満の場合では、画素加算読み出しモード(2×2画素加算)が設定される。また、ズーム倍率が2.0倍以上の場合では、画素加算なしモードが設定される。
ただし、撮像装置100は、イメージセンサ110の読み出しモードの変更だけでは、1.0倍、2.0倍など、固定のズーム倍率への変更しかできない。そこで、任意のズーム倍率を得るため、RAW-YUV変換部121には、画像スケーリング機能が設けられている。画像スケーリング機能は、ズーム倍率に応じて、画像の一部の領域を切り出して拡大する機能である。この機能により、任意のズーム倍率での撮像が可能となる。
図2には、撮影の継続中にズーム倍率が変更されていった場合における読み出しモードの変化の一例が示されている。
ズーム倍率の変更は、ユーザが操作部160を操作することによって行われる。操作部160の操作により、ズーム倍率が変更されると、変更されたズーム倍率に関する情報を含む操作信号が、操作部160から撮像信号処理制御部124へ出力される。撮像信号処理制御部124は、操作信号に含まれるズーム倍率に基づく制御信号を、イメージセンサ110と、RAW-YUV変換部121とに出力する。イメージセンサ110と、RAW-YUV変換部121とは、協働して、変更されたズーム倍率での画像フレーム170を生成する。
ズーム倍率は、画像フレームが切り替わるタイミングでのみ変更される。このため、1フレームの期間では、同じズーム倍率で拡大された画像フレーム170の出力が継続される。図2では、時刻T4、T5、T6、T8、T9、T10でズーム倍率が変更されている。
図2の太線で示されるように、ユーザによる操作部160の操作によって、時刻T4からズーム倍率が徐々に大きくなっていく。この間、イメージセンサ110は、入力された制御信号に従って設定された読み出しモードで、RAW画像を出力する。RAW-YUV変換部121は、入力された制御信号に従って、画像スケーリング機能を用いて画像を切り出す。
より具体的には、時刻T5まではズーム倍率が2.0倍未満なので、時刻T6までは、イメージセンサ110の読み出しモードとして画素加算読み出しモード(2×2画素加算)が設定される。1.0倍から2.0倍までのズーム倍率の微調整は、RAW-YUV変換部121の画像スケーリング機能によって行われる。
時刻T6になると、ズーム倍率が2.0倍に達するので、イメージセンサ110の読み出しモードは、画素加算なしモードに変更される。撮像信号処理部120は、この読み出しモードの変更に対応して自らの動作モードを変更するために、リセット・シーケンスを実施する。これにより、画像フレーム170の出力が停止される。以下、この期間を移行期間とする。移行期間の開始時刻は時刻T6であり、終了時刻は時刻T7である。移行期間終了後(すなわち時刻T7から)、イメージセンサ110は、画素加算なしモードで画像フレームを出力する。
このように、移行期間は、撮像信号処理部120の内部の動作モードの変更に始まる。移行期間は、撮像信号処理部120の設計仕様として与えられる。
移行期間は、例えば、以下に示すような理由によって設ける必要がある。
撮像信号処理部120は、イメージセンサ110が画素毎の輝度値を出力する周期に同期して、内部の信号処理を実施している。撮像信号処理部120は、イメージセンサ110の読み出しモードの変更に伴ってフレームレートを変更しようとすると、撮像信号処理部120の動作周波数を変更し、その際に動作クロックを一時的に停止させる必要がある場合がある。
また、撮像信号処理部120は、イメージセンサ110が各画素の輝度値を出力するタイミング(垂直同期信号、水平同期信号)に同期して、内部の信号処理を実施する。このため、イメージセンサ110の読み出しモードが変更されると、撮像信号処理部120は、イメージセンサ110から画素の輝度値を読み出すタイミングを変更する必要がある場合がある。
さらに、イメージセンサ110が画素の輝度値を読み出す領域(画角)を変更する場合にも、撮像信号処理部120は、イメージセンサ110から画素の輝度値を読み出すタイミングを変更する必要が生じることがある。
これらのような、画素の輝度値が読み出されるタイミングの変更に対応するため、撮像信号処理部120は、リセット・シーケンスを実施する必要がある。リセット・シーケンスは、ある程度の時間を要する処理である。撮像信号処理部120がこの処理を行うため、移行期間が必要となる。
移行期間終了後(時刻T7から)、イメージセンサ110の読み出しモードが、画素加算なしモードに設定された状態で、イメージセンサ110からの撮像信号の出力や、撮像信号処理部120における信号処理等が再開される。
次に、撮像装置100の内部において処理される信号のシーケンスについて、図3(A)~図3(G)を参照して説明する。
図3(A)には、移行状態信号171が示されている。また、図3(B)には、撮像信号処理タイミングジェネレータ123のサンプリングパルス信号303が示されている。また、図3(C)には、RAW-YUV変換部121から出力される画像フレーム170が示されている。
さらに、図3(D)には、画像符号化タイミングジェネレータ136から出力される垂直同期信号306が示されている。また、図3(E)には、表示データ読み出し部134に入力される画像フレーム173が示されている。また、図3(F)には、ストリーム生成部132に入力される画像フレーム172が示されている。また、図3(G)には、画像フレーム172を符号化ストリーム311として表したものが示されている。
図3(A)~図3(G)における時刻T0~時刻T12は、図2の時刻T0~時刻T12に対応している。また、この実施形態では、時刻T0から時刻T12までにズーム倍率が図2に示すように変化した場合において、撮像装置100によって処理される信号のシーケンスが、図3(A)~図3(G)に示されている。
まず、時刻T0から時刻T6に至るまでの処理シーケンスについて説明する。
図3(A)に示すように、移行状態信号生成部125から出力される移行状態信号171は、ズーム倍率が1.0以上2.0未満となっている時刻T0から時刻T6までは、ローレベルとなっている。
図3(B)に示すサンプリングパルス信号303は、撮像信号処理制御部124を介して、RAW-YUV変換部121に入力されている。図3(C)に示すように、RAW-YUV変換部121は、サンプリングパルス信号303が立ち上がる度に、1枚の画像フレームを構成する各画素を伝送するための撮像信号を、ラスタ・スキャン順に出力する。すなわち、撮像信号処理部120から画像フレーム170が出力されるタイミングは、撮像信号処理タイミングジェネレータ123から出力されるサンプリングパルス信号303に同期している。
なお、図3(C)において、各画像フレーム170に示される数値は、撮像信号処理部120から出力される画像フレーム170に、時系列順の番号として付与されたフレーム番号である。図3(C)では、時刻T0からT1の間に最初の画像フレーム(フレーム番号1)が出力され、時刻T1からT2の間に次の画像フレーム(フレーム番号2)が出力されている。
撮像信号処理部120から出力された画像フレーム170は、フレームバッファ131に記録される。
一方、図3(D)に示す垂直同期信号306は、画像符号化制御部137を介して、表示データ読み出し部134に入力されている。図3(E)に示すように、表示データ読み出し部134は、垂直同期信号306が立ち上がる度に、1枚の画像フレーム173をフレームバッファ131から読み出す。フレーム番号1からフレーム番号6までの画像フレームは、フレームバッファ131から表示データ読み出し部134へ、フレームバッファ131に記録された順で出力される。
また、図3(D)に示す垂直同期信号306は、画像符号化制御部137を介して、ストリーム生成部132に入力されている。図3(F)に示すように、ストリーム生成部132は、垂直同期信号306が立ち上がる度に、1枚の画像フレーム172をフレームバッファ131から読み出して、動画像符号化を行う。
画像フレーム172は、動画像符号化に適した順序(符号化順)となるように、リオーダリング処理が施されている。図3(F)及び図3(G)で総合的に示すように、リオーダリング処理によって、Iピクチャはディスプレイ順より1フレーム、Bピクチャはディスプレイ順より2フレーム遅延して、ストリーム生成部132に出力される。また、Pピクチャはディスプレイ順と同じタイミングで、ストリーム生成部132に出力される。
図3(G)に示すように、ストリーム生成部132によって生成された符号化ストリーム311を構成するピクチャは、画面内符号化を行うためのIピクチャ、並びに画面間符号化を行うためのPピクチャ及びBピクチャから選択可能である。本実施形態では、I、P、B、P、Bの順序を1単位として、その順序を繰り返して符号化が行われる。より具体的には、Pピクチャは、過去に符号化されたIピクチャを参照して符号化される。また、Bピクチャは、過去に符号化されたIピクチャ又はPピクチャを参照して符号化される。
続いて、時刻T6においてズーム倍率が2.0倍となった後の処理について説明する。
まず、撮像信号処理制御部124は、イメージセンサ110、RAW-YUV変換部121及び移行状態信号生成部125に対して、ズーム倍率が2.0倍となった旨の制御信号を出力する。
この制御信号を受けて、イメージセンサ110は、読み出しモードを画素加算なしモードに切り替える。また、この制御信号を受けて、RAW-YUV変換部121は、画像スケーリング機能の拡大倍率を初期化する。さらに、移行状態信号生成部125は、移行状態信号171の信号レベルを、移行期間の開始時にローレベルからハイレベルに切り替える。これにより、撮像装置100は、移行状態に遷移する。この後、撮像信号処理部120は、リセット・シーケンスを実施する。
移行状態では、撮像信号処理部120から出力される画像フレーム170が乱れている。このため、移行状態信号171がハイレベルになったことを検出した移行状態制御部138は、画像フレーム170を記録しないように、フレームバッファ131を制御する。また、この移行状態制御部138は、移行状態の直前に記録された画像フレームを繰り返し出力するように、フレームバッファ131を制御する。
これらの制御により、フレームバッファ131から、画像フレーム172、173として、移行状態となる直前に記録された画像フレームが繰り返し出力される。図3(E)には、フレーム番号6の画像フレームが5回連続で、表示データ読み出し部134へ繰り返し出力される状態が示されている。
なお、移行状態信号171は、移行状態信号生成部125の内部のメモリやレジスタ等の記憶領域に保持されている。また、移行状態信号生成部125は、撮像信号処理部120のリセットがあっても、移行状態信号171がハイレベルに維持されるように構成されている。これにより、撮像信号処理部120がリセット・シーケンスを実施している間も、移行状態信号171の値が保持されるようになっている。
続いて、移行期間が終了した時刻T7以降の処理について説明する。この時点では、撮像信号処理部120のリセット・シーケンスは終了している。
時刻T7において、図3(A)に示すように、移行状態信号生成部125は、移行状態信号171を、ハイレベルからローレベルに切り替える。移行状態信号171がローレベルになったことを検出した移行状態制御部138は、フレームバッファ131の状態を、画像フレーム170を記録して出力する状態に戻す。
この時点で、イメージセンサ110の読み出しモードは、すでに画素加算なしモードに切り替わっている。したがって、イメージセンサ110は、画素加算なしモードで撮像信号を出力している。そして、図3(C)に示すように、RAW-YUV変換部121は、入力された撮像信号に基づいて、画像フレーム170としてフレーム番号7以降の画像フレームを生成して出力する。
図3(E)に示すように、表示データ読み出し部134は、時刻T0~時刻T6と同様に、垂直同期信号306が立ち上がる度に、画像フレーム173を1枚ずつフレームバッファ131から読み出す。一方、図3(F)及び図3(G)に示すように、ストリーム生成部132は、時刻T0~時刻T6と同様に、垂直同期信号306が立ち上がる度に、1枚の画像フレーム172をフレームバッファ131から読み出して、動画像符号化を行う。
なお、移行期間の長さはフレームの周期の整数倍になるとは限らない。このため、撮像装置100が移行状態から通常状態に復帰した後は、撮像信号処理部120の出力タイミングが、移行前のタイミングとずれてしまうことがある。この問題に対処するために、撮像装置100には、画像フレーム170を、画像符号化部タイミングジェネレータ123から出力される垂直同期信号306に同期させるフレームシンクロナイザの機能が必要となる。本実施形態では、画像符号化部130内のフレームバッファ131を用いて、フレームシンクロナイザの機能が実現されている。これにより、どのようなタイミングで撮像信号処理部120から画像フレームが出力されたとしても、画像符号化が可能となる。
以上詳細に説明したように、ズーム倍率の変更に伴う撮像信号処理部120の動作モードの切り替えにより、画像フレーム170が不安定となっている期間が生じる。本実施形態によれば、この期間では、動作モードが切り替わる直前の画像フレーム170を用いて動画像符号化等が継続される。これにより、その期間における画像の乱れを防止することができる。
また、撮像装置100は、画像フレームをリピートし、フレームシンクロナイザの機能を実現することで、リセット・シーケンスに起因する画像の乱れを防止する。画像の乱れを防止するためには、RAW-YUV処理部121から出力された画像フレーム170を記録するバッファを、撮像信号処理部120より後段に用意する必要がある。しかしながら、フレームバッファを新たに追加すると、製造などにかかるコストが増えてしまう。
動画像符号化におけるリオーダリング処理を行うために、画像符号化部130は、フレームバッファ131を備えている。そこで、本実施形態では、このフレームバッファ131を、画像フレームの出力のリピートにも活用する。これにより、撮像装置100内に、新たなバッファを追加しなくて済むので、より少ないコストで画像の乱れを防止することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
次に、本発明の第2の実施形態について説明する。
上記第1の実施形態では、イメージセンサ110の読み出しモードの変更に伴い、撮像信号処理部120でリセット・シーケンスが実行された。また、このリセット・シーケンスの実行などの理由により、撮像信号処理部120が画像フレームを出力できない期間(移行期間)が発生した。そして、その期間に生じる画像の乱れが防止された。
本実施形態では、撮像信号処理部120が、自動露出(Auto Exposure:AE)制御を行う点に着目する。より具体的には、本実施形態では、イメージセンサ110の読み出しモードが切り替わってからAE制御が安定するまでに、1フレームから数フレーム分の時間を要する点に着目する。
イメージセンサ110が、読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、出力される画素のゲインが変化する。ゲインの変化を補正することによってAE制御の評価値(測光値)が収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部120のリセット・シーケンスが発生しないか、もしくは終了した後であっても、測光値が収束していない場合には、撮像信号処理部120から出力される画像フレームの画質が安定しない。その結果として、画像が乱れてしまう。
そこで、本実施形態に係る撮像装置100は、測光値が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
図4には、本実施形態の撮像装置100の構成が示されている。図4に示すように、本実施形態に係る撮像信号処理制御部124は、AE制御部400を備えている点で上記第1の実施形態に係るものと異なる。
AE制御部400は、制御信号をイメージセンサ110に出力するとともに、制御信号を移行状態信号生成部125に出力する。
図5(A)~図5(D)を参照して、本実施形態に係る移行期間について説明する。図5(A)には、絞り値(F値)の制御信号(F値制御信号)が示されている。また、図5(B)には、シャッタースピード制御信号が示されている。また、図5(C)には、測光値が示されている。さらに、図5(D)には、ズーム倍率が示されている。
AE制御の動作モードには、絞り優先モードと、シャッタースピード優先モードとがある。それぞれの動作モードでは、絞り値(F値)・シャッタースピードのどちらかの制御量が、ユーザの指定する数値に優先的に合わされている。また、もう1つの制御量は、露出が適正になるように、適応的に変更される。
図5(A)~図5(D)には、絞り優先モードの場合が示されている。図5(A)に示すように、絞りは‘5.6’に設定されている。本実施形態では、図5(D)に示すように、時刻T6においてズーム倍率が2.0倍になると、イメージセンサ110の読み出しモードと、撮像信号処理部120の動作モードとの切り替えが開始される。その後、図5(C)に示すように、時刻T7において測光値が最適になるまで、図5(B)に示すように、シャッタースピードを調整することでAE制御が行われる。
AE制御が行われている間(時刻T6から時刻T7まで)は、測光値が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ110の読み出しモードが切り替わるとともに、撮像信号処理部120の動作モードの変更が開始される。また、この動作モードの変更の開始とともに、AE制御が開始される。AE制御が開始された時点から測光値が収束するまでの期間を、移行期間とする。
なお、図5(A)~図5(D)には、絞り優先モードの場合が示されているが、シャッタースピード優先モードの場合においても、同様に移行期間が生じる。具体的には、測光値が最適になるまで、シャッタースピードを調整することでAE制御が行われる。すなわち、測光値が最適になるまで、移行期間が継続する。
本実施形態では、移行状態制御部125が、AE制御部400から出力される制御信号に基づいて、動作モード変更後(時刻T6後)の測光値を監視する。また、移行状態制御部125は、測光値が収束するまでの期間(時刻T7までの期間)が移行期間となるように、移行状態信号171を生成して出力する。出力された移行状態信号171は移行状態制御部138に入力される。移行状態制御部138は、上記第1の実施形態と同様に、移行期間に出力された画像フレームが表示・符号化に用いられないようにすることによって、画像の乱れを防止する。
本実施形態によれば、AE制御により、測光値が収束せず画像フレーム170が不安定となっている期間が生じる。この期間では、動作モードが切り替わる直前の画像フレーム170を用いて動画像符号化等が継続する。これにより、その期間における画像の乱れを防止することができる。
また、上記第1の実施形態と同様に、符号化に用いられるフレームバッファ131を、画像フレームの出力のリピートにも用いることで、新たなバッファを追加しなくて済む。これにより、より少ないコストで画像の乱れを防止することができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
次に、本発明の第3の実施形態について説明する。
本実施形態では、撮像信号処理部120がオートホワイトバランス(Auto White Balance; AWB)制御を行う点に着目する。より具体的には、本実施形態では、イメージセンサ110の読み出しモードが切り替わってからAWB制御が安定するまでには、1フレームから数フレーム分の時間を要する点に着目する。
イメージセンサ110が、読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、イメージセンサ110の撮像素子の各画素のゲインが変化する。ゲインの変化を補正することによってAWB制御の評価値(色温度)が所望の値に収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部120のリセット・シーケンスが発生しない場合、もしくはリセット・シーケンスが終了した後であっても、色温度が収束していない場合には、撮像信号処理部120から出力される画像フレームの画質が安定しない。その結果として、画像が乱れてしまう。
そこで、本実施形態に係る撮像装置100は、色温度が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
図6には、第3の実施形態に係る撮像装置100の構成が示されている。図6に示すように、本実施形態に係る撮像信号処理制御部124は、AWB制御部600を備えている点で、上記第1の実施形態に係るものと異なる。
AWB制御部600は、制御信号をRAW-YUV変換部121に出力するとともに、その制御信号を移行状態信号生成部125に通知する。
図7(A)~図7(D)を参照して、本実施形態に係る移行期間について説明する。図7(A)には、AWB制御部600からRAW-YUV変換部121に出力されるR/Gゲイン制御信号が示されている。また、図7(B)には、AWB制御部600からRAW-YUV変換部121に出力されるB/Gゲイン制御信号が示されている。また、図7(C)には、色温度が示されている。さらに、図7(D)には、ズーム倍率が示されている。
AWB制御部600は、撮像された画像の色温度を解析した上で、所望の色温度(例えば6500K)に変換されるように、R/Gゲイン、B/Gゲインを調整する。AWB制御が行われている間(時刻T6から時刻T7まで)は、色温度が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ110の読み出しモードと、撮像信号処理部120の動作モードとの切り替えが開始されるとともに、AWB制御部600のAWB制御が開始される。AWB制御が開始されてから、色温度が収束するまでの期間を、移行期間とする。
本実施形態では、移行状態信号生成部125は、AWB制御部600から出力される制御信号に基づいて、撮像信号処理部120の動作モードが変更した後の色温度を監視する。また、移行状態信号生成部125は、色温度が収束するまでの期間が移行期間となるように、移行状態信号171の信号レベルをハイレベルとする。移行状態信号171は移行状態制御部138に入力される。移行状態制御部138は、上記第1の実施形態と同様に、移行期間に撮像信号処理部120から出力された画像フレーム170が表示・符号化に用いられないようにすることによって、画像の乱れを防止する。
本実施形態によれば、AWB制御により、色温度が収束せず画像フレーム170が不安定となっている期間が生じる。この期間では、動作モードが切り替わる直前の画像フレーム170を用いて動画像符号化等が継続する。これにより、その期間における画像の乱れを防止することができる。
また、上記第1の実施形態と同様、符号化に用いられるフレームバッファ131を、画像フレームの出力のリピートにも用いることで、新たなバッファを追加しなくて済む。これにより、より少ないコストで画像の乱れを防止することができる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
次に、本発明の第4の実施形態について説明する。
本実施形態では、撮像信号処理部120が、フレーム・ノイズ・リダクション(Frame Noise Reduction; FNR)処理を行う点に着目する。本実施形態では、イメージセンサ110の読み出しモード及び撮像信号処理部120の動作モードが切り替わってから、FNR処理において出力される画像フレーム170の画質が安定するまでに、数フレーム分の時間を要する点に着目する。
FNR処理は、連続して撮像された画像フレームを用いて、主として静止する被写体の画像からノイズを低減する処理である。本実施形態では、連続する3枚の画像フレームを用いてFNR処理が行われる場合について説明する。
FNR処理では、連続した画像フレームを比較して、その差分をノイズと判定した上で、ノイズ除去が行われる。しかしながら、撮像信号処理部120の動作モードが切り替わると、その切り替えの前後で、RAW-YUV処理部121から出力される画像フレームの画質が大きく変化する。このため、FNR処理が実施されると、出力される画像に乱れが生じる。そこで、本実施形態に係る撮像装置100は、FNR処理が実施される場合に生じる画像の乱れを防止し、スムーズに電子ズームを行う。
図8には、本実施形態に係る撮像装置100の構成が示されている。本実施形態は、撮像信号処理部120がFNR処理部800と、FNR用フレームバッファ801を備えている点で、上記第1の実施形態と異なる。
FNR処理部800は、RAW-YUV変換部121から出力される画像フレームに対してFNR処理を行う。また、FNR処理部800は、FNR処理が施された画像フレーム170を、フレームバッファ131に出力する。
FNR用フレームバッファ801は、FNR処理部800から、画像フレームを受け取り、一時的に記録する。また、FNR用フレームバッファ801は、FNR処理部800に対して、過去2枚前以降に記録された画像フレームを出力する。ここでは、2つ前の画像フレームを画像フレームAとし、1つ前の画像フレームを画像フレームBとする。
図9(A)~図9(D)を参照して、本実施形態に係る移行期間について説明する。図9(A)には、FNR用フレームバッファ801に記録される、2フレーム前の画像フレームAが示されている。図9(B)には、FNR用フレームバッファ801に記録される、1フレーム前の画像フレームBが示されている。図9(C)には、RAW-YUV変換部121から出力される画像フレームが示されている。さらに、図9(D)にはズーム倍率が示されている。
本実施形態のFNR処理では、RAW-YUV変換部121が出力する画像フレーム1枚と、FNR用フレームバッファ801から読み取った過去2枚分の画像フレームA、Bの、計3枚を用いて、ノイズ除去が行われる。例えば、時刻T2から時刻T3の間では、フレーム番号1の画像フレームAと、フレーム番号2の画像フレームBと、RAW-YUV変換部121から出力されたフレーム番号3の画像フレームとを用いてノイズ除去が行われる。
時刻T6と時刻T7の間に、すなわち撮像信号処理部120の動作モードの変更の前後に、RAW-YUV変換部121から出力された画像フレームを用いたFNR処理が実施されると、画像が乱れてしまう。本実施形態では、この画像の乱れを防ぐために、動作モードの変更後から、FNR処理に必要な2フレーム分の期間(すなわち時刻T6から時刻T7までの期間)を移行期間とする。
本実施形態においては、移行状態信号生成部125は、FNR処理部800から出力される情報に基づいて、FNR処理に用いられる画像フレームを監視する。また、移行状態信号生成部125は、所定の期間が移行期間となるように、移行状態信号171を生成して出力する。この所定の期間は、FNR処理に用いられる全ての画像フレームが、同じ動作モードの下で、RAW-YUV変換部121から出力されていない期間である。出力された移行状態信号171は移行状態制御部138に入力される。移行状態制御部138は、上記第1の実施形態と同様に、移行期間に撮像信号処理部120から出力された画像フレームが表示・符号化に用いられないようにすることによって、画像の乱れを防止する。
本実施形態によれば、FNR処理が行われた画像フレーム170が不安定となっている期間が生じる。この期間では、撮像信号処理部120の動作モードが切り替わる直前の画像フレーム170を用いて動画像符号化等が継続する。これにより、その期間における画像の乱れを防止することができる。
また、上記第1の実施形態と同様、符号化に用いられるフレームバッファ131を、画像フレームの出力のリピートにも用いることで、新たなバッファを追加しなくて済む。このため、より少ないコストで画像の乱れを防止することができる。
なお、本実施形態では、移行期間を2フレーム分としたが、この移行期間は、FNRフレームに必要なフレーム数に応じて増減する。
上記実施の形態の一部又は全ては、以下の付記のようにも記載されうるが以下には限定されない。
(付記1)
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。
(付記2)
前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
(付記3)
前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
(付記4)
前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
(付記5)
前記撮像信号処理部は、
出力する画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
前記撮像信号処理部は、
出力する画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記1に記載の撮像装置。
(付記6)
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含むことを特徴とする電子ズーム方法。
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含むことを特徴とする電子ズーム方法。
本明細書中に日本国特許出願2011-10731号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明は、電子ズーム機能を有する撮像装置に好適である。
100 撮像装置
110 イメージセンサ
120 撮像信号処理部
121 RAW-YUV変換部
122 撮像信号処理クロック生成部
123 撮像信号処理タイミングジェネレータ
124 撮像信号処理制御部
125 移行状態信号生成部
130 画像符号化部
131 フレームバッファ
132 ストリーム生成部
133 参照フレームバッファ
134 表示データ読み出し部
135 画像符号化クロック生成部
136 画像符号化タイミングジェネレータ
137 画像符号化制御部
138 移行状態制御部
140 記録部
150 表示部
160 操作部
170 画像フレーム
171 移行状態信号
172 画像フレーム
173 画像フレーム
303 サンプリングパルス信号
306 垂直同期信号
311 符号化ストリーム
400 AE制御部
600 AWB制御部
800 FNR処理部
801 FNR用フレームバッファ
110 イメージセンサ
120 撮像信号処理部
121 RAW-YUV変換部
122 撮像信号処理クロック生成部
123 撮像信号処理タイミングジェネレータ
124 撮像信号処理制御部
125 移行状態信号生成部
130 画像符号化部
131 フレームバッファ
132 ストリーム生成部
133 参照フレームバッファ
134 表示データ読み出し部
135 画像符号化クロック生成部
136 画像符号化タイミングジェネレータ
137 画像符号化制御部
138 移行状態制御部
140 記録部
150 表示部
160 操作部
170 画像フレーム
171 移行状態信号
172 画像フレーム
173 画像フレーム
303 サンプリングパルス信号
306 垂直同期信号
311 符号化ストリーム
400 AE制御部
600 AWB制御部
800 FNR処理部
801 FNR用フレームバッファ
Claims (6)
- 撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。 - 前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像信号処理部は、
前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項1に記載の撮像装置。 - 前記撮像信号処理部は、
出力する画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項1に記載の撮像装置。 - 撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含むことを特徴とする電子ズーム方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/068508 WO2014013619A1 (ja) | 2012-07-20 | 2012-07-20 | 撮像装置及び電子ズーム方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/068508 WO2014013619A1 (ja) | 2012-07-20 | 2012-07-20 | 撮像装置及び電子ズーム方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014013619A1 true WO2014013619A1 (ja) | 2014-01-23 |
Family
ID=49948470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/068508 WO2014013619A1 (ja) | 2012-07-20 | 2012-07-20 | 撮像装置及び電子ズーム方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2014013619A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022199594A1 (zh) * | 2021-03-26 | 2022-09-29 | 华为技术有限公司 | 一种远程视频方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009302683A (ja) * | 2008-06-10 | 2009-12-24 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP2012151787A (ja) * | 2011-01-21 | 2012-08-09 | Nec Casio Mobile Communications Ltd | 撮像装置及び電子ズーム方法 |
-
2012
- 2012-07-20 WO PCT/JP2012/068508 patent/WO2014013619A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009302683A (ja) * | 2008-06-10 | 2009-12-24 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
JP2012151787A (ja) * | 2011-01-21 | 2012-08-09 | Nec Casio Mobile Communications Ltd | 撮像装置及び電子ズーム方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022199594A1 (zh) * | 2021-03-26 | 2022-09-29 | 华为技术有限公司 | 一种远程视频方法及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4378804B2 (ja) | 撮像装置 | |
US7978229B2 (en) | Image pickup apparatus and method for controlling the same | |
JP4187425B2 (ja) | 画像制御装置およびディジタルカメラ | |
US8743227B2 (en) | Imaging apparatus and control method for reducing a load of writing image data on a recording medium | |
US20070146810A1 (en) | Image display apparatus, method, and program | |
JP2008252461A (ja) | 撮像装置 | |
US8427554B2 (en) | Imaging apparatus and control method therefor | |
JP2007135133A (ja) | 撮像装置 | |
JP2020053771A (ja) | 画像処理装置、撮像装置 | |
JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
JP2012054661A (ja) | 撮像装置、および信号処理方法、並びにプログラム | |
US9160926B2 (en) | Image processing apparatus having display device, control method therefor, and storage medium | |
JP2012151787A (ja) | 撮像装置及び電子ズーム方法 | |
US20110032412A1 (en) | Image processing apparatus and image processing method | |
JP5235604B2 (ja) | 画像処理装置および画像処理方法 | |
US10397587B2 (en) | Image processing apparatus and control method thereof | |
JP2005012423A (ja) | 撮像装置及び信号処理装置 | |
US10348957B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images | |
WO2014013619A1 (ja) | 撮像装置及び電子ズーム方法 | |
JP2001086394A (ja) | 撮像装置 | |
JP2011223146A (ja) | 電子カメラ | |
JP2000299810A (ja) | 撮像装置 | |
JP5354035B2 (ja) | ズーム機構付き撮像装置。 | |
US20240127398A1 (en) | Image capturing apparatus and image capturing method for generating high-resolution image, and non-transitory computer-readable storage medium storing program | |
JP2009015332A (ja) | 画像処理制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12881284 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12881284 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |