WO2014013619A1 - 撮像装置及び電子ズーム方法 - Google Patents

撮像装置及び電子ズーム方法 Download PDF

Info

Publication number
WO2014013619A1
WO2014013619A1 PCT/JP2012/068508 JP2012068508W WO2014013619A1 WO 2014013619 A1 WO2014013619 A1 WO 2014013619A1 JP 2012068508 W JP2012068508 W JP 2012068508W WO 2014013619 A1 WO2014013619 A1 WO 2014013619A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal processing
imaging signal
processing unit
imaging
Prior art date
Application number
PCT/JP2012/068508
Other languages
English (en)
French (fr)
Inventor
朋和 石原
多田　行伸
小味　弘典
谷田部　祐介
野中　智之
増田　浩三
雄一 野中
Original Assignee
Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃカシオモバイルコミュニケーションズ株式会社 filed Critical Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority to PCT/JP2012/068508 priority Critical patent/WO2014013619A1/ja
Publication of WO2014013619A1 publication Critical patent/WO2014013619A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Definitions

  • the present invention relates to an imaging apparatus having an electronic zoom function and an electronic zoom method.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the electronic zoom is a function of obtaining a subject image having a size corresponding to a zoom magnification by cutting out a part of an image picked up by an image sensor and enlarging or reducing the cut-out image.
  • Pixel addition readout is to read out by adding the charges of signals corresponding to a plurality of pixels showing the same color.
  • the thinning-out reading is to read out signal charges by thinning out pixels from the image sensor.
  • an image pickup apparatus or the like that further reduces the signal processing load by dynamically changing a pixel luminance value readout method (readout mode) such as pixel addition readout or thinning readout according to the zoom magnification is disclosed.
  • readout mode a pixel luminance value readout method
  • pixel addition readout or thinning readout a pixel addition readout or thinning readout according to the zoom magnification
  • the present invention has been made in view of the above circumstances, and realizes a smooth electronic zoom by preventing image disturbance that occurs when a readout mode is switched in accordance with a zoom magnification in shooting a moving image.
  • An object of the present invention is to provide an imaging apparatus and an electronic zoom method that can perform the above-described operation.
  • an imaging apparatus provides: An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification; An imaging signal processing unit that outputs an image frame by performing signal processing on an imaging signal output from the image sensor while switching an operation mode in accordance with switching of a readout mode of the image sensor when the zoom magnification is changed
  • An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer;
  • An operation unit capable of changing the zoom magnification by an operation input;
  • the imaging signal processing unit Validating the transition state signal during the transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output,
  • the image encoding unit includes: While the transition state signal is valid, video coding is performed using the image frame stored in the frame buffer immediately before the transition period. It is characterized by that.
  • An electronic zoom method includes: An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification; An imaging signal processing unit that performs signal processing on an imaging signal output from the image sensor and outputs an image frame while switching an operation mode in accordance with switching of a reading mode of the image sensor when the zoom magnification is changed; , An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer; An operation unit capable of changing the zoom magnification by an operation input; An electronic zoom method for an imaging apparatus comprising: In the imaging signal processing unit, Enabling a transition state signal during a transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output; In the image encoding unit, While the transition state signal is valid, using the image frame stored in the frame buffer immediately before the transition period, performing a video en
  • the moving image encoding is performed using the image frame immediately before the operation mode is switched. Is done. Thereby, the disturbance of the image can be prevented.
  • FIG. 3A to FIG. 3G are timing charts of signals exchanged between the constituent elements included in the imaging device. It is a block diagram which shows the structure of the imaging device which concerns on 2nd Embodiment.
  • FIG. 5A to FIG. 5D are timing charts for explaining the transition period according to the second embodiment.
  • FIGS. 7A to 7D are timing charts for explaining the transition period according to the third embodiment.
  • FIG. 9A to FIG. 9D are timing charts for explaining the transition period according to the fourth embodiment.
  • FIG. 1 shows the configuration of the imaging apparatus 100 according to the present embodiment.
  • the imaging apparatus 100 includes an image sensor 110, an imaging signal processing unit 120, an image encoding unit 130, a recording unit 140, a display unit 150, and an operation unit 160.
  • the image sensor 110 has an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). Each pixel of the image sensor of the image sensor 110 receives light from an imaging target (subject) through a color filter and performs photoelectric conversion. The imaging element outputs a set of charges of each pixel as an imaging signal. The image sensor 110 outputs an image pickup signal obtained by photoelectric conversion of the image pickup device in a read mode corresponding to the zoom magnification as will be described later.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the color filters included in the image sensor 110 are arranged in a periodic arrangement of color patterns in units of m ⁇ n pixels (m and n are integers).
  • This arrangement is, for example, a primary color Bayer arrangement composed of three colors of R, G, and B, or a complementary color Bayer arrangement composed of four colors of C, M, Y, and G.
  • the image transmitted by the imaging signal becomes a color image.
  • the image data transmitted by this imaging signal is referred to as a RAW image.
  • the image sensor 110 can be set in a plurality of readout modes. More specifically, when charge (luminance value) is read out from the image sensor 110, the image sensor 110 is set to either the no pixel addition mode or the pixel addition reading mode.
  • the mode without pixel addition is a mode in which the image sensor 110 reads the luminance value as it is, pixel by pixel.
  • the pixel addition reading mode is a mode in which the image sensor 110 adds and reads the luminance values of a plurality of pixels of the same color located in the vicinity of each other.
  • the image sensor 110 When the no pixel addition mode is set, the image sensor 110 outputs the luminance value of the pixel acquired from a part of the image sensor. Thereby, the image sensor 110 can reduce the data amount of the RAW image output.
  • the image sensor 110 when the pixel addition readout mode is set, the image sensor 110 adds the luminance values of a plurality of pixels of the same color located in the vicinity of each other, and outputs the result as a luminance value of one pixel. For example, when the pixel addition reading mode for adding 2 ⁇ 2 pixels is set, the luminance value is added by four pixels. For this reason, the image sensor 110 can reduce the data amount of the output image to 1 ⁇ 4 of the data amount in the case of the no pixel addition mode.
  • the image sensor 110 can be set to a pixel addition reading mode (2 ⁇ 2 pixel addition) and a mode without pixel addition.
  • the read mode is not limited to this, and other modes may be set.
  • a mode in which the number of added pixels is different such as a pixel addition reading mode (3 ⁇ 3 pixel addition) may be set as a reading mode.
  • the image sensor 110 may be capable of setting a mode (thinning readout mode) in which pixels are read out.
  • the imaging signal processing unit 120 switches the operation mode in accordance with the switching of the reading mode of the image sensor 110 when the zoom magnification is changed.
  • the imaging signal processing unit 120 performs signal processing (digital image processing) on the imaging signal (RAW image) output from the image sensor 110 while switching the operation mode.
  • the imaging signal processing unit 120 converts the imaging signal into a YUV signal that is a color imaging signal including a Y component indicating luminance, a U component indicating color difference, and a V component, and outputs the YUV signal.
  • a YUV image output during a period of one frame becomes one image constituting a moving image. This image is called an image frame 170.
  • the image encoding unit 130 encodes the image frame 170 output from the imaging signal processing unit 120 and outputs the encoded image frame 170 as a moving image stream.
  • the image encoding unit 130 is an H.264 filer.
  • H.264 / AVC Advanced Video Video Coding
  • the recording unit 140 is a recording device such as a flash memory or an HDD (Hard Disc Drive).
  • the recording unit 140 records the image frame output from the image encoding unit 130.
  • Display unit 150 displays an image. Specifically, an image based on the image frame output from the display data reading unit 134 is displayed on the display unit 150.
  • the operation unit 160 is a user interface for the user to specify recording start / end timing, zoom magnification, and the like. For example, the operation unit 160 can change the zoom magnification of the image based on the image frame by an operation input.
  • the operation unit 160 outputs an operation signal indicating the content of the operation by the user to the imaging signal processing unit 120.
  • the imaging signal processing unit 120 includes a RAW-YUV conversion unit 121, an imaging signal processing clock generation unit 122, an imaging signal processing timing generator 123, an imaging signal processing control unit 124, and a transition state signal generation unit 125. *
  • the RAW-YUV conversion unit 121 converts the RAW image output from the image sensor 110 into a YUV image at the timing when the control signal is input from the imaging signal processing control unit 124. Further, the RAW-YUV conversion unit 121 outputs, as an image frame 170, image data obtained by enlarging (scaling) a partial region of the YUV image according to the zoom magnification.
  • the imaging signal processing clock generation unit 122 includes an oscillator and a PLL (Phase-Locked Loop). The imaging signal processing clock generation unit 122 generates an operation clock signal and outputs it to the imaging signal processing timing generator 123.
  • PLL Phase-Locked Loop
  • the imaging signal processing timing generator 123 generates a sampling pulse signal synchronized with the operation clock signal output from the imaging signal processing clock generation unit 122 and outputs the sampling pulse signal to the imaging signal processing control unit 124.
  • This sampling pulse signal is a signal for designating the timing at which the RAW-YUV conversion unit 121 reads the imaging signal from the image sensor 110.
  • the sampling pulse signal includes a vertical synchronization signal and a horizontal synchronization signal.
  • the imaging signal processing control unit 124 determines the operation mode according to the operation signal output from the operation unit 160 and designating the zoom magnification and the like.
  • the imaging signal processing control unit 124 outputs a control signal including the contents of the determined operation mode to each of the RAW-YUV conversion unit 121, the image sensor 110, and the transition state signal generation unit 125.
  • a read mode and an image enlargement magnification are set based on this control signal.
  • the imaging signal processing control unit 124 performs a reset sequence as necessary to switch the operation mode.
  • the transition state signal generation unit 125 outputs the transition state signal 171 to the transition state control unit 138 of the image encoding unit 130 based on the control signal output from the imaging signal processing control unit 124.
  • the transition state signal 171 is a 1-bit signal indicating whether or not the imaging signal processing unit 120 is in a transition period described later.
  • the transition state signal generation unit 125 outputs the signal level of the transition state signal 171 as an effective level (for example, a high level).
  • the transition state signal 171 having an effective signal level indicates that the imaging signal processing unit 120 is in the transition period.
  • the transition state signal generation unit 125 sets the signal level of the transition state signal 171 to an invalid level (for example, a low level). change.
  • the image encoding unit 130 includes a frame buffer 131, a stream generation unit 132, a reference frame buffer 133, a display data reading unit 134, an image encoding clock generation unit 135, an image encoding timing generator 136, an image encoding control unit 137, and a transition.
  • a state control unit 138 is provided.
  • the frame buffer 131 temporarily stores the image frame 170 output from the RAW-YUV conversion unit 121.
  • the frame buffer 131 outputs the image frame 172 to the stream generation unit 132. Further, the frame buffer 131 outputs the image frame 173 to the display data reading unit 134.
  • the stream generation unit 132 encodes the image frames 172 continuously output from the frame buffer 131 using the above-described moving image encoding method. Then, the stream generation unit 132 outputs the encoded moving image stream to the recording unit 140.
  • the reference frame buffer 133 receives a reference frame necessary for inter-picture prediction encoding of moving image encoding from the stream generation unit 132 and temporarily records the reference frame. Further, the reference frame buffer 133 outputs the recorded reference frame to the stream generation unit 132 as necessary.
  • the display data reading unit 134 performs image processing necessary for displaying a through image. For example, the display data reading unit 134 generates display data by superimposing information related to shooting (such as captions) on the image frame 173 output from the frame buffer 131. Then, the display data reading unit 134 outputs the generated display data to the display unit 150.
  • information related to shooting such as captions
  • the image encoding clock generation unit 135 generates an operation clock signal and outputs it to the image encoding timing generator 136.
  • the operation clock signal output from the image encoding clock generator 135 is input to the image encoding timing generator 136.
  • the image encoding timing generator 136 generates a sampling pulse signal (vertical synchronization signal and horizontal synchronization signal) in synchronization with the input operation clock signal. Then, the image encoding timing generator 136 outputs the sampling pulse signal to the image encoding control unit 137.
  • the sampling pulse signal is a signal indicating the timing at which the stream generation unit 132 reads an image frame.
  • the sampling pulse signal is synchronized with the operation clock signal output from the image encoding clock generation unit 135.
  • the image encoding control unit 137 outputs a predetermined control signal at a timing synchronized with the sampling pulse signal output from the image encoding timing generator 136. Specifically, the image coding control unit 137 outputs a control signal necessary for moving image coding, such as a picture coding control signal, to the stream generation unit 132. Further, the image encoding control unit 137 outputs a control signal necessary for image display to the display data reading unit 134.
  • the image encoding control unit 137 outputs the sampling pulse signal to the transition state control unit 138.
  • This sampling pulse signal is a signal that specifies the timing at which the image frame 170 is written to the frame buffer 131 and the timing at which the image frames 172 and 173 are read from the frame buffer 131.
  • the transition state control unit 138 generates a control signal indicating whether or not to write the image frame 170 to the frame buffer 131 based on a transition state signal 171 described later, and outputs the control signal to the frame buffer 131.
  • the transition state control unit 138 controls the frame buffer 131 to store the image frame 170 and output the image frames 172 and 173 while the signal level of the transition state signal 171 is an invalid level. To do.
  • the transition state control unit 138 controls the frame buffer 131 to perform a predetermined operation while the signal level of the transition state signal 171 is an effective level.
  • the stream generation unit 132 performs moving image encoding using the image frame stored in the frame buffer 131 immediately before the transition period.
  • the electronic zoom process is realized by changing the reading mode in the image sensor 110 and the image scaling function of the RAW-YUV conversion unit 121.
  • the readout mode of the image sensor 110 is switched depending on the zoom magnification. For example, during wide-angle shooting with a low zoom magnification, a pixel addition readout mode (2 ⁇ 2 pixel addition) is set in the image sensor 110. Then, an image is read from the entire image sensor of the image sensor 110 at the maximum angle of view. On the other hand, during telephoto shooting with a high zoom magnification, the image sensor 110 is set to a mode without pixel addition. A fine image with no added pixels is read out with a narrow angle of view. In the present embodiment, when the zoom magnification is 1.0 times or more and less than 2.0 times, the pixel addition reading mode (2 ⁇ 2 pixel addition) is set. Further, when the zoom magnification is 2.0 times or more, a mode without pixel addition is set.
  • the imaging apparatus 100 can only change to a fixed zoom magnification, such as 1.0 times or 2.0 times, only by changing the reading mode of the image sensor 110. Therefore, in order to obtain an arbitrary zoom magnification, the RAW-YUV conversion unit 121 is provided with an image scaling function.
  • the image scaling function is a function for cutting out and enlarging a partial area of the image in accordance with the zoom magnification. This function enables imaging at an arbitrary zoom magnification.
  • FIG. 2 shows an example of a change in the reading mode when the zoom magnification is changed while shooting is continued.
  • the zoom magnification is changed by the user operating the operation unit 160.
  • an operation signal including information regarding the changed zoom magnification is output from the operation unit 160 to the imaging signal processing control unit 124.
  • the imaging signal processing control unit 124 outputs a control signal based on the zoom magnification included in the operation signal to the image sensor 110 and the RAW-YUV conversion unit 121.
  • the image sensor 110 and the RAW-YUV conversion unit 121 cooperate to generate the image frame 170 at the changed zoom magnification.
  • the zoom magnification is changed only when the image frame is switched. For this reason, in the period of one frame, the output of the image frame 170 enlarged at the same zoom magnification is continued. In FIG. 2, the zoom magnification is changed at times T4, T5, T6, T8, T9, and T10.
  • the zoom magnification gradually increases from time T4 by the operation of the operation unit 160 by the user.
  • the image sensor 110 outputs a RAW image in a readout mode set according to the input control signal.
  • the RAW-YUV conversion unit 121 cuts out an image using an image scaling function in accordance with the input control signal.
  • the zoom magnification is less than 2.0 until time T5
  • the pixel addition reading mode (2 ⁇ 2 pixel addition) is set as the reading mode of the image sensor 110 until time T6. Fine adjustment of the zoom magnification from 1.0 times to 2.0 times is performed by the image scaling function of the RAW-YUV conversion unit 121.
  • the readout mode of the image sensor 110 is changed to a mode without pixel addition.
  • the imaging signal processing unit 120 performs a reset sequence in order to change its own operation mode in response to the change of the readout mode. Thereby, the output of the image frame 170 is stopped.
  • this period is referred to as a transition period.
  • the start time of the transition period is time T6, and the end time is time T7. After the transition period ends (that is, from time T7), the image sensor 110 outputs an image frame in a mode without pixel addition.
  • the transition period starts with a change in the internal operation mode of the imaging signal processing unit 120.
  • the transition period is given as a design specification of the imaging signal processing unit 120.
  • the transition period needs to be provided for the following reasons, for example.
  • the imaging signal processing unit 120 performs internal signal processing in synchronization with a cycle in which the image sensor 110 outputs a luminance value for each pixel.
  • the imaging signal processing unit 120 attempts to change the frame rate in accordance with the change of the reading mode of the image sensor 110, the imaging signal processing unit 120 needs to change the operating frequency of the imaging signal processing unit 120 and temporarily stop the operation clock at that time. There may be.
  • the imaging signal processing unit 120 performs internal signal processing in synchronization with the timing (vertical synchronization signal, horizontal synchronization signal) at which the image sensor 110 outputs the luminance value of each pixel. For this reason, when the reading mode of the image sensor 110 is changed, the imaging signal processing unit 120 may need to change the timing for reading the luminance value of the pixel from the image sensor 110.
  • the imaging signal processing unit 120 may need to change the timing for reading the pixel luminance value from the image sensor 110. is there.
  • the imaging signal processing unit 120 In order to cope with such a change in timing at which the luminance value of the pixel is read out, the imaging signal processing unit 120 needs to perform a reset sequence.
  • the reset sequence is a process that requires a certain amount of time. Since the imaging signal processing unit 120 performs this process, a transition period is required.
  • FIG. 3A shows a transition state signal 171.
  • FIG. 3B shows a sampling pulse signal 303 of the imaging signal processing timing generator 123.
  • FIG. 3C shows an image frame 170 output from the RAW-YUV conversion unit 121.
  • FIG. 3D shows a vertical synchronization signal 306 output from the image encoding timing generator 136.
  • FIG. 3E shows an image frame 173 input to the display data reading unit 134.
  • FIG. 3F shows an image frame 172 that is input to the stream generation unit 132.
  • FIG. 3G shows an image frame 172 represented as an encoded stream 311.
  • the time T0 to time T12 in FIGS. 3A to 3G correspond to the time T0 to time T12 in FIG. Further, in this embodiment, when the zoom magnification changes from time T0 to time T12 as shown in FIG. 2, the sequence of signals processed by the imaging apparatus 100 is as shown in FIGS. ).
  • the transition state signal 171 output from the transition state signal generation unit 125 is low from time T0 to time T6 when the zoom magnification is 1.0 or more and less than 2.0. It is a level.
  • the sampling pulse signal 303 shown in FIG. 3B is input to the RAW-YUV conversion unit 121 via the imaging signal processing control unit 124.
  • the RAW-YUV conversion unit 121 converts the imaging signal for transmitting each pixel constituting one image frame in raster scan order every time the sampling pulse signal 303 rises. Output. That is, the timing at which the image frame 170 is output from the imaging signal processing unit 120 is synchronized with the sampling pulse signal 303 output from the imaging signal processing timing generator 123.
  • each image frame 170 is a frame number given to the image frame 170 output from the imaging signal processing unit 120 as a time-series number.
  • the first image frame (frame number 1) is output between times T0 and T1
  • the next image frame (frame number 2) is output between times T1 and T2.
  • the image frame 170 output from the imaging signal processing unit 120 is recorded in the frame buffer 131.
  • the vertical synchronization signal 306 shown in FIG. 3D is input to the display data reading unit 134 via the image encoding control unit 137.
  • the display data reading unit 134 reads one image frame 173 from the frame buffer 131 every time the vertical synchronization signal 306 rises.
  • Image frames with frame numbers 1 to 6 are output from the frame buffer 131 to the display data reading unit 134 in the order recorded in the frame buffer 131.
  • the vertical synchronization signal 306 shown in FIG. 3D is input to the stream generation unit 132 via the image encoding control unit 137.
  • the stream generation unit 132 reads out one image frame 172 from the frame buffer 131 each time the vertical synchronization signal 306 rises, and performs moving image encoding.
  • the image frame 172 has been subjected to a reordering process so as to be in an order suitable for moving picture coding (coding order).
  • the reordering process causes the I picture to be delayed by one frame from the display order and the B picture to be delayed by two frames from the display order. Is output.
  • the P picture is output to the stream generation unit 132 at the same timing as the display order.
  • the pictures constituting the encoded stream 311 generated by the stream generation unit 132 are an I picture for performing intra-screen encoding and a P picture for performing inter-screen encoding.
  • B picture can be selected.
  • encoding is performed by repeating the order of I, P, B, P, and B as one unit. More specifically, the P picture is encoded with reference to an I picture encoded in the past. The B picture is encoded with reference to an I picture or P picture encoded in the past.
  • the imaging signal processing control unit 124 outputs a control signal indicating that the zoom magnification is 2.0 times to the image sensor 110, the RAW-YUV conversion unit 121, and the transition state signal generation unit 125.
  • the image sensor 110 Upon receiving this control signal, the image sensor 110 switches the readout mode to the pixel addition-free mode.
  • the RAW-YUV conversion unit 121 initializes the enlargement magnification of the image scaling function. Furthermore, the transition state signal generation unit 125 switches the signal level of the transition state signal 171 from a low level to a high level at the start of the transition period. Thereby, the imaging device 100 transitions to the transition state. Thereafter, the imaging signal processing unit 120 performs a reset sequence.
  • the transition state control unit 138 that has detected that the transition state signal 171 has become high level controls the frame buffer 131 so that the image frame 170 is not recorded.
  • the transition state control unit 138 controls the frame buffer 131 so as to repeatedly output the image frame recorded immediately before the transition state.
  • FIG. 3E shows a state in which the image frame having the frame number 6 is repeatedly output to the display data reading unit 134 five times in succession.
  • the transition state signal 171 is held in a storage area such as a memory or a register inside the transition state signal generation unit 125.
  • the transition state signal generation unit 125 is configured such that the transition state signal 171 is maintained at a high level even when the imaging signal processing unit 120 is reset. Thus, the value of the transition state signal 171 is held while the imaging signal processing unit 120 is performing the reset sequence.
  • the transition state signal generation unit 125 switches the transition state signal 171 from the high level to the low level.
  • the transition state control unit 138 that has detected that the transition state signal 171 has become low level returns the state of the frame buffer 131 to the state in which the image frame 170 is recorded and output.
  • the readout mode of the image sensor 110 has already been switched to the no pixel addition mode. Therefore, the image sensor 110 outputs an imaging signal in the pixel addition-free mode. Then, as shown in FIG. 3C, the RAW-YUV conversion unit 121 generates and outputs an image frame of frame number 7 and later as an image frame 170 based on the input imaging signal.
  • the display data reading unit 134 reads the image frame 173 from the frame buffer 131 one by one every time the vertical synchronization signal 306 rises, similarly to the time T0 to the time T6.
  • the stream generation unit 132 frames one image frame 172 every time the vertical synchronization signal 306 rises, similarly to the times T0 to T6. It reads out from the buffer 131 and performs video encoding.
  • the length of the transition period is not necessarily an integer multiple of the frame period. For this reason, after the imaging apparatus 100 returns from the transition state to the normal state, the output timing of the imaging signal processing unit 120 may deviate from the timing before the transition. In order to cope with this problem, the imaging apparatus 100 needs a function of a frame synchronizer that synchronizes the image frame 170 with the vertical synchronization signal 306 output from the image encoding unit timing generator 123.
  • the frame synchronizer function is realized by using the frame buffer 131 in the image encoding unit 130. As a result, image encoding can be performed regardless of the timing at which an image frame is output from the imaging signal processing unit 120.
  • the imaging apparatus 100 repeats the image frame and realizes the function of the frame synchronizer, thereby preventing image disturbance due to the reset sequence.
  • it is necessary to prepare a buffer for recording the image frame 170 output from the RAW-YUV processing unit 121 at a stage subsequent to the imaging signal processing unit 120.
  • a new frame buffer is added, the manufacturing cost increases.
  • the image encoding unit 130 includes a frame buffer 131. Therefore, in this embodiment, the frame buffer 131 is also used for repeating output of image frames. Thereby, since it is not necessary to add a new buffer in the imaging apparatus 100, it is possible to prevent image distortion at a lower cost.
  • the reset sequence is executed by the imaging signal processing unit 120 in accordance with the change of the reading mode of the image sensor 110. Further, due to the execution of the reset sequence, a period during which the imaging signal processing unit 120 cannot output an image frame (transition period) occurs. In addition, image distortion that occurred during that period was prevented.
  • attention is paid to the fact that the imaging signal processing unit 120 performs automatic exposure (AE) control. More specifically, in the present embodiment, attention is paid to the point that it takes time from one frame to several frames until the AE control is stabilized after the reading mode of the image sensor 110 is switched.
  • AE automatic exposure
  • the image sensor 110 changes the readout mode between the pixel addition readout mode and the no pixel addition mode, the output pixel gain changes. It takes time for several frames until the AE control evaluation value (photometric value) converges by correcting the gain change. For this reason, even if the reset sequence of the imaging signal processing unit 120 does not occur or ends, if the photometric value has not converged, the image quality of the image frame output from the imaging signal processing unit 120 Is not stable. As a result, the image is disturbed.
  • the AE control evaluation value photometric value
  • the imaging apparatus 100 prevents image disturbance that occurs before the photometric value converges, and smoothly performs electronic zoom.
  • FIG. 4 shows the configuration of the imaging apparatus 100 of the present embodiment.
  • the imaging signal processing control unit 124 according to this embodiment is different from that according to the first embodiment in that an AE control unit 400 is provided.
  • the AE control unit 400 outputs a control signal to the image sensor 110 and outputs a control signal to the transition state signal generation unit 125.
  • FIG. 5A shows an aperture value (F value) control signal (F value control signal).
  • FIG. 5B shows a shutter speed control signal.
  • FIG. 5C shows photometric values. Further, FIG. 5D shows the zoom magnification.
  • AE operation modes include an aperture priority mode and a shutter speed priority mode.
  • the control amount of either the aperture value (F value) or the shutter speed is preferentially matched with the numerical value designated by the user.
  • the other control amount is adaptively changed so that the exposure becomes appropriate.
  • FIGS. 5A to 5D show the case of the aperture priority mode.
  • the aperture is set to '5.6'.
  • FIG. 5D when the zoom magnification becomes 2.0 times at time T6, switching between the reading mode of the image sensor 110 and the operation mode of the imaging signal processing unit 120 is started. The Thereafter, as shown in FIG. 5C, AE control is performed by adjusting the shutter speed as shown in FIG. 5B until the photometric value becomes optimum at time T7.
  • the photometric value is not optimal, so the image is disturbed.
  • the readout mode of the image sensor 110 is switched, and the change of the operation mode of the imaging signal processing unit 120 is started.
  • the AE control is started with the start of the change of the operation mode. A period from when the AE control is started until the photometric value converges is defined as a transition period.
  • FIGS. 5A to 5D show the case of the aperture priority mode
  • the transition period similarly occurs in the case of the shutter speed priority mode.
  • AE control is performed by adjusting the shutter speed until the photometric value becomes optimal. That is, the transition period continues until the photometric value is optimized.
  • the transition state control unit 125 monitors the photometric value after the operation mode change (after time T6) based on the control signal output from the AE control unit 400. In addition, the transition state control unit 125 generates and outputs the transition state signal 171 so that the period until the photometric value converges (the period until time T7) becomes the transition period.
  • the output transition state signal 171 is input to the transition state control unit 138.
  • the transition state control unit 138 prevents image distortion by preventing the image frame output during the transition period from being used for display / encoding.
  • a period in which the photometric value does not converge and the image frame 170 is unstable is generated by AE control.
  • moving image encoding or the like continues using the image frame 170 immediately before the operation mode is switched. Thereby, the disturbance of the image during that period can be prevented.
  • the frame buffer 131 used for encoding is also used for repeating output of image frames, so that a new buffer need not be added. As a result, image disturbance can be prevented at a lower cost.
  • attention is paid to the point that the imaging signal processing unit 120 performs auto white balance (Auto A White Balance) control. More specifically, in the present embodiment, attention is paid to the point that it takes time from one frame to several frames until the AWB control is stabilized after the reading mode of the image sensor 110 is switched.
  • auto white balance Auto A White Balance
  • the image sensor 110 changes the readout mode between the pixel addition readout mode and the no pixel addition mode
  • the gain of each pixel of the image sensor of the image sensor 110 changes. It takes time for several frames until the evaluation value (color temperature) of the AWB control converges to a desired value by correcting the gain change. For this reason, when the reset sequence of the imaging signal processing unit 120 does not occur or when the color temperature has not converged even after the reset sequence is finished, the imaging signal processing unit 120 outputs it. Image frame quality is not stable. As a result, the image is disturbed.
  • the imaging apparatus 100 prevents image disturbance that occurs before the color temperature converges, and smoothly performs electronic zoom.
  • FIG. 6 shows the configuration of the imaging apparatus 100 according to the third embodiment.
  • the imaging signal processing control unit 124 according to the present embodiment is different from that according to the first embodiment in that it includes an AWB control unit 600.
  • the AWB control unit 600 outputs a control signal to the RAW-YUV conversion unit 121 and notifies the transition state signal generation unit 125 of the control signal.
  • FIG. 7A shows an R / G gain control signal output from the AWB control unit 600 to the RAW-YUV conversion unit 121.
  • FIG. 7B shows a B / G gain control signal output from the AWB control unit 600 to the RAW-YUV conversion unit 121.
  • FIG. 7C shows the color temperature.
  • FIG. 7D shows the zoom magnification.
  • the AWB control unit 600 analyzes the color temperature of the captured image and adjusts the R / G gain and the B / G gain so that the image is converted to a desired color temperature (for example, 6500K). While the AWB control is being performed (from time T6 to time T7), the color temperature is not optimal, so the image is distorted. In the present embodiment, switching between the reading mode of the image sensor 110 and the operation mode of the imaging signal processing unit 120 is started, and the AWB control of the AWB control unit 600 is started. The period from the start of AWB control to the convergence of the color temperature is defined as the transition period.
  • the transition state signal generation unit 125 monitors the color temperature after the operation mode of the imaging signal processing unit 120 is changed based on the control signal output from the AWB control unit 600. In addition, the transition state signal generation unit 125 sets the signal level of the transition state signal 171 to a high level so that the period until the color temperature converges becomes the transition period.
  • the transition state signal 171 is input to the transition state control unit 138.
  • the transition state control unit 138 prevents the image frame 170 output from the imaging signal processing unit 120 during the transition period from being used for display / encoding, thereby disturbing the image. To prevent.
  • the AWB control causes a period in which the color temperature does not converge and the image frame 170 is unstable. In this period, moving image encoding or the like continues using the image frame 170 immediately before the operation mode is switched. Thereby, the disturbance of the image during that period can be prevented.
  • the frame buffer 131 used for encoding is also used for repeating output of image frames, so that a new buffer does not have to be added. As a result, image disturbance can be prevented at a lower cost.
  • the imaging signal processing unit 120 performs a frame noise reduction (FNR) process.
  • FNR frame noise reduction
  • the FNR process is a process for reducing noise mainly from an image of a stationary subject using image frames taken continuously.
  • FNR processing is performed using three consecutive image frames.
  • the imaging apparatus 100 In FNR processing, continuous image frames are compared, and the difference is determined as noise, and then noise removal is performed. However, when the operation mode of the imaging signal processing unit 120 is switched, the image quality of the image frame output from the RAW-YUV processing unit 121 greatly changes before and after the switching. For this reason, when the FNR process is performed, the output image is disturbed. Therefore, the imaging apparatus 100 according to the present embodiment prevents image distortion that occurs when the FNR process is performed, and smoothly performs electronic zoom.
  • FIG. 8 shows a configuration of the imaging apparatus 100 according to the present embodiment. This embodiment is different from the first embodiment in that the imaging signal processing unit 120 includes an FNR processing unit 800 and an FNR frame buffer 801.
  • the FNR processing unit 800 performs FNR processing on the image frame output from the RAW-YUV conversion unit 121. Further, the FNR processing unit 800 outputs the image frame 170 on which the FNR processing has been performed to the frame buffer 131.
  • the FNR frame buffer 801 receives the image frame from the FNR processing unit 800 and temporarily records it. Further, the FNR frame buffer 801 outputs image frames recorded two or more before the past to the FNR processing unit 800.
  • the second previous image frame is referred to as an image frame A
  • the previous image frame is referred to as an image frame B.
  • FIG. 9A shows an image frame A two frames before recorded in the FNR frame buffer 801.
  • FIG. 9B shows an image frame B one frame before recorded in the FNR frame buffer 801.
  • FIG. 9C shows an image frame output from the RAW-YUV conversion unit 121.
  • FIG. 9D shows the zoom magnification.
  • a total of three image frames, one image frame output from the RAW-YUV conversion unit 121 and the past two image frames A and B read from the FNR frame buffer 801, are used.
  • Noise removal is performed. For example, between time T 2 and time T 3, noise is generated using the image frame A with frame number 1, the image frame B with frame number 2, and the image frame with frame number 3 output from the RAW-YUV conversion unit 121. Removal is performed.
  • the FNR process using the image frame output from the RAW-YUV conversion unit 121 is performed between time T6 and time T7, that is, before and after the change of the operation mode of the imaging signal processing unit 120, the image is distorted. End up.
  • a period of two frames that is, a period from time T6 to time T7 necessary for FNR processing after the change of the operation mode is set as the transition period.
  • the transition state signal generation unit 125 monitors image frames used for FNR processing based on information output from the FNR processing unit 800. Further, the transition state signal generation unit 125 generates and outputs the transition state signal 171 so that the predetermined period becomes the transition period. This predetermined period is a period in which all image frames used for the FNR process are not output from the RAW-YUV conversion unit 121 under the same operation mode.
  • the output transition state signal 171 is input to the transition state control unit 138.
  • the transition state control unit 138 prevents the image frame output from the imaging signal processing unit 120 during the transition period from being used for display / encoding, thereby preventing image distortion. To prevent.
  • a period in which the image frame 170 on which the FNR process has been performed is unstable occurs. During this period, moving image encoding or the like continues using the image frame 170 immediately before the operation mode of the imaging signal processing unit 120 is switched. Thereby, the disturbance of the image during that period can be prevented.
  • the frame buffer 131 used for encoding is also used for repeating output of image frames, so that a new buffer does not have to be added. For this reason, image disturbance can be prevented at a lower cost.
  • the transition period is set to two frames, but this transition period increases or decreases according to the number of frames required for the FNR frame.
  • An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification
  • An imaging signal processing unit that outputs an image frame by performing signal processing on an imaging signal output from the image sensor while switching an operation mode in accordance with switching of a readout mode of the image sensor when the zoom magnification is changed
  • An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer;
  • An operation unit capable of changing the zoom magnification by an operation input;
  • the imaging signal processing unit Validating the transition state signal during the transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output,
  • the image encoding unit includes: While the transition state signal is valid, video coding is performed using the image frame stored in the frame buffer immediately before the transition period.
  • the imaging signal processing unit Perform frame noise reduction on the output image frame,
  • the transition state signal is validated with the transition period being a period from the start of the change of the operation mode of the imaging signal processing unit to the time required for the frame noise reduction process.
  • An image sensor that outputs an imaging signal obtained by photoelectric conversion of the imaging element in a readout mode according to a zoom magnification;
  • An imaging signal processing unit that performs signal processing on an imaging signal output from the image sensor and outputs an image frame while switching an operation mode in accordance with switching of a reading mode of the image sensor when the zoom magnification is changed;
  • An image encoding unit that temporarily stores an image frame output from the imaging signal processing unit in a frame buffer and performs video encoding on the image frame output from the frame buffer;
  • An operation unit capable of changing the zoom magnification by an operation input;
  • An electronic zoom method for an imaging apparatus comprising: In the imaging signal processing unit, Enabling a transition state signal during a transition period from when the switching of the operation mode of the imaging signal processing unit is started until a normal image frame can be output; In the image encoding unit, While the transition state signal is valid, using the image frame stored in the frame buffer immediately before the transition period, performing a video encoding;
  • An electronic zoom method compris
  • the present invention is suitable for an image pickup apparatus having an electronic zoom function.
  • Imaging device 110 Image sensor 120 Imaging signal processing part 121 RAW-YUV conversion part 122 Imaging signal processing clock generation part 123 Imaging signal processing timing generator 124 Imaging signal processing control part 125 Transition state signal generation part 130 Image encoding part 131 Frame buffer 132 Stream generation unit 133 Reference frame buffer 134 Display data reading unit 135 Image encoding clock generation unit 136 Image encoding timing generator 137 Image encoding control unit 138 Transition state control unit 140 Recording unit 150 Display unit 160 Operation unit 170 Image frame 171 Transition status signal 172 Image frame 173 Image frame 303 Sampling pulse signal 306 Vertical synchronization signal 311 Encoded stream 400 AE control unit 600 AWB Frame buffer for the control section 800 FNR processing unit 801 FNR

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置（１００）は、撮像信号を出力するイメージセンサ（１１０）と、撮像信号に対する信号処理を行って画像フレーム（１７０）を出力する撮像信号処理部（１２０）と、画像フレーム（１７０）をフレームバッファ（１３１）に一時記憶し、フレームバッファ（１３１）から出力された画像フレームに対して動画像符号化を行う画像符号化部（１３０）と、ズーム倍率を変更可能な操作部（１６０）とを備える。撮像信号処理部（１２０）は、ズーム倍率の変更に伴う撮像信号処理部（１２０）の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号（１７１）を有効とする。画像符号化部（１３０）は、移行状態信号（１７１）が有効となっている間では、移行期間直前にフレームバッファ（１３１）に記憶された画像フレームを用いて、動画像符号化を行う。

Description

撮像装置及び電子ズーム方法
　本発明は、電子ズーム機能を有する撮像装置及び電子ズーム方法に関する。
　ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子により動画像の撮像を行うデジタルカメラが普及している。デジタルカメラでは、撮像素子から出力された撮像信号は、デジタル信号処理、画像符号化処理を経て、フラッシュメモリ等の記録装置に記録される。
　このようなデジタルカメラの一種として、従来の光学ズーム機能に加え、いわゆる電子ズーム機能を有するものが登場している。電子ズームは、一般的に、撮像素子により撮像された画像の一部を切り出し、切り出した画像を拡大又は縮小することによって、ズーム倍率に応じた大きさの被写体画像を得る機能である。
　さらに、デジタルカメラでは、画像の切り出し処理や拡大又は縮小処理のような電子ズームに必要な処理の負荷を軽減するために、例えば撮像素子から撮像信号を読み出すときに、「画素加算読み出し」や、「間引き読み出し」が行われている。画素加算読み出しは、同一の色を示す複数の画素に対応する信号の電荷を加算して読み出すことである。また、間引き読み出しは、撮像素子から画素を間引いて、信号の電荷を読み出すことである。
　さらに、画素加算読み出しや間引き読み出し等の、画素の輝度値の読み出し方法（読み出しモード）を、ズーム倍率に応じて動的に変更することにより、信号処理負荷をさらに削減する撮像装置等が開示されている（例えば、特許文献１参照）。
特開２００８－１７０９０号公報
　しかしながら、ズーム倍率に応じて画素の輝度値の読み出しモードが切り替わると、正常な画像の出力が一時的に停止する期間が生じる。この期間では、動画像を構成する画像（画像フレーム）に乱れが生じ、正確な画像の表示や符号化が困難になる。この問題は、上記特許文献１に記載の撮像装置等においても同様である。
　本発明は、上記実情に鑑みてなされたものであり、動画像の撮影において、ズーム倍率に応じて読み出しモードが切り替わる際に生じる画像の乱れを防止することにより、スムーズな電子ズームを実現することができる撮像装置及び電子ズーム方法を提供することを目的とする。
　上記目的を達成するために、本発明の第１の観点に係る撮像装置は、
　撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
　前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
　前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
　操作入力により、前記ズーム倍率を変更可能な操作部と、
　を備え、
　前記撮像信号処理部は、
　前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
　前記画像符号化部は、
　前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
　ことを特徴とする。
　本発明の第２の観点に係る電子ズーム方法は、
　撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
　前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
　前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
　操作入力により、前記ズーム倍率を変更可能な操作部と、
　を備える撮像装置の電子ズーム方法であって、
　前記撮像信号処理部において、
　前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
　前記画像符号化部において、
　前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
　を含むことを特徴とする。
　本発明によれば、ズーム倍率の変更に伴う撮像信号処理部の動作モードの切り替えにより、画像フレームが不安定となっている間は、動作モードが切り替わる直前の画像フレームを用いて動画像符号化が行われる。これにより、画像の乱れを防止することができる。
第１の実施形態に係る撮像装置の構成を示すブロック図である。 撮影の継続中にズーム倍率が変更されていった場合の読み出しモードの切り替えの一例を示すグラフである。 図３（Ａ）～図３（Ｇ）は、撮像装置を構成する各構成要素の間でやりとりされる信号のタイミングチャートである。 第２の実施形態に係る撮像装置の構成を示すブロック図である。 図５（Ａ）～図５（Ｄ）は、第２の実施形態に係る移行期間を説明するためのタイミングチャートである。 第３の実施形態に係る撮像装置の構成を示すブロック図である。 図７（Ａ）～図７（Ｄ）は、第３の実施形態に係る移行期間を説明するためのタイミングチャートである。 第４の実施形態に係る撮像装置の構成を示すブロック図である。 図９（Ａ）～図９（Ｄ）は、第４の実施形態に係る移行期間を説明するためのタイミングチャートである。
　本発明の実施形態について、図面を参照して詳細に説明する。
（第１の実施形態）
　まず、本発明の第１の実施形態について説明する。
　図１には、本実施形態に係る撮像装置１００の構成が示されている。図１に示すように、撮像装置１００は、イメージセンサ１１０、撮像信号処理部１２０、画像符号化部１３０、記録部１４０、表示部１５０及び操作部１６０を備える。
　イメージセンサ１１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）などの撮像素子を有する。イメージセンサ１１０の撮像素子の各画素は、カラーフィルタを通して撮像対象（被写体）からの光を受光して光電変換を行う。撮像素子は、各画素の電荷の集合を撮像信号として出力する。イメージセンサ１１０は、撮像素子の光電変換により得られた撮像信号を、後述するようにズーム倍率に応じた読み出しモードで出力する。
　イメージセンサ１１０が備えるカラーフィルタは、ｍ×ｎ画素（ｍ，ｎは整数）を単位とする周期的な配列のカラーパターンで並べられている。この配列は、例えば、Ｒ、Ｇ、Ｂの３色で構成される原色ベイヤ配列や、Ｃ、Ｍ、Ｙ、Ｇの４色で構成される補色ベイヤ配列などである。このカラーフィルタにより、撮像信号により伝送される画像は、カラー画像となる。以下では、この撮像信号により伝送される画像データを、ＲＡＷ画像と呼ぶ。
　イメージセンサ１１０には、複数の読み出しモードを設定可能である。より具体的には、イメージセンサ１１０には、撮像素子から電荷（輝度値）が読み出される際に、画素加算なしモードと、画素加算読み出しモードとのいずれかが設定される。画素加算なしモードは、イメージセンサ１１０が１画素ずつそのまま輝度値を読み出すモードである。また、画素加算読み出しモードは、イメージセンサ１１０が、互いに近隣に位置する同色の複数の画素それぞれの輝度値を加算して読み出すモードである。
　画素加算なしモードが設定された場合には、イメージセンサ１１０は、撮像素子のうちの一部の領域から取得した画素の輝度値を出力する。これにより、イメージセンサ１１０は、出力されるＲＡＷ画像のデータ量を減らすことができる。一方、画素加算読み出しモードが設定された場合には、イメージセンサ１１０は、互いに近隣に位置する同色の複数の画素それぞれの輝度値を加算して、１つの画素の輝度値として出力する。例えば２×２の画素を加算する画素加算読み出しモードが設定された場合だと、４画素ずつ輝度値が加算される。このため、イメージセンサ１１０は、出力される画像のデータ量を、画素加算なしモードの場合におけるデータ量の１／４に減らすことができる。
　本実施形態では、イメージセンサ１１０に、画素加算読み出しモード（２×２画素加算）と、画素加算なしモードとを設定可能であるものとする。しかしながら、読み出しモードはこれには限られることなく、その他のモードが設定可能であってもよい。例えば、イメージセンサ１１０には、読み出しモードとして、他に、画素加算読み出しモード（３×３画素加算）などの加算される画素数が異なるモードが設定可能であってもよい。また、イメージセンサ１１０には、画素を間引いて読み出すモード（間引き読み出しモード）が設定可能であってもよい。
　撮像信号処理部１２０は、ズーム倍率が変更された場合の、イメージセンサ１１０の読み出しモードの切り替えに伴って、動作モードを切り替える。また、撮像信号処理部１２０は、動作モードを切り替えながら、イメージセンサ１１０から出力された撮像信号（ＲＡＷ画像）に対して、信号処理（デジタル画像処理）を行う。具体的には、撮像信号処理部１２０は、撮像信号を、輝度を示すＹ成分、色差を示すＵ成分及びＶ成分からなるカラーの撮像信号であるＹＵＶ信号に変換して出力する。１フレームの期間に出力されるＹＵＶ画像は、動画像を構成する１枚の画像となる。この画像を、画像フレーム１７０と呼ぶ。
　画像符号化部１３０は、撮像信号処理部１２０から出力された画像フレーム１７０を符号化し、動画像のストリームとして出力する。具体的には、画像符号化部１３０は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）などに準拠した動画像符号化処理を行う。
　記録部１４０は、フラッシュメモリやＨＤＤ（Hard Disc Drive）などの記録デバイスである。記録部１４０には、画像符号化部１３０から出力された画像フレームが記録される。
　表示部１５０は、画像を表示する。具体的には、表示部１５０には、表示データ読み出し部１３４から出力された画像フレームに基づく画像が表示される。
　操作部１６０は、録画の開始・終了のタイミングや、ズーム倍率等をユーザが指定するためのユーザインターフェイスである。例えば、操作部１６０は、操作入力により、画像フレームに基づく画像のズーム倍率を変更可能である。操作部１６０は、ユーザによる操作の内容を示す操作信号を、撮像信号処理部１２０に出力する。
　続いて、撮像信号処理部１２０の詳細な構成について説明する。撮像信号処理部１２０は、ＲＡＷ－ＹＵＶ変換部１２１、撮像信号処理クロック生成部１２２、撮像信号処理タイミングジェネレータ１２３、撮像信号処理制御部１２４及び移行状態信号生成部１２５を備えている。　
　ＲＡＷ－ＹＵＶ変換部１２１は、撮像信号処理制御部１２４から制御信号が入力されるタイミングで、イメージセンサ１１０から出力されたＲＡＷ画像を、ＹＵＶ画像へ変換する。さらに、ＲＡＷ－ＹＵＶ変換部１２１は、ズーム倍率に応じて、ＹＵＶ画像の一部領域を拡大（スケーリング）した画像データを、画像フレーム１７０として出力する。
　撮像信号処理クロック生成部１２２は、発振子とＰＬＬ（Phase-Locked loop）とを備える。撮像信号処理クロック生成部１２２は、動作クロック信号を生成し、撮像信号処理タイミングジェネレータ１２３に出力する。
　撮像信号処理タイミングジェネレータ１２３は、撮像信号処理クロック生成部１２２から出力された動作クロック信号に同期するサンプリングパルス信号を生成して、撮像信号処理制御部１２４に出力する。このサンプリングパルス信号は、ＲＡＷ－ＹＵＶ変換部１２１がイメージセンサ１１０から撮像信号を読み出すタイミングを指定するための信号である。サンプリングパルス信号には、垂直同期信号と水平同期信号とが含まれる。
　撮像信号処理制御部１２４は、操作部１６０から出力された、ズーム倍率等を指定する操作信号に従って、動作モードを決定する。撮像信号処理制御部１２４は、ＲＡＷ－ＹＵＶ変換部１２１と、イメージセンサ１１０と、移行状態信号生成部１２５とのそれぞれに、決定された動作モードの内容を含む制御信号を出力する。ＲＡＷ－ＹＵＶ変換部１２１及びイメージセンサ１１０には、この制御信号に基づいて読み出しモードや画像の拡大倍率が設定される。撮像信号処理制御部１２４は、動作モードを切り替えるため、必要に応じてリセット・シーケンスを行う。
　移行状態信号生成部１２５は、撮像信号処理制御部１２４から出力される制御信号に基づいて、移行状態信号１７１を画像符号化部１３０の移行状態制御部１３８に出力する。移行状態信号１７１は、撮像信号処理部１２０が後述の移行期間中にあるか否かを示す１ビットの信号である。
　具体的には、操作部１６０によるズーム倍率の変更に伴って、撮像信号処理部１２０の動作モードの切り替えが開始される。移行状態信号生成部１２５は、この切り替えが開始されると、移行状態信号１７１の信号レベルを有効なレベル（例えばハイレベル）として出力する。なお、有効な信号レベルの移行状態信号１７１は、撮像信号処理部１２０が移行期間中にあることを示す。また、撮像信号処理部１２０から正常な画像フレーム１７０の出力が可能となり、移行期間が完了すると、移行状態信号生成部１２５は、移行状態信号１７１の信号レベルを無効なレベル（例えばローレベル）に変更する。
　続いて、画像符号化部１３０の詳細な構成について説明する。
　画像符号化部１３０は、フレームバッファ１３１、ストリーム生成部１３２、参照フレームバッファ１３３、表示データ読み出し部１３４、画像符号化クロック生成部１３５、画像符号化タイミングジェネレータ１３６、画像符号化制御部１３７及び移行状態制御部１３８を備える。
　フレームバッファ１３１は、ＲＡＷ－ＹＵＶ変換部１２１から出力された画像フレーム１７０を一時記憶する。フレームバッファ１３１は、ストリーム生成部１３２に画像フレーム１７２を出力する。また、フレームバッファ１３１は、表示データ読み出し部１３４に画像フレーム１７３を出力する。
　なお、フレームバッファ１３１からストリーム生成部１３２に画像フレーム１７２が出力される際には、動画像符号化に適した順序に画像フレーム１７２を入れ替える処理（リオーダリング処理）が行われる。一方、フレームバッファ１３１から表示データ読み出し部１３４に画像フレーム１７３が出力される際に、リオーダリング処理は行われない。
　ストリーム生成部１３２は、フレームバッファ１３１から連続して出力される画像フレーム１７２を、前述の動画像符号化方式を用いて符号化する。そして、ストリーム生成部１３２は、符号化された動画像のストリームを記録部１４０に出力する。
　参照フレームバッファ１３３は、動画像符号化の画面間予測符号化に必要な参照フレームを、ストリーム生成部１３２から受け取り、一時的に記録する。さらに、参照フレームバッファ１３３は、記録された参照フレームを、必要に応じてストリーム生成部１３２に出力する。
　表示データ読み出し部１３４は、スルー画像の表示に必要な画像処理を行う。例えば、表示データ読み出し部１３４は、フレームバッファ１３１から出力された画像フレーム１７３に、撮影に関する情報（字幕等）を重畳することにより、表示データを生成する。そして、表示データ読み出し部１３４は、生成された表示データを表示部１５０に出力する。
　画像符号化クロック生成部１３５は、動作クロック信号を生成して画像符号化タイミングジェネレータ１３６に出力する。
　画像符号化タイミングジェネレータ１３６には、画像符号化クロック生成部１３５から出力された動作クロック信号が入力される。画像符号化タイミングジェネレータ１３６は、入力された動作クロック信号に同期して、サンプリングパルス信号（垂直同期信号及び水平同期信号）を生成する。そして、画像符号化タイミングジェネレータ１３６は、サンプリングパルス信号を画像符号化制御部１３７に出力する。なお、このサンプリングパルス信号は、ストリーム生成部１３２が画像フレームを読み込むタイミングを示す信号である。また、このサンプリングパルス信号は、画像符号化クロック生成部１３５から出力された動作クロック信号に同期している。
　画像符号化制御部１３７は、画像符号化タイミングジェネレータ１３６から出力されたサンプリングパルス信号に同期したタイミングで、所定の制御信号を出力する。具体的には、画像符号化制御部１３７は、ピクチャ符号化制御信号など、動画像符号化に必要な制御信号をストリーム生成部１３２に出力する。また、画像符号化制御部１３７は、画像の表示に必要な制御信号を、表示データ読み出し部１３４に出力する。
　また、画像符号化制御部１３７は、サンプリングパルス信号を、移行状態制御部１３８に出力する。このサンプリングパルス信号は、画像フレーム１７０がフレームバッファ１３１に書き込まれるタイミングと、フレームバッファ１３１から画像フレーム１７２、１７３が読み出されるタイミングとを指定する信号である。
　移行状態制御部１３８は、後述する移行状態信号１７１に基づいて、画像フレーム１７０をフレームバッファ１３１に書き込むか否かを示す制御信号を生成して、フレームバッファ１３１に出力する。例えば、移行状態制御部１３８は、移行状態信号１７１の信号レベルが無効なレベルとなっている間は、フレームバッファ１３１を、画像フレーム１７０を記憶し、画像フレーム１７２、１７３を出力するように制御する。一方、移行状態制御部１３８は、移行状態信号１７１の信号レベルが有効なレベルとなっている間は、所定の動作を行うように、フレームバッファ１３１を制御する。これにより、ストリーム生成部１３２は、移行期間の直前にフレームバッファ１３１に記憶された画像フレームを用いて、動画像符号化を実行する。
　次に、本実施形態に係る撮像装置１００における電子ズーム処理について説明する。
　電子ズーム処理は、イメージセンサ１１０における読み出しモードの変更と、ＲＡＷ－ＹＵＶ変換部１２１の画像スケーリング機能とによって実現される。
　イメージセンサ１１０の読み出しモードは、ズーム倍率によって切り替えられる。例えば、ズーム倍率が低い広角撮影時には、イメージセンサ１１０に画素加算読み出しモード（２×２画素加算）が設定される。そして、イメージセンサ１１０の撮像素子の全体から最大画角で画像が読み出される。一方、ズーム倍率が高い望遠撮影時には、イメージセンサ１１０に画素加算なしモードが設定される。そして、画素が加算されていない精細な画像が、狭い画角で読み出される。本実施形態では、ズーム倍率が１．０倍以上２．０倍未満の場合では、画素加算読み出しモード（２×２画素加算）が設定される。また、ズーム倍率が２．０倍以上の場合では、画素加算なしモードが設定される。
　ただし、撮像装置１００は、イメージセンサ１１０の読み出しモードの変更だけでは、１．０倍、２．０倍など、固定のズーム倍率への変更しかできない。そこで、任意のズーム倍率を得るため、ＲＡＷ－ＹＵＶ変換部１２１には、画像スケーリング機能が設けられている。画像スケーリング機能は、ズーム倍率に応じて、画像の一部の領域を切り出して拡大する機能である。この機能により、任意のズーム倍率での撮像が可能となる。
　図２には、撮影の継続中にズーム倍率が変更されていった場合における読み出しモードの変化の一例が示されている。
　ズーム倍率の変更は、ユーザが操作部１６０を操作することによって行われる。操作部１６０の操作により、ズーム倍率が変更されると、変更されたズーム倍率に関する情報を含む操作信号が、操作部１６０から撮像信号処理制御部１２４へ出力される。撮像信号処理制御部１２４は、操作信号に含まれるズーム倍率に基づく制御信号を、イメージセンサ１１０と、ＲＡＷ－ＹＵＶ変換部１２１とに出力する。イメージセンサ１１０と、ＲＡＷ－ＹＵＶ変換部１２１とは、協働して、変更されたズーム倍率での画像フレーム１７０を生成する。
　ズーム倍率は、画像フレームが切り替わるタイミングでのみ変更される。このため、１フレームの期間では、同じズーム倍率で拡大された画像フレーム１７０の出力が継続される。図２では、時刻Ｔ４、Ｔ５、Ｔ６、Ｔ８、Ｔ９、Ｔ１０でズーム倍率が変更されている。
　図２の太線で示されるように、ユーザによる操作部１６０の操作によって、時刻Ｔ４からズーム倍率が徐々に大きくなっていく。この間、イメージセンサ１１０は、入力された制御信号に従って設定された読み出しモードで、ＲＡＷ画像を出力する。ＲＡＷ－ＹＵＶ変換部１２１は、入力された制御信号に従って、画像スケーリング機能を用いて画像を切り出す。
　より具体的には、時刻Ｔ５まではズーム倍率が２．０倍未満なので、時刻Ｔ６までは、イメージセンサ１１０の読み出しモードとして画素加算読み出しモード（２×２画素加算）が設定される。１．０倍から２．０倍までのズーム倍率の微調整は、ＲＡＷ－ＹＵＶ変換部１２１の画像スケーリング機能によって行われる。
　時刻Ｔ６になると、ズーム倍率が２．０倍に達するので、イメージセンサ１１０の読み出しモードは、画素加算なしモードに変更される。撮像信号処理部１２０は、この読み出しモードの変更に対応して自らの動作モードを変更するために、リセット・シーケンスを実施する。これにより、画像フレーム１７０の出力が停止される。以下、この期間を移行期間とする。移行期間の開始時刻は時刻Ｔ６であり、終了時刻は時刻Ｔ７である。移行期間終了後（すなわち時刻Ｔ７から）、イメージセンサ１１０は、画素加算なしモードで画像フレームを出力する。
　このように、移行期間は、撮像信号処理部１２０の内部の動作モードの変更に始まる。移行期間は、撮像信号処理部１２０の設計仕様として与えられる。
　移行期間は、例えば、以下に示すような理由によって設ける必要がある。
　撮像信号処理部１２０は、イメージセンサ１１０が画素毎の輝度値を出力する周期に同期して、内部の信号処理を実施している。撮像信号処理部１２０は、イメージセンサ１１０の読み出しモードの変更に伴ってフレームレートを変更しようとすると、撮像信号処理部１２０の動作周波数を変更し、その際に動作クロックを一時的に停止させる必要がある場合がある。
　また、撮像信号処理部１２０は、イメージセンサ１１０が各画素の輝度値を出力するタイミング（垂直同期信号、水平同期信号）に同期して、内部の信号処理を実施する。このため、イメージセンサ１１０の読み出しモードが変更されると、撮像信号処理部１２０は、イメージセンサ１１０から画素の輝度値を読み出すタイミングを変更する必要がある場合がある。
　さらに、イメージセンサ１１０が画素の輝度値を読み出す領域（画角）を変更する場合にも、撮像信号処理部１２０は、イメージセンサ１１０から画素の輝度値を読み出すタイミングを変更する必要が生じることがある。
　これらのような、画素の輝度値が読み出されるタイミングの変更に対応するため、撮像信号処理部１２０は、リセット・シーケンスを実施する必要がある。リセット・シーケンスは、ある程度の時間を要する処理である。撮像信号処理部１２０がこの処理を行うため、移行期間が必要となる。
　移行期間終了後（時刻Ｔ７から）、イメージセンサ１１０の読み出しモードが、画素加算なしモードに設定された状態で、イメージセンサ１１０からの撮像信号の出力や、撮像信号処理部１２０における信号処理等が再開される。
　次に、撮像装置１００の内部において処理される信号のシーケンスについて、図３（Ａ）～図３（Ｇ）を参照して説明する。
　図３（Ａ）には、移行状態信号１７１が示されている。また、図３（Ｂ）には、撮像信号処理タイミングジェネレータ１２３のサンプリングパルス信号３０３が示されている。また、図３（Ｃ）には、ＲＡＷ－ＹＵＶ変換部１２１から出力される画像フレーム１７０が示されている。
　さらに、図３（Ｄ）には、画像符号化タイミングジェネレータ１３６から出力される垂直同期信号３０６が示されている。また、図３（Ｅ）には、表示データ読み出し部１３４に入力される画像フレーム１７３が示されている。また、図３（Ｆ）には、ストリーム生成部１３２に入力される画像フレーム１７２が示されている。また、図３（Ｇ）には、画像フレーム１７２を符号化ストリーム３１１として表したものが示されている。
　図３（Ａ）～図３（Ｇ）における時刻Ｔ０～時刻Ｔ１２は、図２の時刻Ｔ０～時刻Ｔ１２に対応している。また、この実施形態では、時刻Ｔ０から時刻Ｔ１２までにズーム倍率が図２に示すように変化した場合において、撮像装置１００によって処理される信号のシーケンスが、図３（Ａ）～図３（Ｇ）に示されている。
　まず、時刻Ｔ０から時刻Ｔ６に至るまでの処理シーケンスについて説明する。
　図３（Ａ）に示すように、移行状態信号生成部１２５から出力される移行状態信号１７１は、ズーム倍率が１．０以上２．０未満となっている時刻Ｔ０から時刻Ｔ６までは、ローレベルとなっている。
　図３（Ｂ）に示すサンプリングパルス信号３０３は、撮像信号処理制御部１２４を介して、ＲＡＷ－ＹＵＶ変換部１２１に入力されている。図３（Ｃ）に示すように、ＲＡＷ－ＹＵＶ変換部１２１は、サンプリングパルス信号３０３が立ち上がる度に、１枚の画像フレームを構成する各画素を伝送するための撮像信号を、ラスタ・スキャン順に出力する。すなわち、撮像信号処理部１２０から画像フレーム１７０が出力されるタイミングは、撮像信号処理タイミングジェネレータ１２３から出力されるサンプリングパルス信号３０３に同期している。
　なお、図３（Ｃ）において、各画像フレーム１７０に示される数値は、撮像信号処理部１２０から出力される画像フレーム１７０に、時系列順の番号として付与されたフレーム番号である。図３（Ｃ）では、時刻Ｔ０からＴ１の間に最初の画像フレーム（フレーム番号１）が出力され、時刻Ｔ１からＴ２の間に次の画像フレーム（フレーム番号２）が出力されている。
　撮像信号処理部１２０から出力された画像フレーム１７０は、フレームバッファ１３１に記録される。
　一方、図３（Ｄ）に示す垂直同期信号３０６は、画像符号化制御部１３７を介して、表示データ読み出し部１３４に入力されている。図３（Ｅ）に示すように、表示データ読み出し部１３４は、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７３をフレームバッファ１３１から読み出す。フレーム番号１からフレーム番号６までの画像フレームは、フレームバッファ１３１から表示データ読み出し部１３４へ、フレームバッファ１３１に記録された順で出力される。
　また、図３（Ｄ）に示す垂直同期信号３０６は、画像符号化制御部１３７を介して、ストリーム生成部１３２に入力されている。図３（Ｆ）に示すように、ストリーム生成部１３２は、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７２をフレームバッファ１３１から読み出して、動画像符号化を行う。
　画像フレーム１７２は、動画像符号化に適した順序（符号化順）となるように、リオーダリング処理が施されている。図３（Ｆ）及び図３（Ｇ）で総合的に示すように、リオーダリング処理によって、Ｉピクチャはディスプレイ順より１フレーム、Ｂピクチャはディスプレイ順より２フレーム遅延して、ストリーム生成部１３２に出力される。また、Ｐピクチャはディスプレイ順と同じタイミングで、ストリーム生成部１３２に出力される。
　図３（Ｇ）に示すように、ストリーム生成部１３２によって生成された符号化ストリーム３１１を構成するピクチャは、画面内符号化を行うためのＩピクチャ、並びに画面間符号化を行うためのＰピクチャ及びＢピクチャから選択可能である。本実施形態では、Ｉ、Ｐ、Ｂ、Ｐ、Ｂの順序を１単位として、その順序を繰り返して符号化が行われる。より具体的には、Ｐピクチャは、過去に符号化されたＩピクチャを参照して符号化される。また、Ｂピクチャは、過去に符号化されたＩピクチャ又はＰピクチャを参照して符号化される。
　続いて、時刻Ｔ６においてズーム倍率が２．０倍となった後の処理について説明する。
　まず、撮像信号処理制御部１２４は、イメージセンサ１１０、ＲＡＷ－ＹＵＶ変換部１２１及び移行状態信号生成部１２５に対して、ズーム倍率が２．０倍となった旨の制御信号を出力する。
　この制御信号を受けて、イメージセンサ１１０は、読み出しモードを画素加算なしモードに切り替える。また、この制御信号を受けて、ＲＡＷ－ＹＵＶ変換部１２１は、画像スケーリング機能の拡大倍率を初期化する。さらに、移行状態信号生成部１２５は、移行状態信号１７１の信号レベルを、移行期間の開始時にローレベルからハイレベルに切り替える。これにより、撮像装置１００は、移行状態に遷移する。この後、撮像信号処理部１２０は、リセット・シーケンスを実施する。
　移行状態では、撮像信号処理部１２０から出力される画像フレーム１７０が乱れている。このため、移行状態信号１７１がハイレベルになったことを検出した移行状態制御部１３８は、画像フレーム１７０を記録しないように、フレームバッファ１３１を制御する。また、この移行状態制御部１３８は、移行状態の直前に記録された画像フレームを繰り返し出力するように、フレームバッファ１３１を制御する。
　これらの制御により、フレームバッファ１３１から、画像フレーム１７２、１７３として、移行状態となる直前に記録された画像フレームが繰り返し出力される。図３（Ｅ）には、フレーム番号６の画像フレームが５回連続で、表示データ読み出し部１３４へ繰り返し出力される状態が示されている。
　なお、移行状態信号１７１は、移行状態信号生成部１２５の内部のメモリやレジスタ等の記憶領域に保持されている。また、移行状態信号生成部１２５は、撮像信号処理部１２０のリセットがあっても、移行状態信号１７１がハイレベルに維持されるように構成されている。これにより、撮像信号処理部１２０がリセット・シーケンスを実施している間も、移行状態信号１７１の値が保持されるようになっている。　
　続いて、移行期間が終了した時刻Ｔ７以降の処理について説明する。この時点では、撮像信号処理部１２０のリセット・シーケンスは終了している。
　時刻Ｔ７において、図３（Ａ）に示すように、移行状態信号生成部１２５は、移行状態信号１７１を、ハイレベルからローレベルに切り替える。移行状態信号１７１がローレベルになったことを検出した移行状態制御部１３８は、フレームバッファ１３１の状態を、画像フレーム１７０を記録して出力する状態に戻す。
　この時点で、イメージセンサ１１０の読み出しモードは、すでに画素加算なしモードに切り替わっている。したがって、イメージセンサ１１０は、画素加算なしモードで撮像信号を出力している。そして、図３（Ｃ）に示すように、ＲＡＷ－ＹＵＶ変換部１２１は、入力された撮像信号に基づいて、画像フレーム１７０としてフレーム番号７以降の画像フレームを生成して出力する。
　図３（Ｅ）に示すように、表示データ読み出し部１３４は、時刻Ｔ０～時刻Ｔ６と同様に、垂直同期信号３０６が立ち上がる度に、画像フレーム１７３を１枚ずつフレームバッファ１３１から読み出す。一方、図３（Ｆ）及び図３（Ｇ）に示すように、ストリーム生成部１３２は、時刻Ｔ０～時刻Ｔ６と同様に、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７２をフレームバッファ１３１から読み出して、動画像符号化を行う。
　なお、移行期間の長さはフレームの周期の整数倍になるとは限らない。このため、撮像装置１００が移行状態から通常状態に復帰した後は、撮像信号処理部１２０の出力タイミングが、移行前のタイミングとずれてしまうことがある。この問題に対処するために、撮像装置１００には、画像フレーム１７０を、画像符号化部タイミングジェネレータ１２３から出力される垂直同期信号３０６に同期させるフレームシンクロナイザの機能が必要となる。本実施形態では、画像符号化部１３０内のフレームバッファ１３１を用いて、フレームシンクロナイザの機能が実現されている。これにより、どのようなタイミングで撮像信号処理部１２０から画像フレームが出力されたとしても、画像符号化が可能となる。
　以上詳細に説明したように、ズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えにより、画像フレーム１７０が不安定となっている期間が生じる。本実施形態によれば、この期間では、動作モードが切り替わる直前の画像フレーム１７０を用いて動画像符号化等が継続される。これにより、その期間における画像の乱れを防止することができる。
　また、撮像装置１００は、画像フレームをリピートし、フレームシンクロナイザの機能を実現することで、リセット・シーケンスに起因する画像の乱れを防止する。画像の乱れを防止するためには、ＲＡＷ－ＹＵＶ処理部１２１から出力された画像フレーム１７０を記録するバッファを、撮像信号処理部１２０より後段に用意する必要がある。しかしながら、フレームバッファを新たに追加すると、製造などにかかるコストが増えてしまう。
　動画像符号化におけるリオーダリング処理を行うために、画像符号化部１３０は、フレームバッファ１３１を備えている。そこで、本実施形態では、このフレームバッファ１３１を、画像フレームの出力のリピートにも活用する。これにより、撮像装置１００内に、新たなバッファを追加しなくて済むので、より少ないコストで画像の乱れを防止することができる。
（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。
　上記第１の実施形態では、イメージセンサ１１０の読み出しモードの変更に伴い、撮像信号処理部１２０でリセット・シーケンスが実行された。また、このリセット・シーケンスの実行などの理由により、撮像信号処理部１２０が画像フレームを出力できない期間（移行期間）が発生した。そして、その期間に生じる画像の乱れが防止された。
　本実施形態では、撮像信号処理部１２０が、自動露出（Auto Exposure：ＡＥ）制御を行う点に着目する。より具体的には、本実施形態では、イメージセンサ１１０の読み出しモードが切り替わってからＡＥ制御が安定するまでに、１フレームから数フレーム分の時間を要する点に着目する。
　イメージセンサ１１０が、読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、出力される画素のゲインが変化する。ゲインの変化を補正することによってＡＥ制御の評価値（測光値）が収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部１２０のリセット・シーケンスが発生しないか、もしくは終了した後であっても、測光値が収束していない場合には、撮像信号処理部１２０から出力される画像フレームの画質が安定しない。その結果として、画像が乱れてしまう。
　そこで、本実施形態に係る撮像装置１００は、測光値が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
　図４には、本実施形態の撮像装置１００の構成が示されている。図４に示すように、本実施形態に係る撮像信号処理制御部１２４は、ＡＥ制御部４００を備えている点で上記第１の実施形態に係るものと異なる。
　ＡＥ制御部４００は、制御信号をイメージセンサ１１０に出力するとともに、制御信号を移行状態信号生成部１２５に出力する。
　図５（Ａ）～図５（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図５（Ａ）には、絞り値（Ｆ値）の制御信号（Ｆ値制御信号）が示されている。また、図５（Ｂ）には、シャッタースピード制御信号が示されている。また、図５（Ｃ）には、測光値が示されている。さらに、図５（Ｄ）には、ズーム倍率が示されている。
　ＡＥ制御の動作モードには、絞り優先モードと、シャッタースピード優先モードとがある。それぞれの動作モードでは、絞り値（Ｆ値）・シャッタースピードのどちらかの制御量が、ユーザの指定する数値に優先的に合わされている。また、もう１つの制御量は、露出が適正になるように、適応的に変更される。
　図５（Ａ）～図５（Ｄ）には、絞り優先モードの場合が示されている。図５（Ａ）に示すように、絞りは‘５．６’に設定されている。本実施形態では、図５（Ｄ）に示すように、時刻Ｔ６においてズーム倍率が２．０倍になると、イメージセンサ１１０の読み出しモードと、撮像信号処理部１２０の動作モードとの切り替えが開始される。その後、図５（Ｃ）に示すように、時刻Ｔ７において測光値が最適になるまで、図５（Ｂ）に示すように、シャッタースピードを調整することでＡＥ制御が行われる。
　ＡＥ制御が行われている間（時刻Ｔ６から時刻Ｔ７まで）は、測光値が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ１１０の読み出しモードが切り替わるとともに、撮像信号処理部１２０の動作モードの変更が開始される。また、この動作モードの変更の開始とともに、ＡＥ制御が開始される。ＡＥ制御が開始された時点から測光値が収束するまでの期間を、移行期間とする。
　なお、図５（Ａ）～図５（Ｄ）には、絞り優先モードの場合が示されているが、シャッタースピード優先モードの場合においても、同様に移行期間が生じる。具体的には、測光値が最適になるまで、シャッタースピードを調整することでＡＥ制御が行われる。すなわち、測光値が最適になるまで、移行期間が継続する。
　本実施形態では、移行状態制御部１２５が、ＡＥ制御部４００から出力される制御信号に基づいて、動作モード変更後（時刻Ｔ６後）の測光値を監視する。また、移行状態制御部１２５は、測光値が収束するまでの期間（時刻Ｔ７までの期間）が移行期間となるように、移行状態信号１７１を生成して出力する。出力された移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に出力された画像フレームが表示・符号化に用いられないようにすることによって、画像の乱れを防止する。
　本実施形態によれば、ＡＥ制御により、測光値が収束せず画像フレーム１７０が不安定となっている期間が生じる。この期間では、動作モードが切り替わる直前の画像フレーム１７０を用いて動画像符号化等が継続する。これにより、その期間における画像の乱れを防止することができる。
　また、上記第１の実施形態と同様に、符号化に用いられるフレームバッファ１３１を、画像フレームの出力のリピートにも用いることで、新たなバッファを追加しなくて済む。これにより、より少ないコストで画像の乱れを防止することができる。
（第３の実施形態）
　次に、本発明の第３の実施形態について説明する。
　本実施形態では、撮像信号処理部１２０がオートホワイトバランス（Auto White Balance; ＡＷＢ）制御を行う点に着目する。より具体的には、本実施形態では、イメージセンサ１１０の読み出しモードが切り替わってからＡＷＢ制御が安定するまでには、１フレームから数フレーム分の時間を要する点に着目する。
　イメージセンサ１１０が、読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、イメージセンサ１１０の撮像素子の各画素のゲインが変化する。ゲインの変化を補正することによってＡＷＢ制御の評価値（色温度）が所望の値に収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部１２０のリセット・シーケンスが発生しない場合、もしくはリセット・シーケンスが終了した後であっても、色温度が収束していない場合には、撮像信号処理部１２０から出力される画像フレームの画質が安定しない。その結果として、画像が乱れてしまう。
　そこで、本実施形態に係る撮像装置１００は、色温度が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
　図６には、第３の実施形態に係る撮像装置１００の構成が示されている。図６に示すように、本実施形態に係る撮像信号処理制御部１２４は、ＡＷＢ制御部６００を備えている点で、上記第１の実施形態に係るものと異なる。
　ＡＷＢ制御部６００は、制御信号をＲＡＷ－ＹＵＶ変換部１２１に出力するとともに、その制御信号を移行状態信号生成部１２５に通知する。
　図７（Ａ）～図７（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図７（Ａ）には、ＡＷＢ制御部６００からＲＡＷ－ＹＵＶ変換部１２１に出力されるＲ／Ｇゲイン制御信号が示されている。また、図７（Ｂ）には、ＡＷＢ制御部６００からＲＡＷ－ＹＵＶ変換部１２１に出力されるＢ／Ｇゲイン制御信号が示されている。また、図７（Ｃ）には、色温度が示されている。さらに、図７（Ｄ）には、ズーム倍率が示されている。
　ＡＷＢ制御部６００は、撮像された画像の色温度を解析した上で、所望の色温度（例えば６５００Ｋ）に変換されるように、Ｒ／Ｇゲイン、Ｂ／Ｇゲインを調整する。ＡＷＢ制御が行われている間（時刻Ｔ６から時刻Ｔ７まで）は、色温度が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ１１０の読み出しモードと、撮像信号処理部１２０の動作モードとの切り替えが開始されるとともに、ＡＷＢ制御部６００のＡＷＢ制御が開始される。ＡＷＢ制御が開始されてから、色温度が収束するまでの期間を、移行期間とする。
　本実施形態では、移行状態信号生成部１２５は、ＡＷＢ制御部６００から出力される制御信号に基づいて、撮像信号処理部１２０の動作モードが変更した後の色温度を監視する。また、移行状態信号生成部１２５は、色温度が収束するまでの期間が移行期間となるように、移行状態信号１７１の信号レベルをハイレベルとする。移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に撮像信号処理部１２０から出力された画像フレーム１７０が表示・符号化に用いられないようにすることによって、画像の乱れを防止する。
　本実施形態によれば、ＡＷＢ制御により、色温度が収束せず画像フレーム１７０が不安定となっている期間が生じる。この期間では、動作モードが切り替わる直前の画像フレーム１７０を用いて動画像符号化等が継続する。これにより、その期間における画像の乱れを防止することができる。
　また、上記第１の実施形態と同様、符号化に用いられるフレームバッファ１３１を、画像フレームの出力のリピートにも用いることで、新たなバッファを追加しなくて済む。これにより、より少ないコストで画像の乱れを防止することができる。
（第４の実施形態）
　次に、本発明の第４の実施形態について説明する。
　本実施形態では、撮像信号処理部１２０が、フレーム・ノイズ・リダクション（Frame Noise Reduction; FNR）処理を行う点に着目する。本実施形態では、イメージセンサ１１０の読み出しモード及び撮像信号処理部１２０の動作モードが切り替わってから、ＦＮＲ処理において出力される画像フレーム１７０の画質が安定するまでに、数フレーム分の時間を要する点に着目する。
　ＦＮＲ処理は、連続して撮像された画像フレームを用いて、主として静止する被写体の画像からノイズを低減する処理である。本実施形態では、連続する３枚の画像フレームを用いてＦＮＲ処理が行われる場合について説明する。
　ＦＮＲ処理では、連続した画像フレームを比較して、その差分をノイズと判定した上で、ノイズ除去が行われる。しかしながら、撮像信号処理部１２０の動作モードが切り替わると、その切り替えの前後で、ＲＡＷ－ＹＵＶ処理部１２１から出力される画像フレームの画質が大きく変化する。このため、ＦＮＲ処理が実施されると、出力される画像に乱れが生じる。そこで、本実施形態に係る撮像装置１００は、ＦＮＲ処理が実施される場合に生じる画像の乱れを防止し、スムーズに電子ズームを行う。
　図８には、本実施形態に係る撮像装置１００の構成が示されている。本実施形態は、撮像信号処理部１２０がＦＮＲ処理部８００と、ＦＮＲ用フレームバッファ８０１を備えている点で、上記第１の実施形態と異なる。
　ＦＮＲ処理部８００は、ＲＡＷ－ＹＵＶ変換部１２１から出力される画像フレームに対してＦＮＲ処理を行う。また、ＦＮＲ処理部８００は、ＦＮＲ処理が施された画像フレーム１７０を、フレームバッファ１３１に出力する。
　ＦＮＲ用フレームバッファ８０１は、ＦＮＲ処理部８００から、画像フレームを受け取り、一時的に記録する。また、ＦＮＲ用フレームバッファ８０１は、ＦＮＲ処理部８００に対して、過去２枚前以降に記録された画像フレームを出力する。ここでは、２つ前の画像フレームを画像フレームＡとし、１つ前の画像フレームを画像フレームＢとする。
　図９（Ａ）～図９（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図９（Ａ）には、ＦＮＲ用フレームバッファ８０１に記録される、２フレーム前の画像フレームＡが示されている。図９（Ｂ）には、ＦＮＲ用フレームバッファ８０１に記録される、１フレーム前の画像フレームＢが示されている。図９（Ｃ）には、ＲＡＷ－ＹＵＶ変換部１２１から出力される画像フレームが示されている。さらに、図９（Ｄ）にはズーム倍率が示されている。
　本実施形態のＦＮＲ処理では、ＲＡＷ－ＹＵＶ変換部１２１が出力する画像フレーム１枚と、ＦＮＲ用フレームバッファ８０１から読み取った過去２枚分の画像フレームＡ、Ｂの、計３枚を用いて、ノイズ除去が行われる。例えば、時刻Ｔ２から時刻Ｔ３の間では、フレーム番号１の画像フレームＡと、フレーム番号２の画像フレームＢと、ＲＡＷ－ＹＵＶ変換部１２１から出力されたフレーム番号３の画像フレームとを用いてノイズ除去が行われる。
　時刻Ｔ６と時刻Ｔ７の間に、すなわち撮像信号処理部１２０の動作モードの変更の前後に、ＲＡＷ－ＹＵＶ変換部１２１から出力された画像フレームを用いたＦＮＲ処理が実施されると、画像が乱れてしまう。本実施形態では、この画像の乱れを防ぐために、動作モードの変更後から、ＦＮＲ処理に必要な２フレーム分の期間（すなわち時刻Ｔ６から時刻Ｔ７までの期間）を移行期間とする。
　本実施形態においては、移行状態信号生成部１２５は、ＦＮＲ処理部８００から出力される情報に基づいて、ＦＮＲ処理に用いられる画像フレームを監視する。また、移行状態信号生成部１２５は、所定の期間が移行期間となるように、移行状態信号１７１を生成して出力する。この所定の期間は、ＦＮＲ処理に用いられる全ての画像フレームが、同じ動作モードの下で、ＲＡＷ－ＹＵＶ変換部１２１から出力されていない期間である。出力された移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に撮像信号処理部１２０から出力された画像フレームが表示・符号化に用いられないようにすることによって、画像の乱れを防止する。
　本実施形態によれば、ＦＮＲ処理が行われた画像フレーム１７０が不安定となっている期間が生じる。この期間では、撮像信号処理部１２０の動作モードが切り替わる直前の画像フレーム１７０を用いて動画像符号化等が継続する。これにより、その期間における画像の乱れを防止することができる。
　また、上記第１の実施形態と同様、符号化に用いられるフレームバッファ１３１を、画像フレームの出力のリピートにも用いることで、新たなバッファを追加しなくて済む。このため、より少ないコストで画像の乱れを防止することができる。
　なお、本実施形態では、移行期間を２フレーム分としたが、この移行期間は、ＦＮＲフレームに必要なフレーム数に応じて増減する。
　上記実施の形態の一部又は全ては、以下の付記のようにも記載されうるが以下には限定されない。
（付記１）
　撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
　前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
　前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
　操作入力により、前記ズーム倍率を変更可能な操作部と、
　を備え、
　前記撮像信号処理部は、
　前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
　前記画像符号化部は、
　前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
　ことを特徴とする撮像装置。
（付記２）
　前記撮像信号処理部は、
　前記イメージセンサの読み出しモードが切り替えられると、リセット・シーケンスを実行し、
　前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
　ことを特徴とする付記１に記載の撮像装置。
（付記３）
　前記撮像信号処理部は、
　前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
　前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
　ことを特徴とする付記１に記載の撮像装置。
（付記４）
　前記撮像信号処理部は、
　前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
　前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
　ことを特徴とする付記１に記載の撮像装置。
（付記５）
　前記撮像信号処理部は、
　出力する画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
　前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
　ことを特徴とする付記１に記載の撮像装置。
（付記６）
　撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
　前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
　前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
　操作入力により、前記ズーム倍率を変更可能な操作部と、
　を備える撮像装置の電子ズーム方法であって、
　前記撮像信号処理部において、
　前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
　前記画像符号化部において、
　前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
　を含むことを特徴とする電子ズーム方法。
　本明細書中に日本国特許出願２０１１－１０７３１号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
　本発明は、電子ズーム機能を有する撮像装置に好適である。
　１００　撮像装置
　１１０　イメージセンサ
　１２０　撮像信号処理部
　１２１　ＲＡＷ－ＹＵＶ変換部
　１２２　撮像信号処理クロック生成部
　１２３　撮像信号処理タイミングジェネレータ
　１２４　撮像信号処理制御部
　１２５　移行状態信号生成部
　１３０　画像符号化部
　１３１　フレームバッファ
　１３２　ストリーム生成部
　１３３　参照フレームバッファ
　１３４　表示データ読み出し部
　１３５　画像符号化クロック生成部
　１３６　画像符号化タイミングジェネレータ
　１３７　画像符号化制御部
　１３８　移行状態制御部
　１４０　記録部
　１５０　表示部
　１６０　操作部
　１７０　画像フレーム
　１７１　移行状態信号
　１７２　画像フレーム
　１７３　画像フレーム
　３０３　サンプリングパルス信号
　３０６　垂直同期信号
　３１１　符号化ストリーム
　４００　ＡＥ制御部
　６００　ＡＷＢ制御部
　８００　ＦＮＲ処理部
　８０１　ＦＮＲ用フレームバッファ

Claims (6)

  1. 　撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
    　前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
    　前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
    　操作入力により、前記ズーム倍率を変更可能な操作部と、
    　を備え、
    　前記撮像信号処理部は、
    　前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
    　前記画像符号化部は、
    　前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
    　ことを特徴とする撮像装置。
  2. 　前記撮像信号処理部は、
    　前記イメージセンサの読み出しモードが切り替えられると、リセット・シーケンスを実行し、
    　前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
    　ことを特徴とする請求項１に記載の撮像装置。
  3. 　前記撮像信号処理部は、
    　前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
    　前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
    　ことを特徴とする請求項１に記載の撮像装置。
  4. 　前記撮像信号処理部は、
    　前記イメージセンサの読み出しモードが切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
    　前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
    　ことを特徴とする請求項１に記載の撮像装置。
  5. 　前記撮像信号処理部は、
    　出力する画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
    　前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
    　ことを特徴とする請求項１に記載の撮像装置。
  6. 　撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
    　前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り替えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
    　前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
    　操作入力により、前記ズーム倍率を変更可能な操作部と、
    　を備える撮像装置の電子ズーム方法であって、
    　前記撮像信号処理部において、
    　前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
    　前記画像符号化部において、
    　前記移行状態信号が有効となっている間では、前記移行期間直前に前記フレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
    　を含むことを特徴とする電子ズーム方法。
PCT/JP2012/068508 2012-07-20 2012-07-20 撮像装置及び電子ズーム方法 WO2014013619A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/068508 WO2014013619A1 (ja) 2012-07-20 2012-07-20 撮像装置及び電子ズーム方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/068508 WO2014013619A1 (ja) 2012-07-20 2012-07-20 撮像装置及び電子ズーム方法

Publications (1)

Publication Number Publication Date
WO2014013619A1 true WO2014013619A1 (ja) 2014-01-23

Family

ID=49948470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068508 WO2014013619A1 (ja) 2012-07-20 2012-07-20 撮像装置及び電子ズーム方法

Country Status (1)

Country Link
WO (1) WO2014013619A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199594A1 (zh) * 2021-03-26 2022-09-29 华为技术有限公司 一种远程视频方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302683A (ja) * 2008-06-10 2009-12-24 Canon Inc 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP2012151787A (ja) * 2011-01-21 2012-08-09 Nec Casio Mobile Communications Ltd 撮像装置及び電子ズーム方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302683A (ja) * 2008-06-10 2009-12-24 Canon Inc 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP2012151787A (ja) * 2011-01-21 2012-08-09 Nec Casio Mobile Communications Ltd 撮像装置及び電子ズーム方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199594A1 (zh) * 2021-03-26 2022-09-29 华为技术有限公司 一种远程视频方法及相关装置

Similar Documents

Publication Publication Date Title
JP4378804B2 (ja) 撮像装置
US7978229B2 (en) Image pickup apparatus and method for controlling the same
JP4187425B2 (ja) 画像制御装置およびディジタルカメラ
US8743227B2 (en) Imaging apparatus and control method for reducing a load of writing image data on a recording medium
US20070146810A1 (en) Image display apparatus, method, and program
JP2008252461A (ja) 撮像装置
US8427554B2 (en) Imaging apparatus and control method therefor
JP2007135133A (ja) 撮像装置
JP2020053771A (ja) 画像処理装置、撮像装置
JP4584544B2 (ja) 画像再生装置および固体撮像装置
JP2012054661A (ja) 撮像装置、および信号処理方法、並びにプログラム
US9160926B2 (en) Image processing apparatus having display device, control method therefor, and storage medium
JP2012151787A (ja) 撮像装置及び電子ズーム方法
US20110032412A1 (en) Image processing apparatus and image processing method
JP5235604B2 (ja) 画像処理装置および画像処理方法
US10397587B2 (en) Image processing apparatus and control method thereof
JP2005012423A (ja) 撮像装置及び信号処理装置
US10348957B2 (en) Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images
WO2014013619A1 (ja) 撮像装置及び電子ズーム方法
JP2001086394A (ja) 撮像装置
JP2011223146A (ja) 電子カメラ
JP2000299810A (ja) 撮像装置
JP5354035B2 (ja) ズーム機構付き撮像装置。
US20240127398A1 (en) Image capturing apparatus and image capturing method for generating high-resolution image, and non-transitory computer-readable storage medium storing program
JP2009015332A (ja) 画像処理制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12881284

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12881284

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP