WO2008075688A1 - 撮像装置及び方法、記録装置及び方法、再生装置及び方法 - Google Patents

撮像装置及び方法、記録装置及び方法、再生装置及び方法 Download PDF

Info

Publication number
WO2008075688A1
WO2008075688A1 PCT/JP2007/074328 JP2007074328W WO2008075688A1 WO 2008075688 A1 WO2008075688 A1 WO 2008075688A1 JP 2007074328 W JP2007074328 W JP 2007074328W WO 2008075688 A1 WO2008075688 A1 WO 2008075688A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image signal
unit
pixel
readout
Prior art date
Application number
PCT/JP2007/074328
Other languages
English (en)
French (fr)
Inventor
Daisuke Miyakoshi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN2007800058551A priority Critical patent/CN101385334B/zh
Priority to EP07850814A priority patent/EP2129108A4/en
Priority to US12/224,082 priority patent/US8102436B2/en
Priority to JP2008550156A priority patent/JP5141559B2/ja
Publication of WO2008075688A1 publication Critical patent/WO2008075688A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Definitions

  • Imaging apparatus and method recording apparatus and method, reproducing apparatus and method
  • the present invention relates to an imaging apparatus and method, a recording apparatus and method, a reproducing apparatus and method.
  • Japanese Patent Laid-Open No. 9 83952 has proposed a method of recording an image signal of a captured image on a recording medium by delaying the image signal using a large-capacity memory. According to the method disclosed in Japanese Patent Application Laid-Open No. 9 83952, it is possible to start recording even when the image power is reversed for a certain period of time from the time when the user instructs the start of imaging. Don't miss it!
  • Japanese Patent Laid-Open No. 2005-295423 proposes a method of recording a slow motion video by using a memory to reduce the field frequency of an image signal.
  • the technique disclosed in Japanese Patent Laid-Open No. 2005-295423 outputs an image signal from the image sensor at a higher speed than the field frequency (50 fields / second or 60 fields / second) of a normal video signal.
  • the image signals are sequentially and cyclically stored in the memory.
  • the image signal stored in this memory is read out at the field frequency of a normal video signal and recorded on a recording medium.
  • processing for acquiring a captured image at a field frequency or frame frequency higher than that of a normal video signal will be referred to as high-speed imaging.
  • Japanese Patent Application Laid-Open No. 64-2480 and Japanese Patent Application Laid-Open No. 1 105674 disclose a captured image of an image signal output from an image sensor.
  • a method for preventing an increase in the data rate of the image signal by reducing the resolution of the image, that is, the number of pixels of the captured image has been proposed.
  • Japanese Patent Application Laid-Open No. 10-51735 proposes a method for preventing an increase in data rate by capturing a part of a captured image.
  • the image signal is stored in the memory at a high speed, and then read from the memory and recorded on the recording medium. Limited by. Therefore, if the desired scene lasts for a long time, it is difficult to capture the entire scene at high speed. Also, with this method, the next scene cannot be imaged until after all the image signals stored in the memory are read out. If the desired scene is repeated at a short time interval, part of this repeated scene will be missed.
  • One method for solving this problem is to acquire an image signal at a high field frequency or frame frequency and directly record it on a large-capacity recording medium.
  • the present invention has been made in consideration of the above points, and is obtained by effectively avoiding deterioration of image quality and the like, and performing high-speed imaging or high-speed imaging without missing a valuable imaging opportunity.
  • the present invention proposes an imaging apparatus and method, a recording apparatus and method, and a reproduction apparatus and method capable of recording and reproducing the received image signal.
  • an imaging apparatus includes an image sensor that generates an image signal of a captured image, and performs thinning-out reading on the pixels in the effective image area.
  • a control unit that switches the processing in a predetermined unit period.
  • the recording apparatus of the present invention is an image sensor that performs thinning readout on pixels in an effective image area and generates an image signal.
  • a compression process is performed on the image signal of the captured image that is generated by switching the readout process for all pixels in a predetermined unit period to read out all the pixels of the partial area from the partial area and generating an image signal.
  • An image compression unit that generates encoded data and a recording unit that records the encoded data, and the image compression unit predictively encodes an image signal obtained by performing a full-field-of-view reading process.
  • the image signal obtained by performing the compression processing using the encoding method and performing the partial pixel partial reading processing is compressed using the encoding method that does not use predictive coding.
  • the playback device of the present invention is an image sensor that performs thinning readout for pixels in an effective image area and generates an image signal, and performs a full-field-angle readout process for generating an image signal, and an effective image area. Obtained by reading out all pixels in the partial area from the partial area and switching the readout process for all pixels in a predetermined unit period to generate an image signal!
  • the image signal is compressed and recorded as encoded data by an encoding method using predictive encoding, and the image signal obtained by performing the all-pixel partial readout process is obtained using predictive encoding! /, N!
  • a playback unit that reads encoded data from a recording medium that has been compressed by the encoding method and recorded as encoded data, and generates an image signal by expanding the read encoded data Generated by image decompression unit and image decompression unit
  • An image composition unit that performs composition using the image signals obtained, and the image composition unit obtains an image signal obtained by performing a thinning-out full-field-angle readout process and an image obtained by performing an all-pixel partial readout process. The signal is synthesized.
  • an imaging method, a recording method, and a reproducing method corresponding to the imaging device, the recording device, and the reproducing device of the present invention are an imaging method, a recording method, and a reproducing method corresponding to the imaging device, the recording device, and the reproducing device of the present invention.
  • the first field in the reference field period or the reference frame period is recorded.
  • an image signal for the thinned-out full-angle reading process is generated, and the reference field period or the reference frame
  • an image signal for all pixel partial readout processing is generated.
  • the amount of signal output from the image sensor in the reference field period or the reference frame period can be reduced as compared with the case of acquiring captured images of all the angles of view in all fields or frames. It is possible to record directly on a large-capacity recording medium.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus.
  • FIG. 2 is a diagram for explaining the operation of the image sensor.
  • FIG. 3 is a block diagram showing a configuration of a camera signal processing unit.
  • FIG. 4 is a block diagram showing a part of the configuration of the resolution conversion / image composition unit in the camera signal processing unit.
  • FIG. 5 is a diagram for explaining horizontal and vertical gains in a resolution conversion / image composition unit.
  • FIG. 6 is a diagram showing the relationship between captured images and boundary coordinates.
  • FIG. 7 is a block diagram showing a configuration of an image compression / decompression unit.
  • FIG. 8 is a diagram for explaining encoded data of a moving image.
  • FIG. 9 is a block diagram showing a configuration of a recording apparatus.
  • FIG. 10 is a block diagram showing a configuration of a playback device.
  • FIG. 11 A time chart when high-speed imaging is performed with the frame rate set to twice the reference frame rate.
  • FIG. 12 is a time chart when an image obtained by performing high-speed imaging at a frame rate twice as high as the reference frame rate is played back at a standard playback speed.
  • FIG. 13 is a time chart for slow motion playback of an image captured at a high speed with a frame rate twice the reference frame rate at a playback speed of 1/2.
  • FIG. 14 is a time chart when high-speed imaging is performed with the frame rate set to three times the reference frame rate.
  • FIG. 15 is a time chart when an image captured at a high speed with a frame rate three times the reference frame rate is played back at the standard playback speed.
  • FIG. 16 is a time chart when high-speed imaging is performed with the frame rate set to four times the reference frame rate.
  • FIG. 17 is a time chart when an image captured at a high speed with the frame rate set to four times the reference frame rate is played back at the standard playback speed.
  • FIG. 18 is a time chart for slow motion playback of an image captured at a high speed with a frame rate 4 times the reference frame rate at a playback speed of 1/2.
  • FIG. 19 This is a time chart for slow motion playback of an image captured at a high speed with a frame rate of 4 times the reference frame rate at a playback speed of 1/4.
  • FIG. 20 is a time chart for high-speed imaging at a variable speed.
  • FIG. 21 is a time chart when an image captured at a high speed at a variable speed is played back at a variable speed.
  • FIG. 22 is a diagram showing a criterion for determining a motion vector.
  • FIG. 23 is a schematic diagram for explanation of a frame in partial pixel partial reading.
  • FIG.24 The flow chart shows the processing procedure for setting the frame rate in variable-speed high-speed imaging.
  • FIG. 1 is a block diagram showing the configuration of the imaging apparatus of the present invention.
  • the imaging device 10 can be switched to a standard imaging mode, which is an operation mode during normal imaging, or a high-speed imaging mode, which is an operation mode for high-speed imaging, according to a user operation.
  • the imaging device 10 When set to the standard imaging mode, the imaging device 10 generates an image signal of a preset reference unit period, and performs camera signal processing and image compression processing on the image signal. Etc. to record on a recording medium.
  • the reference unit period indicates a field period or a frame period used in the television system. For example, when the reference unit period is (1/60) second, the field period is (1/60).
  • the frame rate with the reference unit period as the reference frame period and the reference unit period as the period is referred to as the reference frame rate.
  • a field rate having a reference unit period as a reference field period and a reference unit period as a period is referred to as a reference field rate.
  • the imaging device 10 When the imaging apparatus 10 is set to the high-speed imaging mode, the imaging device 10 has a reference frame rate (reference field rate) higher than the reference frame rate (reference field rate) of the standard imaging mode.
  • the image signal is generated by an integral multiple of (), and the image signal is subjected to camera signal processing, image compression processing, etc., and recorded on a recording medium.
  • the frame period (the field period is called a predetermined unit period) when the frame rate (reference field rate) is an integral multiple of the reference frame rate (reference field rate).
  • the imaging apparatus 10 extracts all the pixels from the effective image area of the imaging surface of the solid-state imaging device used in the imaging unit 11. It becomes difficult to generate the image signal shown. Therefore, when the frame rate (field rate) is higher than that in the standard imaging mode, the imaging apparatus 10 means that the predetermined unit period is shorter than the reference unit period! / Processing to generate image signals by performing pixel thinning and line thinning (hereinafter referred to as “thinning full field angle readout processing”) and processing to generate image signals by reading all pixels from a part of the effective image area (Hereinafter referred to as “all pixel partial readout processing”) to reduce the signal amount.
  • thinning full field angle readout processing processing to generate image signals by performing pixel thinning and line thinning
  • all pixel partial readout processing processing to generate image signals by reading all pixels from a part of the effective image area
  • the imaging device 10 performs camera signal processing, image compression processing, and the like on the image signal obtained by performing the thinning full angle-of-view readout process and the all-pixel partial readout process, and records them on a recording medium.
  • the imaging device 10 is obtained by performing an image signal obtained by performing a thinning full angle-of-view readout process and an all-pixel partial readout process.
  • Composite image signals thus, it is possible to obtain a reproduced image with little deterioration in image quality.
  • the image pickup unit 11 of the image pickup apparatus 10 is configured using an image sensor 111, an AFE (Analog Front End) 112, and an ADC (Analog-Digital Converter) 113. Operation is controlled.
  • AFE Analog Front End
  • ADC Analog-Digital Converter
  • the image sensor 111 of the imaging unit 11 is configured using a solid-state imaging element such as a complementary metal oxide semiconductor (CMOS) type.
  • CMOS complementary metal oxide semiconductor
  • the image sensor 111 photoelectrically converts an optical image formed on the imaging surface by a lens unit (not shown) and outputs an image signal, for example, an image signal composed of primary color signals of red, green, and blue.
  • the image sensor 111 is provided with a CDS (Correlated Double Sampling) circuit. By performing correlated double sampling processing with this CDS circuit, the noise of the image signal is reduced.
  • CDS Correlated Double Sampling
  • the image sensor 111 is controlled by the control unit 61 to read all pixels from the effective image area of the imaging surface of the solid-state imaging device (hereinafter referred to as "All-angle-of-view all-pixel readout processing), and outputs an image signal at a reference frame rate, eg, 60 frames / second [fps].
  • a reference frame rate eg, 60 frames / second [fps].
  • FIG. 2 shows the pixel position of the image signal output from the image sensor 111, and the pixels indicated by diagonal lines indicate pixels not included in the image signal.
  • the image sensor 111 reads out all the pixels from the effective image area AR on the imaging surface and outputs an image signal as shown in FIG.
  • the image sensor 111 is controlled by the control unit 61 to perform a thinning-out full-angle reading process and an all-pixel partial reading process,
  • the image signal is output at a frame rate that is an integer multiple higher than the frame rate.
  • the reference frame rate is 60 frames / second [fps]
  • an image signal with a frame rate of 120 [fps], 180 [£ 3], or 240 [£ 3] is output in the high-speed imaging mode.
  • the image sensor 111 can output an image signal of a set frame rate from the imaging unit 11 according to the frame rate. Adjust the region size at Adjust.
  • the all-pixel partial readout processing is effective on the imaging surface, for example, as shown in (B1) of FIG.
  • As a partial area of the image area AR all pixels in the rectangular area are read out from the rectangular area that is half the area of the effective image area AR.
  • the thinning-out full angle-of-view reading process for example, as shown in (B2) of FIG. 2, thinning-out reading is performed, and (1/2) of the total number of pixels is read from the effective image area AR.
  • the image sensor 111 performs the pixel thinning process by adding and outputting the output signals of the same color photosensors arranged adjacent to each other in the horizontal direction.
  • the image sensor 111 performs line thinning processing by adding and outputting the output signals of the same color photosensors arranged adjacent to each other in the vertical direction. If such all-pixel partial readout processing and thinning-out full-field-angle readout processing are performed, even if the frame rate is twice the reference frame rate, the image signal output from the image sensor 111 during the reference frame period The signal amount can be made equal to the standard imaging mode.
  • the all-pixel partial readout process for example, as shown in (C1) of Fig. 2, 1/3 of the effective image area AR. Read out all pixels in the rectangular area. Further, in the thinning-out full-angle reading process, for example, as shown in (C2) of FIG. 2, thinning-out reading is performed, and 1/3 of the total number of pixels is read from the effective image area AR. Furthermore, when the frame rate is set to 4 times the reference frame rate of the standard imaging mode, the all-pixel partial readout process performs, for example, 1 / of the effective image area AR as shown in (D1) of FIG. Rectangular area with area of 4 Force Read all pixels in the rectangular area.
  • the signal amount of the image signal is equal to that in the standard imaging mode even if the frame rate is set to 3 or 4 times the reference frame rate. can do.
  • the image sensor 111 switches the thinning pattern in the thinning full angle-of-view reading process for each frame, it is possible to prevent the pixels at the same pixel position from being always thinned.
  • the image sensor 111 is controlled by the control unit 61, and when the imaging apparatus 10 is in the high-speed imaging mode, when the output signal is divided and viewed in the reference frame period of the standard imaging mode, the reference frame In the first frame within the period, the image signal obtained by performing the thinning-out full-field angle readout process is output. Further, the image sensor 111 outputs an image signal obtained by performing the all-pixel partial reading process in a frame period other than the first frame in the reference frame period.
  • An AFE (Analog Front End) 112 performs an AGC (Automatic Gain Control) process on the image signal output from the image sensor 111 to control the gain of the image signal.
  • An ADC (Analog-Digital Converter) 113 converts the analog image signal processed by the AFE 112 into a digital image signal DV1.
  • the camera signal processing unit 12 is controlled by the control unit 61 to monitor the image signal DV1 output from the imaging unit 11 when the monitor display is performed using the image signal generated by the imaging unit 11.
  • the signal is processed and output to the display processing unit 21 as a monitor image signal DV2.
  • the camera signal processing unit 12 outputs the image signal DV3 obtained by camera signal processing when a user operation for instructing recording of the image signal is performed while the monitor image signal DV2 is being supplied to the display processing unit 21.
  • Output to the compression / decompression unit 31 Further, the camera signal processing unit 12 performs camera signal processing on the image signal DV4 supplied from the image compression / decompression unit 31 when the recorded captured image is reproduced, and displays it as a reproduction image signal DV5.
  • the camera signal processing unit 12 performs white balance adjustment processing, color correction processing, AF (Auto Focus) processing, AE (Auto Exposure) processing, and the like as camera signal processing. Further, the camera signal processing unit 12 also performs a process of combining the image signal generated by the thinning-out full angle-of-view readout process and the image signal generated by the all-pixel part readout process and outputting as a reproduced image signal DV5. Do.
  • FIG. 3 is a block diagram showing a configuration of the camera signal processing unit 12.
  • the level correction unit 121 of the camera signal processing unit 12 corrects the signal level for each of the red, green, and blue color signals with respect to the image signal DV1 supplied from the imaging unit 11.
  • the level correction unit 121 sets clamping, offset, differential gain, and the like by this signal level correction, and executes processing such as shading correction and flits force correction.
  • the pixel correction unit 122 performs pixel value correction processing such as color mixture correction and pixel defect correction on the image signal processed by the level correction unit 121.
  • the gain adjustment unit 123 corrects a change in signal level caused by switching the frame rate in the image sensor 111 with respect to the image signal processed by the pixel correction unit 122. That is, when the frame rate is increased, the charge accumulation time in the image sensor 111 is shortened and the signal level is lowered. Therefore, the gain adjusting unit 123 corrects the signal level so that the signal level is equal before and after the switching even when the frame rate is switched.
  • the pixel interpolating unit 124 performs pixel interpolation only on the image signal generated by the thinning full angle-of-view readout process, and supplies the image signal obtained by interpolating the thinned pixels to the selector 125.
  • pixel interpolation processing for example, thinned pixel data is generated by filtering processing using the correlation of adjacent pixels.
  • the image signal generated by the all-pixel partial readout process is supplied to the selector 125 without performing pixel interpolation since it has not been thinned out.
  • the full-field-of-interview readout process with the crossbow is performed at the first frame within the reference frame period. Therefore, the image displayed by the image signal of the first frame within the reference frame period is equal to the image captured in the standard imaging mode, and the image is reduced in resolution and image quality. Become.
  • the selector 125 supplies the image signal supplied from the pixel interpolation unit 124 to the color correction unit 126 and the contour correction unit 127 when performing monitor display using the image signal generated by the imaging unit 11. Further, the selector 125 outputs the image signal supplied from the pixel interpolation unit 124 to the image compression / decompression unit 31 in FIG. 1 when recording the captured image on the recording medium 42. Further, the selector 125 supplies the image signal DV4 supplied from the image compression / decompression unit 31 to the color correction unit 126 and the contour correction unit 127 when the recorded captured image is reproduced.
  • the color correction unit 126 separates a low frequency component from the image signal supplied via the selector 125, and corrects the color of the low frequency component by linear matrix processing or the like.
  • the contour correction unit 127 separates a high frequency component from the image signal supplied via the selector 125, and generates contour correction data from the high frequency component.
  • the gamma / knee processing unit 128 synthesizes the contour correction data generated by the contour correction unit 127 and the image signal processed by the color correction unit 126, and performs gamma correction on the combined image signal. Execute knee processing and the like.
  • the color space conversion unit 129 converts the image signal processed by the gamma / knee processing unit 128 into an image signal of a luminance signal and a color difference signal.
  • the resolution conversion / image composition unit 130 when performing monitor display using the image signal generated by the imaging unit 11, is generated by the color space conversion unit 129 when the standard imaging mode is selected.
  • the image signal of the luminance signal and the color difference signal is output as a monitor image signal DV2 to the display processing unit 21 or an external device (not shown).
  • the resolution conversion / image composition unit 130 uses the frame signal to store the image signal obtained by performing the thinning-out full-angle reading process. Write to 51, read the image signal written to the frame memory 51 in a standard frame period, and output it as a monitor image signal DV2 to the display processing unit 21 or the like.
  • the resolution conversion / image synthesis unit 130 performs an image signal obtained by performing an all-pixel partial readout process or a thinned-out full angle-of-view readout process.
  • At least one of the obtained image signals is stored in the frame memory 51, the image signal stored in the frame memory 51 and the other image signal are combined, and the combined image signal is reproduced as the reproduced image signal DV5. Is output to the display processing unit 21 or an external device (not shown).
  • the resolution conversion / image composition unit 130 converts the monitor image signal DV2 and the reproduction image signal DV5 output to the display processing unit 21 to a resolution suitable for display on the display unit 22 and outputs the converted image.
  • the frame memory 51 uses, for example, SDRAM (Synchronous Dynamic Random Access Memory) or the like.
  • FIG. 4 is a block diagram illustrating a configuration of the image composition unit 130 that performs image composition in the resolution conversion / image composition unit 130.
  • the image synthesizing unit 130A supplies the image signal DA for the all-pixel partial readout process to the multiplication circuit 131, and supplies the image signal DB for the full-field-angle readout process with the cross border I to the multiplication circuit 132.
  • the multiplication circuit 131 multiplies the image signal DA by the gain G and supplies the multiplication result GX DA to the adder 133.
  • the multiplier circuit 132 converts the image signal DB into The gain (1 ⁇ G) is multiplied, and the multiplication result (1 ⁇ G) X DB is supplied to the adder 133.
  • the adder 133 adds the two multiplication results GX DA, (1 ⁇ G) X DB, and outputs the addition result as a reproduced image signal DV5.
  • the gain G is obtained by multiplying the gain x-gain with respect to the horizontal coordinate value shown in (A) of FIG. 5 by the gain y-gain with respect to the vertical coordinate value shown in (B) of FIG. Value.
  • the horizontal boundary in the captured image of all pixel partial readout is the coordinates xl, x2
  • the vertical boundary is the coordinates yl, y2.
  • 6 shows the relationship between the captured image and the coordinates of the boundary.
  • FIG. 6A shows the relationship between the captured image of all pixel partial readout and the coordinates of the boundary.
  • FIG. 6B shows the relationship between the thinned-out images.
  • FIG. 6 illustrates a relationship between a captured image for full-field-angle readout and boundary coordinates.
  • a boundary region dx is provided in the inner direction of the captured image for reading all pixels from 1, x2, and the boundary region dy is provided in the inner direction of the captured image for reading all pixels from the coordinates yl and y2. Furthermore, in the coordinates xl, x2, yl, y2, the gain is set to “0”, the coordinate xl, x2 moves from the boundary region dx, the coordinate yl, y2 to the boundary region dy, and the companion gain! Set the gain G so that it gradually increases to “1”.
  • the image composition unit 130A can prevent deterioration in image quality by replacing the captured image of the thinned-out full-field-angle readout process in which pixel interpolation is performed with the captured image of all-pixel partial readout. Further, the image compositing unit 130A can make the boundary between the captured image of the all-pixel partial readout process and the captured image of the full-field-angle readout process where the pixel interpolation has been performed inconspicuous.
  • a display unit 22 is connected to the display processing unit 21.
  • the display unit 22 is configured using, for example, an LCD (Liquid Crystal Display).
  • the display processing unit 21 generates a display driving signal based on the monitor image signal DV2 and the reproduction image signal DV5 supplied from the camera signal processing unit 12, and drives the display unit 22 with this display driving signal, The monitor image and playback image are displayed on the screen of the display unit 22.
  • the image compression / decompression unit 31 When recording the captured image on the recording medium 42, the image compression / decompression unit 31 performs data compression of the image signal DV3 supplied from the camera signal processing unit 12! And the obtained encoded data DW Is supplied to the recording / playback processing unit 41. The image compression / decompression unit 31 performs a decoding process on the encoded data DR supplied from the recording / playback processing unit 41 and obtains the obtained image signal DV. 4 is supplied to the camera signal processing unit 12.
  • the image compression / decompression unit 31 performs predictive coding when the image signal of the all-pixel full-field-of-view readout process or the image signal of the thinned-out full-angle-of-view readout process is subjected to data compression.
  • a compression process is performed by a moving image encoding method such as MPEG (Moving Picture Experts Group) or the like to generate a stream of encoded video data.
  • MPEG Moving Picture Experts Group
  • the image compression / decompression unit 31 uses! /, NA! /, Encoding methods such as JPEG (Joint Photographic Experts Group). ), Etc., to generate still image encoded data for each frame.
  • the image compression / decompression unit 31 sequentially detects a motion vector MV for each macro block between frames to be encoded by the moving image encoding method, and notifies the control unit 61 of the detected motion vector MV.
  • the image compression / decompression unit 31 uses the motion vector MV detected during the encoding process when encoding with MPEG, and separately adds the motion vector MV only to the frame subjected to the intra-frame encoding process. To detect.
  • FIG. 7 is a block diagram showing a configuration of the image compression / decompression unit 31.
  • the image signal DV3 supplied from the camera signal processing unit 12 is supplied to the MV detector 311 and the prediction subtractor 315 of the image compression / decompression unit 31.
  • the MV detector 311 uses the image signal DV3 supplied from the camera signal processing unit 12 to sequentially detect a motion vector MV between consecutive frames that generate encoded data of the moving image.
  • the MV detector 311 notifies the detected motion vector MV to the motion compensator 312, the MV encoder 319 and the control unit 61.
  • the motion compensator 312 performs motion compensation on the image signal stored in the image memory 313 using the motion vector MV detected by the MV detector 311 at the time of encoding the moving image, and predicts the value for encoding. Is generated. In addition, the motion compensator 312 similarly generates a prediction value for decoding using the motion vector MV decoded by the MV decoder 314 when decoding a moving image.
  • the prediction subtractor 315 subtracts the prediction value for encoding generated by the motion compensator 312 from the image signal DV3 supplied from the camera signal processing unit 12 when encoding a moving image.
  • the resulting prediction error value is supplied to DCT316.
  • the predictive subtractor 315 does not process the image signal DV3 input from the camera signal processing unit 12 when encoding a still image. Supply to DCT316.
  • the DCT 316 performs two-dimensional discrete cosine transform on the output data of the predictive subtractor 315 and supplies coefficient data that is the processing result to the quantizer 317.
  • the quantizer 317 performs quantization processing on the coefficient data supplied from the DCT 316 and supplies the obtained quantized data to the variable length encoder 318 and the inverse quantizer 321.
  • the variable length encoder 318 performs variable length encoding processing on the quantized data supplied from the quantizer 317.
  • the MV encoder 319 encodes the motion vector MV obtained by the MV detector 311.
  • the multiplexer 320 multiplexes the data obtained by performing the variable length coding process with the variable length encoder 318 and the data obtained by performing the coding process with the MV encoder 319. Processed and supplied as encoded data DW to the recording / playback processing unit 41
  • the inverse quantizer 321 performs an inverse quantization process on the quantized data supplied from the quantizer 317, and supplies the obtained coefficient data to the inverse DCT 323. Also, at the time of decoding, the data obtained by the variable length decoder 322 is inversely quantized, and the obtained coefficient data is supplied to the inverse DC 323.
  • inverse DCT 323 performs inverse two-dimensional discrete cosine transform on the coefficient data supplied from inverse quantizer 321 and supplies the obtained image signal to adder 324.
  • the adder 324 adds the prediction value for encoding or decoding supplied from the motion compensator 312 to the image signal supplied from the inverse DCT 323, and uses the addition result as the image signal DV4.
  • the data is supplied to the processing unit 12 and the image memory 313.
  • the image signal for reading all the full angles of view and the image signal for reading the thinned full angles of view are converted into the inverse quantizer 321 from the image signals encoded so far.
  • Inverse DCT323, adder 324, image memory 313, motion compensator 312 generate a prediction value, and the prediction error value with this prediction value is sequentially processed by DCT316, quantizer 317, and variable length encoder 318.
  • the encoded data of the moving image is encoded.
  • the image signal for full pixel partial readout is directly input to the DCT 316, processed by the DCT 316, the quantizer 317, and the variable length encoder 318 to be encoded into still image encoded data.
  • the demultiplexer 326 separates the encoded data DR supplied from the recording / playback processing unit 41 into a coefficient data part and a motion vector MV part, and the coefficient data part has a variable length.
  • the decoder 322 supplies the motion vector MV part to the MV decoder 314.
  • the MV decoder 314 performs a decoding process on the data supplied from the demultiplexer 326 and supplies the obtained motion vector to the motion compensator 312 .
  • the variable length decoder 322 performs a decoding process on the data supplied from the demultiplexer 326 and supplies the obtained coefficient data to the inverse quantizer 321.
  • the recording / playback processing unit 41 in FIG. 1 switches the operation under the control of the control unit 61 and records the encoded data DW supplied from the image compression / decompression unit 31 on the recording medium 42. From this, the desired encoded data DR is read out and supplied to the image compression / decompression unit 31.
  • the recording medium 42 is various large-capacity recording media such as a node disk device, an optical disk device, and a memory card.
  • the recording / playback processing unit 41 When recording the encoded data DW onto the recording medium 42, the recording / playback processing unit 41 reads out encoded data that has been subjected to data compression processing by the moving image encoding method, or a still image corresponding to a moving image It is recorded on the recording medium 42 so that it can be read sequentially in time series together with the encoded data.
  • the encoded data has a hierarchical structure.
  • FIG. 8 is for explaining the encoded data of the moving image, and shows a part of the hierarchical structure.
  • the sequence layer shown in (A) of Fig. 8 is configured by adding a sequence header and a sequence end to one or more GOPs.
  • the GOP layer shown in (B) of FIG. 8 is configured by adding a GOP header to one or more pictures.
  • the picture layer shown in (C) of Fig. 8 is configured by adding a picture header to one or more slices.
  • the picture header of the picture layer indicates a start synchronization code of the picture layer, a number indicating the display order of pictures, information indicating a picture type, encoding conditions, and the like. Also, as shown in FIG. 8D, a user data area is provided so that user data can be set at the picture level. For this reason, the recording / playback processing unit 41 stores the frame rate in the high-speed imaging mode shown in FIG. Pointer information indicating the recording position of the still image is inserted and recorded on the recording medium 42.
  • the recording / playback processing unit 41 when the frame rate in the high-speed imaging mode is twice the reference frame rate, the recording / playback processing unit 41 includes the picture header of the picture indicating the encoded data of the image signal of the thinned-out full-field-angle readout process.
  • the pointer information the recording position of encoded data obtained by encoding the image signal of the all-pixel partial readout process generated in the frame period other than the first frame in the reference frame period as the image signal of the still image is inserted.
  • the recording / playback processing unit 41 reads out the encoded data of the moving image alone,
  • the encoded data of the still image corresponding to the image can be sequentially read out in time series together with the encoded data of the moving image.
  • the control unit 61 controls the overall operation of the imaging apparatus 10, and is a microcontroller that also includes CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory) and the like. is there.
  • the control unit 61 executes a program recorded in a memory (not shown) and controls the operation of each unit of the imaging device 10.
  • the program is provided by being preinstalled in the imaging apparatus 10, the Internet may be recorded and provided on a recording medium such as an optical disk, a magnetic disk, or a memory card in place of this preinstallation. It may be provided by downloading via a network such as
  • the control unit 61 may perform the processing performed by the image compression / decompression unit 31 and the like with software.
  • the control unit 61 causes the camera signal processing unit 12 and the display processing unit 21 to sequentially process the image signals generated by the imaging unit 11, and displays a monitor image on the screen of the display unit 22.
  • the control unit 61 supplies the image signal DV3 to the camera signal processing unit 12 and the image compression / decompression unit 31 to perform data compression processing, and obtains the obtained code.
  • Data DW is recorded on the recording medium 42.
  • the control unit 61 causes the recording / reproduction processing unit 41 to read the desired encoded data DR from the recording medium 42 and supply it to the image compression / decompression unit 31.
  • control unit 61 causes the camera signal processing unit 12 and the display processing unit 21 to process the image signal DV4 obtained by performing the data expansion processing in the image compression / decompression unit 31, and displays the image signal DV4 on the screen of the display unit 22. Re Display raw images.
  • the control unit 61 counts the motion vector MV detected for each macroblock by the image compression / decompression unit 31 for each frame, and represents the motion of the subject based on the count result.
  • the motion vector determined to be obtained is obtained, and the position of the rectangular region read out from the image sensor 111 is changed by reading out all the pixels based on the motion vector. Specifically, the control unit 61 changes the position so that the moving subject fits in the rectangular area.
  • This motion vector counting method is based on detecting the frequency distribution of motion vectors and detecting the motion vector with the largest distribution, and applying the object tracking method to the motion vector of parts that show continuous motion.
  • Various tabulation methods such as a method for detecting a tuttle can be widely applied.
  • the imaging device 10 is integrally provided with the imaging unit 11, the camera signal processing unit 12, the image compression / decompression unit 31, the recording / playback processing unit 41, and the like.
  • 11, the display processing unit 21, and the display unit 22 may be provided separately to constitute an image signal recording device and playback device.
  • a camera signal processing unit 12 may be provided separately to constitute a recording device that records an image signal.
  • FIG. 9 is a block diagram showing a configuration of the recording apparatus 70. In FIG. 9, parts corresponding to FIG. 1 and FIG.
  • the recording device 70 includes an image compression / decompression unit 31 for performing compression processing of an image signal and generating encoded data, a recording / playback processing unit 41 for writing the encoded data DW to the recording medium 42, and each unit It has a control unit 61 for controlling the operation.
  • the image compression / decompression unit 31 uses the thinned-out full-field-angle reading process in which the image sensor 111 performs thinning-out reading on the pixels in the effective image area and generates an image signal. Compresses the image signal of the captured image generated by switching all pixel partial readout processing that reads out all the pixels of the partial area from the partial area of the image area and generates an image signal in a predetermined unit period. Processes and generates encoded data DW.
  • the image compression / decompression unit 31 compresses the image signal obtained by performing the thinning-out full angle-of-view readout process by an encoding method using predictive coding, and performs the all-pixel partial readout process.
  • the image signal is compressed using! /, Na! /, And coding methods using predictive coding.
  • the image compression / decompression unit 31 performs compression processing on image signals having different thinning patterns in an encoding method using predictive encoding, the image compression / decompression unit 31 cannot perform compression processing efficiently. Therefore, when the image signal DV1 output from the imaging unit 11 is recorded, the recording device 70 is provided with the pixel interpolation unit 124, and the image compression / decompression unit 31 interpolates the thinned pixels. So that the compression process can be performed efficiently.
  • the recording / playback processing unit 41 performs a process of writing the encoded data DW generated by the image compression / decompression unit 31 to the recording medium 42.
  • the recording device 70 shown in FIG. 9 shows a configuration in the case of recording an image signal before color correction, contour correction, gamma / unique processing, etc. are performed as shown in FIG.
  • the encoded data DW generated by the image compression / decompression unit 31 may be transmitted as a communication signal! /.
  • FIG. 10 is a block diagram showing the configuration of the playback device 80.
  • parts corresponding to those in FIGS. 1 and 3 are given the same reference numerals.
  • the playback device 80 includes a recording / playback processing unit 41 for reading the encoded data DR from the recording medium 42, an image compression / decompression unit 31 for expanding the read encoded data, and an image compression / decompression unit 31.
  • a data processing unit 15 that processes the image signal obtained by performing the decompression process in step S3 to generate a reproduced image signal DV5, a frame memory 51, and a control unit 61 that controls the operation of each unit.
  • the data processing unit 15 includes a color correction unit 126, a contour correction unit 127, a gamma / knee processing unit 128, a color space conversion unit 129, and a resolution conversion / image composition unit 130.
  • the recording / playback processing unit 41 performs reading with a recording medium 42, that is, the image sensor 111, with respect to the pixels in the effective image area, while generating an image signal.
  • a full-field angle readout process with a bow I and an all-pixel partial readout process in which all pixels in the partial area are read out from a partial area of the effective image area to generate an image signal are switched in a predetermined unit period.
  • a process of reading the encoded data from the recording medium that has been compressed by the encoding method and recorded as encoded data is performed.
  • the image compression / decompression unit 31 decompresses the encoded data read by the recording / playback processing unit 41 to generate an image signal.
  • the resolution conversion / image composition unit 130 of the data processing unit 15 uses the image signal generated by the image compression / decompression unit 31 and the image signal and all the pixels subjected to pixel interpolation in the thinning-out full-angle reading process.
  • the image signals obtained by performing the partial reading process are synthesized.
  • the recording / playback processing unit 41 is compressed by the encoding method using the predictive encoding without reading out the encoded data compressed by the encoding method not using the predictive encoding from the recording medium 42.
  • the encoded data is read, and the image compression / decompression unit expands the encoded data and outputs it as an image signal for each reference unit period.
  • the playback device 80 shown in FIG. 10 shows a configuration in the case of using a recording medium on which an image signal before color correction, contour correction, gamma / knee processing, etc. is recorded! /
  • the image signal obtained by performing the decompression process in the image compression / decompression unit 31 is supplied to the resolution conversion / image synthesis unit 130.
  • a receiving unit may be provided, and the encoded data received by the receiving unit may be decompressed by the image compression / decompression unit 31.
  • the control unit 61 acquires a captured image of all pixels at all angles from, for example, 60 [fps] from the effective image area AR of the imaging surface of the image sensor 111.
  • the control unit 61 controls the operations of the camera signal processing unit 12 and the display processing unit 21 so that the captured image of 60 [fps] is displayed on the display unit 22.
  • the control unit 61 supplies the image signal DV3 from the camera signal processing unit 12 to the image compression / decompression unit 31.
  • the encoded data DW obtained by performing the data compression process is recorded on the recording medium 42 by the recording / playback processing unit 41.
  • the control unit 61 records the recording medium.
  • Coded data DR indicating a desired captured image is read from the key 42 by the recording / playback processing unit 41 and supplied to the image compression / decompression unit 31.
  • the control unit 61 supplies the image signal DV4 obtained by performing the data decompression process of the encoded data DR in the image compression / decompression unit 31 to the camera signal processing unit 12, and displays the reproduced image on the display unit 22. Or output to an external device.
  • Figure 11 shows the operation when the frame rate in the high-speed imaging mode is twice the reference frame rate, which is the frame rate in the standard imaging mode.
  • FIG. 11A shows a reference vertical synchronization signal VDB which is a timing signal in the reference frame period.
  • FIG. 11B shows the operation mode of the imaging apparatus 10.
  • the control unit 61 synchronizes with the reference vertical synchronization signal VDB at the timing of the imaging unit 11, the camera signal processing unit 12, and the image compression / decompression unit. 31 and operation of recording / playback processing unit 41, etc. are switched to standard imaging mode force or high-speed imaging mode.
  • (C) in FIG. 11 shows a vertical synchronization signal VD that is a timing signal in the frame period of the high-speed imaging mode.
  • the image signal obtained by performing the thinning full angle-of-view readout process is output in the first frame within the reference frame period as described above, and the first frame is output. In the frame period other than the frame, the image signal obtained by performing the partial pixel readout process is output.
  • the image signal DV1 output from the imaging unit 11 is obtained by performing a full angle-of-view readout process for the first frame in the reference frame period as shown in (D) of FIG.
  • the obtained image signal (shown by diagonal lines) is an image signal (shown by a thick line frame) obtained by performing all pixel partial readout processing in a frame period other than the first frame within the reference frame period.
  • the resolution conversion / image synthesis unit 130 of the camera signal processing unit 12 writes the image signal of the thinned-out full-angle reading process into the frame memory 51 as described above, and The image signal written in the memory 51 is read in the reference frame period.
  • (E) in FIG. 11 is an image signal DVi written to the frame memory 51
  • (F) in FIG. An image signal DVfr read from the frame memory 51 is shown.
  • the resolution conversion / image composition unit 130 converts the image signal of the thinned-out full-angle reading process read out from the frame memory 51 in the reference frame period into the monitor image signal DV2 shown in (G) of FIG.
  • the captured image can be displayed at a frame rate equal to that in the standard imaging mode.
  • control unit 61 When a recording instruction is given by the user, the control unit 61 performs pixel interpolation and encoding processing of the image signal DV1 shown in (D) of FIG. Record on recording media 42.
  • FIG. 12 shows a frame PW of a captured image that is encoded and recorded on the recording medium 42! /.
  • the output video signal DV5 has a speed that is 1/2 the subject motion. This is the image signal of the slow playback image. Therefore, the control unit 61 uses the recorded image intermittently to generate the reproduced image signal DV5 in which the movement of the subject is set to a single speed.
  • FIG. 12B is a reference vertical synchronization signal VDB that is a timing signal in the reference frame period
  • FIG. 12C is an operation mode of the imaging apparatus 10 when a captured image is recorded.
  • 12 (D) indicates the vertical sync signal VD! /
  • the control unit 61 reads out the encoded data obtained by encoding the image signal of the thinned-out full-field-of-view reading process, that is, the encoded data of the moving image from the recording medium 42, performs the decoding process, and generates the vertical synchronization signal VD.
  • the reproduced image signal DV5 output from the camera signal processing unit 12 is an image signal in which the movement of the subject is one time as shown in FIG.
  • the image compression / decompression unit 31 can perform the decoding process of the encoded data at the same speed as the encoding process, and the frame memory 51 can store the image signals of a plurality of frames.
  • the control unit 61 adds all pixel units to the image signal of the thinned-out full-field-angle readout process. It is also possible to combine the image signals of the partial readout processing and generate a playback image signal DV5 with a subject movement speed of 1x! /.
  • control unit 61 reads out the encoded data from the recording medium 42 and performs a decoding process to generate an image signal DV4 in the frame order at the time of imaging as shown in (F) of FIG.
  • the image signal for the thinned-out full-angle reading process and the image signal for the pixel partial reading process are written into the frame memory 51 and written into the frame memory 51.
  • the read image signal is read in the reference frame period and synthesized.
  • the frame memory 51 reads out the written image signal during the reference frame period and combines it to read out the image signal and pixel part readout of the full-field-of-interval readout process that was read out when the frame image was read. It is assumed that an image signal for processing is written.
  • 12G shows the image signal DViW written in the frame memory 51
  • FIG. 12H shows the image signal DVfr read from the frame memory 51.
  • FIG. 12 shows the image signal DV5 output from the resolution conversion / image synthesis unit 130.
  • the resolution conversion / image synthesis unit 130 performs the image signal of frame “2”, which is the image signal of the thinned-out full-angle readout process, and the partial pixel readout process.
  • the resolution conversion / image synthesis unit 130 synthesizes the image signal of frame “4”, which is the image signal of the thinned-out full angle-of-view readout process, and the image signal of frame “5”, which is the image signal of the all-pixel partial readout process.
  • the image signal of the frame “4 + 5” is output in sequence. That is, the resolution conversion / image synthesis unit 130 can output an image signal of a captured image in which the movement of the subject is 1 ⁇ speed and the deterioration of the image quality is improved by the image signal of full image partial reading.
  • FIG. 13 shows a case where a reproduced image signal DV5 having a speed that is 1/2 the moving force of the subject is generated by using the recorded captured images in the order of frames at the time of imaging. Note that (A) to (D) in FIG. 13 correspond to (A) to (D) in FIG.
  • control unit 61 sequentially reads out the encoded data from the recording medium 42 and performs a decoding process to generate an image signal DV4 having a reference frame rate. Note that (E) in Fig. 13 Shows the image signal DV4.
  • the image signal for the thinning-out full-field-angle reading process or the image signal for the all-pixel partial reading process is written in the frame memory 51 and stored in the frame memory 51.
  • the written image signal is read out in the reference frame period.
  • 13F shows the image signal DViW written in the frame memory 51
  • FIG. 13G shows the image signal DVfr read out from the frame memory 51.
  • the resolution conversion / image composition unit 130 reads the image signal of the thinning-out full-field-angle reading process read from the frame memory 51 and the image signal of the all-pixel partial reading process written in the frame memory 51 or the frame memory 51.
  • the image signal for the all pixel partial readout process read out from the frame signal 51 and the image signal for the full angle of view readout process with the arch I written in the frame memory 51 are combined.
  • (H) in FIG. 13 shows the image signal DV5 output from the resolution conversion / image synthesis unit 130! /.
  • the resolution conversion / image synthesis unit 130 reads out the image signal of frame “2”, which is the image signal of the thinned-out full-angle reading process, and the partial pixel readout.
  • the image signal of the frame “2 + 3” obtained by synthesizing the image signal of the frame “3”, which is the processing image signal, is output.
  • the resolution conversion / image compositing unit 130 receives the image signal of frame “3” that is the image signal of the all-pixel partial reading process and the image signal of frame “4” that is the image signal of the thinned-out full-angle reading process.
  • the combined frame “3 + 4” image signal, ... is output sequentially.
  • the resolution conversion / image composition unit 130 can output an image signal of a reproduced image that has a speed that is twice the moving force of the subject and that prevents deterioration in image quality due to the image signal of the all-pixel partial readout process.
  • the frame memory 51 only needs to store one frame of image signal.
  • FIG. 14A is a reference vertical synchronization signal VDB
  • FIG. 14B is an operation mode of the imaging apparatus 10
  • FIG. 14C is a timing signal of a frame period in the high-speed imaging mode.
  • the vertical sync signal VD is shown.
  • the imaging unit 11 When the imaging unit 11 is in the high-speed imaging mode, as described above, in the first frame within the reference frame period, the image signal obtained by performing the thinning-out full angle-of-view readout process Output is performed, and during the two frame periods other than the first frame, the image signal obtained by performing all pixel partial readout processing is output.
  • the image signal DV1 output from the imaging unit 11 is obtained by performing a full-field-angle readout process for the first frame in the reference frame period as shown in (D) of FIG.
  • the obtained image signal (indicated by diagonal lines) is the image signal (indicated by the bold line frame) obtained by performing all pixel partial readout processing in the two frame periods other than the first frame in the reference frame period.
  • the resolution conversion / image composition unit 130 of the camera signal processing unit 12 writes the image signal of the thinned-out full-angle reading process into the frame memory 51 as described above, and The image signal written in the memory 51 is read out in the reference frame period.
  • 14E shows the image signal DViW written to the frame memory 51
  • FIG. 14F shows the image signal DVfr read from the frame memory 51.
  • the resolution conversion / image synthesis unit 130 displays the image signal of the thinned-out full-angle reading process read out from the frame memory 51 in the reference frame period as the monitor image signal DV2 shown in FIG. 14 (G).
  • the processing unit 21 and the like the captured image can be displayed at the same frame rate as the standard imaging mode.
  • control unit 61 When a recording instruction is given by the user, the control unit 61 performs pixel interpolation, encoding processing, and the like of the image signal DV1 shown in (D) of FIG. Record on recording media 42.
  • FIG. 15 shows the frame PW of the captured image that is encoded and recorded on the recording medium 42! /.
  • the control unit 61 uses the recorded image intermittently to generate a reproduced image signal DV5 in which the movement of the subject is set to a single speed.
  • FIG. 15B is a reference vertical synchronization signal VDB that is a timing signal in the reference frame period
  • FIG. 15C is an operation mode of the imaging apparatus 10 when a captured image is recorded
  • FIG. 15 (D) indicates the vertical sync signal VD! /
  • the control unit 61 reads out the encoded data obtained by encoding the image signal of the thinned-out full angle of view reading process, that is, the encoded data of the moving image from the recording medium 42, performs the decoding process, and performs vertical synchronization.
  • the image signal DV4 synchronized with the signal VD is generated.
  • the reproduced image signal DV5 output from the camera signal processing unit 12 is an image signal in which the movement of the subject is at a single speed, as shown in FIG.
  • the image compression / decompression unit 31 can perform the decoding process of the encoded data at the same speed as the encoding process, and the frame memory 51 can store the image signals of a plurality of frames. Then, the control unit 61 synthesizes the image signal of the all pixel portion readout process with the image signal of the thinned out full angle of view readout process so as to generate the reproduction image signal DV5 in which the movement of the subject is one time faster.
  • control unit 61 reads out the encoded data from the recording medium 42 and performs a decoding process to generate an image signal DV4 as shown in (F) of FIG.
  • the image signal for the thinning-out full angle-of-view readout process and the image signal for the pixel part readout process are written into the frame memory 51 and written into the frame memory 51.
  • the read image signal is read in the reference frame period and synthesized.
  • the frame memory 51 reads out the written image signal during the reference frame period and combines it to read out the image signal and pixel part readout of the full-field-of-interval readout process that was read out when the frame image was read. It is assumed that an image signal for processing is written.
  • 15G shows the image signal DViW written in the frame memory 51
  • FIG. 15H shows the image signal DVfr read from the frame memory 51.
  • FIG. 15 shows the image signal DV5 output from the resolution conversion / image synthesis unit 130.
  • the resolution conversion / image synthesis unit 130 performs the image signal of frame “2”, which is the image signal of the thinned-out full-angle readout process, and the partial pixel readout process.
  • the resolution conversion / image synthesis unit 130 The image signal of frame “5 + 6”, which is a composite of the image signal of frame “5” that is the image signal and the image signal of frame “6” that is the image signal for all pixel partial readout processing, is sequentially output. .
  • the resolution conversion / image composition unit 130 uses the force S to output a captured image in which the movement of the subject is 1 ⁇ speed and the image quality is reduced by the image signal read from all pixels.
  • control unit 61 reads the captured image recorded with the frame rate of the high-speed imaging mode set to three times that of the standard imaging mode, generates the image signal DV4 in the frame order at the time of imaging, If the image signal for the full-field-of-view readout process with the bow I and the image signal for the all-pixel partial readout process are combined and output, the movement power of the subject is 3 times faster, and the image signal for the all-pixel partial readout process By using this, it is possible to display a playback image that prevents deterioration in image quality. In addition, when slow motion playback is performed at 1/2 times the playback speed, it can be handled by switching between 1/3 speed slow motion playback and 1 ⁇ speed playback alternately.
  • FIG. 16A is a reference vertical synchronization signal VDB
  • FIG. 16B is an operation mode of the imaging device 10
  • FIG. 16C is a timing signal of a frame period in the high-speed imaging mode.
  • the vertical sync signal VD is shown.
  • the imaging unit 11 When in the high-speed imaging mode, the imaging unit 11 outputs the image signal obtained by performing the thinning full angle-of-view readout process in the first frame within the reference frame period as described above, In the two frame periods other than the frame, the image signal obtained by performing all pixel partial readout processing is output.
  • the image signal DV1 output from the imaging unit 11 is obtained by performing a full-field-angle readout process for the first frame in the reference frame period as shown in (D) of FIG.
  • the obtained image signal (indicated by diagonal lines) is the image signal (indicated by a thick line frame) obtained by performing all pixel partial readout processing in the three frame periods other than the first frame in the reference frame period.
  • the resolution conversion / image synthesis unit 130 of the camera signal processing unit 12 receives the image signal of the thinned-out full-angle reading process as described above in the frame memory 51.
  • the image signal written in the frame memory 51 is read out in the reference frame period.
  • 16E shows the image signal DViW written to the frame memory 51
  • FIG. 16F shows the image signal DVfr read from the frame memory 51.
  • the resolution conversion / image composition unit 130 displays the image signal of the thinned-out full-angle reading process read out from the frame memory 51 in the reference frame period as the monitor image signal DV2 shown in FIG. By outputting to the processing unit 21 and the like, the captured image can be displayed at the same frame rate as the standard imaging mode.
  • control unit 61 When a recording instruction is given by the user, the control unit 61 performs pixel interpolation and encoding processing of the image signal DV1 shown in (D) of FIG. Record on recording media 42.
  • FIG. 17 shows the frame PW of the captured image that is encoded and recorded on the recording medium 42! /. If the recorded image is played back at the reference frame rate when the frame rate in the high-speed imaging mode is four times the reference frame rate, the output image signal DV5 will have a subject movement speed of 1/4 times. It becomes the slow playback image. Therefore, the control unit 61 uses the recorded image intermittently to generate a reproduced image signal DV5 in which the movement of the subject is set to a single speed.
  • FIG. 17B is a reference vertical synchronization signal VDB that is a timing signal in the reference frame period
  • FIG. 17C is an operation mode of the imaging apparatus 10 when a captured image is recorded.
  • 17D shows the vertical sync signal VD! /
  • the control unit 61 reads out the encoded data obtained by encoding the image signal of the thinned-out full angle of view reading process, that is, the encoded data of the moving image from the recording medium 42, performs the decoding process, and performs vertical synchronization.
  • the image signal DV4 synchronized with the signal VD is generated.
  • the reproduced image signal DV5 output from the camera signal processing unit 12 is an image signal of a reproduced image in which the movement of the subject is at a single speed, as shown in (E) of FIG.
  • control unit 61 sets the frame rate to 2 or 3 times the reference frame rate.
  • image signal of the all pixel partial readout process with the image signal of the thinned out full angle of view readout process to generate the reproduced image signal DV5 in which the movement of the subject is one time faster.
  • FIG. 17F shows an image signal DV4 obtained by reading the encoded data from the recording medium 42 and performing the decoding process.
  • FIG. 17G shows the image signal DV5 output from the resolution conversion / image synthesis unit 130.
  • the resolution conversion / image synthesis unit 130 determines that the image signal of frame “2" that is the image signal of the thinned-out full-angle reading process Outputs the image signal of frame “2 + 3”, which is a composite of the image signal of frame “3”, which is the image signal for all pixel partial readout processing.
  • the resolution conversion / image synthesis unit 130 receives the image signal of frame “6” that is the image signal of the thinned-out full-angle reading process and the image signal of frame “7” that is the image signal of the full-pixel partial reading process.
  • the frame “6 + 7” image signal which is composed of
  • the resolution conversion / image composition unit 130 can output a reproduced image in which the movement of the subject is 1 times faster and the image quality is prevented from being deteriorated by the image signal of the all-pixel partial readout process.
  • FIG. 18 shows a case where a reproduced image signal DV5 is generated with a subject movement speed of 1/2. Note that (A) to (D) in FIG. 18 correspond to (A) to (D) in FIG.
  • the image signal obtained by performing the thinning-out full-field-angle readout process or the image obtained by performing the all-pixel partial readout process is written in the frame memory 51, and the image signal written in the frame memory 51 is read out in the reference frame period.
  • 18F shows the image signal DViW written to the frame memory 51
  • FIG. 18G shows the image signal DVfr read from the frame memory 51.
  • the resolution conversion / image synthesis unit 130 writes the image signal obtained by performing the thinning-out full angle-of-view readout process read out from the frame memory 51 and the frame memory 51.
  • the image signal of the all pixel partial reading process is synthesized.
  • the image signal of the all-pixel partial readout process read from the frame memory 51 and the image signal of the full-field-of-view readout process with the bow I written in the frame memory 51 are combined.
  • (H) in FIG. 18 shows the image signal DV5 output from the resolution conversion / image synthesis unit 130.
  • the resolution conversion / image synthesis unit 130 reads the image signal of frame “2”, which is the image signal of the thinned-out full-angle reading process, and the partial pixel reading process. Outputs the image signal of frame “2 + 3”, which is a composite of the image signal of frame “4”, which is the original image signal. Next, the resolution conversion / image synthesis unit 130 synthesizes the image signal of frame “4” that is the image signal of the all-pixel partial readout process and the image signal of frame “6” that is the image signal of the thinned-out full-field-of-view readout process. The image signal of the frame “4 + 6”, etc., are output sequentially. In other words, the resolution conversion / image synthesis unit 130 can output an image signal of a reproduced image in which the movement of the subject is halved and the image signal of the all-pixel partial readout process is prevented from being degraded. it can.
  • FIG. 19 shows a case in which a reproduced image signal DV5 having a speed that is 1/4 of the moving force of the subject is generated by using recorded captured images in the order of frames at the time of imaging. Note that (A) to (D) in FIG. 19 correspond to (A) to (D) in FIG.
  • an image signal obtained by performing the thinning-out full-angle reading process or an image obtained by performing the all-pixel partial reading process is written in the frame memory 51, and the image signal written in the frame memory 51 is read out in the reference frame period.
  • 19F shows the image signal DViW written to the frame memory 51
  • FIG. 19G shows the image signal DVfr read from the frame memory 51.
  • the resolution conversion / image composition unit 130 reads the image signal read from the frame memory 51 and the image signal written to the frame memory 51 or the frame memory 51. Combines the image signal of the full-field-angle readout process with the bow Ima and the image signal of the full-pixel partial readout process obtained by the decoding process.
  • (H) in FIG. 19 shows the image signal DV5 output from the resolution conversion / image synthesis unit 130.
  • the resolution conversion / image synthesis unit 130 performs the image signal of frame “2”, which is the image signal of the thinned-out full-angle reading process, and the all-pixel partial reading process.
  • the resolution conversion / image synthesis unit 130 synthesizes the image signal of frame “2”, which is the image signal of the thinned-out full-field-angle readout process, and the image signal of frame “4”, which is the image signal of the all-pixel partial readout process.
  • the image signal of frame “2 + 4”, the image signal of frame “2” that is the image signal of the thinned-out full-angle reading process, and the image signal of frame “5” that is the image signal of the all-pixel partial reading process The image signal of frame “2 + 5”, the image signal of frame “5” that is the image signal of all pixel part readout processing, and the image signal of frame “6” that is the image signal of thinning-out full-field angle readout processing
  • the image signal of frame “5 + 6” is output sequentially.
  • the resolution conversion / image composition unit 130 can output a reproduced image that is at a speed that is twice the moving force of the subject and that prevents deterioration in image quality due to the image signal of the all-pixel partial readout process.
  • a slow motion playback image can be displayed by repeating the composite image. Also, when playing slow motion at 1/3 times the playback speed, it is possible to switch between slow motion processing at 1/2 times playback speed and slow motion processing at 1/4 times playback speed. Respond with power S
  • the imaging unit 11 of the imaging apparatus 10 when the standard imaging mode is selected, the imaging unit 11 of the imaging apparatus 10 generates an image signal having a reference frame rate. Further, the imaging apparatus 10 performs processing for sequentially recording the image signal at the frame rate on the recording medium 42 and processing for displaying the captured image on the display unit 22 at the reference frame rate.
  • the imaging unit 11 of the imaging device 10 When the high-speed imaging mode is selected, the imaging unit 11 of the imaging device 10 generates an image signal for the thinned-out full-angle reading process at the first frame within the reference frame period, and the first frame Generates image signal for all pixel partial readout processing in frame periods other than To do. Therefore, if image display is performed using the image signal of the first frame within the reference frame period, the captured image can be displayed at the reference frame rate regardless of the frame rate in the high-speed imaging mode.
  • the first frame in the reference frame period is an image signal of the thinned-out full angle-of-view readout process
  • the imaging device 10 performs pixel interpolation processing on the image signal of the thinned-out full angle of view readout process . Therefore, if the captured image is displayed using the image signal that has been subjected to pixel interpolation processing for only the first frame within the reference frame period, even if the high-speed imaging mode is selected, the same pixels as in the standard imaging mode are displayed.
  • the captured image can be displayed on the display unit 22 by number.
  • the resolution conversion / image synthesis unit 130 synthesizes and outputs the image signal obtained by performing the thinning-out full-angle reading process and the image signal obtained by performing the all-pixel partial reading process. To do. For this reason, the imaging apparatus 10 can compensate for the degradation of the image quality caused by performing the thinning-out full angle-of-view readout process with the captured image obtained by performing the all-pixel partial readout process.
  • the imaging device 10 and the recording device 70 were obtained by performing the encoded data of the moving image and the all-pixel partial reading process on the image signal obtained by performing the thinning-out full-angle reading process.
  • the image signal is recorded on the recording medium 42 as encoded still image data. Therefore, the imaging device 10 and the playback device 80 are encoded using the encoding method using the predictive encoding without reading the encoded data compressed using the encoding method that does not use the predictive encoding. Read and play the data. In other words, if only the encoded data of the moving image without reading out the encoded data of the still image is read out and decoded, it is easy to obtain an image signal with the same frame rate as that of the standard imaging mode. Obtainable.
  • the imaging device 10 and the playback device 80 play back the encoded data of the moving image, play back the encoded data of the still image corresponding to the playback speed, and synthesize the played back image signal to obtain a desired image.
  • the imaging device 10 does not need to store a high-speed image signal temporarily in a memory and then re-record it on a large-capacity recording medium.
  • high-speed imaging can be performed without missing a valuable imaging opportunity in which the time for high-speed imaging is not limited by the memory capacity.
  • the thinning-out full angle-of-view reading process when the frame rate increases (when the predetermined unit period is shortened), the thinning-out reading interval is increased. Further, in the all-pixel partial reading process, when the frame rate is increased, the area for reading out pixels is narrowed. For this reason, when the frame rate is increased, the number of pixels to be read is reduced, and the number of pixels to be read during the reference frame period can be kept constant. That is, even when the frame rate is high in the high-speed imaging mode, it is possible to prevent the signal amount from increasing, and sufficiently high-speed imaging can be performed.
  • the force S described for the case where the frame rate in the high-speed imaging mode is constant, and the frame rate in the high-speed imaging mode may be variable.
  • the frame rate in the high-speed imaging mode not only 120 [fps], 180 [fps], 240 [fps] but also 60 [fpsB] which is the frame rate of the standard imaging mode can be switched.
  • FIG. 20 shows the operation when the user sequentially specifies the frame rate. The user changes the frame rate from 60 [£ 3] ⁇ 120 [£ 3] ⁇ 180 [£ 3] ⁇ 240 [£ 3] ⁇ This is a case where 180 [£ 3] ⁇ 120 [£ 3] ⁇ 60 [£ 3].
  • 20A shows the reference vertical synchronization signal VDB
  • FIG. 20B shows the operation mode of the imaging device 10
  • FIG. 20C shows the vertical synchronization signal VD! /.
  • the imaging unit 11 When the imaging unit 11 is in the high-speed imaging mode, the image signal obtained by performing the full-field-of-interval read process with the arch between the first frame in the reference frame period is output! / ⁇ In the frame period other than the first frame, the image signal obtained by performing the partial pixel readout process is output.
  • the image signal DV1 output from the imaging unit 11 is obtained by performing a full-field-angle readout process for the first frame in the reference frame period as shown in (D) of FIG.
  • the obtained image signal (shown by diagonal lines) is an image signal (shown by a thick line frame) obtained by performing all pixel partial readout processing in a frame period other than the first frame within the reference frame period.
  • the imaging device 10 and the playback device 80 of the camera signal processing unit 12 frame the image signal obtained by performing the thinning-out full-angle reading process as described above.
  • 20E shows the image signal DViW written to the frame memory 51
  • FIG. 20F shows the image signal DVfr read from the frame memory 51.
  • the imaging device 10 and the playback device 80 convert the image signal of the thinned full angle-of-view readout process read from the frame memory 51 in the reference frame period to the monitor image signal DV2 as shown in (G) of FIG.
  • the captured image can be displayed at a frame rate equal to that in the standard imaging mode.
  • control unit 61 When the recording instruction is given by the user, the control unit 61 performs pixel interpolation and encoding processing of the image signal DV1 shown in (D) of FIG. Record on recording media 42.
  • FIG. 21 shows a frame PW of a captured image that is encoded and recorded on the recording medium 42.
  • B in FIG. 21 shows the reference vertical synchronization signal VDB
  • C in FIG. 21 shows the operation mode of the imaging device 10 when the captured image is recorded
  • D in FIG. 21 shows the vertical synchronization signal VD. ing.
  • the control unit 61 reads out the encoded data from the recording medium 42 and performs a decoding process to perform the frame order at the time of imaging.
  • the image signal DV4 is generated. Note that (E) in FIG. 21 shows the image signal DV4 obtained by the decoding process.
  • an image signal obtained by performing the thinning-out full-angle reading process or an image obtained by performing the all-pixel partial reading process is written in the frame memory 51, and the image signal written in the frame memory 51 is read out in the reference frame period.
  • 21 (F) shows an image signal DViW written to the frame memory 51
  • FIG. 21 (G) shows an image signal DVfr read from the frame memory 51.
  • the resolution conversion / image synthesis unit 130 synthesizes the image signal read from the frame memory 51 and the image signal written to the frame memory 51. Alternatively, the image signal of the thinned-out full angle-of-view readout process read out from the frame memory 51 and the image signal of the all-pixel partial readout process obtained by the decoding process are combined. (H) in FIG. 21 shows the image signal DV5 output from the resolution conversion / image synthesis unit 130.
  • the resolution conversion / image synthesis unit 130 reads the image signal of frame “2”, which is the image signal of the thinned-out full-angle reading process, and the partial pixel partial reading process.
  • frame “3 + 4” is a combination of the image signal of frame “3”, which is the image signal for the partial pixel readout process, and the image signal of frame “4”, which is the image signal for the thinned-out full-angle reading process.
  • Frame “4 +” that combines the image signal of frame “4”, which is the image signal of the thinned-out full angle-of-view readout process, and the image signal of frame “5”, which is the image signal of the all-pixel partial readout process. 5 ”image signals, ... are output sequentially.
  • the resolution conversion / image composition unit 130 changes the subject motion according to the frame rate in the high-speed imaging mode, and reduces the image quality by the image signal obtained by performing the all-pixel partial readout process. It is possible to output an image signal of a reproduced image in which the image is prevented.
  • control unit 61 is compressed by the encoding method using the predictive encoding without reading the encoded data compressed by the encoding method not using the predictive encoding from the recording medium 42. If the encoded data is read and the decoding process is performed to generate the image signal DV4, that is, only the encoded data of the moving image is read and the decoding process is performed. If the image signal DV4 is generated by performing the process, it is possible to output a reproduced image at a speed that is double the moving force of the subject even if the frame rate of the high-speed imaging mode is changed.
  • control unit 61 may automatically change the frame rate in the order programmed in advance. Further, the control unit 61 may automatically change the frame rate according to the movement of the subject so that a captured image with a high time resolution, that is, a captured image with a high frame rate can be recorded when the subject moves quickly. Good.
  • the control unit 61 reads out the frame rate and all the pixel portions based on the motion vector MV notified from the image compression / decompression unit 31. Controls the position of the rectangular area. If the number of pixels to be read by the image sensor 111 is constant in the reference frame period, the frame rate is determined to determine the interval of thinning readout in the thinning-out full angle-of-view readout process and the size of the rectangular area from which all pixels are read out. Is also automatically determined.
  • the control unit 61 converts the motion vector MV notified from the image compression / decompression unit 31 to an absolute value, and then displays the result in FIG.
  • the frame rate is determined by comparing with the determination reference values Lvl, Lv2, and Lv3.
  • Lvl, Lv2, and Lv3 are criteria that define a frame rate that can be expected to reduce blurring due to subject movement.
  • the frame rate increases as the motion of each macroblock indicated by the motion vector increases. This is a criterion value for increasing the value in steps from “Fro (eg 60 [fps])” which is 1 time to “Fr3 (eg 240 [fps])” which is 4 times.
  • the frame rate is made equal to the standard imaging mode.
  • the frame rate is set to double the standard imaging mode as the high-speed imaging mode.
  • the absolute value of the motion beta is “Lv2” or more and less than “Lv3”
  • the frame rate is the standard imaging mode.
  • the absolute value of the motion vector is “Lv3” or more, the frame rate is 4 times the standard imaging mode.
  • control unit 61 defines a region in which all pixel partial readout processing is performed from the detected motion vector, for example, a rectangular region as shown in FIG.
  • the control unit 61 decomposes the detected motion vector into a horizontal component and a vertical component, and performs weighted addition with a weighting coefficient corresponding to the position of the macroblock, thereby detecting the motion vector detected by each macroblock.
  • image frames Trl to Tr3 are defined. This weighted addition process is executed by setting the value of the weighting coefficient to be larger, for example, at the center of the screen.
  • the image frames Trl to Tr3 may be defined in the same manner as when imaging is performed at a constant frame rate.
  • FIG. 23 also shows the results of determining the magnitude of movement of each macroblock using the determination reference values Lvl to Lv3.
  • the control unit 61 executes setting of the frame rate and setting of the image frames Trl to Tr3 for each reference frame period.
  • the frame rate and image frame are set by executing the processing procedure in Fig. 24.
  • step SP2 when starting this processing procedure, the control unit 61 moves from step SP1 to step SP2, starts processing for the frame, and in subsequent step SP3, the current frame rate is three times the reference frame rate. Judge whether it is more than a certain "Fr2". If a negative result is obtained here, the control unit 61 proceeds to step SP4 from step SP3 force.
  • control unit 61 determines whether or not the current frame rate is “Frl” that is twice the reference frame rate. If a negative result is obtained here, the current frame rate is “FrO”, which is one time the reference frame rate, and the process moves from step SP4 to step SP5.
  • the control unit 61 determines whether or not a macro block having a larger motion than the first determination reference value Lvl is detected in step SP5. If a negative result is obtained here, the control unit 61 proceeds from step SP5 to step SP6, and sets the frame frequency of the subsequent reference frame period to “FrO” which is one time the reference frame frequency, for example 60 [fpsB]. . Subsequently, in step SP7, the control unit 61 ends the processing of the reference frame period and performs step S7. Return to P2.
  • step SP5 If an affirmative result is obtained in step SP5, the controller 61 proceeds from step SP5 to step SP8.
  • the control unit 61 determines that all macroblocks having a motion larger than the first determination reference value Lv 1 are included in the frame Trl corresponding to a frame rate that is one step higher than the current frame rate, that is, twice the reference frame rate. Judge whether it is included! If a negative result is obtained here, the control unit 61 proceeds from step SP8 to step SP6, and sets the frame rate of the subsequent reference frame period to “Fro” which is one time the reference frame rate.
  • step SP8 the control unit 61 proceeds from step SP8 to step SP9, and the frame rate of the subsequent reference frame period is “Frl” that is twice the reference frame rate, for example, Set to 120 [fps], then go to step SP7.
  • the frame rate of the subsequent reference frame period is “Frl” that is twice the reference frame rate, for example, Set to 120 [fps], then go to step SP7.
  • step SP4 When the current frame rate is "Frl", which is twice the reference frame rate, the control unit 61 moves to step SP4 and step SP10 when a positive result is obtained in step SP4.
  • the control unit 61 determines whether or not a macro block having a larger motion than the second determination reference value Lv2 is detected in step SP4. If a negative result is obtained here, the control unit 61 proceeds to step SP11, and determines whether or not the current frame rate is “Fr2” which is three times the reference frame rate. In this case, when a negative result is obtained, the control unit 61 proceeds from step SP11 to step SP5.
  • control unit 61 moves to step SP5, and if the frame rate can be reduced, that is, a macroblock having a motion larger than the first determination reference value Lvl is detected! /, Na! /, If the image frame Trl corresponding to twice the reference frame rate does not contain all macroblocks that move more than the first criterion value Lvl, the frame rate of the following reference frame period Is set to “Fro” which is 1 times the reference frame rate.
  • the control unit 61 when the frame rate cannot be reduced, that is, when a macroblock with a large motion that is greater than or equal to the first determination reference value Lvl is detected, or twice the reference frame rate. When all macroblocks with large movements greater than or equal to the first criterion value Lvl are included in the image frame Trl corresponding to, the current frame rate is maintained and the process moves to the next reference frame.
  • step SP11 If a positive result is obtained in step SP11, the controller 61 proceeds from step SP11 to step SP9, and the frame rate of the subsequent reference frame period is twice the reference frame rate. “Frl”, that is, the process proceeds to the next reference frame while maintaining the current frame rate. If an affirmative result is obtained in step SP10, the control unit 61 proceeds from step SP10 to step SP12, and the image corresponding to a frame rate that is one step higher than the current frame rate, that is, three times the reference frame rate. It is judged whether or not all macroblocks with large movements are included in frame Tr2 that are greater than or equal to second criterion value Lv2! /. If a negative result is obtained here, the control unit 61 proceeds from step SP12 to step SP11.
  • step SP11 If an affirmative result is obtained in step SP11, the control unit 61 moves the process to the next reference frame while keeping the frame rate at twice the reference frame rate. On the other hand, if a positive result is obtained in step SP12, the control unit 61 proceeds from step SP12 to step SP13, and continues to the frame rate of the reference frame period “Fr2,” which is three times the reference frame rate. Set to 180 [fps], and then move to the next reference frame.
  • step SP15 the control unit 61 determines whether or not a macro block having a large motion above the third determination reference value Lv3 is detected! /. If a negative result is obtained here, the control unit 61 proceeds from step SP15 to step SP16, and determines whether or not the current frame rate is “Fr3” that is four times the reference frame rate.
  • the current frame rate is “Fr2”, which is three times the reference frame rate
  • a negative result is obtained in step SP16, so that the control unit 61 proceeds from step SP16 to step SP10.
  • the control unit 61 detects a macroblock having a large movement above the second criterion value Lv2! /, Nare, If the frame Tr2, which corresponds to 3 times the reference frame rate, does not contain all macroblocks with large movements greater than or equal to the second judgment reference value Lv2, the frame of the following reference frame period Set the rate to “Frl”, which is twice the reference frame rate.
  • the control unit 61 sets the first determination reference value when a macro block having a large movement greater than or equal to the first determination reference value Lvl is not detected or in the image frame Trl corresponding to twice the reference frame rate. When all macroblocks with large movements are included in Lvl or more!
  • step SP16 When the current frame rate is "Fr3" which is four times the reference frame rate, a positive result is obtained in step SP16. In this case, the control unit 61 moves from step SP16 to step SP13 and continues.
  • the frame rate of the reference frame period is set to “Fr2” that is three times the reference frame rate, for example, 180 [fps], and then the process moves to the next reference frame.
  • step SP15 If a macroblock having a large movement greater than or equal to the third determination reference value Lv3 is detected, a positive result is obtained in step SP15, and the control unit 61 proceeds from step SP15 to step SP17. Move. In step SP17, the control unit 61 determines whether or not all macroblocks having a motion larger than the third determination reference value Lv3 are included in the frame Tr3 corresponding to four times the reference frame rate. Here, if a positive result is obtained, the control unit 61 proceeds to step SP18, and sets the frame rate of the subsequent reference frame period to “Fr 3” that is four times the reference frame rate, for example, 240 [fps], and then Then, the process moves to the next reference frame.
  • “Fr 3” that is four times the reference frame rate
  • step SP16 the processing subsequent to step SP16 causes the reference frame period to continue from the condition that the current frame rate is "FS".
  • the frame rate is set to 3 times the reference frame rate, for example 180 [fps].
  • the control unit 61 sets the frame rate to be higher step by step. Further, when the movement of the subject becomes smaller, the control unit 61 sets the frame rate to be lower step by step. As described above, the control unit 61 automatically sets the frame rate and selects an image frame corresponding to the set frame rate. Further, the image sensor 111 performs an all-pixel portion reading process for reading all the pixels in the selected image frame.
  • the management information of the captured image instructed by the user is acquired from the recording / playback processing unit 41. Based on this management information, the encoded data is read from the recording medium 42 as described above, and the decoding process and the image signal are read. Each part is controlled to perform synthesis.
  • the control unit 61 dynamically switches the frame rate so that the frame rate increases when the movement of the subject is large. A frame rate image signal is generated.
  • the control unit 61 dynamically switches the frame rate to the frame rate of the quasi-imaging mode when the movement of the subject is small, and generates an image signal of the dynamically switched frame rate. . Therefore, the imaging device 10 does not need to perform high-speed imaging at a high frame rate with slow motion, and in some cases, it is equivalent to the standard imaging mode! /, And an image signal is generated at the frame rate, and the recording medium Can be avoided.
  • an image signal with a high frame rate is generated, and a captured image with a high time resolution can be acquired.
  • the imaging apparatus 10 can capture an image of a subject moving at a high speed without increasing the signal amount of an image signal output from the image sensor 111 within a reference frame period, or a subject that moves at a high speed. Slow motion images with smooth movement can be obtained.
  • the imaging device 10 can smoothly switch the frame rate in response to a change in the movement of the subject, and can prevent a sense of discomfort during reproduction. For example, when shooting at high speed by switching the frame rate manually according to the movement of the subject It is difficult to switch the frame rate appropriately according to the movement of the subject. Therefore, when an image signal whose frame rate has been switched is reproduced continuously, the frame rate changes suddenly, resulting in a significant sense of incongruity. However, since the frame rate is dynamically switched according to changes in the movement of the subject, it is possible to prevent a sense of discomfort during playback.
  • the imaging apparatus 10 a rectangular area for reading out all the pixels is set so as to follow the movement of the subject, and an image signal is generated. Therefore, in this imaging device 10, even when reducing the increase in the image signal rate during high-speed imaging by reducing the rectangular area for reading out all pixels to a small area, Therefore, it is possible to reliably perform high-speed imaging and prevent deterioration of image quality.
  • the imaging device 10 uses the motion vector detected during the image signal encoding process to set the size, position, and frame rate of the rectangular area to be read for all pixels. Is detected. Therefore, in this imaging apparatus 10, the movement of the subject is detected by effectively using the configuration of the image compression / decompression unit 31, and the overall configuration is simplified compared to the case where the movement of the subject is separately detected. can do.
  • the imaging device 10 can automatically perform slow motion playback at a fast-moving portion, and can switch the playback speed without causing a sense of incongruity according to the change in the amount of motion. Can do.
  • the power described in the case where the field angle of all pixel partial readout is corrected to the field angle of thinning out full field angle readout is not limited to this, and conversely, You may make it correct the angle of view of the full-field-of-view readout with the inter-bow I to the angle of view of all-pixel partial readout. In this way, it is possible to display an image in which the subject is zoomed up.
  • an image signal of all angles of view may be generated by applying all pixel angle of view readout. Further, in this case, an image signal of all the angles of view may be generated by switching from reading of all the full angles of view to thinning of the full angle of view by increasing the frame rate.
  • the present invention can be applied to, for example, an imaging apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　本発明は、例えば撮像装置に適用して、所定フィールド又はフレーム毎に間引き全画角読み出し処理の画像信号を生成し、残りのフィールド又はフレームでは、全画素部分読み出し処理の画像信号を生成する。

Description

明 細 書
撮像装置及び方法、記録装置及び方法、再生装置及び方法
技術分野
[0001] 本発明は、撮像装置及び方法、記録装置及び方法、再生装置及び方法に関する
〇
背景技術
[0002] 従来、 日本特開平 9 83952号公報には、大容量のメモリを用いて撮像画像の画 像信号を遅延させて記録媒体に記録する方法が提案されている。この日本特開平 9 83952号公報に開示の手法によれば、ユーザが撮像の開始を指示した時点より 一定時間だけ逆上った時点の映像力も記録を開始することができ、貴重な撮像機会 を逃さな!/、ようにすること力 Sできる。
[0003] また日本特開 2005— 295423号公報には、メモリを用いて画像信号のフィールド 周波数を低減し、スローモーションの映像を記録する方法が提案されている。すなわ ちこの日本特開 2005— 295423号公報に開示の手法は、通常のビデオ信号のフィ 一ルド周波数（50フィールド/秒又は 60フィールド/秒）より高速度で撮像素子から 画像信号を出力し、この画像信号を順次循環的にメモリに格納する。またこのメモリ に格納した画像信号を通常のビデオ信号のフィールド周波数で読み出して記録媒 体に記録する。以下、このように通常のビデオ信号より高いフィールド周波数又はフ レーム周波数で撮像画像を取得する処理を高速度撮像と呼ぶ。
[0004] また撮像素子からの画像信号の出力に関して、 日本特開昭 64— 2480号公報、 日 本特開平 1 105674号公報には、撮像素子から出力する画像信号の撮像画像に ついて、撮像画像の解像度すなわち撮像画像の画素数を低減して、画像信号のデ ータレートの増大を防止する方法が提案されている。また日本特開平 10— 51735号 公報には、撮像された画像の一部を取り込むようにしてデータレートの増大を防止す る方法が提案されている。
[0005] ところで、 日本特開 2005— 295423号公報の手法により高速度撮像する場合、種 々に高速度撮像する時間が制限され、その結果、貴重な撮像機会を逃してしまう問 題がある。
[0006] すなわちこの手法では、画像信号を高速度でメモリに格納し、その後、メモリから読 み出して記録媒体に記録していることから、 1回の撮像で撮像可能な時間がメモリの 容量で制限される。したがって所望するシーンが長時間に及ぶ場合には、結局、全 部のシーンを高速度撮像することが困難になる。またこの方法では、メモリに格納した 画像信号全て読み出した後でなければ、次のシーンを撮像できないことになる。した 力 Sつて所望するシーンが短い時間間隔で繰り返される場合には、この繰り返しのシー ンの一部を撮り逃してしまうことになる。
[0007] この問題を解決する 1つの方法として、高いフィールド周波数又はフレーム周波数 で画像信号を取得して直接、大容量の記録媒体に記録する方法が考えられる。
[0008] しかしながら実際上、高いフィールド周波数又はフレーム周波数で画像信号を生成 する場合には、通常のビデオ信号のフィールド周波数又はフレーム周波数で画像信 号を生成する場合のように、撮像素子から全画素を示す画像信号を生成することが 困難な場合が殆どである。したがって、この方法では、 日本特開昭 64— 2480号公 報、 日本特開平 1— 105674号公報に開示されているように、高速度撮像時、撮像 素子から出力する画像において撮像画像の解像度を低減したり、 日本特開平 10— 5 1735号公報に開示されているように、撮像画像の画角を小さくすることが必要になる 。このため、所望の解像度の撮像画像を得ることができなくなり画質の劣化を招いた り、所望の画角の撮像画像が得られなくなってしまう。
発明の開示
[0009] 本発明は以上の点を考慮してなされたもので、画質の劣化等を有効に回避して、 貴重な撮像機会を逃すことなく高速度撮像や、高速度撮像を行うことにより得られた 画像信号の記録再生を行うことができる撮像装置及び方法、記録装置及び方法、再 生装置及び方法を提案するものである。
[0010] 上記の課題を解決するため本発明の撮像装置は、撮像画像の画像信号を生成す るイメージセンサと、イメージセンサに、有効画像領域の画素に対して間引き読み出 しを行レ、画像信号を生成する間弓 Iき全画角読み出し処理と、有効画像領域の一部 領域から該一部領域の全画素を読み出して画像信号を生成する全画素部分読み出 し処理を、所定単位期間で切り換えて行わせる制御部とを備えるものである。
[0011] また本願発明の記録装置は、イメージセンサで、有効画像領域の画素に対して間 引き読み出しを行レ、画像信号を生成する間弓 Iき全画角読み出し処理と、有効画像領 域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部 分読み出し処理を所定単位期間で切り換えて行うことで生成された撮像画像の画像 信号に対して圧縮処理をすることで符号化データを生成する画像圧縮部と、符号化 データを記録する記録部とを備え、画像圧縮部は、間引き全画角読み出し処理を行 つて得られた画像信号を、予測符号化を用いた符合化方式で圧縮処理し、全画素 部分読み出し処理を行って得られた画像信号を、予測符号化を用いていない符合 化方式で圧縮処理するものである。
[0012] また本願発明の再生装置は、イメージセンサで、有効画像領域の画素に対して間 引き読み出しを行レ、画像信号を生成する間弓 Iき全画角読み出し処理と、有効画像領 域の一部領域から該一部領域の全画素を読み出して画像信号を生成する全画素部 分読み出し処理を所定単位期間で切り換えて行!/、、間引き全画角読み出し処理を 行って得られた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符 号化データとして記録され、全画素部分読み出し処理を行って得られた画像信号が 、予測符号化を用いて!/、な!/、符合化方式で圧縮処理されて符号化データとして記録 された記録メディアから、符号化データを読み出す再生部と、読み出された符号化デ ータを伸長して画像信号を生成する画像伸長部と、画像伸長部で生成された画像信 号を用いて合成を行う画像合成部とを備え、画像合成部は、間引き全画角読み出し 処理を行って得られた画像信号と全画素部分読み出し処理を行って得られた画像 信号とを合成するものである。
[0013] さらに、本願発明の撮像装置と記録装置と再生装置に対応した撮像方法と記録方 法と再生方法である。
[0014] 本発明の構成により、基準フィールド周波数又は基準フレーム周波数より周波数の 高い、フィールド周波数又はフレーム周波数で画像信号を生成して記録する場合に 、基準フィールド期間又は基準フレーム期間内の先頭のフィールド又はフレームでは 、間引き全画角読み出し処理の画像信号を生成し、基準フィールド期間又は基準フ レーム期間内の残りのフィールド又はフレームでは、全画素部分読み出し処理の画 像信号を生成する。このようにすれば、基準フィールド期間又は基準フレーム期間で イメージセンサから出力する信号量を、全てのフィールド又はフレームで全画角の撮 像画像を取得する場合に比して低減することができ、直接、大容量の記録媒体に記 録すること力 Sできる。したがってメモリを介して記録する場合のような制約を回避する ことができ、貴重な撮像機会を逃すことなく高速度撮像することができる。また間引き 全画角読み出し処理を行うことにより得られた画像信号と全画素部分読み出し処理 を行うことにより得られた画像信号を合成して画質の劣化を少なくすることが可能とな る。このため、画質の劣化等を有効に回避して、貴重な撮像機会を逃すことなく高速 度撮像や、高速度撮像を行うことにより得られた画像信号の記録再生を行うことがで きる。
図面の簡単な説明
[図 1]撮像装置の構成を示すブロック図である。
[図 2]イメージセンサの動作を説明するための図である。
[図 3]カメラ信号処理部の構成を示すブロック図である。
[図 4]カメラ信号処理部における解像度変換/画像合成部の構成の一部を示すプロ ック図である。
[図 5]解像度変換/画像合成部における水平方向と垂直方向の利得を説明するた めの図である。
[図 6]撮像画像と境界の座標の関係を示す図である。
[図 7]画像圧縮伸長部の構成を示すブロック図である。
[図 8]動画像の符号化データを説明するための図である。
[図 9]記録装置の構成を示すブロック図である。
[図 10]再生装置の構成を示すブロック図である。
[図 11]フレームレートを基準フレームレートの 2倍として高速度撮像する場合のタイム チャートである。
[図 12]フレームレートを基準フレームレートの 2倍として高速度撮像を行うことにより得 られた画像を、標準の再生速度で再生する場合のタイムチャートである。 [図 13]フレームレートを基準フレームレートの 2倍として高速度撮像した画像を、 1/2 倍の再生速度でスローモーション再生する場合のタイムチャートである。
[図 14]フレームレートを基準フレームレートの 3倍として高速度撮像する場合のタイム チャートである。
[図 15]フレームレートを基準フレームレートの 3倍として高速度撮像した画像を、標準 の再生速度で再生する場合のタイムチャートである。
[図 16]フレームレートを基準フレームレートの 4倍として高速度撮像する場合のタイム チャートである。
[図 17]フレームレートを基準フレームレートの 4倍として高速度撮像した画像を、標準 の再生速度で再生する場合のタイムチャートである。
[図 18]フレームレートを基準フレームレートの 4倍として高速度撮像した画像を、 1/2 倍の再生速度でスローモーション再生する場合のタイムチャートである。
[図 19]フレームレートを基準フレームレートの 4倍として高速度撮像した画像を、 1/4 倍の再生速度でスローモーション再生する場合のタイムチャートである。
[図 20]可変速で高速度撮像する場合のタイムチャートである。
[図 21]可変速で高速度撮像した画像を、可変速で再生する場合のタイムチャートで ある。
[図 22]動きベクトルの判定基準を示す図である。
[図 23]全画素部分読み出しにおける枠の説明に供する略線図である。
[図 24]可変速の高速度撮像におけるフレームレート設定の処理手順を示すフローチ ヤートでめる。
発明を実施するための最良の形態
[0016] 以下、図面を参照しながら本発明の実施の形態について説明する。図 1は、本発 明の撮像装置の構成を示すブロック図である。撮像装置 10は、ユーザの操作に応じ て、通常の撮像時の動作モードである標準撮像モード、又は高速度撮像の動作モー ドである高速度撮像モードに切り換え可能とされている。
[0017] 撮像装置 10は、標準撮像モードに設定されたとき、予め設定されている基準単位 期間の画像信号を生成して、この画像信号に対してカメラ信号処理や画像圧縮処理 等を行い記録メディアに記録する。ここで、基準単位期間とは、テレビジョン方式で用 いられているフィールド期間やフレーム期間を示すものであり、基準単位期間を例え ば（1/60)秒として、フィールド期間が（1/60)秒であるインタレース走査方式の画 像信号、又はフレーム期間が（1/60)秒であるノンインタレース方式の画像信号を 生成する。なお、ノンインタレース方式の画像信号の生成を行う場合、基準単位期間 を基準フレーム期間、基準単位期間を周期としたフレームレートを基準フレームレー トと呼ぶ。また、インタレース方式の画像信号の生成を行う場合、基準単位期間を基 準フィールド期間、基準単位期間を周期としたフィールドレートを基準フィールドレー トと呼ぶ。
[0018] 撮像装置 10は、高速度撮像モードに設定されたとき、標準撮像モードの基準フレ ームレート（基準フィールドレート）よりも高く基準フレームレート（基準フィールドレート
)の整数倍で画像信号を生成して、この画像信号に対してカメラ信号処理や画像圧 縮処理等を行い記録メディアに記録する。ここで、基準フレームレート（基準フィール ドレート）の整数倍のフレームレート（基準フィールドレート）であるときのフレーム期間 (フィールド期間を所定単位期間と呼ぶ。
[0019] このようにフレームレート（フィールドレート）が高くなり所定単位期間が短くなると、 撮像装置 10では、撮像部 11で用いられている固体撮像素子における撮像面の有効 画像領域から、全画素を示す画像信号を生成することが困難となる。このため、撮像 装置 10は、標準撮像モードよりもフレームレート（フィールドレート）が高いとき、すな わち所定単位期間が基準単位期間よりも短!/、とき、有効画像領域の画素に対して画 素間引き及びライン間引きを行って画像信号を生成する処理 (以下「間引き全画角 読み出し処理」という）や、有効画像領域の一部の領域から全画素の読み出し行って 画像信号を生成する処理 (以下「全画素部分読み出し処理」という）を行い信号量を 削減する。さらに、撮像装置 10は、間引き全画角読み出し処理や全画素部分読み 出し処理を行うことにより得られた画像信号に対してカメラ信号処理や画像圧縮処理 等を行い記録メディアに記録する。また、高速度撮像モードで記録された撮像画像を 再生する場合、撮像装置 10は、間引き全画角読み出し処理を行うことにより得られた 画像信号と、全画素部分読み出し処理を行うことにより得られた画像信号を合成する ことで、画質の劣化が少ない再生画像を得られるようにする。以下、撮像装置 10では
、ノンインタレース方式の画像信号を生成するものとして説明を行う。
[0020] 撮像装置 10の撮像部 11は、イメージセンサ 111や AFE (Analog Front End) 112、 ADC (Analog-Digital Converter) 113を用いて構成されており、後述する制御部 61 によって撮像部 11の動作が制御される。
[0021] 撮像部 11のイメージセンサ 111は、 CMOS (Complementary Metal Oxide Semicon ductor )型等の固体撮像素子を用いて構成されている。イメージセンサ 111は、図示 しないレンズユニットによって撮像面に形成された光学像を光電変換処理して画像 信号、例えば赤色、緑色、青色の原色色信号からなる画像信号を出力する。なお、ィ メージセンサ 111には、 CDS (Correlated Double Sampling)回路が設けられており、 この CDS回路で相関二重サンプリング処理を行うことで画像信号のノイズが低減され
[0022] 撮像装置 10が標準撮像モードに設定されているとき、イメージセンサ 111は、制御 部 61によって制御されて、固体撮像素子における撮像面の有効画像領域から全画 素を読み出す処理 (以下「全画角全画素読み出し処理」という）を行い、基準フレーム レート例えば 60フレーム/秒〔fps〕の画像信号を出力する。
[0023] 図 2は、イメージセンサ 111から出力する画像信号の画素位置を示しており、斜線 で示す画素は画像信号に含まれない画素を示している。ここで、標準撮像モードで あるとき、イメージセンサ 111は、図 2の (A)に示すように撮像面の有効画像領域 AR から全画素を読み出して画像信号を出力する。
[0024] また、撮像装置 10が高速度撮像モードに設定されているとき、イメージセンサ 111 は、制御部 61によって制御されて、間引き全画角読み出し処理や全画素部分読み 出し処理を行い、基準フレームレートよりも高く整数倍のフレームレートで画像信号を 出力する。例えば、基準フレームレートが 60フレーム/秒〔fps〕であるとき、高速度撮 像モードでは、フレームレートが 120〔fps〕、 180〔£ 3〕、又は240〔£ 3〕の画像信号 を出力する。また、イメージセンサ 111は、設定されたフレームレートの画像信号を撮 像部 11から出力できるように、フレームレートに応じて間引き全画角読み出し処理に おける間引き読み出しの間隔ゃ、全画素部分読み出し処理における領域サイズを調 整する。
[0025] ここで、フレームレートが標準撮像モードの基準フレームレートに対して 2倍とされた とき、全画素部分読み出し処理では、例えば図 2の（B1)に示すように撮像面におけ る有効画像領域 ARの一部領域として、有効画像領域 ARの 1/2の面積である矩形 領域から矩形領域の全画素を読み出す。また、間引き全画角読み出し処理では、例 えば図 2の（B2)に示すように間引き読み出しを行い、有効画像領域 ARから総画素 数の（1/2)を読み出す。イメージセンサ 111は、水平方向に隣接して配置された同 色フォトセンサの出力信号を加算して出力することにより、画素間引きの処理を実行 する。またイメージセンサ 111は、垂直方向に隣接して配置された同色フォトセンサ の出力信号を加算して出力することにより、ライン間引きの処理を実行する。このよう な全画素部分読み出し処理と間引き全画角読み出し処理を行うものとすると、フレー ムレートが基準フレームレートの 2倍とされても、基準フレーム期間でイメージセンサ 1 11から出力される画像信号の信号量を標準撮像モードと等しくすることができる。
[0026] フレームレートが標準撮像モードの基準フレームレートに対して 3倍とされたとき、全 画素部分読み出し処理では、例えば図 2の（C1)に示すように、有効画像領域 ARの 1/3の面積である矩形領域力 矩形領域の全画素を読み出す。また、間引き全画 角読み出し処理では、例えば図 2の（C2)に示すように間引き読み出しを行い、有効 画像領域 ARから総画素数の 1/3を読み出す。さらに、フレームレートが標準撮像モ ードの基準フレームレートに対して 4倍とされたとき、全画素部分読み出し処理では、 例えば図 2の（D1)に示すように、有効画像領域 ARの 1/4の面積である矩形領域 力 矩形領域の全画素を読み出す。また、間引き全画角読み出し処理では、例えば 図 2の（D2)に示すように間引き読み出しを行い、有効画像領域 ARから総画素数の 1/4を読み出す。このような全画素部分読み出し処理と間引き全画角読み出し処理 を行うものとすると、フレームレートが基準フレームレートの 3倍又は 4倍とされても、画 像信号の信号量を標準撮像モードと等しくすることができる。
[0027] なお、イメージセンサ 111は、間引き全画角読み出し処理おける間引きパターンを フレーム毎に切り換えるものとすれば、同じ画素位置の画素が常に間引かれてしまう ことを防止できる。 [0028] また、イメージセンサ 111は、制御部 61によって制御されて、撮像装置 10が高速度 撮像モードである場合、標準撮像モードの基準フレーム期間で出力信号を区切って 見た場合において、基準フレーム期間内の先頭フレームでは、間引き全画角読み出 し処理を行うことにより得られた画像信号を出力する。また、イメージセンサ 111は、こ の基準フレーム期間内の先頭フレーム以外のフレーム期間で、全画素部分読み出し 処理を行うことにより得られた画像信号を出力する。
[0029] AFE (Analog Front End) 112は、イメージセンサ 111から出力される画像信号を A GC (Automatic Gain Control)処理し、画像信号の利得を制御する。 ADC (Analog- Digital Converter) 113は、 AFE112で処理されたアナログの画像信号をディジタル の画像信号 DV1に変換する。
[0030] カメラ信号処理部 12は、制御部 61によって制御されて、撮像部 11で生成された画 像信号を用いてモニタ表示を行うとき、撮像部 11から出力される画像信号 DV1をカメ ラ信号処理して、モニタ画像信号 DV2として表示処理部 21に出力する。また、カメラ 信号処理部 12は、モニタ画像信号 DV2を表示処理部 21に供給している状態で画 像信号の記録を指示するユーザ操作が行われたとき、カメラ信号処理した画像信号 DV3を画像圧縮伸長部 31に出力する。さらに、カメラ信号処理部 12は、記録された 撮像画像の再生動作が行われたとき、画像圧縮伸長部 31から供給された画像信号 DV4をカメラ信号処理して、再生画像信号 DV5として表示処理部 21に出力する。こ のカメラ信号処理部 12は、カメラ信号処理としてホワイトバランス調整処理、色補正 処理、 AF (Auto Focus)処理、 AE (Auto Exposure)処理等を行う。さらに、カメラ信号 処理部 12は、間引き全画角読み出し処理によつて生成された画像信号と全画素部 分読み出し処理によって生成された画像信号を合成して再生画像信号 DV5として出 力する処理も行う。
[0031] 図 3は、カメラ信号処理部 12の構成を示すブロック図である。カメラ信号処理部 12 のレベル補正部 121は、撮像部 11から供給された画像信号 DV1に対して、赤色、緑 色、青色の色信号毎に信号レベルを補正する。レベル補正部 121は、この信号レべ ルの補正により、クランプ、オフセット、ディファレンシャルゲイン等を設定し、シエーデ イング補正、フリツ力補正等の処理を実行する。 [0032] 画素補正部 122は、レベル補正部 121で処理された画像信号に対して、混色補正 、画素欠陥補正等の画素値補正処理を行う。
[0033] ゲイン調整部 123は、画素補正部 122で処理された画像信号に対して、イメージセ ンサ 111におけるフレームレートの切り換えにより生じた信号レベルの変化を補正す る。すなわち、フレームレートを高くすると、イメージセンサ 111おける電荷蓄積時間 が短くなり信号レベルが低下する。したがって、ゲイン調整部 123は、フレームレート の切り換えを行っても、切り換え前後で信号レベルが等しくなるように信号レベルを補 正する。
[0034] 画素補間部 124は、間引き全画角読み出し処理で生成された画像信号に対しての み画素補間を行い、間引きされた画素が補間された画像信号をセレクタ 125に供給 する。画素補間処理では、例えば隣接画素の相関を利用したフィルタリング処理によ り、間引きした画素のデータを生成する。全画素部分読み出し処理で生成された画 像信号は、間引きが行われていないので画素補間を行うことなくセレクタ 125に供給 する。このように、間引き全画角読み出し処理で生成された画像信号に対してのみ画 素補間を行うものとすると、間弓 Iき全画角読み出し処理が基準フレーム期間内の先 頭フレームで行われていることから、基準フレーム期間内の先頭フレームの画像信号 によって表示される画像は、標準撮像モードで撮像した画像に比べて等しレ、解像度 であって画質の低下してレ、る画像となる。
[0035] セレクタ 125は、撮像部 11で生成された画像信号を用いてモニタ表示を行うとき、 画素補間部 124から供給された画像信号を色補正部 126、輪郭補正部 127に供給 する。また、セレクタ 125は、撮像画像を記録メディア 42に記録するとき、画素補間部 124から供給された画像信号を図 1の画像圧縮伸長部 31に出力する。また、セレク タ 125は、記録された撮像画像の再生動作が行われたとき、画像圧縮伸長部 31から 供給された画像信号 DV4を色補正部 126と輪郭補正部 127に供給する。
[0036] 色補正部 126は、セレクタ 125を介して供給された画像信号から低域成分を分離し 、この低域成分をリニアマトリクス処理等して色補正する。
[0037] 輪郭補正部 127は、セレクタ 125を介して供給された画像信号から、高域成分を分 離し、この高域成分から輪郭補正データを生成する。 [0038] ガンマ/ニー処理部 128は、輪郭補正部 127で生成された輪郭補正データと、色 補正部 126で処理された画像信号とを合成して、合成後の画像信号に対してガンマ 補正、ニー処理等を実行する。
[0039] 色空間変換部 129は、ガンマ/ニー処理部 128で処理された画像信号を、輝度信 号、色差信号の画像信号に変換する。
[0040] 解像度変換/画像合成部 130は、撮像部 11で生成された画像信号を用いてモニ タ表示を行う場合、標準撮像モードが選択されているとき、色空間変換部 129で生成 された輝度信号及び色差信号の画像信号をモニタ画像信号 DV2として表示処理部 21や外部機器 (図示せず)に出力する。
[0041] また、解像度変換/画像合成部 130は、高速度撮像モードが選択とされているとき にモニタ表示を行う場合、間引き全画角読み出し処理を行うことにより得られた画像 信号をフレームメモリ 51に書き込み、フレームメモリ 51に書き込まれた画像信号を基 準フレーム期間で読み出して、モニタ画像信号 DV2として表示処理部 21等に出力 する。また、解像度変換/画像合成部 130は、高速度撮像モードで記録された撮像 画像の再生動作を行う場合、全画素部分読み出し処理を行うことにより得られた画像 信号又は間引き全画角読み出し処理を行うことにより得られた画像信号の少なくとも 一方をフレームメモリ 51に記憶して、フレームメモリ 51に記憶されている画像信号と 他方の画像信号を合成して、合成後の画像信号を再生画像信号 DV5として表示処 理部 21や外部機器 (図示せず)に出力する。
[0042] なお、解像度変換/画像合成部 130は、表示処理部 21に出力するモニタ画像信 号 DV2や再生画像信号 DV5については、表示部 22における表示に適した解像度 に変換して出力する。また、フレームメモリ 51は、例えば SDRAM (Synchronous Dyn amic Random Access Memory)等を用レヽ飞 τ冓成" 5 ·θ。
[0043] 図 4は、解像度変換/画像合成部 130において、画像合成を行う画像合成部 130 Αの構成を示すブロック図である。画像合成部 130Aは、全画素部分読み出し処理 の画像信号 DAを乗算回路 131に供給し、間弓 Iき全画角読み出し処理の画像信号 DBを乗算回路 132に供給する。乗算回路 131は、画像信号 DAに利得 Gを乗算し て、乗算結果 G X DAを加算器 133に供給する。乗算回路 132は、画像信号 DBに 利得（l—G)を乗算して、乗算結果（l—G) X DBを加算器 133に供給する。加算器 133は、 2つの乗算結果 G X DA, (1— G) X DBを加算して、加算結果を再生画像 信号 DV5として出力する。
[0044] また、利得 Gは、図 5の (A)に示す水平方向の座標値に対する利得 x-gainと、図 5 の（B)に示す垂直方向の座標値に対する利得 y-gainとの乗算値である。ここで、全 画素部分読み出しの撮像画像における水平方向の境界を座標 xl, x2、垂直方向の 境界を座標 yl, y2とする。なお、図 6は、撮像画像と境界の座標の関係を示しており 、図 6の (A)は、全画素部分読み出しの撮像画像と境界の座標の関係、図 6の（B)は 、間引き全画角読み出しの撮像画像と境界の座標の関係を例示したものである。
[0045] 図 5の (A) (B)に示すように、全画素部分読み出しの撮像画像の境界を示す座標 X
1, x2から全画素部分読み出しの撮像画像の内側方向に境界領域 dx、座標 yl, y2 力、ら全画素部分読み出しの撮像画像の内側方向に境界領域 dyを設ける。さらに、座 標 xl, x2, yl, y2では利得を「0」として、座標 xl, x2から境界領域 dx、座標 yl, y2か ら境界領域 dyまで移動する伴!/ヽ利得が「0」から「1」に順次増加するように利得 Gを 設定する。このようにすれば、画像合成部 130Aは、全画素部分読み出しの撮像画 像によって画素補間が行われた間引き全画角読み出し処理の撮像画像を置き換え て画質の低下を防止できる。また、画像合成部 130Aは、全画素部分読み出し処理 の撮像画像と画素補間が行われた間弓 Iき全画角読み出し処理の撮像画像との境界 を目立たなくすることができる。
[0046] 表示処理部 21には表示部 22が接続されている。また、表示部 22は例えば LCD (L iquid Crystal Display)等を用いて構成されている。表示処理部 21は、カメラ信号処 理部 12から供給されたモニタ画像信号 DV2や再生画像信号 DV5に基づき表示駆 動信号を生成して、この表示駆動信号で表示部 22を駆動することで、表示部 22の 画面上にモニタ画像や再生画像を表示する。
[0047] 画像圧縮伸長部 31は、撮像画像を記録メディア 42に記録するとき、カメラ信号処 理部 12から供給された画像信号 DV3のデータ圧縮を行!/、、得られた符号化データ DWを記録再生処理部 41に供給する。また、画像圧縮伸長部 31は、記録再生処理 部 41から供給された符号化データ DRの復号化処理を行い、得られた画像信号 DV 4をカメラ信号処理部 12に供給する。
[0048] 画像圧縮伸長部 31は、全画素全画角読み出し処理の画像信号や、画素補間が行 われてレ、る間引き全画角読み出し処理の画像信号をデータ圧縮する場合、予測符 号化を用いた符合化方式例えば MPEG (Moving Picture Experts Group)等の動画 像の符号化方式で圧縮処理を行い、動画像の符号化データのストリームを生成する 。これに対して全画素部分読み出し処理の画像信号をデータ圧縮する場合、画像圧 縮伸長部 31は、予測符号化を用いて!/、な!/、符合化方式例えば JPEG (Joint Photogr aphic Experts Group)等の静止画像の符号化方式でデータ圧縮処理し、フレーム毎 に静止画像の符号化データを生成する。
[0049] また、画像圧縮伸長部 31は、動画像の符号化方式で符号化処理するフレーム間 で、順次マクロブロック毎に動きベクトル MVを検出して制御部 61に通知する。なお 画像圧縮伸長部 31は、 MPEGにより符号化処理する場合には、この符号化処理の 際に検出される動きベクトル MVを利用し、フレーム内符号化処理するフレームのみ 、別途、動きベクトル MVを検出する。
[0050] 図 7は、画像圧縮伸長部 31の構成を示すブロック図である。カメラ信号処理部 12か ら供給された画像信号 DV3は、画像圧縮伸長部 31の MV検出器 311と予測減算器 315に供給される。 MV検出器 311は、カメラ信号処理部 12から供給された画像信 号 DV3を用いて、動画像の符号化データを生成する連続するフレーム間で、順次動 きベクトル MVを検出する。 MV検出器 311は、この検出した動きベクトル MVを動き 補償器 312と MV符号化器 319及び制御部 61に通知する。
[0051] 動き補償器 312は、動画像の符号化時、 MV検出器 311で検出された動きベクトル MVを用いて、画像メモリ 313に格納した画像信号を動き補償し、符号化用の予測値 を生成する。また動き補償器 312は、動画像の復号時、 MV復号器 314で復号され た動きベクトル MVを用いて、同様に復号用の予測値を生成する。
[0052] 予測減算器 315は、動画像の符号化時、カメラ信号処理部 12から供給された画像 信号 DV3から、動き補償器 312で生成された符号化用の予測値を減算して、減算結 果である予測誤差値を DCT316に供給する。また予測減算器 315は、静止画像の 符号化時、カメラ信号処理部 12から入力される画像信号 DV3を何ら処理することなく DCT316に供給する。
[0053] DCT316は、予測減算器 315の出力データを 2次元離散コサイン変換し、その処 理結果である係数データを量子化器 317に供給する。量子化器 317は、 DCT316 から供給された係数データの量子化処理を行レ \得られた量子化データを可変長符 号化器 318と逆量子化器 321に供給する。
[0054] 可変長符号化器 318は、量子化器 317から供給された量子化データを可変長符 号化処理する。 MV符号化器 319は、 MV検出器 311で得られた動きベクトル MVを 符号化処理する。多重化器 320は、可変長符号化器 318で可変長符号化処理を行 うことにより得られたデータと、 MV符号化器 319で符号化処理を行うことにより得られ たデータとを多重化処理して符号化データ DWとして記録再生処理部 41に供給する
[0055] 逆量子化器 321は、符号化時、量子化器 317から供給された量子化データの逆量 子化処理を行い、得られた係数データを逆 DCT323に供給する。また復号時、可変 長復号器 322で得られたデータの逆量子化処理を行レ、、得られた係数データを逆 D CT323に供給する。
[0056] 逆 DCT323は、 DCT316とは逆に、逆量子化器 321から供給された係数データの 逆 2次元離散コサイン変換を行い、得られた画像信号を加算器 324に供給する。
[0057] 加算器 324は、逆 DCT323から供給された画像信号に、動き補償器 312から供給 された符号化用又は復号用の予測値を加算して、加算結果を画像信号 DV4として力 メラ信号処理部 12や画像メモリ 313に供給する。
[0058] したがって、この画像圧縮伸長部 31では、全画像全画角読み出しの画像信号、間 引き全画角読み出しの画像信号は、それまでに符号化処理した画像信号から逆量 子化器 321、逆 DCT323、加算器 324、画像メモリ 313、動き補償器 312で予測値 が生成され、この予測値との予測誤差値が順次 DCT316、量子化器 317、可変長 符号化器 318で処理されて動画像の符号化データに符号化処理される。また全画 素部分読み出しの画像信号は、直接、 DCT316に入力され、 DCT316、量子化器 317、可変長符号化器 318で処理されて静止画像の符号化データに符号化処理さ れる。 [0059] 多重分離器 326は、復号時、記録再生処理部 41から供給された符号化データ DR を係数データの部分と、動きベクトル MVの部分とに分離して、係数データの部分を 可変長復号器 322、動きベクトル MVの部分を MV復号器 314に供給する。 MV復 号器 314は、多重分離器 326から供給されたデータの復号化処理を行い、得られた 動きべ外ルを動き補償器 312に供給する。可変長復号器 322は、多重分離器 326 から供給されたデータの復号化処理を行い、得られた係数データを逆量子化器 321 に供給する。
[0060] 図 1の記録再生処理部 41は、制御部 61の制御により動作を切り換えて、画像圧縮 伸長部 31から供給された符号化データ DWを記録メディア 42に記録する処理、また 記録メディア 42から所望の符号化データ DRを読み出して画像圧縮伸長部 31に供 給する処理を行う。記録メディア 42は、例えばノヽードディスク装置、光ディスク装置、 メモリカード等の大容量の各種記録媒体である。
[0061] 記録再生処理部 41は、符号化データ DWを記録メディア 42に記録するとき、動画 像の符号化方式でデータ圧縮処理した符号化データを単独で読み出したり、動画像 に対応する静止画像の符号化データと共に順次時系列で読み出すことができるよう に記録メディア 42に記録する。例えば、記録再生処理部 41は、動画像の符号化方 式として MPEG方式を用いる場合、符号化データは階層構造とされている。なお、図 8は、動画像の符号化データを説明するためのものであり、階層構造の一部を示して いる。
[0062] 図 8の（A)に示すシーケンス層は、 1以上の GOPにシーケンスヘッダとシーケンス エンドを付加して構成されている。図 8の（B)に示す GOP層は、 1以上のピクチャに G OPヘッダを付加して構成されている。図 8の（C)に示すピクチャ層は、 1以上のスライ スにピクチャヘッダを付加して構成されている。
[0063] ピクチャ層のピクチャヘッダは、ピクチャ層の開始同期コードゃピクチャの表示順を 示す番号、ピクチャタイプを示す情報や符号化条件等が示されている。また、図 8の（ D)に示すように、ユーザデータ領域が設けられており、ピクチャレベルでユーザデー タを設定すること力できるようになされている。このため、記録再生処理部 41は、ユー ザデータ領域に、図 8の（E)に示す高速度撮像モードのフレームレートや対応する静 止画像の記録位置を示すポインタ情報を揷入して記録メディア 42に記録する。例え ば、高速度撮像モードのフレームレートが基準フレームレートの 2倍であるとき、記録 再生処理部 41は、間引き全画角読み出し処理の画像信号の符号化データを示すピ クチャのピクチャヘッダに、ポインタ情報として、基準フレーム期間内の先頭フレーム 以外のフレーム期間で生成された全画素部分読み出し処理の画像信号を静止画像 の画像信号として符号化した符号化データの記録位置を揷入する。
[0064] このように動画像の符号化データに、対応する静止画像の記録位置を示す情報を 揷入すれば、記録再生処理部 41は、動画像の符号化データを単独で読み出したり 、動画像に対応する静止画像の符号化データを動画像の符号化データと共に順次 時系列で読み出すことができる。
[0065] 制御部 61は、撮像装置 10全体の動作を制御するものであり、 CPU (Central Proce ssing Unit )、 ROM (Read Only Memory)、 RAM (Random Access Memory)等力も 構成されるマイクロコントローラである。制御部 61は、図示しないメモリに記録された プログラムを実行し、この撮像装置 10の各部の動作を制御する。プログラムは、この 撮像装置 10に事前にインストールされて提供されるものの、この事前のインストール に代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供する ようにしてもよぐインターネット等のネットワークを介したダウンロードにより提供しても よい。なお、制御部 61は、画像圧縮伸長部 31等で行う処理をソフトウェアで行うもの としてあよい。
[0066] 制御部 61は、撮像部 11で生成された画像信号を順次カメラ信号処理部 12や表示 処理部 21で処理させて、表示部 22の画面上にモニタ画像を表示させる。また、この 状態でユーザが画像信号の記録を指示したとき、制御部 61は、カメラ信号処理部 12 力 画像圧縮伸長部 31に画像信号 DV3を供給してデータ圧縮処理を行い、得られ た符号化データ DWを記録メディア 42に記録させる。またユーザが記録メディア 42 の再生を指示したとき、制御部 61は、記録再生処理部 41によって記録メディア 42か ら所望の符号化データ DRを読みして画像圧縮伸長部 31に供給させる。また、制御 部 61は、画像圧縮伸長部 31でデータ伸長処理を行うことにより得られた画像信号 D V4をカメラ信号処理部 12や表示処理部 21で処理させて、表示部 22の画面上に再 生画像を表示させる。
[0067] さらに、制御部 61は、画像圧縮伸長部 31でマクロブロック毎に検出される動きべク トル MVを 1フレーム毎に集計し、その集計結果に基づいて、被写体の動きを表して いると判断される動きベクトルを求め、この動きベクトルにより全画素部分読み出しで イメージセンサ 111から読み出す矩形領域の位置を変化させる。具体的には、制御 部 61は、動く被写体が矩形領域に収まるように位置を変化させる。なおこの動きべク トルの集計方法は、動きベクトルの度数分布を検出して最も分布の大きな動きべタト ルを検出する方法、物体追跡の手法を適用して連続した動きを呈する部位の動きべ タトルを検出する方法等、種々の集計方法を広く適用することができる。
[0068] ところで、上述の実施の形態では、撮像装置 10に、撮像部 11やカメラ信号処理部 12、画像圧縮伸長部 31、記録再生処理部 41等を一体に設けるものとしたが、撮像 部 11や表示処理部 21、表示部 22を別個に設けて、画像信号の記録装置や再生装 置を構成するものとしてもよい。さらに、カメラ信号処理部 12を別個に設けて、画像信 号の記録を行う記録装置を構成するものとしてもよい。
[0069] 図 9は、記録装置 70の構成を示すブロック図である。なお、図 9において、図 1や図 3と対応する部分につ!/、ては同一符号を付して!/、る。
[0070] 記録装置 70は、画像信号の圧縮処理を行い符号化データを生成するための画像 圧縮伸長部 31、記録メディア 42に対して符号化データ DWを書き込むための記録 再生処理部 41、各部の動作を制御する制御部 61を有している。
[0071] この記録装置 70において、画像圧縮伸長部 31は、イメージセンサ 111で、有効画 像領域の画素に対して間引き読み出しを行い画像信号を生成する間引き全画角読 み出し処理と、有効画像領域の一部領域から該一部領域の全画素を読み出して画 像信号を生成する全画素部分読み出し処理を所定単位期間で切り換えて行うことで 生成された撮像画像の画像信号に対して圧縮処理を行い符号化データ DWを生成 する。ここで、画像圧縮伸長部 31は、間引き全画角読み出し処理を行って得られた 画像信号を、予測符号化を用いた符合化方式で圧縮処理し、全画素部分読み出し 処理を行って得られた画像信号を、予測符号化を用いて!/、な!/、符合化方式で圧縮 処理する。 [0072] また、画像圧縮伸長部 31は、予測符号化を用いた符号化方式で間引きパターンが 異なる画像信号を圧縮処理すると、効率よく圧縮処理を行うことができない。したがつ て、撮像部 11から出力された画像信号 DV1を記録する場合、記録装置 70には、画 素補間部 124を設けるものとして、間引きされた画素を補間して力も画像圧縮伸長部 31に供給することで、効率よく圧縮処理を行えるようにする。
[0073] 記録再生処理部 41は、画像圧縮伸長部 31で生成された符号化データ DWを記録 メディア 42に書き込む処理を行う。
[0074] なお、図 9に示す記録装置 70は、図 1のように、色補正や輪郭補正及びガンマ/二 一処理等が行われる前の画像信号を記録する場合の構成を示してレ、るが、色補正 や輪郭補正及びガンマ/ニー処理等が行われた画像信号を記録するものとしてもよ い。さらに、送信部を設けるものとして、画像圧縮伸長部 31で生成された符号化デー タ DWを通信信号として送信するものとしてもよ!/、。
[0075] 図 10は、再生装置 80の構成を示すブロック図である。なお、図 10において、図 1 や図 3と対応する部分については同一符号を付している。
[0076] 再生装置 80は、記録メディア 42から符号化データ DRを読み出すための記録再生 処理部 41、読み出された符号化データを伸長処理するための画像圧縮伸長部 31、 画像圧縮伸長部 31で伸長処理を行うことに得られた画像信号を処理して再生画像 信号 DV5を生成するデータ処理部 15、及びフレームメモリ 51、各部の動作を制御す る制御部 61を有している。また、データ処理部 15は、色補正部 126、輪郭補正部 12 7、ガンマ/ニー処理部 128、色空間変換部 129、解像度変換/画像合成部 130で 構成されている。
[0077] この再生装置 80において、記録再生処理部 41は、記録メディア 42、すなわち、ィ メージセンサ 111で、有効画像領域の画素に対して間弓 Iき読み出しを行レ、画像信号 を生成する間弓 Iき全画角読み出し処理と、有効画像領域の一部領域から該一部領 域の全画素を読み出して画像信号を生成する全画素部分読み出し処理を所定単位 期間で切り換えて行い、間弓 Iき全画角読み出し処理を行って得られた画像信号が、 予測符号化を用いた符合化方式で圧縮処理されて符号化データとして記録され、全 画素部分読み出し処理を行って得られた画像信号が、予測符号化を用いてレ、なレヽ 符合化方式で圧縮処理されて符号化データとして記録された記録メディアから、符 号化データを読み出す処理を行う。
[0078] 画像圧縮伸長部 31は、記録再生処理部 41によって読み出された符号化データを 伸長して画像信号を生成する。
[0079] データ処理部 15の解像度変換/画像合成部 130は、画像圧縮伸長部 31で生成 された画像信号を用いて、間引き全画角読み出し処理の画素補間が行われた画像 信号と全画素部分読み出し処理を行って得られた画像信号を合成する。また、記録 再生処理部 41は、記録メディア 42から、予測符号化を用いていない符合化方式で 圧縮処理された符号化データを読み出すことなぐ予測符号化を用いた符合化方式 で圧縮処理された符号化データを読み出し、画像圧縮伸長部は、符号化データを伸 長して、基準単位期間毎の画像信号として出力する。
[0080] なお、図 10に示す再生装置 80は、色補正や輪郭補正及びガンマ/ニー処理等が 行われる前の画像信号が記録された記録メディアを用いる場合の構成を示して!/、る
1S 色補正や輪郭補正及びガンマ/ニー処理等が行われた画像信号が記録された 記録メディアを用いるものとしてもよい。この場合は、画像圧縮伸長部 31で伸長処理 を行うことにより得られた画像信号を解像度変換/画像合成部 130に供給する。さら に、受信部を設けて、受信部で受信した符号化データを画像圧縮伸長部 31で伸長 処理するあのとしてあよい。
[0081] 次に、画像信号の生成動作及び画像信号の記録再生動作について説明する。ュ 一ザによって動作モードが標準撮像モードに設定された場合、制御部 61は、ィメー ジセンサ 111の撮像面の有効画像領域 ARから例えば 60 [fps]で全画素全画角の 撮像画像を取得するように撮像部 11の動作を制御する。また、制御部 61は、 60 [fps 〕の撮像画像を表示部 22で表示するように、カメラ信号処理部 12、表示処理部 21の 動作を制御する。また、標準撮像モードで撮像動作を行うことにより得られた画像信 号を記録メディアに記録する場合、制御部 61は、カメラ信号処理部 12から画像信号 DV3を画像圧縮伸長部 31に供給させて、データ圧縮処理を行うことにより得られた 符号化データ DWを記録再生処理部 41によって記録メディア 42に記録させる。また 、記録した画像信号を再生するユーザ操作が行われたとき、制御部 61は、記録メデ ィァ 42から所望の撮像画像を示す符号化データ DRを記録再生処理部 41で読み出 して画像圧縮伸長部 31に供給させる。また、制御部 61は、画像圧縮伸長部 31で符 号化データ DRのデータ伸長処理を行って得られた画像信号 DV4をカメラ信号処理 部 12に供給させて、再生画像を表示部 22に表示又は外部機器に出力させる。
[0082] 次に、ユーザによって動作モードが標準撮像モードから高速度撮像モードに切り換 えられた場合の動作について説明する。図 11は、高速度撮像モードのフレームレー トを標準撮像モードのフレームレートである基準フレームレートの 2倍としたときの動 作を示している。
[0083] 図 11の (A)は、基準フレーム期間のタイミング信号である基準垂直同期信号 VDB を示している。また、図 11の（B)は、撮像装置 10の動作モードを示している。ユーザ によって動作モードが標準撮像モードから高速度撮像モードに切り換えられたとき、 制御部 61は、基準垂直同期信号 VDBに同期したタイミングで、撮像部 11やカメラ信 号処理部 12、画像圧縮伸長部 31や記録再生処理部 41等の動作を標準撮像モード 力、ら高速度撮像モードに切り換える。なお、図 11の（C)は、高速度撮像モードのフレ ーム期間のタイミング信号である垂直同期信号 VDを示している。
[0084] 撮像部 11は、高速度撮像モードである場合、上述のように基準フレーム期間内の 先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の 出力を行い、先頭フレーム以外のフレーム期間では、全画素部分読み出し処理を行 うことにより得られた画像信号の出力を行う。
[0085] したがって、撮像部 11から出力される画像信号 DV1は、図 11の（D)に示すように、 基準フレーム期間内の先頭フレームは、間弓 Iき全画角読み出し処理を行って得られ た画像信号 (斜線で示す）、基準フレーム期間内の先頭フレーム以外のフレーム期 間では、全画素部分読み出し処理を行って得られた画像信号 (太線の枠で示す）と なる。
[0086] ここで、モニタ表示を行う場合、カメラ信号処理部 12の解像度変換/画像合成部 1 30は、上述のように、間引き全画角読み出し処理の画像信号をフレームメモリ 51に 書き込み、フレームメモリ 51に書き込まれた画像信号を基準フレーム期間で読み出 す。図 11の（E)はフレームメモリ 51に書き込まれる画像信号 DVi 、図 11の（F)はフ レームメモリ 51から読み出される画像信号 DVfrを示している。このように、解像度変 換/画像合成部 130は、フレームメモリ 51から基準フレーム期間で読み出した間引 き全画角読み出し処理の画像信号を、図 11の（G)に示すモニタ画像信号 DV2とし て表示処理部 21等に出力することで、標準撮像モードと等しいフレームレートで撮像 画像を表示することができる。
[0087] また、ユーザによって記録の指示が行われたとき、制御部 61は、図 11の（D)に示 す画像信号 DV1の画素補間および符号化処理等を行わせて、符号化データを記録 メディア 42に記録させる。
[0088] 次に、記録メディア 42に記録された撮像画像の再生動作について図 12を用いて 説明する。図 12の (A)は、記録メディア 42に符号化して記録されている撮像画像の フレーム PWを示して!/、る。高速度撮像モードのフレームレートが基準フレームレート の 2倍であるとき、記録されている撮像画像を基準フレームレートで再生すると、出力 される画像信号 DV5は、被写体の動きが 1/2倍の速度とされたスロー再生画像の 画像信号となる。したがって、制御部 61は、記録されている画像を間欠的に用いるこ とで、被写体の動きが 1倍の速度とされた再生画像信号 DV5を生成させる。
[0089] なお、図 12の（B)は、基準フレーム期間のタイミング信号である基準垂直同期信号 VDB、図 12の（C)は、撮像画像を記録したときの撮像装置 10の動作モード、図 12 の（D)は、垂直同期信号 VDを示して!/、る。
[0090] 高速度撮像モードで撮像動作を行ったとき、基準フレーム期間内の先頭フレーム が間引き全画角読み出し処理の画像信号となっている。したがって、制御部 61は、 間引き全画角読み出し処理の画像信号を符号化した符号化データ、すなわち動画 像の符号化データを記録メディア 42から読み出して復号化処理を行い、垂直同期信 号 VDに同期した画像信号 DV4を生成させる。このとき、カメラ信号処理部 12から出 力される再生画像信号 DV5は、図 12の（E)に示すように、被写体の動きが 1倍の速 度である画像信号となる。
[0091] また、画像圧縮伸長部 31で符号化データの復号化処理を符号化処理と同等の速 度で行うことができる場合であって、フレームメモリ 51では複数フレームの画像信号 を記憶できるとき、制御部 61は、間引き全画角読み出し処理の画像信号に全画素部 分読み出し処理の画像信号を合成させて、被写体の動きが 1倍の速度である再生画 像信号 DV5を生成するようにしてもよ!/、。
[0092] この場合、制御部 61は、記録メディア 42から符号化データを読み出して復号化処 理を行い、図 12の（F)に示すように、撮像時のフレーム順の画像信号 DV4を生成さ せる。
[0093] ここで、カメラ信号処理部 12の解像度変換/画像合成部 130では、間引き全画角 読み出し処理の画像信号と画素部分読み出し処理の画像信号をフレームメモリ 51 に書き込み、フレームメモリ 51に書き込まれた画像信号を基準フレーム期間で読み 出して合成する。また、フレームメモリ 51には、書き込まれた画像信号を基準フレー ム期間で読み出して合成してレ、るときに読み出された、間弓 Iき全画角読み出し処理 の画像信号と画素部分読み出し処理の画像信号を書き込むものとする。図 12の（G) はフレームメモリ 51に書き込まれる画像信号 DViW、図 12の（H)はフレームメモリ 51 から読み出される画像信号 DVfrを示している。また、図 12の（I)は解像度変換/画 像合成部 130から出力される画像信号 DV5を示している。高速度撮像モードで記録 された撮像画像の再生期間となると、解像度変換/画像合成部 130は、間引き全画 角読み出し処理の画像信号であるフレーム「2」の画像信号と全画素部分読み出し処 理の画像信号であるフレーム「3」の画像信号を合成したフレーム「2 + 3」の画像信号 を出力する。次に、解像度変換/画像合成部 130は、間引き全画角読み出し処理の 画像信号であるフレーム「4」の画像信号と全画素部分読み出し処理の画像信号で あるフレーム「5」の画像信号を合成したフレーム「4 + 5」の画像信号、 · · ·を順次出 力する。すなわち、解像度変換/画像合成部 130は、被写体の動きが 1倍速であり、 全画部分読み出しの画像信号によって画質の低下を改善した撮像画像の画像信号 を出力することができる。
[0094] 図 13は、記録されている撮像画像を撮像時のフレーム順に用いることで、被写体 の動き力 1/2倍の速度である再生画像信号 DV5を生成する場合を示している。な お、図 13の（A)〜（D)は、図 12の（A)〜（D)に相当する。
[0095] この場合、制御部 61は、記録メディア 42から符号化データを順次読み出して復号 化処理を行い基準フレームレートの画像信号 DV4を生成させる。なお、図 13の（E) は、画像信号 DV4を示している。
[0096] カメラ信号処理部 12の解像度変換/画像合成部 130では、間引き全画角読み出 し処理の画像信号、又は全画素部分読み出し処理の画像信号をフレームメモリ 51に 書き込み、フレームメモリ 51に書き込まれた画像信号を基準フレーム期間で読み出 す。図 13の（F)はフレームメモリ 51に書き込まれる画像信号 DViW、図 13の（G)はフ レームメモリ 51から読み出される画像信号 DVfrを示している。
[0097] さらに、解像度変換/画像合成部 130は、フレームメモリ 51から読み出した間引き 全画角読み出し処理の画像信号とフレームメモリ 51に書き込まれる全画素部分読み 出し処理の画像信号、又はフレームメモリ 51から読み出した全画素部分読み出し処 理の画像信号とフレームメモリ 51に書き込まれる間弓 Iき全画角読み出し処理の画像 信号を合成する。図 13の（H)は解像度変換/画像合成部 130から出力される画像 信号 DV5を示して!/、る。高速度撮像モードで記録された撮像画像の再生期間となる と、解像度変換/画像合成部 130は、間引き全画角読み出し処理の画像信号であ るフレーム「2」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「3 」の画像信号を合成したフレーム「2 + 3」の画像信号を出力する。次に、解像度変換 /画像合成部 130は、全画素部分読み出し処理の画像信号であるフレーム「3」の画 像信号と間引き全画角読み出し処理の画像信号であるフレーム「4」の画像信号を合 成したフレーム「3 + 4」の画像信号、 · · ·を順次出力する。すなわち、解像度変換/ 画像合成部 130は、被写体の動き力 倍の速度であり、全画素部分読み出し処 理の画像信号によって画質の低下を防止した再生画像の画像信号を出力することが できる。また、フレームメモリ 51には、 1フレームの画像信号を記憶するだけでよい。
[0098] 次に、高速度撮像モードのフレームレートを標準撮像モードの 3倍としたときの動作 について説明する。
[0099] 図 14の (A)は基準垂直同期信号 VDB、図 14の（B)は撮像装置 10の動作モード 、図 14の（C)は、高速度撮像モードのフレーム期間のタイミング信号である垂直同期 信号 VDを示している。
[0100] 撮像部 11は、高速度撮像モードである場合、上述のように基準フレーム期間内の 先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の 出力を行い、先頭フレーム以外の 2フレーム期間では、全画素部分読み出し処理を 行うことにより得られた画像信号の出力を行う。
[0101] したがって、撮像部 11から出力される画像信号 DV1は、図 14の（D)に示すように、 基準フレーム期間内の先頭フレームは、間弓 Iき全画角読み出し処理を行って得られ た画像信号 (斜線で示す）、基準フレーム期間内の先頭フレーム以外の 2フレーム期 間では、全画素部分読み出し処理を行って得られた画像信号 (太線の枠で示す）と なる。
[0102] ここで、モニタ表示を行う場合、カメラ信号処理部 12の解像度変換/画像合成部 1 30では、上述のように、間引き全画角読み出し処理の画像信号をフレームメモリ 51 に書き込み、フレームメモリ 51に書き込まれた画像信号が基準フレーム期間で読み 出される。図 14の（E)はフレームメモリ 51に書き込まれる画像信号 DViW、図 14の（F )はフレームメモリ 51から読み出される画像信号 DVfrを示している。このように、解像 度変換/画像合成部 130は、フレームメモリ 51から基準フレーム期間で読み出した 間引き全画角読み出し処理の画像信号を、図 14の（G)に示すモニタ画像信号 DV2 として表示処理部 21等に出力することで、標準撮像モードと等しいフレームレートで 撮像画像を表示することができる。
[0103] また、ユーザによって記録の指示が行われたとき、制御部 61は、図 14の（D)に示 す画像信号 DV1の画素補間および符号化処理等を行わせて、符号化データを記録 メディア 42に記録させる。
[0104] 次に、記録メディア 42に記録された撮像画像の再生動作について図 15を用いて 説明する。図 15の (A)は記録メディア 42に符号化して記録されている撮像画像のフ レーム PWを示して!/、る。高速度撮像モードのフレームレートが基準フレームレートの 3倍であるとき、記録されている撮像画像を基準フレームレートで再生すると、出力さ れる画像信号 DV5は、被写体の動きが 1/3倍の速度とされたスロー再生画像の画 像信号となる。したがって、制御部 61は、記録されている画像を間欠的に用いること で、被写体の動きが 1倍の速度とされた再生画像信号 DV5を生成させる。
[0105] なお、図 15の（B)は、基準フレーム期間のタイミング信号である基準垂直同期信号 VDB、図 15の（C)は、撮像画像を記録したときの撮像装置 10の動作モード、図 15 の（D)は、垂直同期信号 VDを示して!/、る。
[0106] 高速度撮像モードで撮像動作を行ったとき、基準フレーム期間内の先頭フレーム が間引き全画角読み出し処理の画像信号を示すものとなっている。したがって、制御 部 61は、間引き全画角読み出し処理の画像信号を符号化した符号化データ、すな わち動画像の符号化データを記録メディア 42から読み出して復号化処理を行い、垂 直同期信号 VDに同期した画像信号 DV4を生成させる。このとき、カメラ信号処理部 12から出力される再生画像信号 DV5は、図 15の（E)に示すように、被写体の動きが 1倍の速度である画像信号となる。
[0107] また、画像圧縮伸長部 31で符号化データの復号化処理を符号化処理と同等の速 度で行うことができる場合であって、フレームメモリ 51では複数フレームの画像信号 を記憶できるとき、制御部 61は、間引き全画角読み出し処理の画像信号に全画素部 分読み出し処理の画像信号を合成させて、被写体の動きが 1倍の速度である再生画 像信号 DV5を生成するようにしてもよ!/、。
[0108] この場合、制御部 61は、記録メディア 42から符号化データを読み出して復号化処 理を行い、図 15の（F)に示すように、画像信号 DV4を生成させる。
[0109] ここで、カメラ信号処理部 12の解像度変換/画像合成部 130では、間引き全画角 読み出し処理の画像信号と画素部分読み出し処理の画像信号をフレームメモリ 51 に書き込み、フレームメモリ 51に書き込まれた画像信号を基準フレーム期間で読み 出して合成する。また、フレームメモリ 51には、書き込まれた画像信号を基準フレー ム期間で読み出して合成してレ、るときに読み出された、間弓 Iき全画角読み出し処理 の画像信号と画素部分読み出し処理の画像信号を書き込むものとする。図 15の（G) はフレームメモリ 51に書き込まれる画像信号 DViW、図 15の（H)はフレームメモリ 51 から読み出される画像信号 DVfrを示している。また、図 15の（I)は解像度変換/画 像合成部 130から出力される画像信号 DV5を示している。高速度撮像モードで記録 された撮像画像の再生期間となると、解像度変換/画像合成部 130は、間引き全画 角読み出し処理の画像信号であるフレーム「2」の画像信号と全画素部分読み出し処 理の画像信号であるフレーム「3」の画像信号を合成したフレーム「2 + 3」の画像信号 を出力する。次に、解像度変換/画像合成部 130は、間引き全画角読み出し処理の 画像信号であるフレーム「5」の画像信号と全画素部分読み出し処理の画像信号で あるフレーム「6」の画像信号を合成したフレーム「5 + 6」の画像信号、 · · ·を順次出 力する。すなわち、解像度変換/画像合成部 130は、被写体の動きが 1倍速であり、 全画素部分読み出しの画像信号によって画質の低下を改善した撮像画像を出力す ること力 Sでさる。
[0110] また、制御部 61は、高速度撮像モードのフレームレートを標準撮像モードの 3倍と して記録された撮像画像を読み出して撮像時のフレーム順の画像信号 DV4を生成 して、間弓 Iき全画角読み出し処理の画像信号と全画素部分読み出し処理の画像信 号を合成して出力すれば、被写体の動き力 /3倍の速度であり、全画素部分読み 出し処理の画像信号によって画質の低下を防止した再生画像を表示させることがで きる。また、 1/2倍の再生速度でスローモーション再生する場合、 1/3倍のスローモ ーシヨン再生と、 1倍速の再生とを交互に切り換える等により対応することができる。
[0111] 次に、高速度撮像モードのフレームレートを標準撮像モードの 4倍としたときの動作 について説明する。
[0112] 図 16の (A)は基準垂直同期信号 VDB、図 16の（B)は撮像装置 10の動作モード 、図 16の（C)は、高速度撮像モードのフレーム期間のタイミング信号である垂直同期 信号 VDを示している。
[0113] 撮像部 11は、高速度撮像モードである場合、上述のように基準フレーム期間内の 先頭フレームでは、間引き全画角読み出し処理を行うことにより得られた画像信号の 出力を行い、先頭フレーム以外の 2フレーム期間では、全画素部分読み出し処理を 行うことにより得られた画像信号の出力を行う。
[0114] したがって、撮像部 11から出力される画像信号 DV1は、図 16の（D)に示すように、 基準フレーム期間内の先頭フレームは、間弓 Iき全画角読み出し処理を行って得られ た画像信号 (斜線で示す）、基準フレーム期間内の先頭フレーム以外の 3フレーム期 間では、全画素部分読み出し処理を行って得られた画像信号 (太線の枠で示す）と なる。
[0115] ここで、モニタ表示を行う場合、カメラ信号処理部 12の解像度変換/画像合成部 1 30では、上述のように、間引き全画角読み出し処理の画像信号をフレームメモリ 51 に書き込み、フレームメモリ 51に書き込まれた画像信号が基準フレーム期間で読み 出される。図 16の（E)はフレームメモリ 51に書き込まれる画像信号 DViW、図 16の（F )はフレームメモリ 51から読み出される画像信号 DVfrを示している。このように、解像 度変換/画像合成部 130は、フレームメモリ 51から基準フレーム期間で読み出した 間引き全画角読み出し処理の画像信号を、図 16の（G)に示すモニタ画像信号 DV2 として表示処理部 21等に出力することで、標準撮像モードと等しいフレームレートで 撮像画像を表示することができる。
[0116] また、ユーザによって記録の指示が行われたとき、制御部 61は、図 16の（D)に示 す画像信号 DV1の画素補間および符号化処理等を行わせて、符号化データを記録 メディア 42に記録させる。
[0117] 次に、記録メディア 42に記録された撮像画像の再生動作について図 17を用いて 説明する。図 17の (A)は記録メディア 42に符号化して記録されている撮像画像のフ レーム PWを示して!/、る。高速度撮像モードのフレームレートが基準フレームレートの 4倍であるとき、記録されている撮像画像を基準フレームレートで再生すると、出力さ れる画像信号 DV5は、被写体の動きが 1/4倍の速度とされたスロー再生画像となる 。したがって、制御部 61は、記録されている画像を間欠的に用いることで、被写体の 動きが 1倍の速度とされた再生画像信号 DV5を生成させる。
[0118] なお、図 17の（B)は、基準フレーム期間のタイミング信号である基準垂直同期信号 VDB、図 17の（C)は、撮像画像を記録したときの撮像装置 10の動作モード、図 17 の（D)は、垂直同期信号 VDを示して!/、る。
[0119] 高速度撮像モードで撮像動作を行ったとき、基準フレーム期間内の先頭フレーム が間引き全画角読み出し処理の画像信号を示すものとなっている。したがって、制御 部 61は、間引き全画角読み出し処理の画像信号を符号化した符号化データ、すな わち動画像の符号化データを記録メディア 42から読み出して復号化処理を行い、垂 直同期信号 VDに同期した画像信号 DV4を生成させる。このとき、カメラ信号処理部 12から出力される再生画像信号 DV5は、図 17の（E)に示すように、被写体の動きが 1倍の速度である再生画像の画像信号となる。
[0120] また、制御部 61は、フレームレートを基準フレームレートの 2倍や 3倍とした場合と 同様に、間引き全画角読み出し処理の画像信号に全画素部分読み出し処理の画像 信号を合成して、被写体の動きが 1倍の速度である再生画像信号 DV5を生成するも のとしてもよい。図 17の（F)は、記録メディア 42から符号化データを読み出して復号 化処理を行うことで得られた画像信号 DV4を示している。また、図 17の（G)は解像度 変換/画像合成部 130から出力される画像信号 DV5を示している。
[0121] ここで、高速度撮像モードで記録された撮像画像の再生期間となると、解像度変換 /画像合成部 130は、間引き全画角読み出し処理の画像信号であるフレーム「2」の 画像信号と全画素部分読み出し処理の画像信号であるフレーム「3」の画像信号を 合成したフレーム「2 + 3」の画像信号を出力する。次に、解像度変換/画像合成部 1 30は、間引き全画角読み出し処理の画像信号であるフレーム「6」の画像信号と全画 素部分読み出し処理の画像信号であるフレーム「7」の画像信号を合成したフレーム 「6 + 7」の画像信号、 · · ·を順次出力する。すなわち、解像度変換/画像合成部 130 は、被写体の動きが 1倍の速度であり、全画素部分読み出し処理の画像信号によつ て画質の低下を防止した再生画像を出力することができる。
[0122] 図 18は、被写体の動きが 1/2倍の速度である再生画像信号 DV5を生成する場合 を示している。なお、図 18の（A)〜（D)は、図 17の（A)〜（D)に相当する。
[0123] この場合、高速度撮像モードで記録された撮像画像の再生期間にお!/、て、制御部
61は、記録メディア 42から符号化データを読み出して復号化処理を行い 1フレーム おきの画像信号 DV4を生成させる。なお、図 18の（E)は、復号化処理して得られた 画像信号 DV4を示して!/、る。
[0124] カメラ信号処理部 12の解像度変換/画像合成部 130では、間引き全画角読み出 し処理を行うことにより得られた画像信号、又は全画素部分読み出し処理を行うこと により得られた画像信号をフレームメモリ 51に書き込み、フレームメモリ 51に書き込ま れた画像信号を基準フレーム期間で読み出す。図 18の（F)はフレームメモリ 51に書 き込まれる画像信号 DViW、図 18の（G)はフレームメモリ 51から読み出される画像信 号 DVfrを示している。
[0125] さらに、解像度変換/画像合成部 130は、フレームメモリ 51から読み出した間引き 全画角読み出し処理を行うことにより得られた画像信号と、フレームメモリ 51に書き込 まれる全画素部分読み出し処理の画像信号を合成する。又は、フレームメモリ 51か ら読み出した全画素部分読み出し処理の画像信号と、フレームメモリ 51に書き込ま れる間弓 Iき全画角読み出し処理の画像信号を合成する。図 18の (H)は解像度変換 /画像合成部 130から出力される画像信号 DV5を示している。高速度撮像モードで 記録された撮像画像の再生期間となると、解像度変換/画像合成部 130は、間引き 全画角読み出し処理の画像信号であるフレーム「2」の画像信号と全画素部分読み 出し処理の画像信号であるフレーム「4」の画像信号を合成したフレーム「2 + 3」の画 像信号を出力する。次に、解像度変換/画像合成部 130は、全画素部分読み出し 処理の画像信号であるフレーム「4」の画像信号と間引き全画角読み出し処理の画像 信号であるフレーム「6」の画像信号を合成したフレーム「4 + 6」の画像信号、…を 順次出力する。すなわち、解像度変換/画像合成部 130は、被写体の動きが 1/2 倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下を防止し た再生画像の画像信号を出力することができる。
[0126] 図 19は、記録されている撮像画像を撮像時のフレーム順に用いることで、被写体 の動き力 1/4倍の速度である再生画像信号 DV5を生成する場合を示している。な お、図 19の（A)〜（D)は、図 17の（A)〜（D)に相当する。
[0127] この場合、高速度撮像モードで記録された撮像画像の再生期間にお!/、て、制御部
61は、記録メディア 42から符号化データを読み出して復号化処理を行いフレーム順 の撮像画像を示す画像信号 DV4を生成させる。なお、図 19の（E)は、復号化処理し て得られた画像信号 DV4を示して!/、る。
[0128] カメラ信号処理部 12の解像度変換/画像合成部 130では、間引き全画角読み出 し処理を行うことにより得られた画像信号、又は全画素部分読み出し処理を行うこと により得られた画像信号をフレームメモリ 51に書き込み、フレームメモリ 51に書き込ま れた画像信号を基準フレーム期間で読み出す。図 19の（F)はフレームメモリ 51に書 き込まれる画像信号 DViW、図 19の（G)はフレームメモリ 51から読み出される画像信 号 DVfrを示している。
[0129] さらに、解像度変換/画像合成部 130は、フレームメモリ 51から読み出した画像信 号とフレームメモリ 51に書き込まれる画像信号、又はフレームメモリ 51から読み出し た間弓 Iき全画角読み出し処理の画像信号と復号化処理して得られた全画素部分読 み出し処理の画像信号を合成する。図 19の（H)は解像度変換/画像合成部 130か ら出力される画像信号 DV5を示している。高速度撮像モードで記録された撮像画像 の再生期間となると、解像度変換/画像合成部 130は、間引き全画角読み出し処理 の画像信号であるフレーム「2」の画像信号と全画素部分読み出し処理の画像信号 であるフレーム「3」の画像信号を合成したフレーム「2 + 3」の画像信号を出力する。 次に、解像度変換/画像合成部 130は、間引き全画角読み出し処理の画像信号で あるフレーム「2」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「 4」の画像信号を合成したフレーム「2 + 4」の画像信号、間引き全画角読み出し処理 の画像信号であるフレーム「2」の画像信号と全画素部分読み出し処理の画像信号 であるフレーム「5」の画像信号を合成したフレーム「2 + 5」の画像信号、全画素部分 読み出し処理の画像信号であるフレーム「5」の画像信号と間引き全画角読み出し処 理の画像信号であるフレーム「6」の画像信号を合成したフレーム「5 + 6」の画像信号 、 · · ·を順次出力する。すなわち、解像度変換/画像合成部 130は、被写体の動き 力 倍の速度であり、全画素部分読み出し処理の画像信号によって画質の低下 を防止した再生画像を出力することができる。
[0130] さらに、再生速度を低下させてスローモーション再生する場合には、合成画像の繰 り返し処理を行うことで、スローモーション再生画像を表示できる。また、 1/3倍の再 生速度でスローモーション再生する場合、 1/2倍の再生速度でスローモーションの 処理と 1/4倍の再生速度でスローモーションの処理とを交互に切り換える等により対 応すること力 Sでさる。
[0131] このように、標準撮像モードが選択された場合、撮像装置 10の撮像部 11は、基準 フレームレートの画像信号を生成する。また、撮像装置 10では、このフレームレート の画像信号を順次記録メディア 42に記録する処理や、基準フレームレートで撮像画 像を表示部 22で表示する処理を行う。
[0132] また、高速度撮像モードが選択された場合、撮像装置 10の撮像部 11は、基準フレ ーム期間内の先頭フレームで間引き全画角読み出し処理の画像信号を生成し、先 頭フレーム以外のフレーム期間では、全画素部分読み出し処理の画像信号を生成 する。したがって、基準フレーム期間内の先頭フレームの画像信号を用いて画像表 示を行うものとすれば、高速度撮像モードのフレームレートに係らず基準フレームレ 一トで撮像画像を表示できる。
[0133] また、基準フレーム期間内の先頭フレームは、間引き全画角読み出し処理の画像 信号とされており、撮像装置 10は、間引き全画角読み出し処理の画像信号に対して 画素補間処理を行う。したがって、基準フレーム期間内の先頭フレームのみの画素 補間処理が行われた画像信号を順次用いて撮像画像の表示を行えば、高速度撮像 モードが選択されている場合でも、標準撮像モードと等しい画素数で撮像画像を表 示部 22に表示させることができる。
[0134] さらに、解像度変換/画像合成部 130は、間引き全画角読み出し処理を行うことに より得られた画像信号と全画素部分読み出し処理を行うことにより得られた画像信号 を合成して出力する。このため、撮像装置 10は、間引き全画角読み出し処理を行うこ とにより生じた画質の劣化を全画素部分読み出し処理を行うことにより得られた撮像 画像によって補うことができる。
[0135] また、撮像装置 10や記録装置 70は、間引き全画角読み出し処理を行うことにより 得られた画像信号を動画像の符号化データ、全画素部分読み出し処理を行うことに より得られた画像信号を静止画像の符号化データとして記録メディア 42に記録する。 したがって、撮像装置 10や再生装置 80は、予測符号化を用いていない符合化方式 で圧縮処理された符号化データを読み出すことなぐ予測符号化を用いた符合化方 式で圧縮処理された符号化データを読み出して再生する。すなわち、静止画像の符 号化データを読み出すことなぐ動画像の符号化データのみを読み出して復号化処 理すれば、標準撮像モードと等しいフレームレートで被写体の動き力 倍速の画像信 号を容易に得ることができる。また、撮像装置 10や再生装置 80は、動画像の符号化 データの再生と再生速度に対応して静止画像の符号化データの再生を行い、再生 された画像信号を合成することで、所望の再生速度で画質低下の少なレ、画像信号を 出力させること力 Sできる。すなわち、動画像の符号化データを常時処理するようにし て再生を行えば、被写体の動き力 倍速である画像信号を出力できる。また、再生速 度に対応して静止画像の符号化データの再生や画像信号の合成を行えば、被写体 の動きが 1倍速よりも遅いスローモーション画像を容易に得ることができる。
[0136] さらに、撮像装置 10では、従来の撮像装置のように、高速度の画像信号を一時的 にメモリに格納し、その後、大容量の記録媒体に記録し直すような処理が必要ないの で、高速度撮像する時間がメモリの容量によって制限されてしまうことがなぐ貴重な 撮像機会を逃すことなく高速度撮像を行うことができる。
[0137] また、間引き全画角読み出し処理では、フレームレートが高くなると（所定単位期間 が短くされると）、間引き読み出しの間隔が大きくされる。また、全画素部分読み出し 処理では、フレームレートが高くなると画素の読み出しを行う領域が狭いものとされる 。このため、フレームレートが高くなると読み出す画素が少ないものとされて、基準フ レーム期間中に読み出す画素の数を一定に保つことができる。すなわち、高速度撮 像モードでフレームレートが高くなつても、信号量が増大してしまうことを防止でき、十 分に高速度撮像することができる。
[0138] また、間引き全画角読み出し処理では、標準撮像モードよりも高いフレームレートで あって、高速度撮像モードにおいてはフレームレートが低くなると（所定単位期間が 長くされると）、間引き読み出しの間隔が小さくされる。また、全画素部分読み出し処 理では、フレームレートが低いと画素の読み出しを行う領域が広いものとされる。この ため、高速度撮像モードにおいてフレームレートが低いとき、高速度撮像モードにお V、てフレームレートが高!/、ときよりも読み出す画素が多!/、ものとされて、基準フレーム 期間中に読み出す画素の数を一定に保つことができる。
[0139] ところで、上述の実施の形態では、高速度撮像モードにおけるフレームレートが一 定の場合について説明した力 S、高速度撮像モードにおいてフレームレートを可変で きるようにしてもよい。なお、フレームレートを可変する場合は、 120〔fps〕， 180 [fps] , 240〔fps〕だけでなく、標準撮像モードのフレームレートである 60〔fpsBこ切り換え ることも可能としている。図 20は、ユーザがフレームレートを順次指定した場合の動 作を示しており、ューザがフレームレートを60〔£ 3〕→120〔£ 3〕→180〔£ 3〕→240 〔£ 3〕→180〔£ 3〕→120〔£ 3〕→60〔£ 3〕の順に変化させた場合である。なお、図 2 0の (A)は基準垂直同期信号 VDB、図 20の（B)は撮像装置 10の動作モード、図 20 の（C)は、垂直同期信号 VDを示して!/、る。 [0140] 撮像部 11は、高速度撮像モードである場合、基準フレーム期間内の先頭フレーム では、間弓 Iき全画角読み出し処理を行うことにより得られた画像信号の出力を行!/ \ 先頭フレーム以外のフレーム期間では、全画素部分読み出し処理を行うことにより得 られた画像信号の出力を行う。
[0141] したがって、撮像部 11から出力される画像信号 DV1は、図 20の（D)に示すように、 基準フレーム期間内の先頭フレームは、間弓 Iき全画角読み出し処理を行って得られ た画像信号 (斜線で示す）、基準フレーム期間内の先頭フレーム以外のフレーム期 間では、全画素部分読み出し処理を行って得られた画像信号 (太線の枠で示す）と なる。
[0142] ここで、モニタ表示を行う場合、カメラ信号処理部 12の撮像装置 10や再生装置 80 は、上述のように、間引き全画角読み出し処理を行うことにより得られた画像信号をフ レームメモリ 51に書き込み、フレームメモリ 51に書き込まれた画像信号を基準フレー ム期間で読み出す。図 20の（E)はフレームメモリ 51に書き込まれる画像信号 DViW、 図 20の（F)はフレームメモリ 51から読み出される画像信号 DVfrを示している。このよ うに、撮像装置 10や再生装置 80は、フレームメモリ 51から基準フレーム期間で読み 出した間引き全画角読み出し処理の画像信号を、図 20の（G)に示すようにモニタ画 像信号 DV2として表示処理部 21等に出力することで、標準撮像モードと等しいフレ ームレートで撮像画像を表示することができる。
[0143] また、ユーザによって記録の指示が行われたとき、制御部 61は、図 20の（D)に示 す画像信号 DV1の画素補間および符号化処理等を行わせて、符号化データを記録 メディア 42に記録させる。
[0144] 次に、記録メディア 42に記録された撮像画像の再生動作について図 21を用いて 説明する。図 21の (A)は記録メディア 42に符号化して記録されている撮像画像のフ レーム PWを示している。図 21の（B)は基準垂直同期信号 VDB、図 21の（C)は、撮 像画像を記録したときの撮像装置 10の動作モード、図 21の（D)は、垂直同期信号 V Dを示している。
[0145] 高速度撮像モードで記録された撮像画像の再生期間において、制御部 61は、記 録メディア 42から符号化データを読み出して復号化処理を行い撮像時のフレーム順 の画像信号 DV4を生成する。なお、図 21の（E)は、復号化処理して得られた画像信 号 DV4を示している。
[0146] カメラ信号処理部 12の解像度変換/画像合成部 130では、間引き全画角読み出 し処理を行うことにより得られた画像信号、又は全画素部分読み出し処理を行うこと により得られた画像信号をフレームメモリ 51に書き込み、フレームメモリ 51に書き込ま れた画像信号を基準フレーム期間で読み出す。図 21の（F)はフレームメモリ 51に書 き込まれる画像信号 DViW、図 21の（G)はフレームメモリ 51から読み出される画像信 号 DVfrを示している。
[0147] さらに、解像度変換/画像合成部 130は、フレームメモリ 51から読み出した画像信 号とフレームメモリ 51に書き込まれる画像信号を合成する。又は、フレームメモリ 51か ら読み出した間引き全画角読み出し処理の画像信号と復号化処理して得られた全 画素部分読み出し処理の画像信号を合成する。図 21の（H)は解像度変換/画像 合成部 130から出力される画像信号 DV5を示している。高速度撮像モードで記録さ れた撮像画像の再生期間となると、解像度変換/画像合成部 130は、間引き全画角 読み出し処理の画像信号であるフレーム「2」の画像信号と全画素部分読み出し処理 の画像信号であるフレーム「3」の画像信号を合成したフレーム「2 + 3」の画像信号を 出力する。次に、全画素部分読み出し処理の画像信号であるフレーム「3」の画像信 号と間引き全画角読み出し処理の画像信号であるフレーム「4」の画像信号を合成し たフレーム「3 + 4」の画像信号、間引き全画角読み出し処理の画像信号であるフレ ーム「4」の画像信号と全画素部分読み出し処理の画像信号であるフレーム「5」の画 像信号を合成したフレーム「4 + 5」の画像信号、 · · ·を順次出力する。すなわち、解 像度変換/画像合成部 130は、被写体の動きが高速度撮像モードのフレームレート に応じた変化するとともに、全画素部分読み出し処理を行うことにより得られた画像信 号によって画質の低下を防止した再生画像の画像信号を出力することができる。
[0148] また、制御部 61は、記録メディア 42から予測符号化を用いていない符合化方式で 圧縮処理された符号化データを読み出すことなぐ予測符号化を用いた符合化方式 で圧縮処理された符号化データを読み出して、復号化処理を行って画像信号 DV4 を生成すれば、すなわち動画像の符号化データのみを読み出して、復号化処理を 行って画像信号 DV4を生成すれば、高速度撮像モードのフレームレートを変化させ ても、被写体の動き力 倍の速度である再生画像を出力させることができる。
[0149] さらに、フレームレートを可変する場合、制御部 61は、予めプログラムされた順序で フレームレートを自動的に可変するものとしてもよい。また、制御部 61は、被写体の 動きに応じてフレームレートを自動的に可変して、被写体の動きが速いときには時間 解像度の高い撮像画像すなわちフレームレートの高い撮像画像を記録できるように してもよい。
[0150] 次に、被写体の動きに応じてフレームレートを自動的に可変して撮像画像を記録す る動作について説明する。ここで、被写体の動きが速いほど、時間解像度の高い撮 像画像が得られるようにフレームレートを高くする。また、全画素部分読み出し処理す る領域の位置を被写体の動きに追従して変化させる。
[0151] 制御部 61は、被写体の動きに応じてフレームレートを自動的に可変する場合、画 像圧縮伸長部 31から通知される動きベクトル MVに基づいて、フレームレートや全画 素部分読み出しする矩形領域の位置を制御する。なお、イメージセンサ 111で読み 出す画素の数を基準フレーム期間で一定とすれば、フレームレートを決定することで 間引き全画角読み出し処理における間引き読み出しの間隔と全画素部分読み出し する矩形領域の領域サイズも自動的に決定される。
[0152] ここで、被写体の動きに応じてフレームレートを自動的に可変させる場合、制御部 6 1は、画像圧縮伸長部 31から通知される動きベクトル MVを絶対値化し、その後、図 22に示す判定基準値 Lvl、 Lv2、 Lv3と比較してフレームレートを判定する。この判定 基準値 Lvl、 Lv2、 Lv3は、被写体の動きによるブレの軽減を期待できるフレームレー トを定義する判定基準であり、動きベクトルによって示される各マクロブロックの動きが 大きくなるにしたがって、フレームレートを 1倍である「Fro (例えば 60 [fps] )」〜4倍で ある「Fr3 (例えば 240 [fps] )」で順次段階的に増大させる判定基準値である。
[0153] ここで、動きベクトルの絶対値が「Lvl」未満であるとき、フレームレートは標準撮像 モードと等しくする。動きベクトルの絶対値が「Lvl」以上で「Lv2」未満であるとき、フレ ームレートは高速度撮像モードとして標準撮像モードの 2倍とする。また、動きべタト ルの絶対値が「Lv2」以上で「Lv3」未満であるとき、フレームレートは標準撮像モード の 3倍とし、動きベクトルの絶対値が「Lv3」以上であるとき、フレームレートは標準撮 像モードの 4倍とする。
[0154] また、制御部 61は、検出した動きベクトルから全画素部分読み出し処理を行う領域 、例えば図 23に示すように矩形領域を定義する。制御部 61は、検出した動きべタト ルを水平方向成分及び垂直方向成分に分解し、マクロブロックの位置に応じた重み 付け係数で重み付け加算することにより、各マクロブロックで検出される動きべクトノレ を統計的に処理し、画枠 Trl〜Tr3を定義する。なお、この重み付け加算の処理は、 例えば画面中央部分程、重み付け係数の値を大きくするように設定して実行される。 また、この場合に、一定フレームレートで撮像した場合と同様にして画枠 Trl〜Tr3を 定義してもよい。なお、この図 23では、各マクロブロックの動きの大きさを判定基準値 Lvl〜Lv3で判定した結果を併せて示して!/、る。
[0155] 制御部 61は、基準フレーム期間毎に、フレームレートの設定や画枠 Trl〜Tr3の設 定を実行する。
[0156] フレームレートの設定や画枠の設定は、図 24の処理手順を実行することにより行う
〇
[0157] すなわち制御部 61は、この処理手順を開始すると、ステップ SP1からステップ SP2 に移り、当該フレームについての処理を開始し、続くステップ SP3において、現在の フレームレートが基準フレームレートの 3倍である「Fr2」以上か否か判断する。ここで 否定結果が得られると、制御部 61は、ステップ SP3力、らステップ SP4に移る。
[0158] 制御部 61は、ステップ SP4で現在のフレームレートが基準フレームレートの 2倍で ある「Frl」か否か判断する。ここで否定結果が得られると、この場合、現在のフレーム レートは基準フレームレートの 1倍である「FrO」であることから、ステップ SP4からステ ップ SP5に移る。
[0159] 制御部 61は、ステップ SP5で第 1の判定基準値 Lvl以上に動きの大きなマクロブロ ックが検出されているか否か判断する。ここで否定結果が得られると、制御部 61は、 ステップ SP5からステップ SP6に移り、続く基準フレーム期間のフレーム周波数を基 準フレーム周波数の 1倍である「FrO」、例えば 60〔fpsBこ設定する。また続いてステツ プ SP7において、制御部 61は、当該基準フレーム期間の処理を終了してステップ S P2に戻る。
[0160] また、ステップ SP5で肯定結果が得られると、制御部 61は、ステップ SP5からステツ プ SP8に移る。制御部 61は、現在のフレームレートより 1段階だけ高いフレームレート 、すなわち基準フレームレートの 2倍に対応する画枠 Trl内に、第 1の判定基準値 Lv 1以上に動きの大きなマクロブロックが全て含まれて!/、るか否か判断する。ここで否定 結果が得られると、制御部 61は、ステップ SP8からステップ SP6に移り、続く基準フレ ーム期間のフレームレートを基準フレームレートの 1倍である「Fro」に設定する。これ に対してステップ SP8で肯定結果が得られると、制御部 61は、ステップ SP8からステ ップ SP9に移り、続く基準フレーム期間のフレームレートを基準フレームレートの 2倍 のである「Frl」、例えば 120〔fps〕に設定し、その後、ステップ SP7に移る。
[0161] 現在のフレームレートが基準フレームレートの 2倍のである「Frl」の場合、制御部 6 1は、ステップ SP4で肯定結果が得られることにより、ステップ SP4力、らステップ SP10 に移る。制御部 61は、ステップ SP4で第 2の判定基準値 Lv2以上に動きの大きなマク ロブロックが検出されているか否か判断する。ここで否定結果が得られると、制御部 6 1は、ステップ SP10力、らステップ SP11に移り、現在のフレームレートが基準フレーム レートの 3倍のである「Fr2」か否か判断する。この場合、否定結果が得られることによ り、制御部 61は、ステップ SP11からステップ SP5に移る。また、制御部 61は、ステツ プ SP5に移ることで、フレームレートが低減可能であると、すなわち第 1の判定基準値 Lvl以上に動きの大きなマクロブロックが検出されて!/、な!/、ときや、基準フレームレー トの 2倍に対応する画枠 Trl内に、第 1の判定基準値 Lvl以上に動きの大きなマクロ ブロックが全て含まれている状態でないとき、続く基準フレーム期間のフレームレート を基準フレームレートの 1倍である「Fro」に設定する。また制御部 61は、これとは逆に フレームレートが低減可能でないとき、すなわち第 1の判定基準値 Lvl以上に動きの 大きなマクロブロックが検出されてレ、るときや、基準フレームレートの 2倍に対応する 画枠 Trl内に、第 1の判定基準値 Lvl以上に動きの大きなマクロブロックが全て含ま れているとき、現在のフレームレートを保持して、次の基準フレームに処理を移す。
[0162] ステップ SP11で肯定結果が得られると、制御部 61は、ステップ SP11からステップ SP9に移り、続く基準フレーム期間のフレームレートを基準フレームレートの 2倍であ る「Frl」、すなわち現在のフレームレートに保持したまま、次の基準フレームに処理を 移す。またステップ SP10で肯定結果が得られると、制御部 61は、ステップ SP10から ステップ SP12に移り、現在のフレームレートより 1段階だけ高いフレームレート、すな わち基準フレームレートの 3倍に対応する画枠 Tr2内に、第 2の判定基準値 Lv2以上 に動きの大きなマクロブロックが全て含まれて!/、るか否か判断する。ここで否定結果 が得られると、制御部 61は、ステップ SP12からステップ SP11に移る。また、ステップ SP11で肯定結果が得られると、制御部 61は、フレームレートを基準フレームレート の 2倍に保持したまま、次の基準フレームに処理を移す。これに対してステップ SP12 で肯定結果が得られると、制御部 61は、ステップ SP12からステップ SP13に移り、続 く基準フレーム期間のフレームレートを基準フレームレートの 3倍である「Fr2」、例え ば 180〔fps〕に設定し、その後、次の基準フレームに処理を移す。
現在のフレームレートが基準フレームレートの 3倍である「Fr2」又は 4倍である「Fr3 」の場合、制御部 61は、ステップ SP3で肯定結果が得られることにより、ステップ SP3 力、らステップ SP 15に移る。制御部 61は、ステップ SP 15で第 3の判定基準値 Lv3以 上に動きの大きなマクロブロックが検出されて!/、るか否か判断する。ここで否定結果 が得られると、制御部 61は、ステップ SP15からステップ SP16に移り、現在のフレー ムレートが基準フレームレートの 4倍である「Fr3」か否か判断する。ここで現在のフレ ームレートが基準フレームレートの 3倍である「Fr2」の場合、ステップ SP16で否定結 果が得られることにより、制御部 61は、ステップ SP 16からステップ SP 10に移る。また 、制御部 61は、ステップ SP10に移ることで、フレームレートが低減可能であると、す なわち第 2の判定基準値 Lv2以上に動きの大きなマクロブロックが検出されて!/、なレ、 ときや、基準フレームレートの 3倍に対応する画枠 Tr2内に、第 2の判定基準値 Lv2以 上に動きの大きなマクロブロックが全て含まれている状態でないとき、続く基準フレー ム期間のフレームレートを基準フレームレートの 2倍である「Frl」に設定する。また、 制御部 61は、第 1の判定基準値 Lvl以上に動きの大きなマクロブロックが検出されて いないときや、基準フレームレートの 2倍に対応する画枠 Trl内に、第 1の判定基準 値 Lvl以上に動きの大きなマクロブロックが全て含まれて!/、る状態でな!/、とき、ステツ プ SP11に続く処理において、現在のフレームレートが「Fr2」である条件から、続く基 準フレーム期間のフレームレートを基準フレームレートの 2倍であるである「Frl」に設 定する。制御部 61は、これとは逆にフレームレートが低減可能でないとき、すなわち 、第 2の判定基準値 Lv2以上に動きの大きなマクロブロックが検出されて!/、るときや、 基準フレームレートの 3倍に対応する画枠 Tr2内に、第 2の判定基準値 Lv2以上に動 きの大きなマクロブロックが全て含まれているとき、現在のフレームレートを保持して、 次の基準フレームに処理を移す。
[0164] 現在のフレームレートが基準フレームレートの 4倍である「Fr3」であるとき、ステップ SP16で肯定結果が得られ、この場合、制御部 61は、ステップ SP16からステップ SP 13に移り、続く基準フレーム期間のフレームレートを基準フレームレートの 3倍である 「Fr2」、例えば 180〔fps〕に設定し、その後、次の基準フレームに処理を移す。
[0165] また、第 3の判定基準値 Lv3以上に動きの大きなマクロブロックが検出されている場 合、ステップ SP 15で肯定結果が得られて、制御部 61はステップ SP 15からステップ S P17に移る。 制御部 61は、ステップ SP17で基準フレームレートの 4倍に対応する画 枠 Tr3内に、第 3の判定基準値 Lv3以上に動きの大きなマクロブロックが全て含まれ ているか否か判断する。ここで、肯定結果が得られると、制御部 61はステップ SP18 に移り、続く基準フレーム期間のフレームレートを基準フレームレートの 4倍である「Fr 3」、例えば 240〔fps〕に設定し、その後、次の基準フレームに処理を移す。
[0166] また、否定結果が得られると、制御部 61は、ステップ SP17からステップ SP16に移 り、ステップ SP16に続く処理によって、現在のフレームレートが「FS」である条件から 、続く基準フレーム期間のフレームレートを基準フレームレートの 3倍、例えば 180〔f ps]に設 Eする。
[0167] この図 24の処理により、撮像する被写体の動きが大きくなると、制御部 61は、順次 段階的にフレームレートが高く設定する。また、被写体の動きが小さくなると、制御部 61は、順次段階的にフレームレートを低く設定する。このように、制御部 61は、フレ ームレートを自動的に設定し、設定されたフレームレートに対応する画枠を選択する 。また、イメージセンサ 111は、選択された画枠内の全画素を読み出す全画素部分 読み出し処理を行う。
[0168] 制御部 61は、ユーザが記録メディア 42に記録した撮像画像の再生を指示すると、 ユーザが再生を指示した撮像画像の管理情報を記録再生処理部 41から取得し、こ の管理情報に基づいて、上述のように記録メディア 42から符号化データを読み出し て復号化処理や画像信号の合成を行うように各部を制御する。
[0169] このように、ユーザが可変速の高速度撮像を指示した場合、制御部 61は、被写体 の動きが大きいときにはフレームレートが増大するように動的に切り換えて、この動的 に切り換えられたフレームレートの画像信号を生成させる。また、制御部 61は、被写 体の動きが小さいときにはフレームレートが準撮像モードのフレームレートとなるよう に動的に切り換えて、この動的に切り換えられたフレームレートの画像信号を生成さ せる。したがって、撮像装置 10では、動きが遅ぐ高いフレームレートで高速度撮像 する必要の無!/、場合には、標準撮像モードと等し!/、フレームレートで画像信号が生 成され、記録媒体の無駄な消費を防止することができる。また、被写体の動きが大き い場合には、高いフレームレートの画像信号が生成されて、時間解像度の高い撮像 画像を取得することができる。
[0170] 例えば、高速度で移動する被写体を流れることなく撮像したり、高速度で移動する 被写体について動きの滑らかなスローモーション画像が得られるようにするために高 速度撮像モードを選択する場合、背景は動きが小さい場合が殆どであり、高速度撮 像しても余り意味の無い部位であると言える。ここで、上述のように、動き検出結果に 応じて高速度撮像モードにおけるフレームレートや全画素部分読み出し処理を行う 領域の設定を行ものとすると、間引き全画角読み出し処理を行うことにより画質の劣 化を生じる部分は背景となり、高速度で移動する被写体は、全画素部分読み出し処 理を行うことにより得られた画像信号によって画質の低下が補われる。したがって、撮 像装置 10では、イメージセンサ 111から基準フレーム期間内で出力する画像信号の 信号量を増大させることなぐ高速度で移動する被写体を流れることなく撮像したり、 高速度で移動する被写体について動きの滑らかなスローモーション画像が得ることが できる。
[0171] また、撮像装置 10は、被写体の動きの変化に対応して滑らかにフレームレートを切 り換えることができ、再生時の違和感を防止することができる。すなわち例えば被写 体の動きに応じてマニュアル操作でフレームレートを切り換えて高速度撮像した場合 、被写体の動きに応じて必ずしも適切にフレームレートを切り換えることが困難になる 。したがって、フレームレートを切り換えた画像信号を連続して再生した場合には、急 激にフレームレートが変化することにより、著しく違和感が発生する。しかし、被写体 の動きの変化に対応してフレームレートが動的に切り換えられることから、再生時の 違和感を防止ができる。
[0172] さらに撮像装置 10では、被写体の動きに追従するように、全画素部分読み出しす る矩形領域が設定されて画像信号が生成される。したがつてこの撮像装置 10では、 全画素読み出しする矩形の領域を小さな領域として、高速度撮像時における画像信 号のレートの増大を低減する場合でも、高速度撮像が必要とされる被写体について は、確実に高速度撮像して画質の劣化を防止することができる。
[0173] 撮像装置 10では、画像信号の符号化処理時に検出される動きベクトルを用いて、 全画素分読み出しする矩形領域の大きさ、位置の設定、フレームレートの設定に使 用する被写体の動きが検出される。したがつてこの撮像装置 10では、画像圧縮伸長 部 31の構成を有効に利用して被写体の動きを検出しており、別途、被写体の動きを 検出する場合に比して、全体構成を簡略化することができる。
[0174] これに対して可変速で高速度撮像した画像信号を可変速で再生する場合には、撮 像した順序で画像信号が順次再生され、この画像信号における全画素部分読み出 しの画像信号、間引き全画角読み出しの画像信号が同様に処理されて表示される。 この場合、この撮像装置 10では、動きの速い部分では、自動的に再生速度が低下し てスローモーション再生することができ、動きの量の変化に応じて違和感を与えること なく再生速度を切り換えることができる。
[0175] なお上述の実施の形態においては、全画素部分読み出しの画角を間引き全画角 読み出しの画角に補正する場合について述べた力 本発明はこれに限らず、これと は逆に、間弓 Iき全画角読み出しの画角を全画素部分読み出しの画角に補正するよう にしてもよい。このようにすれば、被写体をズームアップした映像を表示することがで きる。
[0176] また上述の実施例においては、間引き全画角読み出しを適用して全画角の画像信 号を生成する場合について述べたが、本発明はこれに限らず、実用上十分な処理能 力を有する場合には、全画素全画角読み出しを適用して全画角の画像信号を生成 するようにしてもよい。またこの場合、フレームレートの増大により、全画素全画角読 み出しから間引き全画角読み出しに切り換えて、全画角の画像信号を生成するよう にしてもよい。
[0177] また上述の実施の形態においては、プログレッシブ方式で画像信号を生成する場 合について述べたが、本発明はこれに限らず、インタレース方式で画像信号を生成 する場合にも広く適用することができる。
産業上の利用可能性
[0178] 本発明は、例えば撮像装置に適用することができる。

Claims

請求の範囲
[1] 撮像画像の画像信号を生成するイメージセンサと、
前記イメージセンサに、有効画像領域の画素に対して間引き読み出しを行い前記 画像信号を生成する間弓 Iき全画角読み出し処理と、前記有効画像領域の一部領域 から該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出 し処理を、所定単位期間で切り換えて行わせる制御部とを備えてなる撮像装置。
[2] 前記制御部は、前記所定単位期間が予め設定されている基準単位期間よりも短い とき、前記間引き全画角読み出し処理と前記全画素部分読み出し処理を行うよう前 記イメージセンサを制御する請求の範囲第 1項に記載の撮像装置。
[3] 前記制御部は、前記基準単位期間内の先頭の所定単位期間で前記間弓 Iき全画角 読み出し処理を行い、前記基準単位期間内の他の所定単位期間で前記全画素部 分読み出し処理を行うよう前記イメージセンサを制御する請求の範囲第 2項に記載の 撮像装置。
[4] 間引きされた画素の信号を生成する画素補間を行う画素補間部をさらに備え、 前記画素補間部は、前記間引き全画角読み出し処理によって得られた画像信号に 対して前記画素補間を行う請求の範囲第 3項に記載の撮像装置。
[5] 前記所定単位期間が切り換え可能である請求の範囲第 4項に記載の撮像装置。
[6] 前記制御部は、前記所定単位期間が短くされたときは、前記間引き読み出しの間 隔を大きく前記有効画像領域の一部領域を狭くし、前記所定単位期間が長くされた ときは、前記間引き読み出しの間隔を小さく前記有効画像領域の一部領域を広くす るよう前記イメージセンサを制御する請求の範囲第 5項に記載の撮像装置。
[7] 前記画素補間が行われた画像信号を用いて動きを検出する動き検出部をさらに備 え、
前記制御部は、前記動き検出部で検出された動きに基づき、前記有効画像領域の 一部領域に前記動きを生じた被写体を含めて前記全画素部分読み出し処理を行う よう前記イメージセンサを制御する請求の範囲第 6項に記載の撮像装置。
[8] 前記制御部は、前記動きが大きいときには前記所定単位期間を長くし、前記動きが 小さいときには前記所定単位期間を短くする請求の範囲第 7項に記載の撮像装置。
[9] 前記画像信号を圧縮処理して符号化データを生成する画像圧縮部と、 前記符号化データを記録メディアに記録する記録部をさらに備え、
前記画像圧縮部は、前記間弓 Iき全画角読み出し処理の前記画素補間が行われた 画像信号を、予測符号化を用いた符合化方式で圧縮処理し、前記全画素部分読み 出し処理を行って得られた画像信号を、予測符号化を用いて!/、な!/、符合化方式で 圧縮処理する請求の範囲第 4項に記載の撮像装置。
[10] 前記画像圧縮部は、前記画素補間が行われた画像信号を用いて前記動きを検出 し、
前記制御部は、前記動きに基づいて、前記動きを生じた被写体が前記有効画像領 域の一部領域に含まれるように前記イメージセンサに前記全画素部分読み出し処理 を行わせる請求の範囲第 9項に記載の撮像装置。
[11] 前記記録メディアに記録された符号化データを読み出す再生部と、
前記再生部によって読み出された符号化データを伸長して画像信号を生成する画 像伸長部と、
前記画像伸長部で生成された画像信号を用いて合成を行う画像合成部とをさらに 備え、
前記画像合成部は、前記間弓 Iき全画角読み出し処理の前記画素補間が行われた 画像信号と前記全画素部分読み出し処理を行って得られた画像信号とを合成する 請求の範囲第 9項に記載の撮像装置。
[12] 前記再生部は、前記記録メディアから、前記予測符号化を用いて!/、な!/、符合化方 式で圧縮処理された符号化データを読み出すことなぐ前記予測符号化を用いた符 合化方式で圧縮処理された符号化データを読み出し、
前記画像伸長部は、前記再生部で読み出された符号化データを伸長して、前記基 準単位期間毎の画像信号として出力する請求の範囲第 11項に記載の撮像装置。
[13] 前記間引き全画角読み出し処理は、画素間引き処理とライン間引き処理の少なくと も一方を含む請求の範囲第 1項に記載の撮像装置。
[14] 表示部をさらに備え、
前記表示部は、前記間引き全画角読み出し処理して得られた画像信号に基づい た画像を表示する請求の範囲第 1項に記載の撮像装置。
[15] イメージセンサを用いて撮像画像の画像信号を生成する撮像方法において、 前記イメージセンサの有効画像領域の画素に対して間引き読み出しを行うことで前 記画像信号を生成する間引き全画角読み出し工程と、
前記有効画像領域の一部領域から該一部領域の全画素を読み出して前記画像信 号を生成する全画素部分読み出し工程とを含み、
前記間引き全画角読み出し工程と前記全画素部分読み出し工程とが、所定単位 期間で切り換えられる撮像方法。
[16] イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像 信号を生成する間弓 Iき全画角読み出し処理と、前記有効画像領域の一部領域から 該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処 理を所定単位期間で切り換えて行うことで生成された撮像画像の画像信号に対して 圧縮処理をすることで符号化データを生成する画像圧縮部と、
前記符号化データを記録する記録部とを備え、
前記画像圧縮部は、前記間弓 Iき全画角読み出し処理を行って得られた画像信号 を、予測符号化を用いた符合化方式で圧縮処理し、前記全画素部分読み出し処理 を行って得られた画像信号を、予測符号化を用いて!/、な!/、符合化方式で圧縮処理 する記録装置。
[17] 間引きされた画素の信号を生成する画素補間を行う画素補間部をさらに備え、 前記画素補間部は、前記間引き全画角読み出し処理によって得られた画像信号に 対して前記画素補間を行い、
前記画像圧縮部は、前記画素補間部にお!/、て前記間弓 Iき全画角読み出し処理の 前記画素補間が行われた画像信号を、予測符号化を用いた符合化方式で圧縮処 理する請求の範囲第 16項に記載の記録装置。
[18] イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像 信号を生成する間弓 Iき全画角読み出し処理と、前記有効画像領域の一部領域から 該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処 理を所定単位期間で切り換えて行うことで生成された撮像画像の画像信号のうち、 前記間引き全画角読み出し処理を行って得られた画像信号を、予測符号化を用い た符合化方式で圧縮処理して符号化データを生成する工程と、
前記全画素部分読み出し処理を行って得られた画像信号を、予測符号化を用いて いない符合化方式で圧縮処理して符号化データを生成する工程と、
前記符号化データを記録する工程とを備えた記録方法。
[19] イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像 信号を生成する間弓 Iき全画角読み出し処理と、前記有効画像領域の一部領域から 該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処 理を所定単位期間で切り換えて行い、前記間弓 Iき全画角読み出し処理を行って得ら れた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符号化データ として記録され、前記全画素部分読み出し処理を行って得られた画像信号が、予測 符号化を用いて!/、な!/、符合化方式で圧縮処理されて符号化データとして記録された 記録メディアから、前記符号化データを読み出す再生部と、
前記読み出された符号化データを伸長して画像信号を生成する画像伸長部と、 前記画像伸長部で生成された画像信号を用いて合成を行う画像合成部とを備え、 前記画像合成部は、前記間弓 Iき全画角読み出し処理を行って得られた画像信号と 前記全画素部分読み出し処理を行って得られた画像信号とを合成する再生装置。
[20] 前記再生部は、前記記録メディアから、前記予測符号化を用いて!/、な!/、符合化方 式で圧縮処理された符号化データを読み出すことなぐ前記予測符号化を用いた符 合化方式で圧縮処理された符号化データを読み出し、
前記画像伸長部は、前記符号化データを伸長して、前記基準単位期間毎の画像 信号として出力する請求の範囲第 19項に記載の再生装置。
[21] イメージセンサで、有効画像領域の画素に対して間引き読み出しを行い前記画像 信号を生成する間弓 Iき全画角読み出し処理と、前記有効画像領域の一部領域から 該一部領域の全画素を読み出して前記画像信号を生成する全画素部分読み出し処 理を所定単位期間で切り換えて行い、前記間弓 Iき全画角読み出し処理を行って得ら れた画像信号が、予測符号化を用いた符合化方式で圧縮処理されて符号化データ として記録され、前記全画素部分読み出し処理を行って得られた画像信号が、予測 符号化を用いて!/、な!/、符合化方式で圧縮処理されて符号化データとして記録された 記録メディアから、前記符号化データを読み出す工程と、
前記読み出された符号化データを伸長して画像信号を生成する工程と、 前記間弓 Iき全画角読み出し処理の画像信号と前記全画素部分読み出し処理を行 つて得られた画像信号を合成する工程とを備える再生方法。
PCT/JP2007/074328 2006-12-18 2007-12-18 撮像装置及び方法、記録装置及び方法、再生装置及び方法 WO2008075688A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2007800058551A CN101385334B (zh) 2006-12-18 2007-12-18 图像捕捉设备和方法、记录设备和方法及再现设备和方法
EP07850814A EP2129108A4 (en) 2006-12-18 2007-12-18 IMAGING DEVICE AND METHOD, RECORDING DEVICE AND METHOD, AND REPRODUCING DEVICE AND METHOD
US12/224,082 US8102436B2 (en) 2006-12-18 2007-12-18 Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
JP2008550156A JP5141559B2 (ja) 2006-12-18 2007-12-18 撮像装置及び方法、記録装置及び方法、再生装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-339529 2006-12-18
JP2006339529 2006-12-18

Publications (1)

Publication Number Publication Date
WO2008075688A1 true WO2008075688A1 (ja) 2008-06-26

Family

ID=39536317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/074328 WO2008075688A1 (ja) 2006-12-18 2007-12-18 撮像装置及び方法、記録装置及び方法、再生装置及び方法

Country Status (6)

Country Link
US (1) US8102436B2 (ja)
EP (1) EP2129108A4 (ja)
JP (1) JP5141559B2 (ja)
KR (1) KR20090091646A (ja)
CN (1) CN101385334B (ja)
WO (1) WO2008075688A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130044A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2010226228A (ja) * 2009-03-19 2010-10-07 Canon Inc 撮像装置及び撮像方法
JP2015039242A (ja) * 2014-11-21 2015-02-26 株式会社ニコン 撮像装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5451593B2 (ja) * 2008-06-09 2014-03-26 パナソニック株式会社 撮像装置、撮像方法
JP5460180B2 (ja) * 2009-08-25 2014-04-02 キヤノン株式会社 撮像装置及びその制御方法
KR101613931B1 (ko) * 2009-09-10 2016-04-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
JP5531710B2 (ja) * 2010-03-29 2014-06-25 ソニー株式会社 記録装置および記録方法
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
JP5317023B2 (ja) * 2010-09-16 2013-10-16 カシオ計算機株式会社 手ぶれ補正装置、手ぶれ補正方法およびプログラム
JP5764740B2 (ja) * 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
US8793118B2 (en) * 2011-11-01 2014-07-29 PES School of Engineering Adaptive multimodal communication assist system
US9013760B1 (en) 2012-02-15 2015-04-21 Marvell International Ltd. Method and apparatus for using data compression techniques to increase a speed at which documents are scanned through a scanning device
RU2018130065A (ru) * 2012-03-30 2019-03-15 Никон Корпорейшн Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений
CN105827983B (zh) * 2012-07-12 2018-11-06 奥林巴斯株式会社 摄像装置
US8970718B2 (en) 2012-07-12 2015-03-03 Gopro, Inc. Image capture accelerator
CN109256404B (zh) 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN104580943B (zh) * 2013-10-28 2019-10-18 原相科技股份有限公司 影像感测系统和方法以及眼球追踪系统和方法
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
CN103713407B (zh) * 2013-12-20 2016-08-17 武汉精立电子技术有限公司 Lcd屏色彩分析仪
JP6300651B2 (ja) * 2014-06-12 2018-03-28 オリンパス株式会社 動画記録再生装置
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9170707B1 (en) 2014-09-30 2015-10-27 Google Inc. Method and system for generating a smart time-lapse video clip
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
CN104486555B (zh) * 2014-10-28 2019-02-12 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
EP3493529A4 (en) * 2016-07-26 2019-07-31 Sony Corporation IMAGE CONTROL DEVICE, IMAGING CONTROL METHOD AND IMAGING ELEMENT
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
JP7057635B2 (ja) * 2017-08-15 2022-04-20 キヤノン株式会社 撮像装置、カメラおよび輸送機器
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5642480A (en) 1979-09-14 1981-04-20 Nec Corp Simultaneous display device for moving pattern and still pattern
JPS642480A (en) 1987-06-25 1989-01-06 Matsushita Electric Ind Co Ltd Image pickup device
JPH01105674A (ja) 1987-10-19 1989-04-24 Hitachi Ltd 固体撮像装置
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
JPH09163208A (ja) * 1995-12-05 1997-06-20 Olympus Optical Co Ltd 撮像装置
JPH09214836A (ja) * 1996-02-07 1997-08-15 Olympus Optical Co Ltd 撮像装置
JPH1051735A (ja) 1996-08-06 1998-02-20 Casio Comput Co Ltd 高速度撮影装置
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
JP2000299810A (ja) * 1999-04-13 2000-10-24 Matsushita Electric Ind Co Ltd 撮像装置
JP2003189186A (ja) * 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 撮像装置
JP2004180240A (ja) * 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
JP2005295423A (ja) 2004-04-05 2005-10-20 Matsushita Electric Ind Co Ltd 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243139B1 (en) * 1993-12-22 2001-06-05 Canon Kabushiki Kaisha Apparatus for block-encoding input image signals
US6337928B1 (en) * 1996-08-26 2002-01-08 Canon Kabushiki Kaisha Image transmission apparatus and method therefor
JP3891654B2 (ja) * 1997-08-20 2007-03-14 株式会社東芝 画像形成装置
JP4049896B2 (ja) * 1998-07-09 2008-02-20 オリンパス株式会社 画像入力装置
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
EP1279111A4 (en) 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
JP4541610B2 (ja) * 2001-09-17 2010-09-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
US7777790B2 (en) 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5642480A (en) 1979-09-14 1981-04-20 Nec Corp Simultaneous display device for moving pattern and still pattern
JPS642480A (en) 1987-06-25 1989-01-06 Matsushita Electric Ind Co Ltd Image pickup device
JPH01105674A (ja) 1987-10-19 1989-04-24 Hitachi Ltd 固体撮像装置
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
JPH09163208A (ja) * 1995-12-05 1997-06-20 Olympus Optical Co Ltd 撮像装置
JPH09214836A (ja) * 1996-02-07 1997-08-15 Olympus Optical Co Ltd 撮像装置
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
JPH1051735A (ja) 1996-08-06 1998-02-20 Casio Comput Co Ltd 高速度撮影装置
JP2000299810A (ja) * 1999-04-13 2000-10-24 Matsushita Electric Ind Co Ltd 撮像装置
JP2003189186A (ja) * 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 撮像装置
JP2004180240A (ja) * 2002-11-29 2004-06-24 Fujitsu Ltd 映像入力装置
JP2005295423A (ja) 2004-04-05 2005-10-20 Matsushita Electric Ind Co Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2129108A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130044A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2010226228A (ja) * 2009-03-19 2010-10-07 Canon Inc 撮像装置及び撮像方法
JP2015039242A (ja) * 2014-11-21 2015-02-26 株式会社ニコン 撮像装置

Also Published As

Publication number Publication date
CN101385334A (zh) 2009-03-11
JPWO2008075688A1 (ja) 2010-04-15
EP2129108A1 (en) 2009-12-02
EP2129108A4 (en) 2011-10-26
CN101385334B (zh) 2011-09-14
KR20090091646A (ko) 2009-08-28
US20090059031A1 (en) 2009-03-05
US8102436B2 (en) 2012-01-24
JP5141559B2 (ja) 2013-02-13

Similar Documents

Publication Publication Date Title
JP5141559B2 (ja) 撮像装置及び方法、記録装置及び方法、再生装置及び方法
US8903222B2 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
KR100820528B1 (ko) 디지털 카메라와, 그것에 이용 가능한 메모리 제어 장치,화상 처리 장치 및 화상 처리 방법
US8743227B2 (en) Imaging apparatus and control method for reducing a load of writing image data on a recording medium
JP5153674B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2010147508A (ja) 撮影装置及び再生装置
JP3221785B2 (ja) 撮像装置
JP2008124671A (ja) 撮像装置および撮像方法
JP4724639B2 (ja) 撮像装置
JP2004180345A (ja) 撮影画像記録装置
JP2004282780A (ja) 撮像装置
JP3384910B2 (ja) 撮像装置および画像再生装置
JP2005217493A (ja) 撮像装置
JP2001025011A (ja) 符号化装置、画像処理装置、カメラ一体型画像記録装置、画像処理システム、符号化方法、及び記憶媒体
JP3572819B2 (ja) ディジタル画像圧縮符号化装置
JP2005229553A (ja) 画像処理装置
JP4072222B2 (ja) 記録再生装置
JPH0865565A (ja) 撮像記録装置
JPH08265759A (ja) 圧縮信号切換装置
JPH1188894A (ja) 圧縮画像データの復号装置及び圧縮画像データの復号方法
JP2007184682A (ja) 画像符号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1020087019904

Country of ref document: KR

Ref document number: 2007850814

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12224082

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008550156

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200780005855.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07850814

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE