WO2007094403A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007094403A1
WO2007094403A1 PCT/JP2007/052716 JP2007052716W WO2007094403A1 WO 2007094403 A1 WO2007094403 A1 WO 2007094403A1 JP 2007052716 W JP2007052716 W JP 2007052716W WO 2007094403 A1 WO2007094403 A1 WO 2007094403A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
solid
imaging
imaging device
frequency component
Prior art date
Application number
PCT/JP2007/052716
Other languages
English (en)
French (fr)
Inventor
Yasushi Fukushima
Tadami Mine
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to CN2007800136334A priority Critical patent/CN101422034B/zh
Priority to US12/279,603 priority patent/US8144206B2/en
Priority to JP2007531122A priority patent/JP5033628B2/ja
Publication of WO2007094403A1 publication Critical patent/WO2007094403A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Definitions

  • the present invention relates to a high-speed imaging device such as a video camera capable of slow motion playback.
  • FIG. 20 is a block diagram showing the configuration of this camera apparatus.
  • the CCD imaging unit 101 uses a CCD (Charge Coupled Device) as a solid-state imaging device, and performs photoelectric conversion of an image.
  • charge transfer is performed at the driving speed fc by the transfer unit 102, and the image pickup output signal is A / D converted and then stored in the finered memory 103.
  • the transfer unit 102 drives the CCD image pickup unit 101 at a driving speed 3fc that is 3 times the normal speed, and the output signal is the normal 3 A / D conversion is performed at double sampling frequency 3fc.
  • the 3 ⁇ speed video signal is stored in # 1 to # 3 of the field memory 103.
  • the imaging unit 101, the transfer unit 102, and the field memory 103 operate in response to a control signal from the control circuit 105.
  • the contact point of the signal switching unit (selector) 108 is in contact with the a side during normal-speed shooting, the signal from the CCD transfer unit 102 is directly taken out and sent to the camera signal processing circuit 109.
  • the output of the adder 107 is sent to the camera signal processing circuit 109.
  • the signal processed by the camera signal processing circuit 109 is sent to a subsequent circuit and recorded or monitored by a known method.
  • a video signal is written into the buffer memory 104 at a high speed in order to later reproduce the signal photographed at the high speed at a normal speed. Thereafter, the shooting is stopped, or instead of the signal being shot, the video signal stored in the buffer memory 104 at that time is read out by 3 Jc at the normal speed.
  • Patent Document 1 Japanese Patent Laid-Open No. 11 32241 (page 3, page 5)
  • the field memory or the buffer memory and subsequent circuits in high-speed imaging can be performed at normal speed operation. From the CCD imaging unit to the memory, it is necessary to operate at high speed. However, it is very difficult to operate at a higher data rate than usual, especially when writing to a memory from a solid-state imaging device such as a CCD.
  • An object of the present invention is to provide an imaging device capable of obtaining a high data rate image capable of slow motion playback at a normal data rate that does not need to increase the data rate of writing to the memory during high-speed imaging. It is to be.
  • the imaging apparatus has a discrete pixel structure, and in the case of normal imaging in which imaging is performed at the first frame rate, each pixel is compared with M pixels for one frame.
  • N frames for each M pixels An image pickup unit that outputs signals of M / N (M and N are integers of 2 or more) sample points by mixing the signals of the pixels of
  • the output signal from the imaging unit is output as it is, and in the case of the high-speed imaging, the output signal from the imaging unit is (N 1 1) samples between each sample point.
  • the imaging unit includes at least a first solid-state imaging device having a discrete pixel structure and a second solid-state imaging device having a discrete pixel structure,
  • the first solid-state image sensor and the second solid-state image sensor each have a corresponding pixel
  • a combination of N pixels mixed in the first solid-state imaging device and a combination of N pixels mixed in the second solid-state imaging device are different from each other.
  • An output signal force at the Sampnore point of the first solid-state imaging device to generate an interpolated first low-frequency component
  • the second low-frequency component and the high-frequency component may be added to obtain a signal of the second solid-state imaging device.
  • the calculation unit includes: With respect to the output signal of M / N sample points from the first solid-state imaging device, a signal with a value of 0 is inserted between each signal and (N-1) sample points, As a signal of M sample points,
  • the non-zero signal sampling point is shifted from the output signal of the first solid-state imaging device. Insert a signal with a value of 0 for (N—1) sumnoire points into the whole to make a signal of M sample points,
  • the signal power of the first solid-state image sensor generates a first interpolated low frequency component
  • the signal power of the second solid-state image sensor generates a second interpolated second low frequency component
  • the output signal of the first solid-state image sensor at the point and the output signal of the second solid-state image sensor are added to generate a high-frequency component of the added signal
  • the first low-frequency component and the high-frequency component The component is added to obtain the signal of the first solid-state image sensor
  • the second low-frequency component and the high-frequency component may be added to obtain a signal of the second solid-state imaging device.
  • the imaging unit may further include a third solid-state imaging device having a discrete pixel structure and having pixels corresponding to the pixels of the first and second solid-state imaging elements.
  • the calculation unit performs the interpolation calculation in the following manner.
  • the output signal of the sample point of the first solid-state image sensor and the output signal of the sample point of the second solid-state image sensor are added to generate a high-frequency component of the added signal, and the third low-frequency component And the high-frequency component may be added to obtain a signal of the third solid-state imaging device.
  • the imaging unit may further include a third solid-state imaging device having a discrete pixel structure and having pixels corresponding to the pixels of the first and second solid-state imaging elements.
  • the calculation unit performs the interpolation calculation in the following manner.
  • each sample's non-zero sampling point is shifted from the output signal of the first solid-state image sensor. Insert a signal with a value of 0 for (N-1) sample points between the signals, and make the whole signal of M sample points.
  • the output signal of the MZN sample points from the third solid-state image sensor is associated with the output signal of the sample point from the first solid-state image sensor, and (N_l
  • Signal force of the third solid-state imaging device Generates an interpolated third low-frequency component, and the output signal of the first solid-state imaging device and the output of the second solid-state imaging device at the corresponding Sampnore points The signal is added to generate a high-frequency component of the added signal, and the third low-frequency component and the high-frequency component are added to obtain the signal of the third solid-state imaging device Good.
  • the imaging unit may include first to third solid-state imaging elements corresponding to the G, B, and R channels.
  • the imaging unit includes first and second solid-state imaging devices corresponding to the G1 channel and the G2 channel obtained by dividing the G channel into two, a third solid-state imaging device corresponding to the B channel, and R And a fourth solid-state imaging device corresponding to the channel.
  • first and second solid-state imaging devices corresponding to the G1 channel and the G2 channel obtained by dividing the G channel into two
  • a third solid-state imaging device corresponding to the B channel and R And a fourth solid-state imaging device corresponding to the channel.
  • output signals from the first and second solid-state imaging elements corresponding to the G1 channel and the G2 channel are added to obtain a G channel signal.
  • a signal obtained by adding the output signal of the first solid-state image sensor at the sample points corresponding to each other and the output signal of the second solid-state image sensor is used as a G channel signal.
  • a storage unit that stores the output signal of the imaging unit and outputs the stored output signal to the calculation unit may be further provided between the imaging unit and the calculation unit.
  • the calculation unit may calculate an output signal from the storage unit.
  • the frame rate output from the imaging unit may be higher than the frame rate output from the storage unit.
  • the data rate can be maintained at the same level as normal while increasing the frame rate output from the imaging unit during high-speed imaging. As a result, an excellent effect can be obtained if a slow-motion playback image can be obtained without requiring operation at a high data rate.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an imaging unit in the imaging apparatus of FIG.
  • FIG. 3 is a schematic diagram showing a combination of pixels that are mixed in the three solid-state imaging devices in the imaging unit of FIG.
  • FIG. 4 (a) is a schematic diagram showing the relationship of the signal to the frequency before pixel mixing, (b) is a schematic diagram showing the relationship between the frequency after pixel mixing and the signal, and (c) FIG. 5 is a schematic diagram showing that aliasing components are canceled out by adding signals of G channel and R channel with different combinations of pixel mixing.
  • FIG. 5 is a block diagram showing a configuration of an interpolation circuit in the imaging apparatus of FIG.
  • FIG. 6 (a) is a schematic diagram showing the relationship of the number of frames with respect to the time at the time of output from the imaging unit, and (b) is a schematic diagram showing the relationship of the number of frames with respect to the time at the time of memory writing.
  • (C) is a schematic diagram showing the relationship of the number of frames to the time during slow playback.
  • FIG. 7 (a) is a schematic diagram showing the relationship between the number of pixels per frame during normal imaging, and (b) is a schematic diagram showing the relationship between the number of pixels per frame during memory writing during high-speed imaging. (C) is a schematic diagram showing the relationship between the number of pixels for each frame at the time of output from the interpolation circuit.
  • FIG. 8 (a) is a schematic diagram showing signals corresponding to G-channel pixels during normal imaging, and (b) is a schematic diagram showing mixed signals of G-channel pixels during high-speed imaging. Yes, (c) is a schematic diagram showing a B-channel pixel mixed signal during high-speed imaging, (d) is a G channel slow playback signal during slow playback, and (e) is a slow playback signal. B during playback It is the schematic which shows the slow reproduction signal of Yannel.
  • FIG. 9] (a) to (g) are schematic diagrams showing pixels in each step of the interpolation calculation.
  • FIG. 10 is a flowchart of an imaging method according to Embodiment 1 of the present invention.
  • FIG. 11 is a flowchart regarding the details of the interpolation calculation of FIG.
  • FIG. 12 is a flowchart relating to details when zero insertion is performed in the interpolation calculation of FIG.
  • FIG. 13 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 14 is a block diagram showing a configuration of an imaging unit in the imaging apparatus of FIG.
  • 15 is a schematic diagram showing a combination of pixels to be mixed in the four solid-state image sensors in the imaging unit of FIG.
  • 16 is a block diagram showing a configuration of an interpolation circuit in the imaging apparatus of FIG.
  • FIG. 17 is a schematic diagram showing a method of halving the Sampnore point different from FIG.
  • FIG. 18 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 19 is a block diagram showing a configuration of another example of an imaging apparatus.
  • FIG. 20 is a block diagram showing a configuration of a conventional imaging device.
  • FIG. 1 is a block diagram showing a configuration of imaging apparatus 20 according to Embodiment 1 of the present invention.
  • the imaging device 20 includes an imaging unit 1, an A / D converter 2, a frame memory 3, a nother memory 4, a control circuit 5, a selector 6, an interpolation circuit 7, a selector 8, a camera signal processing circuit 9, and an output terminal 10. Prepare.
  • FIG. 2 is a schematic diagram showing a detailed configuration of the imaging unit 1.
  • the imaging unit 1 converts an optical image signal into an electrical signal and outputs it.
  • the imaging method is three solid-state imaging This is a three-plate system consisting of elements 11G, 11B, and 11R.
  • the optical prism 12 separates light incident from a lens (not shown) into three color components of green (G), blue (B), and red (R).
  • the solid-state imaging devices 11G, 11B, and 11R correspond to the G, B, and R channels, respectively, and are, for example, CCD type imaging devices.
  • the solid-state imaging devices 11G, 11B, and 11R have a discrete pixel structure, and spatially sample an image and convert it into an electrical signal.
  • the solid-state imaging devices 11G, 11B, and 11R are driven by the drive circuit 13.
  • FIG. 3 is a schematic diagram showing a two-dimensional arrangement of pixels that perform photoelectric conversion of the solid-state imaging devices 11G, 11B, and 11R.
  • the solid-state imaging devices 11G, 11B, and 11R are separately arranged, but the pixel gl l of the solid-state imaging device 11G, the pixel bl l of the solid-state imaging device 11B, and the pixel rl l of the solid-state imaging device 11R are each optical. Correspond to the same position. That is, the pixels gl 1, bl l, and rl l correspond to the same sample point in space.
  • the AZD converter 2 converts the analog video signal output from the imaging unit 1 into a digital video signal and inputs the digital video signal to the frame memory 3 and the buffer memory 4. Outputs of the frame memory 3 and the buffer memory 4 are connected to the selector 6.
  • the selectors 6 and 8 are controlled by the control circuit 5.
  • An interpolation circuit 7 is provided between the output c of the selector 6 and the contact b of the selector 8.
  • the interpolation circuit 7 can interpolate the sampling point of the pixel that is insufficient due to the pixel mixture by interpolation, and obtain the sampling point of the original number of pixels.
  • the output c of the selector 8 is supplied to the camera signal processing circuit 9.
  • the camera signal processing circuit 9 performs signal processing necessary for normal cameras such as offset adjustment, gain adjustment, gamma correction, and contour correction, and the output signal is a standard-format video signal that can be recorded and displayed.
  • the control circuit 5 selects the input signal at the contact a of the selectors 6 and 8 and outputs it from the contact c. Therefore, the output signal of the frame memory 3 is supplied to the camera signal processing circuit 9 through the selector 6 and the selector 8. Note that the frame memory 3 may be bypassed when it is not necessary to use the frame memory 3 at the time of imaging at normal speed.
  • the speed ratio of the slow motion video is 1/2, that is, high speed imaging with double speed
  • the operation at high-speed imaging relates to the operation from imaging unit 1 to writing to memories 3 and 4.
  • the operation at the time of monitoring refers to the operation of monitoring at the same frame rate by reducing the frame rate.
  • the operation during slow playback relates to the operation until the slow playback signal is output via the interpolation circuit 7.
  • the imaging unit 1 outputs a video signal of 120 frames per second, which is faster than the normal 60 frames of video signal per second.
  • This imaging signal is converted into a digital video signal by the A / D converter 2 and further written into the frame memory 3 and the buffer memory 4.
  • the frame memory 3 is used for monitoring during shooting, and the buffer memory 4 is used for buffering for slow playback.
  • the buffer memory 4 is a memory for storing a large amount of information obtained at the time of high-speed imaging without losing it. Therefore, the buffer memory 4 does not need to be a memory that can be written and read at the same time. Good.
  • the selector 6 and the selector 8 select the input signal of the contact a by the control circuit 5 and output from the contact c. That is, the same 60 frames per second video signal as that during normal imaging is supplied to the camera signal processing circuit 9 and used for displaying the signal on the viewfinder, for example.
  • the contact point b may be selected by the selector 8, and an output signal of the interpolation circuit 7 described later may be used as a monitoring signal.
  • FIG. 6A is a schematic diagram showing the relationship between the number of frames per time when outputting from the imaging unit 1, when FIG. 6B is writing to the buffer memory 4, and when FIG. 6C is slow playback. It is a schematic diagram. The operation during slow playback will be described with reference to (a) to (c) of FIG.
  • the frame rate is 120 frames per second when outputting from the imaging unit 1 and when writing to the memory 4.
  • data is written to the buffer memory 4 as shown in Fig. 6 (c). This is done by slowly reading the inserted video signal.
  • the buffer memory 4 reads out 120 frames of video signal per second, and at the time of force slow playback, it is read out at 60 frames per second over 2 times.
  • the reproduction signal power S of the buffer memory 4 is supplied to the camera signal processing circuit 9 through the selector 6 and subjected to various signal processing, and is output from the output terminal 10 as a slow reproduction signal. Since 120 frames per second are output over 2 seconds, playback is slow. On the other hand, since it is played at 60 frames per second at the normal frame rate, smooth and beautiful slow playback images can be obtained.
  • signal charges are added and output for a plurality of pixels in the solid-state imaging devices 11G, 11B, and 11R of the imaging unit 1. For example, if the signal charge of two horizontal pixels is calculated, the number of pixels output from the image sensor is halved, so even if it is driven with the same drive clock as usual, the time required for output is 1Z2. . That is, even if the frame rate is doubled, the number of pixels per frame can be halved, so that the data rate of signals from the solid-state imaging devices 11G, 11B, and 11R may be the same. In other words, the video signal written to the frame memory 3 and the buffer memory 4 during high-speed imaging can have the same pixel rate as that during normal imaging although the frame rate is doubled.
  • FIG. 7 (a) is a schematic diagram showing the relationship between the number of pixels per frame during normal imaging.
  • Fig. 7 (b) is a schematic diagram showing the relationship between the number of pixels per frame during memory writing during high-speed imaging.
  • Fig. 7 (c) is a schematic diagram showing the relationship between the number of pixels per frame at the time of output from the interpolation circuit.
  • high-speed imaging results in 1Z2 pixels per frame due to pixel mixing, and the data rate can be suppressed.
  • FIG. 7 (c) the same number of pixels per frame as in normal imaging can be obtained by subsequent interpolation processing.
  • the timing of the pulse applied to the final electrode of the horizontal CCD and the reset pulse applied to the reset gate electrode is applied to the transfer electrode of the horizontal CCD.
  • the period is twice that of the applied drive pulse.
  • the period of the driving pulse applied to the transfer electrode of the horizontal CCD outputs the signal charge of one pixel individually
  • the force S which is the same as the period of the case, the period of the pulse applied to the final electrode, and the period of the pulse applied to the reset gate electrode are set to double that when the signal charge is output individually.
  • the signal charge transferred from the CCD is transferred after the signal charges of two adjacent pixels are added under the final electrode.
  • This pixel mixture is described in detail in, for example, Japanese Patent Application Laid-Open No. 2000-174253.
  • the interpolation circuit 7 Since the number of samples of the written video signal is 1Z2 which is normal, when reading the signal from the frame memory 3 and the buffer memory 4, the signal is output at a rate of once every two clocks. As for this output signal, the interpolation circuit 7 generates the sampling points of the missing pixels by the interpolation operation, and can obtain the same number of sampling points as the normal number.
  • the selector 8 the input signal of the contact b is selected by the control circuit 5, the signal is output from the contact c, and is subjected to various signal processing by the power signal processing circuit 9.
  • the output signal of the frame memory 3 is subjected to interpolation processing by the interpolation circuit 7 and becomes a signal to the viewfinder (not shown), and during slow playback, the output signal of the buffer memory 4 is the interpolation circuit 7. Is subjected to an interpolation process to become a slow reproduction signal.
  • the output signal from the solid-state imaging device 11G corresponds to each pixel of the solid-state imaging device 11G, gl l, gl2 , gl 3... are read out in order, one line at a time. This signal is written to buffer memory 4.
  • the signal output from the first line takes less than half the time required to read all pixel signals when mixing pixels. Ends.
  • the signal for one line in normal operation can be read out, and the signal for two lines can be read out during pixel mixing. That is, in the case of a signal of 60 frames per second in normal operation, a signal of 120 frames per second is written to the buffer memory 4 when two pixels are mixed.
  • Fig. 4 (a) is a schematic diagram showing the relationship of the signal to the frequency of the signal before pixel mixing.
  • Fig. 4 (b) is a schematic diagram showing the relationship of the signal to the frequency of the signal after pixel mixing.
  • the sampling frequency corresponding to the pixel-to-pixel spacing is fSO in each solid-state image sensor
  • the video signal obtained by spatial sampling by each pixel of the solid-state image sensor is shown in (a) of FIG. )become that way.
  • fNO is fSO / 2, which is the Nyquist frequency.
  • the process of mixing the signals of two pixels in the horizontal direction is a kind of low-pass filter processing.
  • the spectrum of the signal after image mixing is Nyquist frequency fNO as shown in Fig. 4 (b).
  • the vicinity is attenuated.
  • the spatial sampling interval is doubled, so the new sampling frequency fSl is fSO / 2,
  • the spectrum of the signal after pixel mixing has a problem that a new folded component MoG is generated in fSl as shown in Fig. 4 (c).
  • the imaging device 20 when two pixels are mixed in the horizontal direction during the high-speed imaging described above, the combination of pixels mixed in the G channel, the R channel, and the B channel is changed.
  • G channel the signals of 2 pixels are mixed in the horizontal direction by the combination of gl l + gl2, gl3 + g 14, and g 15 + gl6.
  • B channel mixing is performed with a combination of each pixel of bl 2 + bl 3 and bl 4 + bl5.
  • the pixel combination to be mixed is shifted from the G channel.
  • the R channel mixes the pixels by mixing the mixed pixels with the G channel.
  • sample points after pixel mixing are shifted by one pixel in the positions of the force S, G channel, and R channel that are spaced by two pixels. .
  • sample points after pixel mixing are so-called pixel-shifted sampling in the G channel and R channel.
  • the sample points after mixing the two pixels are shifted by 180 degrees. Therefore, in the G channel and R channel, the aliasing components at the new sampling frequency fSl are inverted in phase as shown by MoG and MoR in Fig. 4 (c). Therefore, the present inventor has found that the aliasing component at the sampling frequency fSl can be canceled by calculating the G channel and R channel signals. Note that many of the aliasing components MoG and MoR are included in the high frequency region centered on the new sampling frequency fSl.
  • FIG. 5 is a block diagram showing the configuration of the interpolation circuit 7.
  • a 0-input circuit 71G inserts “0” between the sampled points after pixel mixing to double the sampling frequency.
  • the sampling positions after pixel mixing are shifted by a half cycle, so the time axis is aligned by the “0” insertion method.
  • “0” is inserted into the corresponding sample points of the R and B channels for the sample points where the G channel signal exists.
  • “0” is inserted into the corresponding sample points of the G channel.
  • the low pass filters 72G, 72B, 72R For each channel video signal after insertion of "0", only the low frequency components of the respective signals are extracted by the low pass filters 72G, 72B, 72R.
  • high-frequency components for example, G channel and R channel signals are added by an adder 70 in order to cancel the aliasing signal generated by pixel mixing.
  • the high-frequency component of the signal is extracted from the output signal of the adder 70 by the high-pass filter 73.
  • This high-frequency component can be regarded as common to all G channels, R channels, and B channels. Therefore, in the calorie calculators 74G, 74B, and 74R, the common high-frequency component and the low-frequency component of each channel are added to obtain an interpolated signal of each channel.
  • the buffer memory 4 force outputs a signal in which sample points are mixedly arranged for two horizontal pixels.
  • the R channel Similar to the G channel, the R channel outputs a signal in which sample points that are mixed pixels for two horizontal pixels are arranged repeatedly as shown in Fig. 9 (d). .
  • the 0-input circuit 71G performs 0-input processing and the signal shown in FIG.
  • a signal in which G channel data and R channel data are present alternately is obtained as shown in Fig. 9 (g).
  • the high pixel rate is achieved while the high frame rate is achieved by adding the signals of two horizontal pixels in the solid-state imaging device of the imaging unit 1 during high-speed imaging. Can be suppressed.
  • the sampling frequency generated by pixel mixing is obtained. Generation of the folding component can be reduced.
  • vertical pixel mixing may be performed instead of horizontal pixel mixing.
  • the signal charge in the vertical CCD may be transferred twice within the horizontal blanking period.
  • the signal charge read from the photoelectric conversion element to the vertical CCD is transferred by two pixels in the vertical CCD by applying a panel twice to the transfer electrode of the vertical CCD during the horizontal blanking period.
  • the signal charge of the last stage of each vertical CCD and the signal charge of the preceding stage are continuously transferred to the horizontal CCD and added in the horizontal CCD.
  • the horizontal CCD that has received two rows of signal charge from the vertical CCD sequentially transfers it to the output section. Since the charges for two adjacent pixels in the vertical direction are added, the number of horizontal transfers required to output the signal charge for all pixels is 1Z2 when the signal charge for each pixel is output individually. . Therefore, the time required to output signal charges for all pixels is also 1Z2.
  • the image pickup device of the image pickup unit is not limited to the CCD.
  • a CMOS type image pickup device that outputs a digital signal can achieve the same effect.
  • the force S that simplifies the control It is not limited.
  • FIG. 10 is a flowchart of the imaging method according to the first embodiment.
  • An interpolated signal can be obtained by the above imaging method.
  • FIG. 11 is a flowchart showing details of the interpolation calculation.
  • a high frequency component of the added signal is generated (S13). This high-frequency component is considered to be common for the output from each solid-state image sensor. (d) Add the first low-frequency component and the high-frequency component to obtain the signal of the first solid-state image sensor
  • a signal subjected to the interpolation calculation can be obtained as described above.
  • FIG. 12 is a more detailed flowchart of the interpolation calculation in the case of performing 0 insertion processing and adding a shifted non-zero sample point in the interpolation calculation.
  • (b) With respect to the output signal from the second solid-state image sensor, (N_ l) signals between the signals so that the non-zero signal sampling point is shifted from the output signal of the first solid-state image sensor. Insert a signal with a value of 0 at the sample point (S22).
  • FIG. 13 is a block diagram showing the configuration of the imaging device 20a according to Embodiment 2 of the present invention.
  • the imaging device 20a includes an imaging unit la, an A / D converter 2, a control circuit 5, an interpolation circuit 7a, A selector 8, a camera signal processing circuit 9, an output terminal 10, and an adder circuit 21 are provided.
  • the image pickup apparatus 20a has an image pickup unit la that is not a three-plate type, and that any one color channel, for example, a G channel is divided into two channels Gl and G2. It differs in that it is a method.
  • the frame memory 3 and the buffer memory 4 are not provided, but on the other hand, an addition circuit 21 is provided.
  • FIG. 14 is a schematic diagram showing the configuration of the imaging unit la.
  • the imaging unit la converts an optical image signal into an electrical signal and outputs it.
  • the imaging system is a four-plate system consisting of four solid-state imaging elements.
  • light incident from a lens is separated for each color by the optical prism 12 and imaged by the respective solid-state imaging devices 11R, 11G1, 11G2, and 1IB.
  • the optical prism 12 is composed of four glass blocks, each of which has a thin film deposited on its boundary surface to reflect light of a specific wavelength and transmit light of the remaining wavelength. Yes.
  • the incident light is reflected by the blue (B) component and the remaining component is transmitted through the first deposition surface.
  • the red (R) component is reflected and the remaining green (G) component is transmitted.
  • the third deposition surface is a half mirror with no wavelength selectivity, and half of green is reflected and the remaining half is transmitted.
  • the solid-state imaging devices 11G1 and 11G2 correspond to the G channel, and the solid-state imaging devices 11B and 11R correspond to the B and R channels, respectively. These are, for example, CCD type image sensors, have a discrete pixel structure, and spatially sample images and convert them into electrical signals.
  • the drive circuit 13 drives the solid-state imaging devices 11G1, 11G2, 11B, and 11R. Further, as shown in FIG. 15, the pixel arrangements of the four solid-state imaging devices 11G1, 11G2, 11B, and 11R all correspond to the same optical position.
  • the incident light is divided into four optical signals by the optical prism 12 and forms an image on the solid-state imaging devices 11G1, 11G2, 11B, and 11R, but the pixels gfl l, gsl l, bl l, rl in FIG. l samples the same optical position.
  • four video signals G1, G2, B, and R are output signals.
  • the imaging unit la In the solid-state imaging device 11G1, 11G2, 11B, 11R, the signal charge of 2 pixels is added and output. For example, if the signal charges of two horizontal pixels are added, the number of pixels output from the solid-state imaging device will be halved, so driving with the same drive clock will halve the time required for output. . Therefore, even if the frame rate is doubled, the signal rate (data rate) from the solid-state imaging devices 11G1, 11G2, 11B, and 11R can be made the same as that at the time of normal speed shooting.
  • the combination of the mixed pixels is changed in the G1 channel and the G2 channel. That is, as shown by the broken line in FIG. 15, in the G1 channel, the force that mixes signals of two pixels in the horizontal direction with the combination of gfl l + gfl 2, gfl3 + gfl4, gfl 5 + gf 16, and in the G2 channel, the gsl 2 + Gsl 3, gsl4 + gsl 5, and so on. In the R channel and B channel, pixels are mixed in the same combination as the G1 channel.
  • the sample points after the pixel mixture are shifted by one pixel in the positions of the force G1 channel and the G2 channel that are spaced by two pixels.
  • the sampling point after pixel mixing is so-called pixel-shifted sampling in the G1 and G2 channels. Therefore, by superimposing the G1 and G2 channel signals, it is possible to obtain the same number of horizontal pixels as before mixing pixels while mixing pixels. This is equivalent to canceling the aliasing component generated by mixing two pixels, as in the first embodiment.
  • the same G signal is added to the same G signal while shifting the pixels, so that the aliasing component can be completely canceled.
  • the output signal of the imaging unit 1a is converted into a digital video signal by the AZD converter 2, and further added. Input to road 21.
  • the adder circuit 21 two G channel signals Gl and G2 are added to each sample point to generate a G signal.
  • the sample points of the two G-channel solid-state image sensors 11G1 and 11G2 are the corresponding sample points, so adding them doubles the signal amount. Since the G channel component is shared by the two solid-state image sensors, the maximum saturation signal level is doubled and the dynamic range is increased.
  • the R channel and B channel signals are output as they are.
  • the selector 8 selects the contact a input signal by the control circuit 5
  • the output of the adder circuit 21 is output from the contact c
  • the camera signal processing circuit 9 performs various signal processing. And output from output terminal 10.
  • the speed ratio of the slow motion video to the normal speed is 1Z2, that is, a high-speed imaging at a double speed
  • a video signal of 120 frames per second is output from the imaging unit la for 60 frames per second.
  • pixel mixing is performed by two pixels in each horizontal direction in each solid-state imaging device, and the number of output samplings per frame is halved.
  • the output signal of the imaging unit la is converted into a digital video signal by the A / D converter 2 and further input to the interpolation circuit 7a.
  • the signal output from the imaging unit la has the same pixel rate as that during normal imaging, although the frame rate is twice that during normal imaging.
  • the sampling frequency in the A / D converter 2 is the same as in normal imaging.
  • FIG. 16 is a block diagram showing a configuration of the interpolation circuit 7a.
  • this interpolation circuit 7a for the input signals of the Gl, G2, B, and R channels, first, “0” is inserted for each pixel by the 0 insertion circuit 71G1, 71G2, 71R, 71B, and the pixel rate is set to 2 Double.
  • “0” is inserted so that the time axis is aligned after “0” is inserted. In other words, “0” is inserted into the corresponding sample point of the G2 channel for the sample point where the signal of the G1 channel exists.
  • the G1 channel signal and the G2 channel signal are added to the adder after the above-described zero insertion process.
  • the signal after the “0” insertion process the signal and “0” alternately exist, but as described above, the sample points where the signal is shifted in the G1 channel and the G2 channel. Therefore, the signal after adding the G1 channel signal and the G2 channel signal is equal to the alternate selection of the G1 channel signal and the G2 channel signal.
  • the output of the adder 70 becomes the G channel output signal of the interpolation circuit 7a. Further, only the high-frequency signal is extracted from the output of the adder 70 by the high-pass filter 73.
  • the video signal that has half the number of pixels due to pixel mixing in the imaging unit la during high-speed imaging is interpolated by the interpolation circuit 7a and output as the same number of sample point signals as during normal imaging. . Since the frame rate is twice the normal rate, the pixel rate is also twice the normal rate.
  • the control circuit 5 selects the input signal of the contact b and outputs it from the contact c. Therefore, the output signal of the interpolation circuit 7a is subjected to various signal processing by the camera signal processing circuit 9, and is output from the output terminal 10 as a high-speed imaging signal of double speed.
  • the output terminal 10 is connected to a recording device such as a semiconductor memory, a hard disk device, or a VTR, and records a high-speed imaging signal at a double speed. When this recorded signal is played back at a normal frame rate, a double slow playback signal can be obtained.
  • a method of setting the number of signal samples to 1Z2 at the time of high-speed imaging the method of mixing two pixels has been described in Fig. 15 described above, but another method is also shown in Fig. 17.
  • this method only one pixel is used as a signal for every two horizontal pixels, and the other pixel is discarded and not used as a signal.
  • a mark is a pixel used as a signal
  • a pixel X is a pixel not used.
  • the signal charge may be discharged by an electronic shutter operation, for example.
  • the method shown in FIG. 17 does not use half-pixel signals, so it has the disadvantage of being more sensitive than adding signal charges in pixel mixing. There is an advantage that it does not deteriorate.
  • FIG. 18 is a block diagram showing the configuration of the imaging device 20b according to Embodiment 3 of the present invention.
  • the imaging device 20b includes an imaging unit la, an A / D converter 2, a buffer memory 4, a control circuit 5, an interpolation circuit 7a, a selector 8, a camera signal processing circuit 9, an output terminal 10, and an addition circuit 21.
  • This imaging device 20b is different from the imaging device according to Embodiment 2 in that it has a buffer memory 4.
  • the operation of the imaging apparatus 20b will be described with reference to FIG. 18 as appropriate. Descriptions of the same components as those in FIG. 13 are partially omitted.
  • the imaging unit la has the same configuration of the four-plate imaging method as in the second embodiment, and the same applies to pixel mixing during high-speed imaging, and thus the description thereof is omitted.
  • the imaging unit la performs pixel mixing of two pixels in the horizontal direction in the same manner as in the second embodiment, and outputs a video signal of 120 frames per second with the output sample number reduced to 1/2.
  • the output signal of the imaging unit la is converted into a digital video signal by the A / D converter 2 and further written into the buffer memory 4.
  • this buffer memory 4 is used as a buffer for slow playback. That is, the high-speed captured video signal to be played back is temporarily stored in the buffer memory 4.
  • Slow playback is performed by slowly reading the video signal written in the buffer memory 4.
  • the buffer memory 4 is read with 120 frames per second video signal S, and at slow playback, it is read out at 60 frames per second over twice the time.
  • the reproduction signal power interpolation circuit 7 a of this buffer memory 4 is inputted.
  • the selector 8 selects the input signal at the contact b by the control circuit 5 and outputs it from the contact c.
  • the output signal of the interpolation circuit 7 a is subjected to various signal processing by the camera signal processing circuit 9 and is output from the output terminal 10.
  • the output signal of the buffer memory 4 is a video signal of 60 frames per second with half the number of pixels per frame.
  • the output signal is obtained by the interpolation circuit 7a in the same manner as in the second embodiment. Is generated by interpolation for the missing sample points and has the same number of sample points as in high-speed imaging. By recording and reproducing using the buffer memory 4 as described above, a double slow reproduction signal can be obtained from the output terminal 10.
  • the video signal is written in the buffer memory 4 at the time of high-speed imaging, so the image at the time of shooting cannot be monitored. Therefore, for example, by using a dual port memory capable of writing and reading simultaneously as the nota memory 4, The problem can be solved. In other words, it is possible to output 60 frames of video signals per second by reading out the video signal of 120 frames per second to the buffer memory 4 while reading out 2 frames and decimating only 1 frame. It becomes.
  • the frame memory 3 may be added to the configuration of the imaging device 20c as shown in FIG.
  • the buffer memory 4 is used only for recording high-speed imaging signals
  • the frame memory 3 is used for monitoring during high-speed imaging.
  • the contact of selector 6 is selected as a
  • the contact of selector 8 is selected as b
  • 120 frames per second are written to the frame memory 3, while only 1 frame is thinned out every 2 frames.
  • the imaging device according to the present invention is useful as a high-speed imaging device such as a video camera that can realize beautiful slow motion reproduction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　本発明の撮像装置は、離散的な画素構造を有し、第１のフレームレートで撮像する通常撮像の場合には１フレームについてＭ個の画素に対してそれぞれの画素からのＭ個のサンプル点の信号をそのまま出力し、前記第１のフレームレートより大きい第２のフレームレートで撮像する高速撮像の場合には１フレームについてＭ個の画素に対してＮ個ずつの画素の信号を混合してＭ／Ｎ（Ｍ、Ｎは２以上の整数）個のサンプル点の信号を出力する撮像部と、前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（Ｎ－１）個のサンプル点の信号を補間する補間演算を行ってＭ個のサンプル点の補間された信号を出力する演算部とを備える。

Description

撮像装置
技術分野
[0001] 本発明は、スローモーション再生が可能なビデオカメラ等の高速撮像装置に関する 背景技術
[0002] 近年、ビデオカメラの高性能化が進み、特にディジタル技術の進展に伴い、通常よ り高速で撮影するスローモーション撮影が可能となっている。特にスポーツ中継など におレ、ては、美しレ、スローモーション再生は番組製作の上で大きな特徴となる。
[0003] 高速度撮影を行う場合、従来の標準のビデオ信号に対しその倍速度分の周波数 帯域を持つ信号を得ることが必要である。すなわち、 1/3スロー再生を得るために、 3倍速の撮影をする場合には、カメラ出力として 3倍速のフレームレートを有すること が必要であると共に、それによつて通常の 3倍のデータレートが必要となる。つまり、 カメラから通常のビデオ信号のフォーマットとは異なる、 3倍速のデータ出力が必要で あり、その信号伝送にも高速撮像専用の伝送装置が必要となる。
[0004] その課題を解決する一つの方法として、例えば、特許文献 1に開示されたカメラ装 置がある。図 20は、このカメラ装置の構成を示すブロック図である。このカメラ装置に おいては、 CCD撮像部 101は、固体撮像素子として CCD (Charge Coupled De vice)を用いており、画像の光電変換を行う。 CCD撮像部 101では転送部 102により 駆動速度 fcにて電荷転送が行われ、その撮像出力信号は A/D変換された後、フィ 一ノレドメモリ 103に蓄積される。
[0005] カメラ装置によって 3倍速度で撮影を行う場合、即ち n= 3の時には、転送部 102は 通常の 3倍の駆動速度 3fcで CCD撮像部 101を駆動し、その出力信号は通常の 3倍 のサンプリング周波数 3fcで A/D変換される。その 3倍速の映像信号は、フィールド メモリ 103の # 1〜# 3に記憶される。なお、撮像部 101、転送部 102、フィールドメモ リ 103は、制御回路 105から制御信号を受けて動作する。
[0006] クロック周波数 3fcでフィールドメモリ 103へ映像信号の書き込みが行われると同時 に、そのフィールドメモリの内容が正規のクロック周波数 fcで並列に読み出され、 1/ n減衰器 106において各々 1/3に減衰されてから加算器 107に送られる。従って、 加算器 107の出力には、フィーノレドメモリ 103の # 1〜 # 3の内容の平均値が正規速 度で出力される。
[0007] 信号切換器 (セレクタ） 108は、通常速度の撮影時にはその接点が a側に接してい るので、 CCDの転送部 102からの信号は直接取り出されてカメラ信号処理回路 109 に送られる。一方、高速撮像時及び低速撮影時にはその接点が b側に接しているの で、加算器 107の出力はカメラ信号処理回路 109に送られる。カメラ信号処理回路 1 09で処理された信号は後段の回路に送られ、公知の方法で録画され又はモニタさ れる。
[0008] そして、高速度で撮影した信号を後から正規速度で再生するために、バッファメモリ 104に高速度で映像信号を書き込んでいく。その後、撮影を停止するか、撮影中の 信号に代えて、その時にバッファメモリ 104に記憶されている映像信号を正規速度で 3Jcみ出す。
[0009] 特許文献 1：特開平 11 32241号公報 (第 3頁 第 5頁）
発明の開示
発明が解決しょうとする課題
[0010] 上記の技術においては、高速撮像においてフィールドメモリあるいはバッファメモリ 以降の回路は通常速度の動作で行うことができる力 CCD撮像部からメモリまでは、 高速で動作させる必要がある。しかし、特に CCDなどの固体撮像素子からメモリへの 書き込みにおいては、通常より高速のデータレートで動作させる事は非常に困難で ある。
[0011] 本発明の目的は、高速撮像時に、メモリへの書き込みのデータレートを高速化する 必要がなぐ通常のデータレートでスローモーション再生可能な高データレートの画 像を得られる撮像装置を提供することである。
課題を解決するための手段
[0012] 本発明に係る撮像装置は、離散的な画素構造を有し、第 1のフレームレートで撮像 する通常撮像の場合には 1フレームについて M個の画素に対してそれぞれの画素か らの M個のサンプノレ点の信号をそのまま出力し、前記第 1のフレームレートより大きい 第 2のフレームレートで撮像する高速撮像の場合には 1フレームについて M個の画 素に対して N個ずつの画素の信号を混合して M/N (M、 Nは 2以上の整数）個のサ ンプル点の信号を出力する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高 速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（N 一 1)個のサンプル点の信号を補間する補間演算を行って M個のサンプノレ点の補間 された信号を出力する演算部と、
を備えることを特徴とする。
[0013] また、前記撮像部は、少なくとも離散的な画素構造を有する第 1の固体撮像素子と 離散的な画素構造を有する第 2の固体撮像素子とを含み、
前記第 1の固体撮像素子と前記第 2の固体撮像素子とは、それぞれ対応する画素 を有し、
前記高速撮像において、前記第 1の固体撮像素子において混合する N個の画素 の組合せと、前記第 2の固体撮像素子において混合する N個の画素の組合せとは互 レ、に異なることが好ましい。
[0014] さらに、前記演算部は、前記補間演算において、
前記第 1の固体撮像素子のサンプノレ点の出力信号力 補間された第 1の低周波成 分を生成し、
前記第 2の固体撮像素子のサンプノレ点の出力信号から補間された第 2の低周波成 分を生成し、
前記第 1の固体撮像素子のサンプル点の出力信号と前記第 2の固体撮像素子の サンプノレ点の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 1の低周波成分と前記高周波成分とを加算して、前記第 1の固体撮像素子 の信号を得ると共に、
前記第 2の低周波成分と前記高周波成分とを加算して、前記第 2の固体撮像素子 の信号を得るものであってもよい。
[0015] またさらに、前記演算部は、前記補間演算において、 前記第 1の固体撮像素子からの M/N個のサンプル点の出力信号に対して、各信 号間に（N— 1)個のサンプル点について 0の値の信号を挿入して、全体を M個のサ ンプル点の信号とし、
前記第 2の固体撮像素子からの MZN個のサンプル点の出力信号に対して、 0で ない信号のサンプノレ点が前記第 1の固体撮像素子の出力信号とは互いにずれるよう にして、各信号間に（N—1)個のサンプノレ点について 0の値の信号を揷入して、全体 を M個のサンプル点の信号とし、
前記第 1の固体撮像素子の信号力 補間された第 1の低周波成分を生成し、 前記第 2の固体撮像素子の信号力 補間された第 2の低周波成分を生成し、 互いに対応するサンプノレ点の前記第 1の固体撮像素子の出力信号と前記第 2の固 体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 1の低周波成分と前記高周波成分とを加算して、前記第 1の固体撮像素子 の信号を得ると共に、
前記第 2の低周波成分と前記高周波成分とを加算して、前記第 2の固体撮像素子 の信号を得るものであってもよい。
[0016] また、前記撮像部は、離散的な画素構造を有し、前記第 1及び第 2の固体撮像素 子の各画素と対応する画素を有する第 3の固体撮像素子をさらに含んでもよい。この 場合に、前記演算部は、前記補間演算において、
前記第 3の固体撮像素子のサンプノレ点の出力信号から補間された第 3の低周波成 分を生成し、
前記第 1の固体撮像素子のサンプル点の出力信号と前記第 2の固体撮像素子の サンプノレ点の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 3の低周波成分と前記高周波成分とを加算して、前記第 3の固体撮像素子 の信号を得るものであってもよい。
[0017] さらに、前記撮像部は、離散的な画素構造を有し、前記第 1及び第 2の固体撮像素 子の各画素と対応する画素を有する第 3の固体撮像素子をさらに含んでもよい。この 場合に、前記演算部は、前記補間演算において、
前記第 1の固体撮像素子からの MZN個のサンプル点の出力信号に対して、各信 号間に（N— 1)個のサンプル点について 0の値の信号を挿入して、全体を M個のサ ンプル点の信号とし、
前記第 2の固体撮像素子からの M/N個のサンプル点の出力信号に対して、 0で ない信号のサンプノレ点が前記第 1の固体撮像素子の出力信号とは互いにずれるよう にして、各信号間に（N—1)個のサンプノレ点について 0の値の信号を揷入して、全体 を M個のサンプル点の信号とし、
前記第 3の固体撮像素子からの MZN個のサンプル点の出力信号に対して、前記 第 1の固体撮像素子からのサンプル点の出力信号と対応させて、各信号間に (N_ l
)個のサンプル点について 0の値の信号を揷入して、全体を M個のサンプル点の信 号とし、
前記第 3の固体撮像素子の信号力 補間された第 3の低周波成分を生成し、 互いに対応するサンプノレ点の前記第 1の固体撮像素子の出力信号と前記第 2の固 体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 3の低周波成分と前記高周波成分とを加算して、前記第 3の固体撮像素子 の信号を得るものであってもよい。
[0018] また、前記撮像部は、 G、 B、 Rの各チャンネルに対応する第 1から第 3の固体撮像 素子を含んでもよい。
[0019] 前記撮像部は、 Gチャンネルを 2つに分けた G1チャンネル及び G2チャンネルに対 応する第 1及び第 2の固体撮像素子と、 Bチャンネルに対応する第 3の固体撮像素子 と、 Rチャンネルに対応する第 4の固体撮像素子とを含んでもよい。この場合、前記通 常撮像時には、前記 G1チャンネルと前記 G2チャンネルに対応する第 1及び第 2固 体撮像素子からの出力信号を加算して Gチャンネルの信号とする。また、前記高速 撮像時には、互いに対応するサンプル点の前記第 1の固体撮像素子の出力信号と 前記第 2の固体撮像素子の出力信号とを加算した信号を Gチャンネルの信号とする
[0020] また、前記撮像部と前記演算部との間に、前記撮像部の出力信号を記憶すると共 に、記憶した出力信号を前記演算部に出力する記憶部をさらに備えてもよい。この場 合、前記演算部は、前記記憶部からの出力信号を演算するものであってもよい。 [0021] さらに、前記撮像部から出力するフレームレートは、前記記憶部から出力するフレ ームレートより大きレヽものであってもよレヽ。
発明の効果
[0022] 以上のように本発明によれば、高速撮像時に、撮像部から出力するフレームレート を大きくしながらデータレートを通常と同程度に保つことができる。これにより、高速の データレートでの動作を必要とせずに、スローモーション再生画像を得ることができる とレ、う優れた効果が得られる。
図面の簡単な説明
[0023] [図 1]本発明の実施の形態 1における撮像装置の構成を示すブロック図である。
[図 2]図 1の撮像装置における撮像部の構成を示すブロック図である。
[図 3]図 2の撮像部における 3つの固体撮像素子において画素混合する画素の組合 せを示す概略図である。
[図 4] (a)は、画素混合前の周波数に対する信号の関係を示す概略図であり、（b)は 画素混合後の周波数と信号との関係を示す概略図であり、（c)は、画素混合の組合 せが異なる Gチャンネルと Rチャンネルの信号加算によって、折り返し成分が相殺さ れることを示す概略図である。
[図 5]図 1の撮像装置における補間回路の構成を示すブロック図である。
[図 6] (a)は、撮像部からの出力時の時間に対するフレーム数の関係を示す概略図で あり、（b)は、メモリ書き込み時の時間に対するフレーム数の関係を示す概略図であり
、（c)は、スロー再生時の時間に対するフレーム数の関係を示す概略図である。
[図 7] (a)は、通常撮像時のフレーム毎の画素数の関係を示す概略図であり、（b)は、 高速撮像時のメモリ書き込み時におけるフレーム毎の画素数の関係を示す概略図で あり、（c)は、補間回路からの出力時のフレーム毎の画素数の関係を示す概略図で ある。
[図 8] (a)は、通常撮像時の Gチャンネルの画素に対応する信号を示す概略図であり 、（b)は、高速撮像時の Gチャンネルの画素混合された信号を示す概略図であり、（c )は、高速撮像時の Bチャンネルの画素混合された信号を示す概略図であり、（d)は 、スロー再生時の Gチャンネルのスロー再生信号であり、（e)は、スロー再生時の Bチ ヤンネルのスロー再生信号を示す概略図である。
[図 9] (a)〜（g)は、補間演算の各工程における画素を示す概略図である。
[図 10]本発明の実施の形態 1に係る撮像方法のフローチャートである。
[図 11]図 10の補間演算の詳細に関するフローチャートである。
[図 12]図 10の補間演算において 0揷入を行う場合の詳細に関するフローチャートで ある。
[図 13]本発明の実施の形態 2に係る撮像装置の構成を示すブロック図である。
[図 14]図 13の撮像装置における撮像部の構成を示すブロック図である。
[図 15]図 14の撮像部における 4つの固体撮像素子において画素混合する画素の組 合せを示す概略図である。
[図 16]図 13の撮像装置における補間回路の構成を示すブロック図である。
[図 17]図 15とは別例のサンプノレ点を 1/2にする方法を示す概略図である。
[図 18]本発明の実施の形態 3に係る撮像装置の構成を示すブロック図である。
[図 19]別例の撮像装置の構成を示すブロック図である。
[図 20]従来の撮像装置の構成を示すブロック図である。
符号の説明
1 , la 撮像部
2 AZD変換器
3 フレームメモリ
4 バッファメモリ
5 制御回路
6、 8 セレクタ
7、 7a 補間回路
9 カメラ信号処理回路
10 出力端子
11G、 11B、 11R 固体撮像素子
11G1、 11G2 固体撮像素子
12 光学プリズム 13 駆動回路
20、 20a、 20b、 20c 撮像装置
21 加算回路
70 加算器
71G、 71B, 71R、 71G1、 71G2 0揷入回路
72G、 72B、 72R ローノヽ。スフイノレタ
73 ハイパスフィルタ
74G. 、 74B, 74R カロ算器
101 CCD撮像部
102 転送部
103 フィーノレド、メモ];
104 バッファメモリ
105 制御回路
106 1/n減衰器
107 加算器
108 信号切換器
109 カメラ信号処理回路
110 出力端子
発明を実施するための最良の形態
[0025] 以下、本発明の実施の形態に係る撮像装置について添付図面を用いて説明する。
なお、図面において実質的に同一の部材には同一の符号を付している。
[0026] (実施の形態 1)
図 1は、本発明の実施の形態 1に係る撮像装置 20の構成を示すブロック図である。 この撮像装置 20は、撮像部 1、 A/D変換器 2、フレームメモリ 3、 ノ ッファメモリ 4、制 御回路 5、セレクタ 6、補間回路 7、セレクタ 8、カメラ信号処理回路 9、出力端子 10を 備える。
[0027] 図 2は、撮像部 1の詳細な構成を示す概略図である。この撮像部 1は、光学的な画 像信号を電気信号に変換して出力するものである。その撮像方式は 3個の固体撮像 素子 11G、 11B、 11Rからなる三板方式である。この撮像部 1では、光学プリズム 12 で、レンズ（図示せず）から入射した光を緑 (G)、青（B)、赤 (R)の三つの色成分に分 解する。また、固体撮像素子 11G、 11B、 11Rは、それぞれ G、 B、 Rチャンネルに相 当するものであり、例えば CCD型撮像素子である。この固体撮像素子 11G、 11B、 1 1Rは、離散的な画素構造を持ち、画像を空間的にサンプリングして電気信号に変換 する。なお、固体撮像素子 11G、 11B、 11Rは、駆動回路 13によって駆動される。
[0028] 図 3は、固体撮像素子 11G、 11B、 11Rの光電変換を行う画素の 2次元配置を示 す概略図である。固体撮像素子 11G、 11B、 11Rは、それぞれ別個に配置されてい るが、固体撮像素子 11Gの画素 gl l、固体撮像素子 11Bの画素 bl l、固体撮像素 子 11Rの画素 rl lは、それぞれ光学的に同一の位置に対応する。すなわち、画素 gl 1、 bl l、 rl lは、それぞれ空間的に同じサンプル点に対応する。
[0029] AZD変換器 2によって、撮像部 1の出力であるアナログ映像信号をディジタル映像 信号に変換し、フレームメモリ 3およびバッファメモリ 4へと入力する。フレームメモリ 3 およびバッファメモリ 4の出力はセレクタ 6へと接続されている。なお、セレクタ 6、 8は 制御回路 5によって制御される。セレクタ 6の出力 cとセレクタ 8の接点 bとの間には補 間回路 7が設けられている。この補間回路 7によって画素混合で不足している画素の サンプノレ点を補間演算によって補間し、元の画素数のサンプノレ点を得ることができる 。セレクタ 8の出力 cはカメラ信号処理回路 9に供給される。カメラ信号処理回路 9では 、オフセット調整、ゲイン調整、ガンマ補正、輪郭補正など、通常のカメラとして必要な 信号処理が行われ、その出力信号は記録、表示可能な標準形態の映像信号となる
[0030] ぐ通常速度での通常撮像時の動作 >
通常速度の撮像時には、制御回路 5により、セレクタ 6、 8の接点 aの入力信号が選 択されており、それぞれの接点 cより出力される。そこで、フレームメモリ 3の出力信号 が、セレクタ 6、セレクタ 8を通してカメラ信号処理回路 9へと供給される。なお、通常 速度での撮像時には、フレームメモリ 3を使用する必要がない時には、フレームメモリ 3をバイパスしてもよい。
[0031] 次に、例えばスローモーション映像の速度比が 1/2、すなわち 2倍速の高速撮像 を行う場合について、高速撮像時、モニタリング時、スロー再生時の各動作に分けて 説明する。なお、高速撮像時の動作とは撮像部 1からメモリ 3、 4への書き込みまでの 動作に関する。モニタリング時の動作とは、フレームレートを低下させて通常と同じフ レームレートでモニタリングする動作に関する。スロー再生時の動作とは、補間回路 7 を介してスロー再生信号を出力するまでの動作に関する。
[0032] ぐ高速度での高速撮像時の動作 >
2倍速の高速撮像時には、通常の毎秒 60フレームの映像信号に対して、それより 高速の毎秒 120フレームの映像信号が撮像部 1から出力される。この撮像信号は、 A /D変換器 2によりディジタル映像信号に変換され、さらにフレームメモリ 3およびバッ ファメモリ 4に書き込まれる。フレームメモリ 3は、撮影時のモニタリング用途に使用さ れ、バッファメモリ 4は、スロー再生のためのバッファリングに使用される。なお、バッフ ァメモリ 4は、高速撮像時に得られる大量の情報を失わずに蓄積しておくためのメモリ であるから、書き込みと読み取りを同時にできるメモリである必要はなぐ単に情報を 書き込めるものであればよい。
[0033] <モニタリング時の動作 >
フレームメモリ 3には毎秒 120フレームの映像信号が書き込まれる力 モニタリング 時には、そのうち毎秒 60フレームの信号だけが読み出される。なお、セレクタ 6、セレ クタ 8は、制御回路 5により接点 aの入力信号が選択されて、接点 cより出力される。つ まり、通常撮像時と同じ毎秒 60フレームの映像信号がカメラ信号処理回路 9へと供給 され、例えばビューファインダへ信号を表示するために使用される。なお、セレクタ 8 において接点 bを選択して、後述の補間回路 7の出力信号をモニタリング用信号とし てもよい。
[0034] <スロー再生時の動作 >
図 6の（a)は撮像部 1からの出力時、（b)はバッファメモリ 4への書き込み時、（c)は スロー再生時、のそれぞれの場合における時間当たりのフレーム数の関係を示す概 略図である。スロー再生時の動作について、図 6の（a)〜（c)を用いて説明する。撮 像部 1からの出力時及びメモリ 4への書き込み時には毎秒 120フレームのフレームレ ートである。一方、スロー再生時では、図 6の（c)に示すように、バッファメモリ 4に書き 込まれた映像信号をゆっくり読み出すことにより行われる。すなわち、バッファメモリ 4 には毎秒 120フレームの映像信号が書き込まれた力 スロー再生時には毎秒 60フレ ームにて 2倍の時間をかけて読み出す。このバッファメモリ 4の再生信号力 S、セレクタ 6 を通してカメラ信号処理回路 9に供給され、各種の信号処理を受け、スロー再生信号 として、出力端子 10より出力される。 1秒間の 120フレームが 2秒間かけて出力される のでスロー再生となる。その一方、通常速度のフレームレートの 1秒間 60フレームで 再生されるので、スムーズで美しいスロー再生映像が得られる。
[0035] <画素混合について >
高速撮像を行う時には、撮像部 1の固体撮像素子 11G、 11B、 11Rにおいて複数 画素について信号電荷を加算して出力する。たとえば、水平 2画素の信号電荷をカロ 算すれば、撮像素子から出力する画素数は 1/2となるので、通常と同じ駆動クロック で駆動してもその出力に要する時間は 1Z2でよレ、。すなわち、フレームレートを 2倍 にしても、 1フレーム当たりの画素数を 1/2にすることができるので、固体撮像素子 1 1G、 11B、 11Rからの信号のデータレートは同じでよい。すなわち、高速撮像時にフ レームメモリ 3およびバッファメモリ 4に書き込まれる映像信号は、フレームレートは 2 倍ながら通常撮像時と同じ画素レートとすることができる。
[0036] 次に、図 7を用いて、画素混合及び補間処理による 1フレーム当たりの画素数の変 化を説明する。図 7 (a)は、通常撮像時のフレーム毎の画素数の関係を示す概略図 である。図 7 (b)は、高速撮像時のメモリ書き込み時におけるフレーム毎の画素数の 関係を示す概略図である。図 7 (c)は、補間回路からの出力時のフレーム毎の画素 数の関係を示す概略図である。高速撮像時には、図 7 (b)に示すように通常撮像時（ 図 7 (a) )に比べると、画素混合によって 1フレーム当たり 1Z2の画素数となり、データ レートを抑制できる。また、その後の補間処理によって図 7 (c)に示すように、 1フレー ム当たり通常撮像時と同じ画素数とすることができる。
[0037] 水平方向に隣接した 2画素の信号電荷を加算するには、水平 CCDの最終電極に 印加されるパルスおよびリセットトゲート電極に印加されるリセットパルスのタイミングを 、水平 CCDの転送電極に印加される駆動パルスの 2倍の周期にする。水平 CCDの 転送電極に印加される駆動パルスの周期は、一画素の信号電荷を個別に出力する 場合の周期と同じである力 S、最終電極に印加されるパルス、およびリセットゲート電極 に印加されるパルスの周期は、信号電荷を個別に出力する場合の 2倍に設定されて いる。これにより、 CCDを転送されてきた信号電荷は、隣接する 2画素分の信号電荷 が最終電極下で加算された上で転送される。なお、この画素混合に関しては、例え ば特開 2000— 174253号公報に詳細な記載がある。
[0038] また、書き込まれた映像信号のサンプル数が通常の 1Z2なので、フレームメモリ 3 およびバッファメモリ 4から信号を読み出す時には、 2クロックに 1回の割合で信号を 出力する。この出力信号は、補間回路 7において、不足している画素のサンプル点が 補間演算により生成され、通常と同じ画素数のサンプノレ点を得ることができる。セレク タ 8は、制御回路 5により接点 bの入力信号が選択されており、接点 cより出力され、力 メラ信号処理回路 9により各種の信号処理を受ける。
[0039] すなわち、高速撮像時にはフレームメモリ 3の出力信号が補間回路 7により補間処 理を受けてビューファインダ（図示せず）への信号となり、スロー再生時にはバッファメ モリ 4の出力信号が補間回路 7により補間処理を受けてスロー再生信号となる。
[0040] 次に、画素とバッファメモリ 4に書き込まれる映像信号との関係について、図 8を用 いて説明する。
(a)通常速度の通常撮像時の動作においては、図 8 (a)に示すように固体撮像素 子 11Gからの出力信号は、固体撮像素子 11Gの各画素に対応して、 gl l、 gl2, gl 3 · · ·の連続する画素について 1行づっ順番に読み出される。この信号がバッファメ モリ 4に書き込まれる。
(b)—方、 2倍速の高速撮像時には、固体撮像素子 11Gにおいて画素混合してい るので、その出力信号は各行の画素数力 となる。そのため、高速撮像時には、 水平 2画素について画素混合され、図 8 (b)のように、 gl l , gl 3 ' - 'のようにとびとび のサンプル点の信号がバッファメモリ 4に書き込まれる。なお、画素混合後の信号は、 画素混合する組合せの左側の画素で表現しており、例えば、画素 gl lと画素 gl2を 混合したサンプル点を gl lと表している。そこで、 Gチャンネルについては図 8 (b)に 示されるとびとびのサンプル点の信号がバッファメモリ 4に書き込まれる
(c)また、 Rチャンネルでの画素混合について、 Gチャンネルの画素混合する画素 の組合せに対して画素混合する画素の組合せをずらせている。つまり、 Gチャンネル の画素混合後のサンプル点は gl lであるに対して、 Rチャンネルの画素混合後のサ ンプル点は rl2となる。この rl2は、画素 rl2の信号と画素 rl 3の信号とを加算した信 号加算後のサンプル点である。そこで、 Rチャンネルについては図 8 (c)に示されると びとびのサンプル点の信号がバッファメモリ 4に書き込まれる。
(d)各サンプノレ点の信号を読み出す周期、すなわち画素レート（データレート）を同 じとすると、画素混合時には全画素の信号を読み出す場合と比べて 1/2の時間で 第 1ラインの信号出力が終わる。すなわち、通常動作における 1ライン分の読み出す 時間にて、画素混合時には 2ライン分の信号を読み出す事ができる。つまり、通常動 作にて毎秒 60フレームの信号の場合、 2画素混合した場合には毎秒 120フレームの 信号がバッファメモリ 4に書き込まれる。
(e)次に、バッファメモリ 4からの出力時には、図 8 (d)、（e)のように、書き込むときと 比較して画素レートを 1/2とし、 1ライン分の時間を通常動作時と同じになるようにす る。すなわち、書き込み時には毎秒 120フレームの信号力 毎秒 60フレームとして読 み出され、 2倍のスロー再生した信号を得ることができる。
[0041] <画素混合による解像度劣化の問題 >
本発明者は、固体撮像素子 11G、 11B、 11Rにおいて、画素混合により 2画素の 信号を加算して画素数を減らしているので、実質的なサンプリング周波数が低くなり、 解像度が悪くなるという問題を見出した。図 4の（a)は、画素混合前の信号の周波数 に対する信号の関係を示す概略図である。図 4の（b)は、画素混合後の信号の周波 数に対する信号の関係を示す概略図である。画素混合前には、各々の固体撮像素 子において、画素と画素の間隔に相当するサンプリング周波数を fSOとすると、固体 撮像素子の各画素による空間サンプリングにより、得られる映像信号は図 4の（a)の ようになる。なお、 fNOは fSO/2であり、ナイキスト周波数である。
[0042] 水平方向の 2画素の信号を混合する処理は、一種のローパスフィルタ処理であり、 その結果、画像混合後の信号のスペクトルは、図 4 (b)に示すように、ナイキスト周波 数 fNO付近が減衰したものとなる。さらに、 2画素混合したことにより、空間的なサンプ リング間隔が 2倍になるので、新たなサンプリング周波数 fSlは、 fSO/2となり、その 結果、画素混合後の信号のスペクトルは、図 4 (c)のように、 fSlに新たな折り返し成 分 MoGが生まれるという問題を生じる。
[0043] 本実施の形態 1に係る撮像装置 20では、上述の高速撮像時に水平方向に 2画素 混合するときに、 Gチャンネルと R、 Bチャンネルとで混合する画素の組合せを互いに 変えている。図 3において破線で示すように、 Gチャンネノレでは gl l + gl2、 gl3 + g 14、 g15 + gl6の各画素の組合せで水平方向に 2画素の信号を混合する。一方、 B チャンネルでは、 bl 2 + bl 3、 bl4 + bl5の各画素の組合せで混合する。このように Bチャンネルでは、混合する画素の組合せを Gチャンネルとずらして画素混合する。 Rチャンネルも Bチャンネルと同様に、混合する画素の組合せを Gチャンネルとずらし て画素混合する。
[0044] 画素混合後のサンプル点は、図 3のきに示すように 2画素間隔である力 S、 Gチャン ネルと Rチャンネルでは、そのサンプル点の位置が 1画素分ずれて位置している。す なわち、画素混合後のサンプル点は、 Gチャンネルと Rチャンネルとでは、いわゆる画 素ずらしサンプリングとなる。
[0045] 画素混合する画素の組合せを変えた Gチャンネルと Rチャンネルとでは、 2画素混 合後のサンプル点が 180度ずれている。そのため、 Gチャンネルと Rチャンネルとで は、新たなサンプリング周波数 fSlにおける折り返し成分は、図 4 (c)の MoGと MoR に示すようにそれぞれの位相が互いに反転している。そこで、本発明者は、 Gチャン ネルと Rチャンネルの信号とをカ卩算することにより、サンプリング周波数 fSlにおける 折り返し成分を打ち消すことができることを見出した。なお、折り返し成分 MoGと Mo Rが多く含まれるのは、新たなサンプリング周波数 fSlを中心とする、高周波領域であ る。
[0046] <補間処理時の画素ずらし >
図 5は、補間回路 7の構成を示すブロック図である。補間回路 7における補間演算 において、画素ずらし処理を行う。まず、 G、 B、 R各チャンネルの信号について、 0揷 入回路 71Gにて画素混合後のサンプノレ点の間に「0」を揷入して、サンプリング周波 数を 2倍にする。ただし、 Gチャンネルと Rおよび Bチャンネルとでは、画素混合後の サンプリング位置が半周期ずれているので、「0」揷入の方法により時間軸を揃える。 すなわち、 Gチャンネルの信号が存在するサンプル点について、 Rおよび Bチャンネ ルの対応するサンプル点に「0」を挿入する。一方、 Rおよび Bチャンネルの信号が存 在するサンプル点について、 Gチャンネルの対応するサンプル点に「0」を挿入する。
[0047] 「0」揷入後の各チャンネル映像信号は、ローパスフィルタ 72G、 72B、 72Rにより、 それぞれの信号の低周波数成分だけを取り出される。一方、高周波成分については 、画素混合によって生じる折り返し信号を打ち消すために、例えば Gチャンネルと R チャンネルの信号を加算器 70において加算する。加算器 70の出力信号は、ハイパ スフィルタ 73により信号の高周波成分が取り出される。この高周波成分は、 Gチャン ネル、 Rチャンネル、 Bチャンネルの全てについて共通するとみなすことができる。そ こで、カロ算器 74G、 74B, 74Rにおいて、上記共通の高周波成分と各チャンネルの 低周波数成分とをそれぞれ加算して、各チャンネルの補間された信号を得る。
[0048] 以下に、補間回路 7の補間演算について図 9を用いて説明する。
(a) Gチャンネルにおいては、バッファメモリ 4力ら、図 9 (a)に示すように、水平 2画素 について画素混合されたサンプル点がとびとびに配置された信号が出力される。
(b)図 9 (a)の信号について、補間回路 7における 0挿入回路 71Gにより 1画素おきに 「0」が挿入され、図 9 (b)に示す信号が得られる。
(c)次レ、で、図 9 (b)の信号がローパスフィルタ 72Gを通過することにより「0」の部分 につレ、て、 gl 2 '、 gl4 ' · · ·のように補間された低域信号が生成され、図 9 (c)に示す 信号が得られる。
(d) Gチャンネルと同様に、 Rチャンネルでは、バッファメモリ 4力ら、図 9 (d)に示すよ うに、水平 2画素について画素混合されたサンプル点がとびとびに配置された信号が 出力される。
(e)図 9 (d)の信号について、補間回路 7における 0揷入回路 71Rにより 1画素おきに 「0」が揷入され、図 9 (e)に示す信号が得られる。
(f)そして、図 9 (e)の信号がローパスフィルタ 72Rを通過することにより「0」の部分に ついて、 r 11 '、 r 13 ' · · ·のように補間された低域信号が生成され、図 9 (f)に示す信 号が得られる。
(g)加算器 70では、 0揷入回路 71Gで 0揷入処理された図 9 (b)の信号と、 0揷入回 路 71Rで 0挿入処理された図 9 (e)の信号とを加算して、図 9 (g)のように Gチャンネ ルのデータと Rチャンネルのデータとが交互に存在する信号が得られる。
(h)図 9 (g)の信号について、ハイパスフィルタ 73により高周波成分だけを取り出す。 この高周波成分は、各チャンネルで共通するものと見なすことができる。
(i)上記共通する高周波成分を各チャンネルの低周波成分に加算して、各チャンネ ルにおレ、て折り返し成分の少なレ、信号を得ることができる。
以上により、不足する画素を補間して、 1フレームについて全ての画素についての 信号を得ること力 Sできる。
[0049] 以上のように、この撮像装置 20では、高速撮像時において、撮像部 1の固体撮像 素子において水平 2画素の信号を加算することにより、高いフレームレートを実現し ながら、画素レートが高くなることを抑えることができる。また、 Gチャンネルと R、 Bチヤ ンネルとで画素混合の組合せを変え、補間演算で画素ずらしを行って折り返し成分 を抑制した高域成分を得ることにより、画素混合によって生じたサンプリング周波数に ついての折り返し成分の発生を小さくすることができる。
[0050] なお、水平方向の画素混合に代えて垂直方向の画素混合を行ってもよい。垂直方 向に隣接した 2画素の信号電荷を加算するためには、例えば、水平ブランキング期 間内に垂直 CCD内の信号電荷を 2回転送すればよい。光電変換素子から垂直 CC Dへ読み出された信号電荷は、水平ブランキング期間に垂直 CCDの転送電極にパ ノレスを 2回印加することにより垂直 CCD内を 2画素分転送される。この時、各垂直 CC Dの最終段の信号電荷、およびその前段の信号電荷は連続して水平 CCDに転送さ れ、水平 CCD内で加算される。垂直 CCDより 2行分の信号電荷を受け取った水平 C CDは、これを出力部へ順次転送する。垂直方向で隣接する 2画素分の電荷が加算 されているので、全画素の信号電荷を出力するために必要な水平転送の回数は、各 画素の信号電荷を個別に出力する場合の 1Z2である。したがって、全画素の信号 電荷を出力するために必要な時間も 1Z2になる。
[0051] さらに高速撮像を行うために、水平 2画素、垂直 2画素の計 4画素の信号電荷をカロ 算すれば、撮像素子から出力する画素数は 1/4となり、 4倍速の高速撮像が可能と なる。 [0052] さらに、撮像部の撮像デバイスとしては CCDに限定するものではなぐ例えばディ ジタル信号を出力する CMOS型撮像素子でも同様の効果を実現することができる。
[0053] なお、本実施の形態のように、高速撮像時のフレームレートが通常撮像時のフレー ムレートの整数倍のフレームレートである場合において制御が簡単となる力 S、整数倍 のフレームレートに限定するものではない。
[0054] ぐ撮像方法 >
次に、本発明の実施の形態 1に係る撮像方法について説明する。図 10は、実施の 形態 1に係る撮像方法のフローチャートである。
(a)第 1の固体撮像素子において混合する N個の画素の組合せと、第 2の固体撮像 素子において混合する N個の画素の組合せとは互いに異なるように画素混合して出 力する（S01)。画素混合することによって 1フレーム当たりの画素数を減らすことがで きるので、フレームレートを大きくしながら、データレートを抑制することができる。また 、画素混合する画素の組合せを変えることで画素混合後のサンプル点をずらすこと ができる。
(b)各サンプル点の間に (N— 1)個のサンプノレ点の信号を補間する補間演算を行つ て補間された信号を出力する (S02)。補間演算によって画素混合で減った画素数を 元の画素数に戻すことができる。また、上述のように画素混合の組合せを変え、画素 ずらししたサンプノレ点を用いることで画素混合によって生じる周波数の折り返し成分 を小さくすることができる。
以上の撮像方法によって、補間された信号を得ることができる。
[0055] <補間演算の方法 >
図 11は、補間演算の詳細を示すフローチャートである。
(a)第 1及び第 2の固体撮像素子のサンプル点の出力信号力 補間された第 1及び 第 2の低周波成分をそれぞれ生成する（Sl l)。
(b)第 1の固体撮像素子のサンプル点の出力信号と第 2の固体撮像素子のサンプノレ 点の出力信号とを加算する（S12)。
(c)加算した信号の高周波成分を生成する (S13)。この高周波成分は、各固体撮像 素子からの出力について共通するものと考えられる。 (d)第 1の低周波成分と高周波成分とを加算して、第 1の固体撮像素子の信号を得る
(514)。
(e)第 2の低周波成分と高周波成分とを加算して、第 2の固体撮像素子の信号を得る
(515) 0
以上によって補間演算された信号を得ることができる。
[0056] 図 12は、補間演算において、 0揷入処理すると共に、 0でないサンプル点をずらし て加算する場合のより詳細な補間演算のフローチャートである。
(a)第 1の固体撮像素子からの出力信号に対して、各信号間に (N_ l)個のサンプ ノレ点について 0の値の信号を揷入する（S21)。
(b)第 2の固体撮像素子からの出力信号に対して、 0でない信号のサンプノレ点が第 1 の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に (N_ l)個の サンプル点にっレ、て 0の値の信号を揷入する（S22)。
(c)第 1の固体撮像素子の信号力も補間された第 1の低周波成分を生成する（S23)
(d)第 2の固体撮像素子の信号力 補間された第 2の低周波成分を生成する（S24)
(e)互いに対応するサンプル点の第 1の固体撮像素子の出力信号と第 2の固体撮像 素子の出力信号とを加算する（S25)。
(f)加算した信号の高周波成分を生成する (S26)。
(g)第 1の低周波成分と高周波成分とを加算して、第 1の固体撮像素子の信号を得る
(527)。
(h)第 2の低周波成分と高周波成分とを加算して、第 2の固体撮像素子の信号を得る
(528)。
以上によって、補間演算において、 0挿入処理を行って、補間された信号を得ること ができる。
[0057] (実施の形態 2)
図 13は、本発明の実施の形態 2における撮像装置 20aの構成を示すブロック図で ある。この撮像装置 20aは、撮像部 la、 A/D変換器 2、制御回路 5、補間回路 7a、 セレクタ 8、カメラ信号処理回路 9、出力端子 10、加算回路 21を備える。この撮像装 置 20aは、実施の形態 1に係る撮像装置と比較すると、撮像部 laが 3板方式ではなく 、いずれか一つの色チャンネル、例えば Gチャンネルを 2つのチャンネル Gl、 G2に 分ける 4板方式である点で相違する。さらに、フレームメモリ 3及びバッファメモリ 4を有 しておらず、その一方、加算回路 21を備える点においても相違する。
[0058] 図 14は、撮像部 laの構成を示す概略図である。この撮像部 laは、光学的な画像 信号を電気信号に変換して出力するものである。その撮像方式は実施の形態 1の撮 像装置における撮像部とは異なり、 4個の固体撮像素子からなる四板方式である。こ の撮像部 laでは、レンズ（図示せず)から入射した光は、光学プリズム 12で色毎に分 解され、それぞれの固体撮像素子 11R、 11G1、 11G2、 1 IBで結像される。光学プ リズム 12は、 4つのガラスブロックから構成されており、それぞれの境界面には薄膜が 多層に蒸着され特定の波長の光が反射され、残りの波長の光が透過されるようにな つている。すなわち、入射光は第 1の蒸着面で青（B)成分が反射、残りの成分が透過 される。第 2の蒸着面では、赤 (R)成分が反射、残りの緑 (G)成分が透過される。第 3 の蒸着面は、波長選択性のないハーフミラーで緑色の 1/2が反射、残りの 1/2が 透過される。
[0059] 固体撮像素子 11G1、 11G2は、 Gチャンネルに相当し、固体撮像素子 11B、 11R は、それぞれ B、 Rチャンネルに相当する。これらは例えば CCD型撮像素子であり、 離散的な画素構造を持ち、画像を空間的にサンプリングして電気信号に変換する。 なお、駆動回路 13によって固体撮像素子 11G1、 11G2、 11B、 11Rを駆動する。ま た、図 15に示すように、 4つの固体撮像素子 11G1、 11G2、 11B、 11Rの画素配置 は、すべて光学的に同じ位置に対応する。すなわち、入射光は光学プリズム 12によ つて 4つの光信号に分割されて、固体撮像素子 11G1、 11G2、 11B、 11Rにおいて 結像するが、図 15における画素 gfl l、 gsl l、 bl l、 rl lは、それぞれ光学的に同じ 位置をサンプリングする。撮像部 laの固体撮像素子 11G1、 11G2、 11B、 11Rに対 応して、 Gl、 G2、 B、 Rの 4つの映像信号が出力信号となる。
[0060] <画素混合 >
この撮像装置 20aでは、高速撮像を行う時には、実施の形態 1と同様に、撮像部 la の固体撮像素子 11G1、 11G2、 11B、 11Rにおいて 2画素の信号電荷を加算して 出力する。たとえば、水平 2画素の信号電荷を加算すれば、固体撮像素子から出力 する画素数は 1/2となるので、通常と同じ駆動クロックで駆動すると、その出力に要 する時間は 1/2となる。そこで、フレームレートを 2倍にしても、固体撮像素子 11G1 、 11G2、 11B、 11Rからの信号レート（データレート）は通常速度の撮影時と同じに すること力 Sできる。
[0061] <画素混合の組合せ >
本実施の形態 2に係る撮像装置 20aでは、水平方向に 2画素混合するときに、 G1 チャンネルと G2チャンネルにおレ、て混合する画素の組合せを変えてレ、る。すなわち 、図 15において破線で示すように、 G1チャンネルでは gfl l +gfl 2、 gfl3 + gfl4、 gfl 5 + gf 16という組合せで水平方向に 2画素の信号を混合する力 G2チャンネノレ では、 gsl 2 + gsl 3、 gsl4 + gsl 5というように混合する画素の組合せをずらしている 。なお、 Rチャンネルと Bチャンネルにおいては、 G1チャンネルと同様の組合せで画 素混合する。
[0062] 画素混合後のサンプル点は、図 15の拿に示すように 2画素間隔となる力 G1チヤ ンネルと G2チャンネルでは、そのサンプル点の位置が 1画素分ずれて位置している 。すなわち、画素混合後のサンプリング点は、 G1チャンネルと G2チャンネルでは、い わゆる画素ずらしサンプリングとなる。そこで、 G1チャンネルと G2チャンネルの信号 を重ね合わせることにより、画素混合しながらも、画素混合する前と同じ水平画素数 を得ることができる。これは、実施の形態 1と同様に、 2画素混合したことにより生じた 折り返し成分を打ち消すことに相当する。特に、本実施の形態 2では、同じ G信号同 士につレ、て画素ずらしして加算するので、折り返し成分を完全に打ち消すことができ る。
[0063] 次に、本実施の形態による撮像装置の動作について、以下に図 13を適宜参照し 説明する。
[0064] <通常撮像時の動作 >
まず、通常速度での通常撮像の動作について説明する。図 13において、撮像部 1 aの出力信号は AZD変換器 2によりディジタル映像信号に変換され、さらに加算回 路 21へと入力される。加算回路 21では、二つの Gチャンネル信号 Gl、 G2をそれぞ れのサンプル点を加算して、 G信号を生成する。図 15を用いて説明したように、二つ の Gチャンネルの固体撮像素子 11G1、 11G2の各サンプル点はそれぞれ対応する サンプル点なので、加算すると信号量が 2倍になる。 Gチャンネル成分を二つの固体 撮像素子で分担するので、最大飽和信号レベルが 2倍となり、ダイナミックレンジが増 大する。なお、 Rチャンネルと Bチャンネル信号は、そのまま出力する。通常速度の通 常撮像時には、セレクタ 8は制御回路 5により接点 aの入力信号が選択されており、加 算回路 21の出力が接点 cより出力され、カメラ信号処理回路 9により各種の信号処理 を受け、出力端子 10より出力される。
[0065] <高速撮像時の動作 >
次に、例えば通常速度に対してスローモーション映像の速度比が 1Z2、すなわち 2 倍速の高速撮像を行う場合を説明する。 2倍速の高速撮像時には、通常の毎秒 60フ レームに対して、毎秒 120フレームの映像信号を撮像部 laから出力する。ただし、前 述したように、撮像部 laでは各固体撮像素子において水平方向に 2画素ずつの画 素混合を行い、 1フレームの出力サンプノレ数を 1/2とする。この撮像部 laの出力信 号は A/D変換器 2によりディジタル映像信号に変換され、さらに補間回路 7aへと入 力される。なお、撮像部 laから出力される信号は、フレームレートが通常撮像時の 2 倍であるが、通常撮像時と同じ画素レートである。また、 A/D変換器 2におけるサン プリング周波数は、通常撮像時と同じである。
[0066] 図 16は、補間回路 7aの構成を示すブロック図である。この補間回路 7aでは、 Gl、 G2、 B、 R各チャンネルの入力信号について、まず 0挿入回路 71G1、 71G2、 71R、 71Bにて 1画素毎に「0」を揷入して、画素レートを 2倍とする。ただし、 G1チャンネル と G2チャンネルでは、前述のように画素混合後のサンプル点が半周期ずれているの で、 「0」揷入後に時間軸が揃うように、「0」を揷入する。すなわち、 G1チャンネルの 信号が存在するサンプル点について、 G2チャンネルの対応するサンプル点に「0」を 揷入する。一方、 G2チャンネルの信号が存在するサンプル点について、 G1チャンネ ルの対応するサンプル点に「0」を揷入する。なお、 Bおよび Rチャンネルでは、画素 混合後のサンプル点は、 G1チャンネルのサンプル点と対応するので、 Bおよび Rチ ヤンネルについても Glチャンネルと同様に各サンプル点の間に「0」挿入を行う。
[0067] G1チャンネルの信号と G2チャンネルの信号とは、上述の 0挿入処理後に、加算器
70において加算される。 「0」挿入処理後の信号は、交互に信号と「0」が存在するが 、上述のように、 G1チャンネルと G2チャンネルとでは信号のあるサンプル点が互い にずれている。そのため、 G1チャンネルの信号と G2チャンネルの信号とを加算後の 信号は、 G1チャンネルの信号と G2チャンネルの信号を交互に選択したものと等しい 。この加算器 70の出力は、補間回路 7aの Gチャンネルの出力信号となる。また、この 加算器 70の出力についてハイパスフィルタ 73により、高域信号だけが取り出される。
[0068] 一方、 Bおよび Rチャンネルの信号は、それぞれローパスフィルタ 72B、 72Rにより 、信号の低周波数成分だけが取り出される。そして、加算器 74B及び加算器 74Rに おいて、ハイパスフィルタ 73の出力信号が加算されて、 Bおよび Rチャンネルの出力 信号となる。すなわち、折り返し信号を打ち消した G信号の高域信号を Bおよび Rチヤ ンネルの高域信号と共通するものとみなすことができる。そこで、この共通する高域信 号を Bおよび Rチャンネルの低周波成分とそれぞれ加算して、 Bおよび Rチャンネル の補間された信号を得ることができる。これにより高速撮像時に撮像部 laで画素混 合によって 1/2の画素数となった映像信号は、補間回路 7aにおいて補間されて通 常撮像時と同数のサンプル点の信号となって出力される。なお、フレームレートが通 常の 2倍なので、画素レートも通常の 2倍となる。
[0069] セレクタ 8は、制御回路 5により接点 bの入力信号が選択されて接点 cより出力される 。そこで、補間回路 7aの出力信号は、カメラ信号処理回路 9により各種の信号処理を 受け、 2倍速の高速撮像信号として出力端子 10より出力される。出力端子 10には、 半導体メモリやハードディスク装置、あるいは VTRなどの記録装置が接続され、 2倍 速の高速撮像信号を記録する。この記録された信号を、通常のフレームレートで再 生すると、 2倍のスロー再生信号を得ることができる。
[0070] 以上のように、高速撮像時において、固体撮像素子において信号加算することによ り、画素レートが高くなることを抑えることができる。また、画素混合の組合せを G1チ ヤンネルと G2チャンネルとで変えている。この画素混合後の G1チャンネルと G2チヤ ンネルの信号を加算することでナイキスト周波数に対する折り返し成分の発生を小さ くすることができる。
[0071] 以上の例では、水平方向に 2画素混合する場合を説明したが、別の形態として垂 直方向に 2画素混合してもよい。その場合でも、フレームレートを通常の 2倍にできる 効果は同様である。なお、この場合には補間回路 7における「0」揷入は、垂直方向に おける動作が必要であり、ローパスフィルタ 72B、 72R、およびハイパスフィルタ 73の フィルタ動作も垂直フィルタの動作が必要である。
[0072] なお、高速撮像時において信号サンプル数を 1Z2にする方法として、前述の図 15 では 2画素混合の方法を説明したが、別の方法としては図 17に示す方法もある。これ は、水平方向 2画素につき 1画素のみを信号として用いて、もう片方の 1画素は捨て て信号として使わない方法である。例えば、図 17においてき印が信号として使用す る画素であり、 X印の画素は使用しない画素である。この不要な X印の画素では、例 えば電子シャッター動作により、その信号電荷を排出すればよい。この図 17に示す 方法では、半分の画素の信号を使用しないため、画素混合で信号電荷を加算する 場合に比べて感度力 になるという欠点がある力 画素混合しないので、水平方 向の周波数特性が劣化しない、とレ、う長所がある。
[0073] (実施の形態 3)
図 18は、本発明の実施の形態 3における撮像装置 20bの構成を示すブロック図で ある。この撮像装置 20bは、撮像部 la、 A/D変換器 2、バッファメモリ 4、制御回路 5 、補間回路 7a、セレクタ 8、カメラ信号処理回路 9、出力端子 10、加算回路 21を備え る。この撮像装置 20bは、実施の形態 2に係る撮像装置と異なる点は、バッファメモリ 4を有する点である。この撮像装置 20bの動作について、図 18を適宜参照して説明 する力 図 13と同じ構成要素については、その説明を一部省略する。
[0074] 撮像部 laは、実施の形態 2と同じ 4板撮像方式の構成であり、高速撮像時の画素 混合についても同様であるので説明を省略する。
また、通常速度における通常撮像時の動作についても、実施の形態 2と全く同様で あるので説明を省略する。
[0075] 次に、例えばスローモーション映像の速度比が 1/2、すなわち 2倍速の高速撮像 を行う場合を、高速撮像時とスロー再生時に分けて説明する。 [0076] <高速撮像時の動作 >
まず、高速撮像時には、撮像部 laでは、実施の形態 2と同様に水平方向に 2画素 ずつの画素混合を行い、出力サンプノレ数が 1/2となった毎秒 120フレームの映像 信号を出力する。撮像部 laの出力信号は、 A/D変換器 2によりディジタル映像信 号に変換され、さらにバッファメモリ 4に書き込まれる。本実施の形態では、このバッフ ァメモリ 4をスロー再生のためのバッファとして使用する。すなわち、スロー再生すべき 高速撮像した映像信号は、バッファメモリ 4に一旦記憶される。
[0077] <スロー再生時の動作 >
続いて、スロー再生時の動作を説明する。スロー再生は、バッファメモリ 4に書き込 まれた映像信号をゆっくり読み出すことにより行われる。すなわち、バッファメモリ 4に は毎秒 120フレームの映像信号が書き込まれた力 S、スロー再生時には毎秒 60フレー ムにて 2倍の時間をかけて読み出す。このバッファメモリ 4の再生信号力 補間回路 7 aへと入力される。セレクタ 8は、制御回路 5により接点 bの入力信号が選択されて接 点 cより出力される。補間回路 7aの出力信号は、カメラ信号処理回路 9により各種の 信号処理を受け、出力端子 10より出力される。バッファメモリ 4の出力信号は、 1フレ ーム当たり 1/2の画素数となった毎秒 60フレームの映像信号であり、補間回路 7aに おいて実施の形態 2と同様の動作により、その出力信号は不足しているサンプル点 について補間演算により生成され、高速撮像時と同じサンプノレ点の数となる。上述の ようにバッファメモリ 4を用いて記録再生することにより、出力端子 10からは、 2倍のス ロー再生信号を得ることができる。
[0078] 以上のように、高速撮像時において、固体撮像素子において画素混合による信号 加算により画素レートが高くなることを抑えることができる。また、 G1チャンネルと G2 チャンネルとで画素混合する組合せを変えることで折り返し成分の少ない映像信号 を得ることができる。さらに、バッファメモリ 4を備えるので外部に半導体メモリやハード ディスク装置等の記憶装置を必要とせずにスロー再生が可能となる。
[0079] なお、上記の説明では、高速撮像時にはバッファメモリ 4に映像信号を書き込むの で撮影時の画像をモニタできなレ、。そこで、ノ ッファメモリ 4として、書き込みと読み出 しが同時に可能な、例えばデュアルポート仕様のメモリを使用することにより、この課 題を解決できる。すなわち、毎秒 120フレームの映像信号をバッファメモリ 4に書き込 みながら、 2フレームにっき 1フレームだけを間引いて 2倍の時間をかけて読み出す 事により、毎秒 60フレームの映像信号を出力することが可能となる。
[0080] また、別の方法として、実施の形態 1と同様に、図 19に示すようにフレームメモリ 3を 撮像装置 20cの構成に追加してもよい。この場合には、バッファメモリ 4は高速撮像信 号を記録するだけに使用され、高速撮像時のモニタ用にはフレームメモリ 3を使用す る。すなわち、高速撮像時にはセレクタ 6の接点は aが選択され、セレクタ 8の接点は b が選択され、毎秒 120フレームの映像信号をフレームメモリ 3に書き込みながら、 2フ レームにつき 1フレームだけを間引いて 2倍の時間をかけて読み出し、補間回路 7aに より不足したサンプル点の信号を得ることにより、毎秒 60フレームのモニタ用映像信 号を出力することが可能となる。
産業上の利用可能性
[0081] 本発明に係る撮像装置は、美しいスローモーション再生を実現できるビデオカメラ 等の高速撮像装置として有用である。

Claims

請求の範囲
[1] 離散的な画素構造を有し、第 1のフレームレートで撮像する通常撮像の場合には 1 フレームについて M個の画素に対してそれぞれの画素からの M個のサンプル点の 信号をそのまま出力し、前記第 1のフレームレートより大きい第 2のフレームレートで 撮像する高速撮像の場合には 1フレームについて M個の画素に対して N個ずつの 画素の信号を混合して M/N (M、 Nは 2以上の整数）個のサンプノレ点の信号を出力 する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高 速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（N 1)個のサンプル点の信号を補間する補間演算を行って M個のサンプノレ点の補間 された信号を出力する演算部と、
を備えることを特徴とする撮像装置。
[2] 前記撮像部は、少なくとも離散的な画素構造を有する第 1の固体撮像素子と離散 的な画素構造を有する第 2の固体撮像素子とを含み、
前記第 1の固体撮像素子と前記第 2の固体撮像素子とは、それぞれ対応する画素 を有し、
前記高速撮像において、前記第 1の固体撮像素子において混合する N個の画素 の組合せと、前記第 2の固体撮像素子において混合する N個の画素の組合せとは互 いに異なることを特徴とする請求項 1に記載の撮像装置。
[3] 前記演算部は、前記補間演算において、
前記第 1の固体撮像素子のサンプノレ点の出力信号力 補間された第 1の低周波成 分を生成し、
前記第 2の固体撮像素子のサンプノレ点の出力信号力 補間された第 2の低周波成 分を生成し、
前記第 1の固体撮像素子のサンプル点の出力信号と前記第 2の固体撮像素子の サンプノレ点の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 1の低周波成分と前記高周波成分とを加算して、前記第 1の固体撮像素子 の信号を得ると共に、 前記第 2の低周波成分と前記高周波成分とを加算して、前記第 2の固体撮像素子 の信号を得ることを特徴とする請求項 2に記載の撮像装置。
[4] 前記演算部は、前記補間演算において、
前記第 1の固体撮像素子からの MZN個のサンプル点の出力信号に対して、各信 号間に（N—1)個のサンプル点について 0の値の信号を揷入して、全体を M個のサ ンプル点の信号とし、
前記第 2の固体撮像素子からの MZN個のサンプル点の出力信号に対して、 0で ない信号のサンプノレ点が前記第 1の固体撮像素子の出力信号とは互いにずれるよう にして、各信号間に（N—1)個のサンプノレ点について 0の値の信号を揷入して、全体 を M個のサンプル点の信号とし、
前記第 1の固体撮像素子の信号力 補間された第 1の低周波成分を生成し、 前記第 2の固体撮像素子の信号力 補間された第 2の低周波成分を生成し、 互いに対応するサンプノレ点の前記第 1の固体撮像素子の出力信号と前記第 2の固 体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 1の低周波成分と前記高周波成分とを加算して、前記第 1の固体撮像素子 の信号を得ると共に、
前記第 2の低周波成分と前記高周波成分とを加算して、前記第 2の固体撮像素子 の信号を得ることを特徴とする請求項 2に記載の撮像装置。
[5] 前記撮像部は、離散的な画素構造を有し、前記第 1及び第 2の固体撮像素子の各 画素と対応する画素を有する第 3の固体撮像素子をさらに含み、
前記演算部は、前記補間演算において、
前記第 3の固体撮像素子のサンプノレ点の出力信号力 補間された第 3の低周波成 分を生成し、
前記第 1の固体撮像素子のサンプル点の出力信号と前記第 2の固体撮像素子の サンプノレ点の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 3の低周波成分と前記高周波成分とを加算して、前記第 3の固体撮像素子 の信号を得ることを特徴とする請求項 2に記載の撮像装置。
[6] 前記撮像部は、離散的な画素構造を有し、前記第 1及び第 2の固体撮像素子の各 画素と対応する画素を有する第 3の固体撮像素子をさらに含み、
前記演算部は、前記補間演算において、
前記第 1の固体撮像素子からの M/N個のサンプル点の出力信号に対して、各信 号間に（N—1)個のサンプル点について 0の値の信号を揷入して、全体を M個のサ ンプル点の信号とし、
前記第 2の固体撮像素子からの MZN個のサンプル点の出力信号に対して、 0で ない信号のサンプノレ点が前記第 1の固体撮像素子の出力信号とは互いにずれるよう にして、各信号間に（N—1)個のサンプノレ点について 0の値の信号を揷入して、全体 を M個のサンプル点の信号とし、
前記第 3の固体撮像素子からの MZN個のサンプル点の出力信号に対して、前記 第 1の固体撮像素子からのサンプル点の出力信号と対応させて、各信号間に (N_ l
)個のサンプル点について 0の値の信号を揷入して、全体を M個のサンプル点の信 号とし、
前記第 3の固体撮像素子の信号力 補間された第 3の低周波成分を生成し、 互いに対応するサンプノレ点の前記第 1の固体撮像素子の出力信号と前記第 2の固 体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、 前記第 3の低周波成分と前記高周波成分とを加算して、前記第 3の固体撮像素子 の信号を得ることを特徴とする請求項 2に記載の撮像装置。
[7] 前記撮像部は、 G、 B、 Rの各チャンネルに対応する第 1から第 3の固体撮像素子を 含むことを特徴とする請求項 1から 6のいずれか一項に記載の撮像装置。
[8] 前記撮像部は、 Gチャンネルを 2つに分けた G1チャンネル及び G2チャンネルに対 応する第 1及び第 2の固体撮像素子と、 Bチャンネルに対応する第 3の固体撮像素子 と、 Rチャンネルに対応する第 4の固体撮像素子とを含み、
前記通常撮像時には、前記 G1チャンネルと前記 G2チャンネルに対応する第 1及 び第 2固体撮像素子からの出力信号を加算して Gチャンネルの信号とし、
前記高速撮像時には、互いに対応するサンプノレ点の前記第 1の固体撮像素子の 出力信号と前記第 2の固体撮像素子の出力信号とを加算した信号を Gチャンネルの 信号とすることを特徴とする請求項 5又は 6に記載の撮像装置。 前記撮像部と前記演算部との間に、前記撮像部の出力信号を記憶すると共に、記 憶した出力信号を前記演算部に出力する記憶部をさらに備え、
前記演算部は、前記記憶部からの出力信号を演算することを特徴とする請求項 1 から 8のいずれか一項に記載の撮像装置。
前記撮像部から出力するフレームレートは、前記記憶部から出力するフレームレー トより大きいことを特徴とする請求項 9に記載の撮像装置。
PCT/JP2007/052716 2006-02-17 2007-02-15 撮像装置 WO2007094403A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007800136334A CN101422034B (zh) 2006-02-17 2007-02-15 摄像装置
US12/279,603 US8144206B2 (en) 2006-02-17 2007-02-15 Imaging apparatus adapted to perform normal imaging and high-speed imaging
JP2007531122A JP5033628B2 (ja) 2006-02-17 2007-02-15 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-040553 2006-02-17
JP2006040553 2006-02-17

Publications (1)

Publication Number Publication Date
WO2007094403A1 true WO2007094403A1 (ja) 2007-08-23

Family

ID=38371582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/052716 WO2007094403A1 (ja) 2006-02-17 2007-02-15 撮像装置

Country Status (4)

Country Link
US (1) US8144206B2 (ja)
JP (1) JP5033628B2 (ja)
CN (1) CN101422034B (ja)
WO (1) WO2007094403A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159593A (ja) * 2007-12-05 2009-07-16 Panasonic Corp オートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路
JP2010193400A (ja) * 2009-02-20 2010-09-02 Nippon Hoso Kyokai <Nhk> 撮像装置
US20130294741A1 (en) * 2010-09-08 2013-11-07 Canon Kabushiki Kaisha Imaging apparatus and control method for the same, shooting control apparatus, and shooting control method
JP2015090986A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 撮像装置および撮像装置の制御方法
JP2016048889A (ja) * 2014-08-28 2016-04-07 株式会社日立国際電気 撮像装置およびその変調度補正方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482613B2 (en) * 2007-09-10 2013-07-09 John Kempf Apparatus and method for photographing birds
EP3157254A4 (en) * 2014-06-13 2018-03-21 Olympus Corporation Solid-state image capturing device and image capturing method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295531A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 撮像装置
JP2003069903A (ja) * 2001-08-28 2003-03-07 Olympus Optical Co Ltd 撮像装置
JP2003116143A (ja) * 2001-10-03 2003-04-18 Sony Corp 撮像装置および画質補正方法
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2003299112A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP2003338988A (ja) * 2002-05-22 2003-11-28 Olympus Optical Co Ltd 撮像装置
JP2004032100A (ja) * 2002-06-21 2004-01-29 Sony Corp 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005086499A (ja) * 2003-09-09 2005-03-31 Minolta Co Ltd 撮像装置
JP2005303519A (ja) * 2004-04-08 2005-10-27 Konica Minolta Photo Imaging Inc 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL156189B (nl) * 1949-09-24 Upjohn Co Werkwijze ter bereiding van het antibioticum lincomycine.
EP0558338B1 (en) * 1992-02-28 1998-01-21 Sony Corporation Video camera
JPH06335006A (ja) * 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 固体撮像装置
US5661522A (en) * 1994-12-16 1997-08-26 Hitachi Denshi Kabushiki Kaisha TV camera provided with solid image pick-up element
JP2716949B2 (ja) 1995-05-08 1998-02-18 株式会社東芝 Ｘ線診断装置
US5912702A (en) * 1995-12-12 1999-06-15 Sony Corporation Video camera and image enhancing apparatus
JPH10136244A (ja) * 1996-11-01 1998-05-22 Olympus Optical Co Ltd 電子的撮像装置
JPH1132241A (ja) 1997-07-09 1999-02-02 Sony Corp 可変速度カメラ装置
JP2003274264A (ja) * 2002-03-13 2003-09-26 Sony Corp 撮像装置及び映像信号生成方法
JP4281309B2 (ja) * 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP4016796B2 (ja) 2002-10-22 2007-12-05 オムロン株式会社 車載用撮像装置及びそれを用いた車両運転支援装置
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295531A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 撮像装置
JP2003069903A (ja) * 2001-08-28 2003-03-07 Olympus Optical Co Ltd 撮像装置
JP2003116143A (ja) * 2001-10-03 2003-04-18 Sony Corp 撮像装置および画質補正方法
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
JP2003299112A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP2003338988A (ja) * 2002-05-22 2003-11-28 Olympus Optical Co Ltd 撮像装置
JP2004032100A (ja) * 2002-06-21 2004-01-29 Sony Corp 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005086499A (ja) * 2003-09-09 2005-03-31 Minolta Co Ltd 撮像装置
JP2005303519A (ja) * 2004-04-08 2005-10-27 Konica Minolta Photo Imaging Inc 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159593A (ja) * 2007-12-05 2009-07-16 Panasonic Corp オートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路
JP2010193400A (ja) * 2009-02-20 2010-09-02 Nippon Hoso Kyokai <Nhk> 撮像装置
US20130294741A1 (en) * 2010-09-08 2013-11-07 Canon Kabushiki Kaisha Imaging apparatus and control method for the same, shooting control apparatus, and shooting control method
US9338421B2 (en) * 2010-09-08 2016-05-10 Canon Kabushiki Kaisha Imaging apparatus and control method for the same, shooting control apparatus, and shooting control method
JP2015090986A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 撮像装置および撮像装置の制御方法
JP2016048889A (ja) * 2014-08-28 2016-04-07 株式会社日立国際電気 撮像装置およびその変調度補正方法

Also Published As

Publication number Publication date
CN101422034B (zh) 2011-10-12
JPWO2007094403A1 (ja) 2009-07-09
CN101422034A (zh) 2009-04-29
US8144206B2 (en) 2012-03-27
JP5033628B2 (ja) 2012-09-26
US20100220214A1 (en) 2010-09-02

Similar Documents

Publication Publication Date Title
US5734424A (en) Image pickup apparatus capable of providing moving video signal and still video signal
KR100666290B1 (ko) 촬상 장치 및 촬상 방법
JP3991543B2 (ja) 撮像装置
US20080186391A1 (en) Solid-state image pickup apparatus with horizontal thinning and a signal reading method for the same
JP5033628B2 (ja) 撮像装置
KR100462260B1 (ko) 영상픽업장치
JPH06133321A (ja) Ｃｃｄ撮像装置
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
JPS5972283A (ja) 電子スチルカメラの映像信号処理装置
JP6771944B2 (ja) 撮像装置及び撮像装置の制御方法
JP2004194248A (ja) 撮像素子及び撮像装置
JP3909930B2 (ja) 単板カラー固体撮像装置
JP2970472B2 (ja) 固体撮像装置
JP3193557B2 (ja) 映像信号記録再生装置
JPH06189256A (ja) 静止画記録ディジタルカメラ
JP3948456B2 (ja) 固体撮像素子および固体撮像素子の制御方法
JP6270398B2 (ja) 撮像装置
JP3018297B2 (ja) カラー撮像装置
JPS63127686A (ja) 撮像装置
JP4199391B2 (ja) 固体撮像装置および信号読出し方法
JP4688754B2 (ja) 固体撮像装置及びそれを用いたカメラ
JP2000224600A (ja) 撮像装置
KR0137232B1 (ko) 정지화상기록 디지탈 카메라
JP3239029B2 (ja) 固体撮像装置
JP4311473B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2007531122

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 12279603

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 200780013633.4

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 07714246

Country of ref document: EP

Kind code of ref document: A1