WO1994003015A1 - Imaging device with horizontal line interpolation function - Google Patents

Imaging device with horizontal line interpolation function Download PDF

Info

Publication number
WO1994003015A1
WO1994003015A1 PCT/JP1993/001002 JP9301002W WO9403015A1 WO 1994003015 A1 WO1994003015 A1 WO 1994003015A1 JP 9301002 W JP9301002 W JP 9301002W WO 9403015 A1 WO9403015 A1 WO 9403015A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
circuit
interpolation
imaging device
signals
Prior art date
Application number
PCT/JP1993/001002
Other languages
English (en)
French (fr)
Inventor
Hiroya Kusaka
Takashi Sakaguchi
Masaaki Nakayama
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP04195096A external-priority patent/JP3134513B2/ja
Priority claimed from JP04195099A external-priority patent/JP3134515B2/ja
Priority claimed from JP4195095A external-priority patent/JP3024370B2/ja
Priority claimed from JP04195097A external-priority patent/JP3134514B2/ja
Priority claimed from JP5015171A external-priority patent/JP3064721B2/ja
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US08/211,151 priority Critical patent/US5532742A/en
Priority to EP93916186A priority patent/EP0605738B1/en
Priority to DE69327895T priority patent/DE69327895T2/de
Publication of WO1994003015A1 publication Critical patent/WO1994003015A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Definitions

  • the present invention relates to a video camera or the like.
  • the present invention relates to an electronic zoom function circuit, a moving correction circuit for performing a moving correction, and a function for obtaining a high-quality frame image signal in an imaging device.
  • it has a horizontal line capture function that performs arithmetic processing on video signals to perform electronic horizontal line capture processing, and performs arithmetic processing on video signals.
  • the present invention relates to an imaging device having a horizontal line interpolation function, which has a function of creating a frame signal in a pseudo manner.
  • a conventional motion compensator using an electronic zoom function is described in, for example, TV Society Technical Report V0L.11.03 (may.18887). It has been done.
  • the input signal becomes a digital signal in the A / D conversion circuit, and is input to the moving vector detection circuit and the memory circuit, and is not used in the moving vector detection circuit.
  • the motion signal is detected by comparing the video signals of the two fields, and the memory control circuit uses the motion vector to capture the camera shake from the memory circuit.
  • a memory output signal that obtains a corrected cut-out signal is converted into a regular video signal by an interpolating circuit controlled by an interpolating control circuit. Then, it becomes an analog signal.
  • the above conventional example includes a solid-state imaging device, an imaging device driving circuit that controls transfer / stop of vertical transfer (scanning) of the solid-state imaging device by a control signal (C 1),
  • the output signal S 0 of the image sensor is controlled by a control signal (C 2) to form the first line memory Ml to the n-th line memory M n (n ⁇ 3, n is And a control signal that outputs an output signal of m lines (2 ⁇ m ⁇ n, where m is an integer) of the line memories Ml to Mn.
  • C3 the output signals Sl to Sm of the selection evening and the weighting signals Wl to Wm, respectively, are multiplied by the weighting signals Wl to Wm, respectively.
  • One or more multipliers for adding the output signals of the multipliers; and a control signal generator for outputting the control signals C1, C2, C3, and W1 to Wm. It consists of a raw circuit, The signal stored in the remaining line memory M x (l ⁇ . X ⁇ n. X is an integer) selected by the selector is converted to the line memory When the signal is the oldest signal among Ml to Mn, vertical transfer (scanning) of the solid-state imaging element is performed, and a new one-line signal SO new is output. The switch is controlled so as to write the signal SO new to the line mark Mx.
  • the frequency response characteristic may be degraded during the interception processing. There was a problem that image quality was affected. Disclosure of invention
  • the present invention is intended to improve the frequency response characteristics of a conventional image pickup apparatus having an interpolation function during capture processing, and to obtain a high-quality interpolated image. First, it is necessary to reduce the degradation of the frequency response characteristics when creating a horizontal line between captures as seen in a conventional electronic zoom function circuit. aimed to .
  • the purpose is to create a frame still image and output a high-quality still image in an imaging device having a still image creation function.
  • the present invention provides a solid-state imaging device for obtaining three different color signals in an imaging device, and a solid-state imaging device obtained from the imaging device.
  • the vertical phase shift section that shifts the vertical phase of some of these three color signals by only a certain pitch, and the phase shift
  • There is a coefficient generation auxiliary circuit that changes the interpolation coefficient at the time of interpolating processing according to the shift.
  • three color signals obtained from multiple solid-state -4- is that the vertical phase is not the same phase due to the vertical phase shift part, and therefore, when the interpolating process is performed, the vertical frequency accompanying the interpolating process is Since the degradation of the response characteristics is different for the three color signals, the frequency response in the vertical direction of the output line interposed especially near the center of the two input lines Deterioration of spontaneous characteristics can be reduced, and deterioration of sharpness in the vertical direction during horizontal line interpolation can be reduced.
  • the vertical phase shift unit is replaced with at least one or more image sensor driving circuits for driving the solid-state image sensor, and a drive control circuit for controlling the image sensor driving circuit. A similar effect can be obtained even with such a configuration.
  • At least one or more image pickup device driving circuits for driving the solid-state image pickup device for driving the solid-state image pickup device, the drive control circuit for controlling the image pickup device driving circuit, and a vertical interpolation unit.
  • the vertical interpolation selection circuit replaces the three color signals by controlling the image sensor driving circuit when the vertical interpolation is on.
  • the vertical phase is prevented from being the same phase, and when vertical interpolation is off, the drive control circuit controls the image pickup device drive circuit so that the three color signals have the vertical phase. This makes it possible to reduce the deterioration of the sharpness in the vertical direction during the horizontal line interpolation when the vertical interpolation is on. If not, turn off vertical interpolation. As a result, three color signals having the same phase in the vertical direction can be obtained, and a high-resolution image without vertical resolution degradation can be obtained.
  • a frame operation circuit for obtaining a pseudo frame signal from the three color signals, and a capture operation for obtaining an interpolated horizontal line signal from the frame operation circuit output signal.
  • the vertical phase shift section provides a vertical A high-quality frame still image can be obtained from a pseudo frame signal created from the three color signals whose phase in the direction has been shifted. .
  • a vertical interpolation selection circuit is added to this configuration, and the vertical interpolation selection circuit allows the drive control circuit to control the imaging element drive circuit when the vertical interpolation is on, thereby controlling the imaging element drive circuit.
  • the vertical phases of the three color signals are prevented from being the same, and when vertical interpolation is off, the drive control circuit controls the image sensor drive circuit to control the three color signals.
  • FIG. 1 is a block diagram showing a configuration of an imaging device with a horizontal line capturing function according to the first embodiment.
  • FIG. 2 (a) is a schematic diagram showing the operation of the phase shift units 4 and 5 in the first embodiment.
  • FIG. 2 (b) is a configuration example of a color separation prism in the first embodiment.
  • FIG. 3 is a schematic diagram showing a specific configuration of the interpolation circuit 14 in the first embodiment.
  • FIGS. 4 (a), 4 (b), 4 (c), and 4 (d) are for describing the method of the interpolation processing in the interpolation circuit 14 in the first embodiment.
  • Fig. 7 is a block diagram showing the configuration of an imaging device with a horizontal line capture function according to the second embodiment.
  • FIG. 8 is a schematic diagram showing the operation of the phase shift unit 4 in the second embodiment.
  • FIG. 9 is a diagram showing the configuration of the light-receiving surface of the solid-state imaging device 2 in the second embodiment.
  • FIG. 10 shows an example of the configuration of the two-color separation prism in the second embodiment.
  • FIG. 12 is a block diagram of an imaging apparatus with a horizontal line interpolation function according to the third embodiment.
  • FIG. 13 is an explanatory diagram of the frame accumulation drive control of the image sensor of the imaging device with the horizontal line interpolation function in the third, seventh, and eighth embodiments.
  • FIG. 15 is a diagram for explaining field storage drive control of an imaging device of an imaging device with a horizontal line interpolation function in the third, seventh, and eighth embodiments. Illustration of signal processing of imaging device with horizontal line capture function in embodiment 3
  • FIG. 16 is a configuration diagram of a digital signal processing circuit of an imaging device with a horizontal line interception function in the third and seventh embodiments.
  • FIG. 17 is an explanatory diagram of the false color signal removal of the imaging device with the horizontal line interpolation function in the third embodiment.
  • FIG. 18 is a configuration diagram of a capturing function portion of the imaging apparatus with a horizontal line interpolation function in the third embodiment.
  • FIG. 19 is a block diagram of an imaging device with a horizontal line interpolation function in the fourth embodiment.
  • FIG. 20 is a block diagram of an imaging apparatus with a horizontal line capture function according to the fifth embodiment.
  • FIG. 21 is a configuration diagram of the vertical electronic zoom function of the imaging apparatus with the horizontal line interpolation function in the fifth embodiment.
  • FIG. 22 is a configuration diagram of the vertical interpolation of the imaging device with the horizontal line interpolation function in the fifth embodiment.
  • FIG. 23 is a block diagram showing a digital signal processing section of an imaging apparatus with a horizontal line interpolation function according to the sixth embodiment.
  • FIG. 24 shows a photograph taken with the horizontal line intercepting function in the sixth embodiment.
  • FIG. 25 is a block diagram showing a digital signal processing circuit of an image pickup apparatus.
  • FIG. 25 is a diagram showing a horizontal position of an image pickup apparatus with a horizontal line interpolation function according to the sixth and seventh embodiments.
  • FIG. 26 is a second explanatory diagram of the horizontal line capture in the imaging device with a horizontal line interpolation function in the sixth embodiment.
  • Fig. 27 is a third illustration of horizontal line capture in an imaging device with horizontal line interpolation function according to the sixth embodiment.
  • FIG. 28 is an explanatory diagram of an output signal of a digital signal processing circuit in an imaging device having a horizontal line interpolation function according to the sixth embodiment.
  • FIG. 30 is a block diagram of an imaging apparatus with a horizontal line capture function according to the seventh embodiment.
  • FIG. 31 is an explanatory diagram of signal processing of an imaging device with a horizontal line interpolation function in the seventh embodiment.
  • FIG. 32 is a block diagram showing a digital signal processing circuit of the imaging device with a horizontal line capture function according to the seventh embodiment.
  • FIG. 33 is a second explanatory diagram of the digital signal processing circuit of the imaging device with a horizontal line interpolation function in the seventh embodiment.
  • FIG. 34 is an explanatory diagram of an output signal of a digital signal processing circuit of an imaging device with a horizontal line capturing function according to the seventh embodiment.
  • FIG. 35 is a second explanatory diagram of the output signal of the digital signal processing circuit of the imaging device with a horizontal line capturing function according to the seventh embodiment.
  • Block diagram of imaging device with horizontal line interpolation function in embodiment 8 BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram of the imaging device with a horizontal capturing function according to the first embodiment.
  • solid-state imaging devices 1, 2, and 3 are imaging devices for obtaining G, R, and B of three color signals, respectively.
  • the G signal, the solid-state image sensor 2 obtains the R signal, and the solid-state image sensor 3 obtains the B signal.
  • the vertical phase shift section 4 is provided to schematically show that the phase shift of the color signal is realized (2 and 4 are combined with the imaging section 6).
  • the vertical phase shift section 5 is provided to schematically show that the phase shift of the color signal is realized. (3 and 5 are combined to form the imaging unit 7).
  • pl and p2 it is assumed that the interval between lines of the video signal to be interlaced is normalized to 1.
  • the analog signal processing circuits 8, 9, and 10 are circuits for performing analog signal processing on three color signals obtained from the solid-state imaging devices 1, 2, and 3, respectively.
  • the analog digital conversion circuits 11, 12, and 13 convert the three color signals processed by the analog signal processing circuits 8, 9, and 10 from analog to digital.
  • a digital conversion circuit and an interpolation circuit 14 are converted into digital signals by analog-to-digital converters 11, 12, and 13. This is a circuit that performs interpolation processing on two color signals.
  • the matrix circuit 16 performs a matrix operation on the three color signals interpolated by the interpolation circuit 14 to generate a luminance signal and two color difference signals.
  • the circuit for synthesis and the encoder circuit 17 are NTSC signals from the luminance and color difference signals obtained from the matrix circuit 16. It is a circuit for obtaining
  • the imaging device drive circuit 17 is a circuit for driving the solid-state imaging device 1.
  • the system control circuit 19 is a circuit for comprehensively controlling the vertical phase shift units 4 and 5, the interpolation circuit 14, and the imaging device drive circuit
  • Fig. 2 (a) shows the operation of the vertical phase shift units 4 and 5, and realizes the phase shift of the color signal.
  • This is a schematic representation of the arrangement that is shifted vertically in relation to 1.
  • the solid-state imaging devices 2 and 3 are only pl and P2 (0 ⁇ P1 and 0 ⁇ p2 and 1), respectively, with respect to the solid-state imaging device 1. Are located.
  • FIG. 2B is a configuration diagram of a color separation prism that separates G, R, and B signals from the optical system of the imaging apparatus according to the present embodiment.
  • the length of the solid-state imaging device in the vertical direction is 2L, and the solid-state imaging devices 2 and 3 are vertically displaced by p1 and p2, respectively.
  • Fig. 3 shows an example of the principle configuration of the interpolator 14 in Fig. 1.
  • One line memory 20, 21, 22 is a memory for storing one line of the video signal input to the interpolation circuit, and one of the three is stored. Write and use two for reading and writing, and use the memory for writing and reading with switch 28 and selector 2 respectively.
  • the real-time processing is realized by sequentially switching according to FIG.
  • the coefficient generation and capture circuit 27 uses the information on the amount of shift in the vertical position of the three solid-state image sensors (that is, the amount of shift in the vertical phase of the three color signals) as a coefficient. It is sent to the generator 26.
  • the coefficient generation circuit 26 generates an interpolation coefficient to be used in the interpolation operation based on the information from the coefficient generation auxiliary circuit 27.
  • Multipliers 23 and 24 are obtained from one line memory. This signal is multiplied by the interpolating coefficient obtained from the coefficient generating circuit 26, and the adder 25 adds the two line signals multiplied by the interpolation coefficient.
  • the overall configuration of the interpolator 14 shown in FIG. 3 is the same as that shown in FIG. 3 above for each of the three color signals (R, G, B). The configuration can be achieved by providing each of them.
  • the G signal obtained by the solid-state imaging device 1, the R signal obtained by the imaging unit 6, and the B signal obtained by the imaging unit 7 are each an analog signal processing circuit 8. , 9, and 10 receive analog signal processing, and then analog-to-digital converters 11, 12, and 13 digitize analog signals from analog signals. It is converted to a tall signal and sent to the interpolation circuit 14.
  • the G, R, and B signals sent to the interpolator 14 are each subjected to the interpolation processing, and this interpolation processing is shown in FIGS. 4 (a) to 4 (d). I will explain. First, let us consider a case where the displacement of the solid-state imaging devices 2 and 3 with respect to the solid-state imaging device 1 is downward (that is, the direction in which the number of lines increases).
  • the interpolation line synthesized from the R signal will be the phase of the G signal.
  • the line at a distance of 1-p1 + w from the k-th line and p1-w from the k-th line of the R signal is obtained by Synthesize.
  • the interpolation line that synthesizes from the B signal will take into account the shift of the phase with respect to the G signal.
  • 1 — p 2 + w from the k-th line of the B signal the k-th line A line at a distance of p 2 — w from the fin is synthesized by trapping (Fig. 4 (a)).
  • the interpolation line synthesized from the R signal takes w-from the k-th line of the R signal into consideration, considering the shift of the phase with respect to the G signal.
  • a line at a distance of 1 + pl — w from the k + 1 line is synthesized by trapping. This is the same for the B signal. If p2w ⁇ 1, the interpolation line synthesized from the B signal takes into account the phase shift with respect to the G signal. Then, the lines of distance B from the k-th line of the B signal and 1 + ⁇ 2 — w from the k + 1-th line are synthesized by the intercept (Fig. 4 ( b)).
  • the displacement of the solid-state imaging devices 2 and 3 with respect to the solid-state imaging device 1 is upward (that is, the direction in which the number of lines decreases).
  • a line at a distance of w + p2 from the kth line of the B signal and a line of 1- ⁇ 2-w from the k + 1st line is synthesized by trapping (Fig. 4 ( c)).
  • the intercept line synthesized from the R signal must be the k + 1 line of the R signal in consideration of the phase shift with respect to the G signal.
  • the lines at a distance of 2 — p 1 — w from the k + 2 line are synthesized by trapping.
  • the interpolation line synthesized from the B signal takes into account the shift of the phase with respect to the G signal. From the k + 1st line of the B signal, — l + p 2 + w, and the k + 2. line from the line 2 — p 2 — w Combine (Fig. 4 (d)).
  • an interpolation signal having the same phase can be synthesized from three color signals having a phase shift with each other, and the vertical direction accompanying the interpolation can be obtained.
  • FIG. 5 shows the operation of the vertical phase shift units 4 and 5, and the solid-state imaging devices 2 and 3 are compared with the solid-state imaging device 1 in order to realize the phase shift of the color signal.
  • This is a schematic representation of the arrangement in which they are vertically shifted by 1/2 line.
  • Interpolation lines to be synthesized are calculated from the (k-1) th line of the R signal (l / 2) + w and from the kth line in consideration of the phase shift of the G signal. (1/2) — Combines lines at a distance of w by interpolation. This is the same for the B signal. If 0 ⁇ w ⁇ p 2, then the interpolation line synthesized from the B bedding is the k-1st line of the B signal in consideration of the phase shift of the G signal. (L / 2) + w, (1/2) — w from the k-th line.
  • the intercept line to be synthesized from the signal is (l / 2) + w, and the k + 1st line from the k-th line of the R signal.
  • a line at a distance of (1/2)-w from the inn is formed by the trap. This is the same for the B signal. If O w and p 2, the intercept line composed of the B signal takes into account the shift of the phase with respect to the G signal.
  • a line with a distance of (l / 2) + w from the kth line of the signal and (1/2)-w from the k + 1st line is synthesized by intercept (Fig. 6 (c)).
  • the interpolation line to be synthesized from the R signal is the k + 1 line of the R signal, taking into account the phase shift of the G signal.
  • a line with a distance of 1 w is synthesized by trapping. The same is true for the B signal. If p 2 ⁇ w ⁇ l, the intercept line synthesized from the B signal takes into account the shift of the phase with respect to the G signal.
  • the video signal is viewed with all three color signals (for example, the video signal is synthesized by matrix operation from the G, R, and B signals) Brightness signal), it is possible to reduce the deterioration of the sharpness in the vertical direction during horizontal line capture Oh Ru.
  • the solid-state image sensor driving circuits for the solid-state image sensors 2 and 3 are included in the vertical phase shift units 4 and 5 and include a system control circuit. It is configured to receive the control of 19. [2] ⁇ Second embodiment: basic configuration (configuration having two solid-state imaging devices)>
  • FIG. 7 is a block diagram of an imaging device with a horizontal interpolation function according to the second embodiment.
  • the conversion circuit 41, 42, 43, the interpolation circuit 44, the matrix circuit 46, the encoder circuit 47, the image sensor drive circuit 48, and the system control circuit 49 are ,
  • Matrix circuit 16 Encoder circuit 17 Image sensor drive circuit 18 Since the same effect as that of the item control circuit 19 is shown, a detailed description is omitted.
  • solid-state imaging devices 31 and 32 are imaging devices for obtaining G, R, and B of three color signals, respectively. Is a G signal, and the solid-state imaging device 32 is an R signal and a B signal.
  • the vertical phase shift section 34 is filled in to schematically show that the phase shift of the color signal is realized (the imaging sections 3 and 3 4 are shown together). 6).
  • the interval between lines of the video signal to be interlaced is normalized to one.
  • the G signal obtained by the solid-state imaging device 31 is sent to the interpolation circuit 44 through the same processing as in the first embodiment.
  • the R and B signals obtained by the imaging unit 36 are converted to analog signals by an analog signal processing circuit 39.
  • R / B signal separation circuit 45 After being subjected to log signal processing, it is separated into R and B signals by an R / B signal separation circuit 45, and then sent to an interpolation circuit 44 through processing similar to that of the first embodiment. It is. Since the interpolation circuit 44 is the same as that of the first embodiment (see FIG. 3), the description is omitted.
  • Fig. 8 schematically shows that the solid-state imaging device 32 is arranged to be shifted from the solid-state imaging device 31 in order to realize the phase shift of the color signal. It is. As shown in this figure, the solid-state imaging device 32 is arranged only p 3 (0 ⁇ p 3 ⁇ 1) with respect to the solid-state imaging device 31.
  • FIG. 9 is a diagram of the light-receiving surface of the solid-state image sensor 32.
  • the light-receiving surface of the solid-state image sensor 32 has red (R) and blue (B) RB color struts as shown in the figure. Since an filter is attached, the R signal and the B signal can be obtained from the solid-state imaging device 32 by this configuration.
  • the length of the solid-state imaging device in the vertical direction is 2L, and the solid-state imaging device 32 is vertically displaced by p3.
  • FIG. 10 is a configuration diagram of a two-color separation prism for separating a G signal and R and B signals from the optical system of the imaging apparatus according to the present embodiment.
  • R and B light go straight through the prism, while G light is reflected by the dichroic layer shown in the figure. This separates G from R and B.
  • the G signal obtained by the solid-state imaging device 31 is converted into the R signal obtained by the analog signal processing circuit 38 after receiving the analog signal processing and then by the imaging unit 36.
  • the B signal and the B signal are supplied to the analog port by the analog signal processing circuit 39.
  • the analog and digital conversion circuits 41, 42, and 43 convert the analog signals into analog signals.
  • the log signal is converted into a digital signal and sent to the interpolator 44.
  • the G, R, and B signals sent to the interpolation circuit 44 are each subjected to interpolation processing, and this interpolation processing is shown in Figs. 11 (a) to 11 (d). This will be explained with reference to FIG.
  • the interpolation line synthesized from the R and B signals takes into account the shift of the phase with respect to the G signal, taking into account the phase shift of the R and B signals.
  • a line at a distance of l + p 3 + w from the k + 1 line and 2 — p 3 — w from the k + 2 line is interpolated (Fig. 11 (d)). .
  • the interpolation line By synthesizing the interpolation line in this way, it is possible to synthesize the same phase intercept signal from the G signal, the R signal, and the B signal, which have phase shifts with each other, and perform interpolation. Because the deterioration of the vertical frequency response characteristics due to the G signal, the R signal, and the B signal was different for each, the video signal was viewed for all three color signals. In this case (for example, when considering a luminance signal synthesized by matrix operation from G, R, and B signals), the deterioration of frequency response characteristics in the vertical direction is reduced. Therefore, it is possible to reduce deterioration of sharpness in the vertical direction during horizontal line capture.
  • the vertical frequency response w 0.5 is obtained.
  • the R and B signals are not subjected to the interpolation process, and the state in which the frequency response in the vertical direction does not deteriorate can be maintained.
  • w 0 interpolation is performed on the G signal, the R and B signals are subjected to the interpolation with the greatest degradation in the frequency response characteristics in the vertical direction.
  • the signal is not interpolated and can be maintained in a state where the frequency response characteristics in the vertical direction do not deteriorate, when the video signal is viewed with all three color signals (for example, G, R, Considering the luminance signal synthesized by matrix operation from the B signal), the vertical sharpness in horizontal line interpolation Ru Oh is possible and call Ru reduce the deterioration of the time. Further, if the configuration of this embodiment is used, it is possible to reduce the number of vertical phase shift sections for the phase shift of the color signal to one, and the entire configuration is the first. This can be further simplified as compared with the embodiment.
  • the solid-state imaging device driving circuit for the solid-state imaging device 32 is included in the vertical phase shift section 34 and controlled by the system control circuit 49. Configuration.
  • the R and B signals obtained from the imaging unit 36 pass through the analog signal processing circuit 39, and then the R and B signal separation circuits.
  • the configuration is such that the R signal and the B signal are separated from each other, but this is not limiting, and the analog signal processing circuit 39 and the R and B signal separation circuits are separated. It is conceivable that such a configuration can be put together.
  • a configuration using an RB color stripe filter in the solid-state imaging device 32 is used. It is not limited to this.
  • the solid-state imaging device in order to make the phases of the three color signals R, G, and B different from each other, for example, three color signals are obtained.
  • the solid-state imaging device is bonded and fixed to the three-color separation prism, it can be realized by shifting the position in the vertical direction, which is different from the conventional method.
  • the phase of a color signal can be shifted by bending the optical path of light by manipulating the refractive index inside the three-color separation prism. This is also possible.
  • the position is shifted in the vertical direction, which is different from the conventional method.
  • the color signal It can be considered that the phases are shifted.
  • the present invention is not limited to this, but shifts the G and B signals to the R signal or shifts the G and R signals to the B signal. It is also possible to have a configuration that makes it fall.
  • the three color signals are R, G, and B, but are not limited to these.
  • yellow It is also possible to use three color signals, cyan and magenta.
  • the trapping circuit is configured to have three line memories, but the invention is not limited to this. A configuration with more than one line memory is also conceivable.
  • the interpolating process is a linear interpolating process.However, the interpolating process is not limited to this, and a configuration having four or more line memories is used. Thus, it is clear that higher-order interpolation processing such as secondary capture is possible.
  • the configuration having both the matrix circuit and the encoder circuit is used, but the present invention is not limited to this.
  • a configuration that has only one of the matrix circuit and the encoder circuit and a configuration that does not have both of them are also conceivable.
  • the output of the encoder circuit is an NTSC signal.
  • the present invention is not limited to this.
  • FIG. 12 is a block diagram of an image pickup apparatus with a horizontal line interpolation function according to a third embodiment of the present invention.
  • reference numeral 101 denotes an image sensor having a photoelectric conversion function
  • 102 denotes an image sensor driving circuit for the image sensor 101
  • 103 denotes an image sensor driving circuit 1.
  • a drive control circuit that controls 02, 104 is an analog signal processing circuit that performs processing such as sampling and amplification on the output signal of the image sensor 101
  • 105 is An analog-to-digital conversion circuit (hereinafter referred to as an A / D conversion circuit) for the output signal of the analog signal processing circuit 102
  • 106 is the AZD-converted digital signal.
  • Digital signal processing circuit that generates luminance signal, color signal, color difference signal, etc. from the total signal or performs RGB signal processing.
  • 107 is a digital signal processing circuit.
  • 6 is a field memory circuit for storing the output signal
  • 108 is a field memory control circuit for controlling the field memory circuit 107.
  • 1 9 is An electronic zoom circuit that performs capture and enlargement processing using the output signal of the field memory circuit 107, and 110 controls the electronic zoom circuit 109.
  • the electronic zoom control circuit 111 is a system that comprehensively controls the drive control circuit 103, the field memory control circuit 108, and the electronic zoom control circuit 110.
  • the stem control circuit 112 is an encoder circuit that obtains an NTSC signal from RGB.
  • a plurality of R, G, and B output signals output from the image sensor unit 101 are subjected to analog signal processing and AD conversion processing to become digital signals.
  • This digital signal is subjected to RGB signal processing in a digital signal processing circuit 106 and input to a field memory circuit 107.
  • the signal input to the field memory circuit 107 is a field memory control circuit 108, an electronic zoom circuit 109, and an electronic zoom control circuit.
  • the interpolating operation is performed by 110.
  • Figure 13 shows the frame storage drive control of the image sensor by the drive control circuit 103.
  • Fig. 13 (a) shows an ordinary interlace readout drive control of the image sensor
  • Fig. 13 (b) shows a configuration example of the image sensor unit 101 in the present embodiment.
  • the outline of the read-out drive control of the R, G, and B image sensor that obtains each of the R, G, and B signals is shown below.
  • Fig. 13 (a) in the frame accumulation mode, the pixels in the photosensitive area during the field shift in the odd field are set in the vertical direction. Next, the signal of the odd-numbered line pixel is read out, and then the signal of the even-numbered line pixel is read out using the even field. Line transfer is realized.
  • FIG. 13 (a) shows an ordinary interlace readout drive control of the image sensor
  • Fig. 13 (b) shows a configuration example of the image sensor unit 101 in the present embodiment.
  • the R.B image sensor In the field, among the R, G, and B image sensors, the R.B image sensor outputs the signal of the odd-numbered line pixel in the vertical direction, and the G image sensor obtains the even number signal.
  • the signal of the pixel of the line is read out, and then in the even field, the even number of pixels in the vertical direction of the image sensor of R / B among the image sensors of R / G / B are read out.
  • the signal of the line pixel is read out, and the signal of the odd-numbered line pixel is read out by the G image sensor.
  • the odd / even reading of the RGB image sensor is reversed between the RGB image sensor and the G image sensor by the frame accumulation drive control.
  • Fig. 14 shows the field accumulation drive control of the image sensor.
  • Fig. 14 (a) shows an ordinary interlace readout drive control of the image sensor
  • Fig. 14 (b) shows another configuration example of the image sensor unit 101 in this embodiment.
  • the outline of the read-out drive control of the R, G, and B image sensor that obtains each of the R, G, and B signals is shown below.
  • the odd field starts with the odd-numbered pixels starting from the line pixels near the horizontal transfer CCD (not shown).
  • the signal of the first line and the signal of the next even-numbered line are simultaneously added (PD mix), read out, and then the combination of addition is changed with the even field.
  • the odd field is used, and among the R.G.B image sensors, the R.B image sensor is shown in FIG. 14 (a).
  • the indicated odd field readout is performed by the G image sensor, and the even field read is performed by the G image sensor, and then the R, G, B image sensor is read by the even field.
  • the R.B image sensor reads even fields, and the G image sensor reads odd fields. This is how the field is In the drive control, the odd / even PD mix reading of the R, G, and B image sensors is reversed between the R * B image sensor and the G image sensor.
  • the odd / even readout is obtained by reversing the readout of the R / B image sensor and the G image sensor.
  • the spatial positions (phases) of the R and B signals and the G signal are shifted by 1/2 line (line interval in one field).
  • the three color signals, R, G, and B have different phases. It is said that the solid-state image sensor is glued and fixed to the three-color separation prism or the two-color separation prism to obtain three color signals by shifting its position vertically.
  • the vertical process associated with the trapping process reduces the total manufacturing costs including manufacturing equipment and manufacturing time without requiring an assembling process with strict accuracy. It is possible to obtain an imaging device that reduces the deterioration of the frequency response characteristics in the direction and the deterioration of the sharpness in the vertical direction during horizontal line interpolation.
  • Figure 15 shows an outline of the signal processing.
  • Fig. 15 (a) shows the case where no interpolation processing is performed
  • Fig. 15 (b) shows the case where interpolating processing is performed.
  • the R, B, and G signals are shifted in phase by 1/2 line (line interval in one field), so signal processing is performed. In this case, the phases in the vertical direction must be matched.
  • R The phases of the G and B signals can be matched. This is shown in (Equation 1). It is shown in Fig. 15 (b).
  • an in-phase interpolation signal can be synthesized from two different types of color signals, and the frequency response associated with the interpolation can be obtained.
  • the video signal is viewed over all three color signals (for example, the G, R, and B signal matrices are different) because the characteristics deteriorate differently with the phase.
  • control (C1) that spatially shifts the position of the G signal is explained, but the positions of the R and B signals are not shifted spatially.
  • Control (C 2) is also possible. Only the position of the R signal (C It is also possible to spatially shift 3) only the position of the B signal (C4).
  • the spatial position control will be described below.
  • the luminance (Y) signal is created by the RGB signals, which is shown by (Equation 3). [Equation 3]
  • the spatially shifted signal (Ya) included in the luminance signal and the unshifted signal (Yb) are given by the following equations in the case of C1 to C4, respectively. (Equation 4).
  • the color difference signals (R-Y and B-Y) are created from the R, G, and B signals, which are represented by (Equation 5).
  • FIG. Figure 16 shows a circuit configuration example.
  • Figure 16 (a) is empty The inter-position control is C 1, and FIG. 16 (b) is the case of C 2. Similar effects in FIGS. (A) and (b): The same reference numerals are used to denote the same effects, and the description is omitted.
  • Figure 16 (a) shows the 1H memory 501 for delaying one horizontal line period of the G signal, the adder 502, and the 1 / 2A for gain adjustment. 503, a luminance signal matrix 504 for performing the arithmetic processing shown in (Equation 3) above, and a color signal matrix for performing the arithmetic processing shown in (Equation 5).
  • FIG. 16 (b) shows 1H memory 501, adder 502, and gain adjustment for delaying one horizontal line period of R signal and B signal.
  • the color signal matrix 505 that performs the The digital signal processing circuit configured as described above has a vertical interception function having 1H memory, that is, a 2H line averaging circuit.
  • the phases of the color signals can be matched, and the luminance signal processing and the color signal processing are performed below.
  • Fig. 16 (a) and (b) show that Fig. 16 (a) shows that the spatial position control C1 (shifting the G signal) is more suitable for reducing the circuit size. You can see
  • the spatial position control C 2 which shifts the phase, has better frequency characteristics than C 1, which shifts the G signal, and the arithmetic processing shown in (Equation 5) is performed. Even in the color signal matrix to be performed, the spatial position control C2 has better frequency characteristics than C1 as shown in (Equation 6). Thus, it can be seen that the spatial position control C 2 is more suitable for the high-frequency characteristics in signal processing when no capture processing is performed.
  • FIG. 17 shows a circuit configuration example of the digital signal processing circuit 106 in FIG. 12 for removing this false color signal.
  • 601 is 1H memory for delaying one horizontal line period
  • 602 is an adder
  • 603 is a gain adjustment.
  • the 1/2 amp 604 is the luminance signal matrix that performs the arithmetic processing shown in (Equation 3) above
  • 605 is the arithmetic processing shown in (Equation 5).
  • Color signal matrix 606 is a phase adjustment circuit composed of the above 601 to 603, and 607 attenuates the high frequency components of the G signal.
  • the VLPF to be used, 608-609, is a VLPF that attenuates the high frequency components of the color difference signals R-Y-B-Y.
  • Fig. 17 are the same as 501 to 505 in Fig. 16, and the difference is the VLPF of 607, 608, 609. .
  • VLPF 6.07 attenuates the high frequency components of the G signal and makes them equal to the R and B signals, thereby increasing the high frequency of the color difference signal. It reduces false signals that occur in the band.
  • VLPFs 608 and 609 are generated in the high frequency band by attenuating the high frequency component of the color difference signal by M. Reduce false signals.
  • Fig. 17 (c) is the sum of the effects of Figs.
  • reference numerals 701 to 704 denote two-line averaging processes (interpolation coefficients 1/2/1 ⁇ 1/2) for combining the phases in the vertical direction shown in FIG. 2 interpolation processing) in the vertical spatial position compensator, 701 1H memory, 7202 adder, and 703 1/2 amp. This is a 704 phase compensation circuit configured from these.
  • Numeral 705 is a finite memory, and numeral 706 is a switch. Switches the 1H line memory 707 to 709 WRITE operation shown below.
  • 710 is a selector for selecting two from the above line memory.
  • 7 1 1 7 1 2 is a multiplier
  • 7 13 is an adder
  • 7 14 is a vertical interpolator composed of 7 10 to 7 13
  • 7 15 is a delay in the horizontal direction Latch circuit
  • 716, 717 is a multiplier
  • 718 is an adder
  • 719 is a horizontal interpolator composed of 7.15 to 718
  • 720 Is an electronic zoom circuit composed of a vertical interpolation circuit 714 and a horizontal interpolation circuit 719.
  • the interpolating function portion configured first receives a signal in which the phase shift in the vertical direction has been compensated for by the phase compensation circuit 704 and the field memory. And controls the field memory 705 (not shown) and the three line memories in the electronic zoom circuit 720.
  • the vertical compensation circuit 704 is necessary for signals whose phases are shifted in the vertical direction. It is not required for signals that do not have a direct phase shift.
  • the imaging apparatus with the horizontal line interpolating function that shifts the phase in the vertical direction is provided.
  • Vertical and horizontal interpolation functions are provided.
  • FIG. 19 shows the imaging with horizontal line interpolation function according to the fourth embodiment. It is a block diagram of the device. In the figure, reference numerals 801 to 8110 denote the same as 101 to 110 in FIG. 12 except for the vertical internal SW. This is a system control circuit 812 that comprehensively controls the circuit. The following describes the imaging apparatus with the horizontal line capture function configured as described above, focusing on the differences.
  • the vertical interpolation SW. Circuit 81 1 is turned off, and the system control circuit 81 2 and the drive control circuit 80 3 are turned off. Then, through the image sensor driving circuit 802, the image sensor unit 801 performs a normal driving operation in which the vertical phases of the R, G, and B signals match.
  • the vertical interpolation SW. Circuit 811 is turned on, and the system control circuit 812 and drive control circuit 8 0 3 and the imaging device driving circuit 802, and the imaging device unit 81 is supplied with the R and B signals and the G signal by the means shown in FIGS. 13 and 14 of the third embodiment. Drive operations with different vertical phases are performed.
  • the spatial position (phase) matches. Therefore, there is no need to perform phase matching for the color signal, and there is no need to perform LPF processing in the vertical direction, so that the high frequency characteristics are not degraded.
  • the frequency response characteristics due to the interpolating process are not degraded by the phase.
  • the video signal when the video signal is viewed as a whole of the three color signals (for example, when a luminance signal synthesized by matrix operation from G, R, and B signals is considered)
  • the deterioration of the frequency response characteristics for example, when a luminance signal synthesized by matrix operation from G, R, and B signals is considered
  • the drive control circuit and the vertical internal SW. Circuit when the interpolation processing is not performed, the high resolution without the vertical resolution deterioration is obtained.
  • the sharpness in the vertical direction of the horizontal line inter-scan signal is reduced, and an image with little image quality deterioration can be obtained. It is.
  • FIG. 20 is a block diagram of an imaging device with a horizontal line interpolation function according to the fifth embodiment.
  • reference numerals 901 to 905 are the same as 101 to 105 in FIG. 12 except that the output signal of the AZD conversion circuit 905 is stored.
  • field memory circuit 907 Controls field memory circuit 906 Field memory control circuit, field Performs vertical interpolation processing using the output signal of the memory circuit 906 908 Vertical interpolation circuit, controls the vertical interpolation circuit 908 909 Vertical interpolation control circuit, vertical interpolation Circuit Generates luminance signals, color signals, color difference signals, etc., or performs RGB signal processing from the output signal of the circuit 908 910 Digital signal processing circuit, digital signal processing circuit Performs interpolation in the horizontal direction using the output signal of 9 10 9 1 1 1 1 1 Horizontal interpolating circuit, Controls horizontal interpolating circuit 9 1 1 9 1 2 Horizontal interpolating control circuit, and above Road Oh Ru in 9 1 3 S ystem control circuit you total control of.
  • the third embodiment differs greatly from the third embodiment in that the electronic zoom circuit is divided into a vertical interpolation circuit 908 and a horizontal interpolation circuit 911.
  • the electronic zoom function will be described with reference to FIGS. 21 and 22.
  • Figure 21 shows an example of the configuration of the vertical electronic zoom function.
  • 1001, 1002, and 1000.3 are field memory circuits for storing R'B'G signals, respectively, and 1004 is a field memory circuit.
  • Field memory control circuit that controls the field memory circuit 1003 (G signal) 1005 is the field memory circuit 1 0 0 1 ( A field memory control circuit that controls the R signal) and 1002 (B signal), and the field memory control circuits 1 0 6 ⁇ 1 0 7 ⁇ 1 0 8 are field memories Re-circuiting 1 0 0 1 1 0 0 2 1 0 0 3 Vertical interpolation of R, B, and G signals from 0 3. Vertical interpolation circuit for performing enlargement processing.
  • a vertical interpolation control circuit that controls 0 08, 1 10 0 is a vertical electronic zoom control circuit that controls the vertical interpolation circuits 1 0 6 and 1 0 7, and 1 0 1 1 Figure 20 Vertical control circuit included in system control circuit 9 13 It is a road.
  • Figure 22 shows the vertical intercept circuit.
  • 110 9 is the entire vertical interpolation circuit, and 110 1 to 110 8 are ⁇ 13 to 3 13 in FIG. 18 of the third embodiment. Since the configuration is the same, the description is omitted.
  • the R, G, and B signals have the same configuration, except that the multiplication coefficient (interpolation coefficient) from the vertical interpolation control circuit to the multiplier is Rl, v2 for the R, B signal, and
  • the G signal is a point of v3 ⁇ v4.
  • the R and B signals are Field memory circuit 1 0 0 1 1 0 0 2, field memory control circuit 1 0 0 5, and vertical capture circuit 1 0 0 6 1 0 0 7 And a vertical capture control circuit 11010, and as shown by the G signal in FIG. 15 (b), the phase shift p (l / 2
  • the horizontal line is interpolated by the calculation using the vertical interpolation coefficient vl ⁇ V2 determined from the vertical interpolation coefficient w and the vertical interpolation coefficient w.
  • the G signal is supplied to a field memory circuit 1003, a field memory control circuit 1004, a vertical interpolation circuit 1008 and a vertical interpolation control circuit 1 0 9, and as shown by the R and B signals in Fig. 15 (b), the vertical intercept coefficients V 3 and V 4 are determined from the vertical internal coefficient w.
  • the horizontal line is interpolated by this operation.
  • the digital signal processing circuit 910 performs signal processing of R, G, B or Y (luminance) and C (color), and then performs horizontal processing.
  • the horizontal interpolating process is performed by the interpolation circuit 911. Since this horizontal interpolating circuit can be constituted by a circuit similar to the 711 horizontal interpolating circuit in FIG. 18, the description is omitted here.
  • the phase compensation function for the phase shift p in the vertical direction and the interpolation coefficient w By performing the vertical interpolation function at the same time, it is possible to reduce the number of circuits for vertical phase compensation, and to obtain an imaging device with a horizontal line interpolation function with a small circuit scale. It is possible.
  • FIG. 23 is a block diagram showing a digital signal processing unit of an imaging device with a horizontal line interpolation function according to the sixth embodiment.
  • 1201 is two types of luminance signals Y 1
  • a digital signal processing circuit for obtaining Y 2 and two types of color signals CI and C 2.
  • Field memories 122 to 125 store each signal.
  • 206 is a field memory control circuit for controlling the above-mentioned field memory
  • 1207 is a circuit using Y 1 ⁇ ⁇ 2 C C 1 ⁇ C 2.
  • An electronic zoom circuit for capturing and enlarging, and 122 is for comprehensively controlling the digital signal processing circuit, field mail control circuit, and electronic zoom circuit described above. This is a system control circuit.
  • FIG. 1 is two types of luminance signals Y 1
  • a digital signal processing circuit for obtaining Y 2 and two types of color signals CI and C 2.
  • Field memories 122 to 125 store each signal.
  • 206 is a field memory control circuit for controlling the above-mentioned field
  • FIG. 24 is a block diagram showing the configuration of the digital signal processing circuit 121 shown in FIG. 23.
  • 1301 is a line memory that stores the signal for one period
  • 1302 is an adder
  • 1303 is a gain adjustment 1
  • Z2 1304 is a selector circuit that selects two signals R1 and R2 from the three signals based on information from the system control circuit.
  • ⁇ 1307 is a signal selection circuit composed of the above 1301 to 1304, 1308 is a Y1 matrix circuit that creates the luminance signal Y1, 1 309 is for creating a luminance signal ⁇ 2 ⁇ 2 matrix circuit, 1310 is for C1 matrix circuit for creating chrominance signal C1, 1 3 1 1 Is a C 2 matrix circuit that creates a color signal C 2, and 1312 is a matrix circuit composed of the above 13 08 to 13 11 .
  • the signal selection circuits 1305 to 1307 first generate three signals from two consecutive lines. This is shown in Figure 25.
  • the R and G signals are generated from the R, G, and G signals that are out of phase with the G signal by 1/2 line vertically. No. is shown.
  • the (m — 1) line interpolation signal is converted from the (n — 2) line and n line signals to the n and (n + 2) lines.
  • a (m + 1) -line interpolation signal is created from the line signal, and similarly, in the G signal, the (n-1) line and the (n + 1) line signal From the (n + 1) line and the (n + 3) line signal to create an (m + 2) line interpolated line signal. .
  • a three-line signal including an interpolated signal is created from two consecutive lines in this way.
  • two signals are selected from the above three signals. This is shown in Figures 26 and 27.
  • the R and B signals are generated from the R, G, and B signals that are out of phase with the G signal in the 1/2 line vertical direction.
  • the interstitial line h1 is shown in FIG. 27, and the interstitial line h2 similarly made.
  • the matrix operation of the C 1 matrix circuit 1310 is performed by the (R-Y) m * (B-Y) and interpolation line when the interpolation line h1 is created.
  • (R-Y) m + 1 '(B-Y) when creating h2 The C2 matrix circuit 1311 executes the matrix operation of m + 1 and C In the 1 and C2 matrix, the (R-Y) signal and the (B-Y) signal are thinned out and output in a time-division manner.
  • the output signal of the digital signal processing circuit 1201 is shown in Fig.
  • FIG. 28 The luminance signal of the first pixel of the (m-1) line is shown. Yes.
  • FIG. 28 (a) is an output signal of the capture shown in FIG. 26, and the color signal is a time series in which the color difference signal is thinned out every two pixels.
  • the (m-1) line and m line signals are shown, and in (b), the m line and (m + 1) line signals are respectively shown. Outputting.
  • the output signals of the digital signal processing circuit 201 shown in FIG. 23 are controlled by the field memory control circuit 122, respectively.
  • the stored signals are stored in the field memory 122 to 125, and thereafter, the above-mentioned signal from the field memory is stored in the electronic zoom circuit 1207.
  • the intercept operation is performed using.
  • the capture operation is performed using two lines of signals that are related to the position of the frame signal. For example, in the case shown in Fig. 26, there is a positional relationship between the frame signals (m-1) In the case shown in Fig. 27, the m-line signal and the (m + 1) -line signal that have the same frame signal positional relationship are used. To perform interpolation calculation.
  • Figure 29 shows an example of the configuration of this electronic zoom circuit.
  • 1801 is a switch
  • 1802 ⁇ 1803 is a line memory
  • 1804 is a line memory control circuit
  • 1805 is a line memory control circuit.
  • the selector circuit, 1806 and 1.807 are vertical line memory control circuits
  • 1808 and 1809 are multipliers for vertical interpolation
  • 18010 is An adder
  • 1811 is a latch circuit that gives a delay in the horizontal direction
  • 1812, 1813 is a multiplier for horizontal interpolation
  • 1814 is an adder
  • 181 5 is a horizontal interpolation circuit.
  • a digital signal processing circuit and an electronic zoom circuit for generating the Y1, C2, and C1, C2 signals are provided.
  • two lines of signals required for interpolation are input to the electronic zoom circuit, the number of line memories in the electronic zoom circuit is small, and the circuit scale is reduced. It is also possible.
  • drive control of the image sensor is performed to shift the phases of the three color signals R, G, and B.
  • the position is different from the conventional position.
  • Gluing the light signal in a vertical direction or manipulating the refractive index inside the three-color separation prism to bend the optical path of the light to shift the phase of the color signal It may be possible to do so.
  • the output of the R, G, and B signals for the imaging element unit has been described. Its configuration is that it has three solid-state imaging devices, each of which has a three-chip imaging device that obtains R * G'B signals, and one imaging device that has two imaging devices. It is possible to consider a configuration of a two-chip imaging device that obtains a G signal and the other image sensor obtains an R signal and a B signal.
  • the encoder circuit converts the RGB signals from the electronic zoom circuit into the NTSC signal is shown.
  • the case where the R, G, and B signals or the Y and C signals are output from the electronic zoom circuit is shown, but there is an NTSC signal. Alternatively, it can be converted to another signal.
  • the three color signals are R, G, and B.
  • the present invention is not limited to this. For example, if you use three color signals: yellow, cyan, and magenta This is also possible.
  • the interpolation processing is shown as a case of linear interpolation.
  • the present invention is not limited to this. It is evident that higher-order capture processing such as quadratic interpolation can be performed using the line memory output signal.
  • FIG. 30 shows the configuration of an imaging device with a horizontal line interpolation function according to the seventh embodiment.
  • reference numeral 2101 denotes an image sensor having a photoelectric conversion function
  • reference numeral 210 denotes an image sensor driving circuit for the image sensor 210
  • reference numeral 210 denotes an image sensor.
  • a drive control circuit that controls the drive circuit 210, and 2104 is an analog signal processing circuit that performs processing such as sampling and amplification on the output signal of the image sensor 211.
  • 210 5 are analog-to-digital converters (hereinafter referred to as AZD) for the output signals of the analog signal processing circuit 210.
  • AZD analog-to-digital converters
  • 210 is a digital signal processing that generates luminance signals, color signals, color difference signals, etc., from the AZD-converted digital signals, or performs RGB signal processing Circuit
  • 210 7 is a field memory for storing the output signal of the digital signal processing circuit 210
  • 2108 is a field memory.
  • the field memory control circuit that controls the circuit 211, the drive memory circuit 210, the field control circuit 210, the field memory control circuit 210, A system control circuit that comprehensively controls the operation of the digital signal processing circuit; a encoder circuit that obtains a television signal such as an NTSC signal from an output signal of the digital signal processing circuit 210; Reference numeral 2111 denotes an encoder circuit that obtains a television signal such as an NTSC signal from the output signal of the field memory circuit 210.
  • a plurality of R, G, and B output signals output from the imaging element unit 211 are subjected to analog signal processing and A / D conversion processing, and become digital signals.
  • This digital signal is processed by a digital signal processing circuit 2106 in which the luminance signal (Y 1 ⁇ 2) and the chrominance signal (CI «C 2) are processed and the digital signal is processed.
  • Input to the memory circuit 211 The signal input to the field memory circuit 210 is output as a frame still image by the field memory control circuit 210.
  • Figure 13 shows the frame accumulation drive control of the image sensor by the drive control circuit 2103.
  • Fig. 13 (a) shows an ordinary interlace readout drive control of the image sensor
  • Fig. 13 (b) shows a configuration example of the image sensor unit 2101 in the present embodiment.
  • An outline of read drive control of an R.G.B image sensor that obtains certain R * G'B signals will be described.
  • Fig. 13 (a) Thus, in the frame accumulation mode, in the odd field, one of the pixels in the photosensitive area during the field shift period is an odd number of pixels in the vertical direction. Read out the signal of the pixel in the line No. 2, and then read out the signal of the pixel in the even numbered line with the even field to realize the interline transfer. ing.
  • the odd field is R'G'B.
  • the odd number in the vertical direction is the odd number in the R and B image sensors.
  • the signal of the pixel of the line is read out from the image sensor of G, and the signal of the pixel of the even-numbered line is read out.
  • the R and B image sensors read out the signals of the even-numbered line pixels in the vertical direction
  • the G image sensor read out the signals of the odd-numbered line pixels. In this way, the odd / even reading of the R, G, and B image sensors is reversed between the R and B image sensors and the G image sensor by the frame accumulation drive control.
  • Fig. 14 shows the field accumulation drive control of the image sensor.
  • Fig. 14 (a) shows the drive control for reading the interlace of a normal image sensor
  • Fig. 14 (b) shows another example of the configuration of the image sensor unit 2 101 in this embodiment.
  • the outline of the read drive control of the R, G, B image sensor that obtains the R, G, B signals is shown below.
  • the odd field is the odd-numbered line from the line pixel near the horizontal transfer CCD (not shown).
  • Signal and the next even-numbered line signal are added (PD mix) at the same time, read out, and then the combination of additions is changed using the even field to change the even-numbered line signal from the bottom.
  • the odd field allows the R, G, and B image sensors to be used.
  • the odd field readout shown in Fig. 14 (a) is read, and in the G image sensor, the even field readout is performed.
  • the even field read out the even field for the R, B, and B image sensors, and read the odd field for the G image sensor. The reading is being performed.
  • the field storage drive control reverses the odd / even PD raix reading of the R, G, B image sensor between the R, B image sensor and the G image sensor. .
  • the odd / even reading is obtained by reversing the reading of the R / B image pickup device and the G image pickup device.
  • the spatial positions (phases) of the R and B signals and the G signal are shifted by 1/2 line (line interval in one field).
  • the drive control circuit is provided to make the phases of the three color signals R, G, and B different from each other.
  • the position of the solid-state imaging device is shifted vertically to the three-color separation prism or the two-color separation prism to obtain three color signals, and then adhesively fixed. In this way, the phases of the three color signals R, G, and B can be made different from each other.
  • Figure 31 shows an outline of the signal processing.
  • Fig. 31 (a) shows the process of obtaining a G signal that is in phase with the R and B signals
  • Fig. 31 (b) obtains the R and B signals that are in phase with the G signal.
  • the outline of the process is shown below.
  • the R * B signal and the G signal are shifted in phase by 1/2 line (line interval in one field).
  • the vertical phase must be matched. Therefore, in Fig. 31 (a), the G signal is
  • by performing averaging processing of two consecutive lines interpolation processing with an interpolation coefficient of 1/2, 1/2
  • the phases of the RGB signals can be matched.
  • Fig. 31 (a) shows the process of obtaining a G signal that is in phase with the R and B signals
  • Fig. 31 (b) obtains the R and B signals that are in phase with the G signal.
  • the outline of the process is shown below.
  • the R * B signal and the G signal are shifted in phase by 1/2 line (line interval in one field
  • K m (K n- l + R n + l) / 2.
  • B m (B n -l + B n + l) / 2.
  • the spatially shifted signal (Ya) and the non-shifted signal (Yb) included in the luminance signal are represented by the following equations in the case of C1 to C4, respectively. 4).
  • FIG. 16 shows an example of a circuit configuration of the signal processing schematic shown in FIG. FIG. 16 (a) shows the case where the spatial position control is C l
  • FIG. 16 (b) shows the case where the spatial position control is C 2.
  • Fig. 16 (a) shows the 1H memory 501 for delaying one horizontal line period of the G signal, the adder 502, and the 1 / 2A for adjusting the gain.
  • Fig. 16 (b) shows 1H memory 501, adder 502, and gain adjustment for delay of one horizontal line period of R signal and B signal.
  • the luminance signal matrix 504 for performing the arithmetic processing shown in the above (Equation 3) and the arithmetic operation shown in the (Equation 5) It has a color signal matrix 505 for processing.
  • 1H memory is used in a digital signal processing circuit configured as described above.
  • Fig. 16 (a) and Fig. 16 (a) show that the spatial position control of C1 (shifting the G signal) is more suitable for reducing the circuit size than Fig. 16 (a) and (b). I understand.
  • the phase adjustment for the color signal whose position (phase) is shifted as shown in Fig. 16 requires LPF processing in the vertical direction, so that the The frequency characteristics deteriorate.
  • a video signal is viewed as a whole of three color signals (for example, a luminance signal synthesized by matrix operation from G, R, and B signals), the frequency characteristics are as described above (Equation 3).
  • the spatial position control C 2 that shifts the phase of the R and B signals as shown in (Equation 4) Higher frequency characteristics than C1, which shifts the G signal.
  • the spatial position control C2 is higher than C1 as shown in (Equation 6).
  • the frequency characteristics are excellent.
  • the spatial position control C 2 is more suitable for high-frequency characteristics in signal processing when no interpolation processing is performed.
  • reference numeral 2601 denotes a line memory for storing a signal during a 1 H period
  • reference numeral 2602 denotes an adder
  • reference numeral 2603 denotes a gain adjustment.
  • An amplifier, 2604 is a signal interpolator composed of the above 2601 to 2603, and 2605 is a Y1 matrix that creates the luminance signal Y1 Circuit is a Y2 matrix circuit that creates a luminance signal Y2, 2607 is a C1 matrix circuit that creates a chrominance signal C1, and 2608 is a C circuit that creates a chrominance signal C2 2 Matrix circuit, 2609 is the matrix circuit composed of the above 2605 to 2608, and 2610 is the luminance signal Y1 and Y2 A luminance signal processing circuit that performs aperture and coring processing, etc., and 261 1 is a white balance, color reproduction, etc., for the color signals C 1 and C 2 This is a color signal processing circuit that performs the above processing.
  • FIG. 32 in the signal capturing circuit 2604, an interpolation signal is created from two consecutive lines of signals. This is shown in Figure 25.
  • Figure 25 shows the signal created from the R, G, and B signals in which the R and B signals are out of phase with the G signal by one-half line vertically. .
  • the (m — 1) line interpolation signal is converted from the (n — 2) line and n line signals to the ⁇ line and ( ⁇ + 2)
  • An (m + 1) line interpolation signal is created from the line signal, and similarly, the (n—1) line and the (n + 1) line signal are used in the G signal.
  • From m A (m + 2) line intercept line signal is created from the (n + 1) line and the (n + 3) line signal. In this way, an interpolated signal is created from two consecutive lines.
  • matrix circuit 2609 shown in FIG. 32 matrix signal processing is performed using the output signals of the R, G, and B signal intercepting circuits.
  • the R and B signals are created from the R and G and B signals that are out of phase with the G signal by 1/2 line vertically.
  • each of the color signals R m-1 ⁇ G m -1 «B mi and R m 'G m-B m is given by (Equation 8), and the created luminance signal Y m -i ⁇ Y m and the color difference signal (R — Y) m- , ⁇ (R-Y) m and (BY) (B-Y) m are shown in (Equation 9).
  • the output signal of the digital signal processing circuit 210 in FIG. for example tut in FIG 3 4 3 4 ( ⁇ 111 -. 1 1).. is you are Table Wa luminance signal of the first pixel (111 -1) La fin 3
  • the chrominance signal shows a case where the chrominance signal is thinned out every two pixels and time-sequentialized.
  • the Y1 signal is represented by (m — 1) m line signals are output as line and Y 2 signals, respectively. You are.
  • the output signal of the digital signal processing circuit 210 shown in FIG. 30 is converted into a television signal (TV 1) by the encoder circuit 211. ) And output as a movie.
  • the output signal of the digital signal processing circuit 210 is controlled by the field memory control circuit 210 so that an image at an arbitrary moment can be filtered.
  • the first field signal which is stored in the second memory 210 and consists of the Y1 and C1 signals, and consists of the Y2 and C2 signals
  • the luminance signal Y 3 and the chrominance signal C 3 are output in time series as the second field signal, and the Y 3 signal is output by the encoder circuit 211.
  • the signal and the C3 signal are converted into a television signal (TV2) and output as a still image. .
  • FIG. 35 (a) is Y 1 and CI indicate the spatial position represented by the signal, (b) indicates the spatial position represented by Y 2 and. (C 2 signal, and (c) indicates the spatial position represented by Y l, ⁇ 2 and C l, C
  • the spatial position represented by the two signals is shown in Fig. 35.
  • the Y1 and Y1 signals in Fig. 35 (a) and the Y2 and C2 signals in (b) are shown in Fig. 34.
  • the digital signal processing circuit 2106 simultaneously outputs a field at the same time, so that the above-mentioned television signal (TV 1) is the same as the Y 1 signal. It is composed of the C1 signal and output as a moving image.
  • the Y3 and C3 signals output the Y1 and C1 signals at the position (a) as the first field signal. And outputs the Y 2 and C 2 signals at the position (b) as the second field signal, and the first and second field signals are of high image quality.
  • a frame is composed of a still image.
  • the signal (TV2) combines the ⁇ 3 signal and the C3 signal to form a composite signal, and the first and second field signals are used as high-quality frame still images. Is composed.
  • the digital signal processing circuit for generating the Y1, Y2, and C1, C2 signals and the field memory circuit are provided.
  • a field memory control circuit By providing a field memory control circuit, a luminance signal and a color difference signal having a positional relationship of the frame signal are created, and the frame signal at the same time is generated. It is possible to obtain the two field signals that make up.
  • FIG. 36 is a block diagram of an imaging device with a horizontal line interpolation function according to the eighth embodiment.
  • 3101 to 3108 and 3110 and 3111 correspond to 2101 to 2108 in Fig. 30.
  • the difference is that the vertical interpolation SW and the system control circuit 311 which comprehensively control the above circuits 9
  • the imaging device with the horizontal line interpolation function configured as described above will be described below focusing on the different points.
  • the vertical internal SW. Circuit 3 1 1 2 is turned off, and the system control circuit 3 109 and the drive control circuit are turned off.
  • the image sensor unit 3101 After passing through 310 and the image sensor driving circuit 3102, the image sensor unit 3101 performs a normal driving operation in which the vertical phases of the R, G, and B signals match.
  • the vertical interpolation SW. Circuit 3 1 1 2 is turned on, and the system control circuit 3 109 and the drive control circuit 3
  • the imaging element section 3101 is changed to R ⁇ B by the means shown in FIGS. 13 and 14 of the seventh embodiment.
  • a driving operation is performed in which the vertical phases of the signal and the G signal are different.
  • the spatial position (phase) matches. Since there is no need to perform phase matching on the color signal and no need to perform LPF processing in the vertical direction, the high frequency characteristics do not deteriorate.
  • signal processing for performing frame still image creation processing as in the seventh embodiment, Y 1 ⁇ 2 and C 1 ⁇ C are used by the digital signal processing circuit. Two signals can be created, and the field memory circuit and the field memory control circuit can output a frame still image.
  • the drive control circuit and the vertical interpolation SW. Circuit are provided, so that when the still image processing is not performed, the vertical A high-resolution video without direct-resolution degradation is obtained, and when performing still image processing, two field signals that constitute the frame signal at the same time must be obtained. Is possible.
  • the drive control of the image sensor is performed to shift the phases of the three color signals 1, G, and B.
  • the position is shifted in the vertical direction unlike the past. It is also possible to shift the phase of the color signal by bending the optical path of the light by gluing or manipulating the refractive index inside the three-color separation prism.
  • the case where the three color signals are solid-state image pickup device output signals has been described.
  • the field memory or the frame may be used. The same applies to signals stored in memory or the like.In this case, the memory is read out and controlled as a means for shifting the phase in the vertical direction. be able to .
  • the configuration is not limited to this.
  • the configuration of a two-chip imaging device that obtains R and B signals can be considered.
  • the three color signals are R, G, and B.
  • the present invention is not limited to the three color signals. It is also possible to use three color signals,, cyan and magenta.
  • the field memory circuit records an image at an arbitrary moment by the control of the field memory control circuit. Only explanations that have the function of outputting images as still images were given, but in other respects, for example, the number of images that can be recorded depends on the memory capacity.
  • the function of indicating an arbitrary moment to be determined and recorded, and the method of updating the image, etc., include the installation of the SW. Through the system control circuit and the field memory control circuit. Since it can be configured in this way, the explanation here is omitted.
  • the Yl, ⁇ 2 signals and the pseudo-frame signals are used as the pseudo-frame signals.
  • the case of outputting the C1 and C2 signals has been described.
  • the present invention is not limited to this, and R1'R2, G1'G2, B1 ⁇
  • the Y signal is a pseudo-frame signal and the C signal is a normal frame signal. In some cases, a ground signal is output.

Description

明 細 書
発明 の 名称
水平 ラ イ ン 補間機能付 き 撮像装置 技術分野
本発明 は 、 ビ デ オ カ メ ラ 等 ?)撮像装置 に お い て電子的 ズ ー ム 機能回路及 び動 き 捕正 を行 う 動 き 捕正回路及 び高画質 な フ レ ー ム 画像信号を 得 る 機能 に関す る も の で あ り 、 特 に 映像信号 に 演 算処理 を施 し て電子的 な水平 ラ イ ン の捕間処理を 行 う 水平 ラ イ ン 捕間機能を 備 え た 、 及 び映像信号 に演算処理を施 し て擬似的 に フ レ ー ム 信号を作成す る 機能を備 え た 、 水平 ラ イ ン補間機能 付 き 撮像装置 に 関 す る も の で あ る 。 背景技術
近年、 ビ デ オ カ メ ラ 等の撮像装置 に お い て は 、 小型 . 計量 . 高倍率 ズ ー ム 化 、 更 に 多機能化 が進 み 、 光学 ズ ー ム と 電子的 ズ ー ム 機能 を連動 し た商品開発が行わ れて い る 。 ま た ユ ー ザ ー 層が従来の マ ニ ア に加 え て子供か ら お年寄 り ま で拡大が進 む こ とにより、 手ぶれによる画面揺れが発生し電子的ズーム機能を用いた動き補 正回路 を備 え た撮像装置が商品化 さ れて い る 。
従来 の電子的 ズ ー ム 機能を用 い た 動 き 補正装置 と し て は 、 例 え ば T V 学 会技術 ¾告 V 0 L . 1 1 . 0 3 ( m a y . 1 8 8 7 ) 等 に示 さ れて い る 。
以下 に 、 従来 の電子 ズ ー ム 機能を有す る 動 き 補正回路 に つ い て説明 す る 。 入力信号は A / D変換回路 で デ ジ タ ル信号 と な り 、 動 き べ ク ト ル検 出回路及 び メ モ リ 回路 に入力 す る 、 動 き べ ク ト ル検 出回 路で は 、 2 フ ィ ー ル ド の映像信号を 比較 し て動 き べ ク ト ル を検 出 し 、 メ モ リ 制御回路で は動 き べ ク ト ルを 用 い て メ モ リ 回路か ら 手ぶれ捕正 さ れた切 り 出 し 信号を得 る 、 メ モ リ 出力信号 は捕 間制御回路 に よ り 制御 さ れ る 捕間回路 に よ つ て正規 の映像信号 と な り 、 D / A変換回路で ア ナ ロ グ信号 と な る 。
こ の よ う に 、 2 フ ィ ー ル ド の 映像信号力、 ら 動 き べ ク ト ル を検 出 し 、 補間機能 に よ り 手ぶれ補正を行 っ て い る 。
ま た 、 従来 の水平 ラ イ ン補間機能 を有す る 撮像装置の 例 と し て は 、 例え ば本出願人が出願 し 、 登録 に な っ た米 _国特許 4, 9 5 1, 1 2 5 (登録日 ' 9 0. 8. 2 1 ) 「撮像装置」 があ げ ら れる。 以下 に 、 従来の電子 ズ ー ム 機能を有す る 動 き 捕正回路 に つ い て説明 す る 。
上記 の従来例 は 、 固体撮像素子 と 、 制御信号( C 1 と す る) に よ り 前記固体撮像素子 の垂直転送(走査)の転送 · 停止の 制御を 行 う 撮像素子駆動回路 と 、 前記固体撮像素子の 出力信号 S 0 を 制御信号( C 2 と す る) に よ り 第 1 の ラ イ ン メ モ リ M l 〜第 n の ラ イ ン メ モ リ M n ( n ≥ 3 、 n は整数)へ振 り 分 け る 切換器 と 、 前記 ラ イ ン メ モ リ M l 〜 M n の う ち の m ラ イ ン ( 2 ≤ m < n、 m は 整数) の 出 力 信号 を制御信号( C 3 と す る) に よ り 選択 す る セ レ ク 夕 と 、 前記 セ レ ク 夕 の 出力信号 S l 〜 S m に そ れ ぞ れ重み 付 け信号 W l ~ W mを乗算す る 1 つ ま た は複数の乗算器 と 、 前 記乗算器 の 出力信号を加算す る 加算器 と 、 前記制御信号 C l 、 C 2、 C 3、 W 1 ~ W mを出力す る 制御信号発生回路か ら な り 、 前記 セ レ ク タ が選択 し た 残 り の前記 ラ イ ン メ モ リ M x ( l ≤. X ≤ n . x は 整数) に 記憶 さ れ て い る 信号が、 前記 ラ イ ン メ モ リ M l ~ M n の う ち 最 も 古 い信号で あ る と き に 、 前記固体撮像素 子 の 垂直転送 (走査) を 行 い新 た な 1 ラ イ ン の 信 S O newを 出 力 し 、 前記 ラ イ ン 目 折 M x に前記信号 S O newを書 き 込 む よ う に前記切換器が制御 さ れ る よ .う に構成 さ れ た も の で あ る 。
上記 の よ う な 、 捕間機能を備 え た撮像装置 に お い て は 、 捕間 処理 の 際 に 周 波数 レ ス ポ ン ス 特性の劣化が生 じ る こ と も あ り 、 従 っ て画質 に影響す る と い う 課題が あ っ た 。 発明 の 開示
本発明 は 、 従来の補間機能を備 え た撮像装置 に お け る 捕間処 理 の 際 の周 波数 レ ス ポ ン ス 特性の劣化を改善 し 、 高画質 な補間 処理画像 を 得 る た め の も の で あ り 、 第 1 に 、 従来 の電子的 ズ — ム 機能回路で見 ら れた 捕間水平 ラ イ ン作成 の 際 の 周 波数 レ ス ポ ン ス 特性 の劣化を軽減す る こ と を 目 的 と す る 。
第 2 に 、 静止画作成機能を備え た撮像装置 に お い て 、 フ レ ー ム 静止画 を作成 し 、 高画質 な静止画 出力 を行 う こ と を 目 的 と す る 。 上記 目 的 を達成す る た め に 、 本発明 は 、 撮像装置 に お い て異 な る 3 つ の色信号を得 る た め の複数の固体撮像素子 と 、 撮 像装置 か ら 得 ら れ る こ れ ら 3 つ の色信号の う ち の 一部 の 色信号 の垂直方向 の位相 を あ る 一定 ピ ッ チ だ け シ フ 卜 さ せ る 垂直位相 シ フ ト 部 と 、 そ の位相 の シ フ ト に 合 わせ て捕間処理 の際 の補間 係数 を変化 さ せ る 係数発生補助回路を有 し 、
本構成で は 、 複数 の 固体撮像素子か ら 得 ら れ る 3 つ の 色信号 - 4 - は垂直位相 シ フ ト 部 に よ り 垂直方向 の位相 が同位相 と な ら ず、 こ の た め捕間処理を行 っ た 際 に 、 捕間処理 に伴 う 垂直方向 の周 波数 レ ス ポ ン ス 特性の 劣化が 3 つ の色信号で異 な る た め 、 特 に 2 つ の入力 ラ イ ン の 中央付近 で捕間 さ れた 出力 ラ イ ン の垂直方 向 の周波数 レ ス ポ ン ス 特性 の劣化を軽減で き 、 水平 ラ イ ン 補間 の際の垂直方向の尖鋭度の劣化を減少させ る こ と が可能 と な る 。
ま た 、 前記垂直位相 シ フ ト 部を前記固体撮像素子を駆動す る 少 な く と も 1 つ 以上 の 撮像素子駆動回路 と 、 前記撮像素子駆動 回路 を制御す る 駆動制御回路 に置 き 換え る 構成 と し て も 同様 の 効果が得 ら れ る 。
ま た 、 前記垂直位相 シ フ 卜 部を前記固体撮像素子を駆動す る 少な く と も 1 っ 以上の撮像素子駆動回路 と 、 前記撮像素子駆動 回路 を制御す る 駆動制御回路 と 、 垂直内挿選択回路 に置 き 換え る 構成 と し 、 前記垂直 内挿選択回路 に よ り 、 垂直 内挿 o n時 は前 記駆動制御回路 が、 前記撮像素子駆動回路 を制御 し て前記 3 つ の 色信号の垂直方向 の位相 が同位相 と な ら な い よ う に し 、 垂直 内挿 o f f 時 は 前記駆動制御回路 が、 前記撮像素子駆動回路 を 制 御 し て前記 3 つ の 色信号の垂直方向 の位相 を一致 さ せ る こ と に よ り 、 垂直 内挿 o n時は 、 水平 ラ イ ン補間 の 際の垂直方向 の尖鋭 度の劣化を減少 さ せ る こ と が可能 と な り 、 捕間処理を行わ な い 場合 は 、 垂直 内 挿 o f f と す る こ と に よ り 、 垂直方 向 の 位相 が一 致 し た 3 つ の 色信号が得 ら れ垂直解像度劣化の無 い高解像度 の 映像が得 ら れ る 。
ま た 、 信号 の 周 波数特性を制御す る フ ィ ル タ ー 回路を付加す る こ と に よ り 、 垂直方向 の 位相 シ フ 卜 に 伴 う 偽信号を除去 す る こ と が可能 と な る 。
ま た 、 前記 3 つ の色信号か ら 擬似 フ レ ー ム 信号を得 る フ レ ー ム 演算回路 と 、 前記 フ レ ー ム 演算回路出力信号か ら 補間水平 ラ イ ン 信号を得 る 捕間回路 と を付加す る こ と に よ り 、 垂直位相 シ フ ト 部 に よ り 垂直方向 の位相 を シ フ 卜 さ れ た前記 3 つ の色信号 か ら 作成す る 擬似 フ レ ー ム 信号か ら 、 捕間回路 に よ り 補間水平 ラ イ ン を得 る こ と が で き 、 水平 ラ イ ン補間 の際 の垂直方向 の尖 鋭度 の 劣化を 減少 さ せ る こ と が可能 と な る 。
ま た 、 前記 フ レ ー ム 演算回路出力信号か ら フ レ ー ム 静止画像 を得 る フ レ ー ム静止画回路を付加す る こ と に よ り 、 垂直位相 シ フ ト 部 に よ り 垂直方向 の位相 を シ フ ト さ れ た前記 3 つ の 色信号 か ら 作成す る 擬似 フ レ ー ム 信号か ら 、 高画質な フ レ ー ム 静止画 像 を得 る こ と が可能 と な る 。
ま た 、 こ の 構成 に垂直内挿選択回路を付加 し 、 前記垂直内挿 選択回路 に よ り 、 垂直内挿 o n時 は前記駆動制御回路が、 前記撮 像素子駆動回路を制御 し て前記 3 つ の色信号の垂直方向 の位相 が同 位相 と な ら な い よ う に し 、 垂直内挿 o f f 時 は 前記駆動制御 回路が、 前記撮像素子駆動回路を制御 し て前記 3 つ の色信号の 垂直方 向 の位相 を一致 さ せ る こ と に よ り 、 垂直内挿 o n時 は 、 垂 直方向 の位相 の異 な る 3 つ の 色信号が得 ら れ、 こ れ ら 垂直方向 の位相 の異 な る 3 つ の色信号か ら 作成す る 擬似 フ レ ー ム 信号か ら 、 高画質な フ レ ー ム静止画像を得 る こ と が可能 と な る 。 ま た 、 静止画作成処理 を 行 わ な い 場合 は 、 垂直 内挿 o f f と す る こ と に よ り 、 垂直方向 の位相 が一致 し た 3 つ の色信号が得 ら れ垂直解 像度劣化 の無 い高解像度 の 映像が得 ら れ る 。 図面 の簡単 な説明
図 1 は 、 第 1 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮像 装置の構成を示す プ ロ ッ ク 図
図 2 ( a )は 、 第 1 の実施例 に お け る 位相 シ フ ト 部 4、 5 の作 用 を示す模式図
図 2 ( b )は 、 第 1 の 実施例 に お け る 色分解 プ リ ズ ム の 構成例 図 3 は 、 第 1 の実施例 に お け る 補間回路 1 4 の具体的 な構成 を示す模式図
図 4 ( a )、 図 4 ( b )、 図 4 ( c )、 図 4 ( d )は、 第 1 の実施例 に お け る 補間回路 1 4 で の補間処理の方法を説明 す る た め の図 図 5 は 、 第 1 の実施例 に お け る p l = p 2 = 1ノ 2 の場合 の 位相 シ フ ト 部 4、 5 の作用 を示す模式図
図 6 ( a )、 図 6 ( b )、 図 6 ( c )、 図 6 ( d )は 、 第 1 の 実施例 に お け る p 1 = p 2 = 1 / 2 の場 合 の 補間回路 1 4 で の 補間処 理 の方法を説明 す る た め の図
図 7 は第 2 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮像装 置 の構成を示 す プ ロ ッ ク 図
図 8 は 、 第 2 の実施例 に お け る 位相 シ フ ト 部 4 の作用 を示す 模式図
図 9 は 、 第 2 の実施例 に お け る 固体撮像素子 2 の受光面 の構 成を示す図
図 1 0 は 、 第 2 の実施例 に お け る 2 色分解 プ リ ズ ム の構成例 図 1 1 ( a )、 図 1 1 ( b )、 図 1 1 ( c )、 図 1 1 ( d )
は 、 第 2 の実施例 に お け る 補間回路 1 4 で の捕間処理の方法 を 説明 す る た め の 図 図 1 2 は 、 第 3 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置の ブ ロ ッ ク 図
図 1 3 は 、 第 3 、 第 7 、 第 8 の実施例 に お け る 水平 ラ イ ン補 間機能付 き撮像装置の撮像素子の フ レ ー ム蓄積駆動制御の説明図 図 1 4 は 、 第 3 、 第 7 、 第 8 の実施例 に お け る 水平 ラ イ ン 補 間機能付 き 撮像装置の撮像素.子の フ ィ ー ル ド蓄積駆動制御 の説 明図 図 1 5 は 、 第 3 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮像装置の 信号処理説明図
図 1 6 は 、 第 3 、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能 付 き 撮像装置 の デ ィ ジ タ ル信号処理回路の構成図
図 1 7 は、 第 3 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の偽色信号除去 の説明図
図 1 8 は 、 第 3 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の捕間機能部分 の構成図
図 1 9 は 、 第 4 の実施例 に お け る 水平 ラ イ ン 補間機能付 き 撮 像装置 の プ ロ ッ ク 図
図 2 0 は 、 第 5 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の プ ロ ッ ク 図
図 2 1 は 、 第 5 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置の垂直電子 ズ ー ム 機能の構成図
図 2 2 は 、 第 5 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の垂直補間 の構成図
図 2 3 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理部を示す ブ 口 ッ ク 図
図 2 4 は 、 第 6 の実施例 に P け る 水平 ラ イ ン捕間機能付 き 撮 像装置の デ ィ ジ タ ル信号処理回路を示す プ ロ ッ ク 図 図 2 5 は、 第 6 、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能 付 き 撮像装置 に お け る 水平 ラ イ ン補間の第 1 の説明図
図 2 6 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る 水平 ラ イ ン捕間の第 2 の説明図
図 2 7 は 、 第 6 の実施例 に.お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る 水平 ラ イ ン捕間の第 3 の説明図
図 2 8 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る デ ィ ジ タ ル信号処理回路の 出力信号の説明図 図 2 9 は 、 第 6 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 に お け る 電子 ズ ー ム.回路の構成図
図 3 0 は、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の プ ロ ッ ク 図
図 3 1 は 、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の信号処理説明図
図 3 2 は 、 第 7 の実施例 に お け る 水平 ラ イ ン 捕間機能付 き 撮 像装置の デ ィ ジ タ ル信号処理回路を示す プ ロ ッ ク 図
図 3 3 は、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理回路の第 2 の説明図
図 3 4 は 、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理回路の 出力信号の説明図
図 3 5 は、 第 7 の実施例 に お け る 水平 ラ イ ン捕間機能付 き 撮 像装置 の デ ィ ジ タ ル信号処理回路の 出力信号の第 2 の説明図 図 3 6 は 、 第 8 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の ブ ロ ッ ク 図 発明 を実施す る た め の最良の形態
[ 1 ] 〈第 1 の実施例 : 基本構成( 3 つ の 固体撮像素子 を 有す る 構成)〉
図 1 は第 1 の実施例 に お け る 水平捕間機能付 き 撮像装置の ブ 口 ッ ク 図を示す も の で あ る 。 同図 に お い て 、 固体撮像素子 1 、 2、 3 は そ れ ぞれ 3 つ の色信号の う ち の G、 R、 B を得 る た め の撮像素子で あ り 固体撮像素子 1 は G 信号、 固体撮像素子 2 は R 信号、 固体撮像素子 3 は B 信号を得 る 。 垂直位相 シ フ ト 部 4 は色信号の位相 シ フ ト を実現す る こ と を模式的 に示す た め に記 入 し た も の で あ り ( 2 と 4 を あ わせ て撮像部 6 と す る)、 垂直位 相 シ フ ト 部 5 は 色信号の位相 シ フ ト を実現す る こ と を模式的 に 示 す た め に 記入 し た も の で あ る 。 ( 3 と 5 を あ わ せ て 撮像部 7 と す る)。 な お、 p l 、 p 2 に 関 し て は イ ン タ ー レ ー ス 走査 さ れ る 映像信号 の ラ イ ン 間の間隔 を 1 に規格化 し て考え る 。 ア ナ ロ グ信号処理回路 8、 9、 1 0 は、 固体撮像素子 1 、 2 、 3 か ら 得 ら れた 3 つ の色信号に対 し ア ナ 口 グ信号処理 を施す 回路、 ア ナ ロ グ ' デ ィ ジ タ ル変換回路 1 1 、 1 2 、 1 3 は ア ナ ロ グ信 号処理回路 8、 9、 1 0 で処理 さ れた 3 つ の色信号を ア ナ ロ グ か ら デ ィ ジ タ ル に変換す る た め の回路、 補間回路 1 4 は ア ナ 口 グ · デ ィ ジ タ ル変換回路 1 1 、 1 2、 1 3 で デ ィ ジ タ ル に変換 さ れた 3 つ の 色信号 に対 し捕間処理 を施す た め の 回路で あ る 。 マ ト リ ッ ク ス 回路 1 6 は補間回路 1 4 に よ り 補間処理 さ れた 3 つ の色信号 に対 し マ ト リ ッ ク ス 演算 を施 し 、 輝度信号 と 2 つ の 色差信号を合成す る た め の回路、 エ ン コ ー ダ回路 1 7 は マ ト リ ッ ク ス 回路 1 6 よ り 得 ら れた輝度及 び色差信号 よ り N T S C 信号 を得 る た め の 回路で あ る 。 撮像素子駆動回路 1 7 は 固体撮像素 子 1 を駆動す る た め の 回路で あ る 。 シ ス テ ム 制御回路 1 9 は 、 上記垂直位相 シ フ ト 部 4 及 び 5 、 補間回路 1 4 、 撮像素子駆動 回路 1 8 を総合的 に制御す る た め の回路で あ る 。
図 2 ( a )は垂直位相 シ フ ト 部 4、 5 の作用 を示す も の で あ り 色信号の位相 シ フ ト を実現す .る た め に固体撮像素子 2、 3 を固 体撮像素子 1 に対 し て垂直方向 に ず ら し て配置 し た こ と を模式 的 に表わ し た も の で あ る 。 本図 の よ う に 固体撮像素子 2、 3 は 固体撮像素子 1 に 対 し て そ れ ぞ れ p l 、 P 2 ( 0 ≤ P 1 く 1 、 0 ≤ p 2 く 1 )だ け ず ら し て配置 さ れて い る 。
図 2 ( b )は本実施例 に お け る 撮像装置の光学系 の う ち 、 G、 R、 B 信号を分離す る 色分解 プ リ ズ ム の構成図で あ る 。 固体撮像 素子の垂直方向 の長 さ を 2 L と し 、 固体撮像素子 2、 3 が そ れ ぞれ p 1 、 p 2 だ け垂直方向 に ず ら し て配置 さ れて い る 。
図 3 に 図 1 の補間回路 1 4 の原理的 な構成例 を示す。 1 ラ イ ン メ モ リ 2 0 、 2 1 、 2 2 は補間回路 に入力 さ れ る 映像信号 の 1 ラ イ ン分 を記憶す る メ モ リ で あ り 、 3 つ の う ち 1 つ を書 き 込 み、 2 つ を読 み 出 し に使用 し 、 こ の書 き 込み及 び読み 出 し に使 用 す る メ モ リ を そ れぞれ切換器 2 8 及 び セ レ ク タ 2 9 に よ り 順 次入れ替え る こ と に よ り リ ア ル タ イ ム の処理を実現す る 。 係数 発生捕助回路 2 7 は 3 つ の 固体撮像素子の垂直方向 の位置の ず れ量(つ ま り 3 つ の色信号 の垂直方向 の位相 の シ フ ト 量) に関 す る 情報 を係数発生回路 2 6 に 送 る 。 係数発生回路 2 6 は 、 係数 発生補助回路 2 7 か ら の情報を も と に補間演算の 際 に使用 す る 補間係数を発生す る 。 乗算器 2 3、 2 4 は 1 ラ イ ン メ モ リ か ら の信号 に係数発生回路 2 6 か ら 得 ら れた捕間係数 を乗算 し 、 加 算器 2 5 は補間係数を乗算さ れた 2 つ の ラ イ ン信号を加算す る 。 な お、 図 3 に示 し た補間回路 1 4 の 全体的 な構成 は、 3 つ の色 信号( R、 G、 B )そ れ ぞれ に対 し 上記図 3 に示 し た回路構成を そ れぞれ備え る こ と に よ り 構成で き る 。
以上 の よ う に構成 さ れた本実施例 の水平 ラ イ ン 補間機能付 き 撮像装置 に つ い て、 以下そ の動作 に つ い て説明 す る 。
固体撮像素子 1 で得 ら れた G信号、 撮像部 6 で得 ら れ た R信 号及 び撮像部 7 で得 ら れた B 信号は 、 そ れ ぞれ ア ナ ロ グ信号処 理回路 8、 9 、 1 0 で ア ナ ロ グ信号処理を受 け、 そ の後 ア ナ 口 グ · デ ィ ジ タ ル変換回路 1 1 、 1 2 、 1 3 で ア ナ ロ グ信号か ら デ ィ ジ タ ル信号 に変換 さ れ補間回路 1 4 に送 ら れ る 。 補間回路 1 4 に送 ら れた G、 R 及 び B 信号は そ れぞれ補間処理を受 け る が、 こ の補間処理 に つ い て図 4 ( a )〜図 4 ( d )を 用 い て説明 す る 。 ま ず、 固体撮像素子 1 に 対す る 固体撮像素子 2 及 び 3 の ず れが下向 き (つ ま り ラ イ ン数が大 き く な る方向)の場合を考え る 。 G 信号 の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 w の 距離 の ラ イ ン を補間 に よ り 合成 す る 場合(但 し 、 こ の 時 ラ イ ン 間 の 距離 を 1 に 規格化 し 、 0 ≤ w < l と し て考 え る)、 0 ≤ w < p 1 な ら ば R信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k — l ラ イ ン か ら 1 — p 1 + w、 第 k ラ イ ン か ら p 1 — w の距離の ラ イ ン を捕間 に よ り 合成 す る 。 こ れ は B 信号 に 関 し て も 同様で、 0 w く p 2 な ら ば B '信号か ら 合成す'る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を 考慮 し て 、 B 信号 の第 k 一 1 ラ イ ン か ら 1 — p 2 + w、 第 k ラ ィ ン か ら p 2 — w の 距離 の ラ イ ン を捕間 に よ り 合成す る (図 4 ( a ))。 ま た 、 p l ^ w < l な ら ば R 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k ラ イ ン か ら w — p i 、 第 k + 1 ラ イ ン か ら 1 + p l — w の距離 の ラ イ ン を捕間 に よ り 合成す る 。 こ れ は B 信号 に 関 し て も 同様 で、 p 2 w < 1 な ら ば B 信.号か ら 合成す る 補間 ラ イ ン は G信 号 に対す る 位相 の シ フ ト を考慮 し て 、 B 信号の第 k ラ イ ン か ら w — p 2 、 第 k + 1 ラ イ ン か ら 1 + ρ 2 — w の距離の ラ イ ン を 捕間 に よ り 合成す る (図 4 ( b ))。 次 に 、 固体撮像素子 1 に対す る 固体撮像素子 2 及 び 3 の ずれが上向 き (つ ま り ラ イ ン 数 が小 さ く な る 方 向) の 場合 を考 え る 。 G信号 の 第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 w の 距離の ラ イ ン を捕間 に よ り 合成す る 場合、 0 w < p 1 な ら ば R信号か ら 合成す る 補間 ラ イ ン は G 信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k ラ イ ン か ら w + p l 、 第 k + 1 ラ イ ン か ら 1 — p i — w の距離 の ラ イ ン を補間 に よ り 合成す る 。 こ れは B 信号 に 関 し て も 同様 で、 0 ≤ w < p 2 な ら ば B 信号か ら 合成す る 捕間 ラ イ ン は G信号 に対 す る 位相 の シ フ ト を考慮 し て、 B 信号の第 k ラ イ ン か ら w + p 2 、 第 k + 1 ラ イ ン か ら 1 — ρ 2 — w の距離の ラ イ ン を捕間 に よ り 合成す る (図 4 ( c ))。 ま た、 p l ≤ w < l な ら ば R信号か ら 合成す る 捕間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号の第 k + 1 ラ イ ン か ら — l + p l + l 、 第 k + 2 ラ ィ ン か ら 2 — p 1 — w の距離の ラ イ ン を捕間 に よ り 合成す る 。 こ れ は B 信号 に関 し て も 同様で、 p 2 ≤ w < 1 な ら ば B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ 卜 を 考慮 し て、 B 信号の第 k + 1 ラ イ ン か ら — l + p 2 + w、 第 k + 2. ラ ィ ン か ら 2 — p 2 — w の 距離 の ラ イ ン を 捕間 に よ り 合成 す る (図 4 ( d ))。
こ の よ う に補間 ラ イ ン を合成す る と 、 互 い に位相 の シ フ 卜 が あ る 3 つ の色信号か ら 同位相 の補間信号が合成で き 、 かつ 補間 に伴 う 垂直方向 の周 波数 レ ス'ポ ン ス 特性の劣化が 3 信号 そ れぞ れ で異 な る た め 、 映像信号 を 3 つ の 色信号全体 で 見 た場合(例 え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た輝度 信号を考え た場合)、 周波数 レ ス ポ ン ス 特性の劣化を軽減で き 、 水平 ラ イ ン補間の 際の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 例 え ば、 P 1 = P 2 = [ イ ン タ ー レ ー ス 走査 さ れ る 映像信号 の 1 / 2 ラ イ ン 分 ] の 場合 に 関 し て 、 図 5 及 び 図 6 ( a )〜( d )を用 いて説明す る。 図 5 は垂直位相 シ フ ト 部 4、 5 の作用 を示 す も の で あ り 色信号の位相 シ フ ト を実現す る た め に固体撮像素子 2、 3 を固体撮像素子 1 に対 して垂直方向 に 1 / 2 ラ イ ン分ず ら し て配置 し た こ と を模式的に表わ し た も の で あ る 。 ま ず、 固体撮像素子 1 に対す る 固体撮像素子 2 及 び 3 の ずれが 下向 き (つ ま り ラ イ ン数が大 き く な る 方向)の場合 を考え る 。 G 信号 の第 k ラ イ ン か ら w 、 第 k + 1 ラ イ ン か ら ( l / 2 ) + w、 第 k ラ イ ン か ら 1 一 Wの距離 の ラ イ ン を捕間 に よ り 合成す る 場 合(但 し 、 こ の 時 ラ イ ン 間 の 距離 を 1 に 規格化 し 、 0 w < 1 と し て考 え る)、 0 ≤ w < 1 な ら ば 4 信号 か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R信号 の第 k - 1 ラ イ ン か ら ( l / 2 ) + w、 第 k ラ イ ン か ら ( 1 / 2 )— w の 距 離の ラ イ ン を補間 に よ り 合成す る 。 こ れ は B 信号 に関 し て も 同 様で 0 < w < p 2 な ら ば B 寝具か ら 合成す る 補間 ラ イ ン は G信 号 に対す る 位相 の シ フ ト を考慮 し て、 B 信号の第 k — 1 ラ イ ン か ら ( l / 2 ) + w、 第 k ラ イ ン か ら ( 1 / 2 ) — wの 距離の ラ イ ン を捕間 に よ り 合成す る 。 (図 6 ( a ))。 ま た 、 p l ^ w く 1 な ら ば R信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て 、 R 信号 の 第 k ラ イ ン か ら (一 l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 3 / 2 ) — w の 距離 の ラ イ ン を捕間 に よ り 合成 す る 。 こ れ は B 信号 に 関 し て も 同様で、 p 2 ≤ w < l な ら ば B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を 考慮 し て 、 B 信号 の第 k ラ イ ン か ら (― l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 3 ノ 2 ) — w の距離の ラ イ ン を補間 に よ り 合成す る (図 6 ( b ))。 次 に 、 固体撮像素子 1 に対す る 固体撮像素子 2 及 び 3 の ずれが上向 き (つ ま り ラ イ ン数が小 さ く な る 方向)の場合 を考え る 。 G 信号の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 w の距離の ラ イ ン を補間 に よ り 合成す る 場合、 0 ≤ w < p 1 な ら ば R信号か ら 合成す る 捕間 ラ イ ン は G信号 に 対す る 位相 の シ フ ト を 考慮 し て 、 R 信号 の第 k ラ イ ン か ら ( l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 1 / 2 ) — w の 距離 の ラ イ ン を 捕間 に よ り 合 成す る 。 こ れ は B 信号 に 関 し て も 同様で、 O w く p 2 な ら ば B 信号か ら 構成す る 捕間 ラ イ ン は G 信号 に対す る 位相 の シ フ ト を 考慮 し て 、 B 信号 の 第 k ラ イ ン か ら ( l / 2 ) + w、 第 k + 1 ラ イ ン か ら ( 1 / 2 ) — w の 距離 の ラ イ ン を 捕間 に よ り 合成 す る (図 6 ( c ))。 ま た、 p l ≤ w < l な ら ば R信号か ら 合成す る 補 間 ラ イ ン は G 信号 に対す る 位相 の シ フ ト を考慮 し て、 R 信号の 第 k + 1 ラ イ ン か ら( 一 l / 2 ) + w、 第 k + 2 ラ イ ン か ら( 3 / 2 ) 一 w の距離の ラ イ ン を捕間 に よ り 合成す る 。 こ れ は B 信号 に 関 し て も 同様で、 p 2 ≤ w < l な ら ば B 信号か ら 合成す る 捕間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 B 信号の第 k + 1 ラ イ ン か ら (一 l / 2 ) + w、 第 k + 2 ラ イ ン か ら ( 3 / 2 ) — wの距離の ラ イ ン を捕間 に よ り 合成す る (図 6 ( d ))。 以上の よ う な 場合、 G 信号 に お い て w = 0. 5 の垂直方向 の 周 波数 レ ス ポ ン ス 特性の 劣化が最 も 大 き い捕間処理を行 う 場合、 R、 B 信 号 は補間処理を さ れず垂直方向 の周 波数 レ ス ポ ン ス 特性 の劣化 の無 い状態を維持で き 、 ま た G信号 に お い て w = 0 の補間処理 を行 う 場合 R、 B 信号 は垂直方向 の周 波数 レ ス ポ ン ス 特性の劣 化が最 も 大 き い補間処理を施 さ れ る が G信号は補間処理 を さ れ ず垂直方向 の周波数 レ ス ポ ン ス 特性の劣化 の無 い状態を維持で き る た め、 映像信号を 3 つ の色信号全体で見た場合(例え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号を考 え た 場合)、 水平 ラ イ ン 捕間 の 際 の 垂直方 向 の尖鋭度 の 劣化 を 減少 さ せ る こ と が可能で あ る 。
な お、 本実施例 に お い て固体撮像素子 1 に対す る 固体撮像素 子 2 の ず れ が上 向 き 、 固体撮像素子 3 の ず れ が下 向 き の 場 合 や 、 固体撮像素子 1 に対す る 固体撮像素子 2 の ずれが下 向 き 、 固体撮像素子 3 の ずれが上向 き の場合の補間処理 も 図 4 ( a )〜 図 4 ( d )を も と に説明 し た補間処理を組み合わせ る こ と で実現 で き る こ と は 明 ら かで あ る 。
ま た 、 本実施例 に お い て は 、 固体撮像素子 2、 3 に対す る 固 • 体撮像素子駆動回路 は、 垂直位相 シ フ ト 部 4、 5 に含 ま れ且つ シ ス テ ム 制御回路 1 9 の制御 を受 け る 構成 と な る 。 [ 2 ] 〈第 2 の実施例 : 基本構成 ( 2 つ の 固体撮像素子を有す る 構成) 〉
次 に 、 第 2 の実施例 に つ い て説明 す る 。
図 7 は、 第 2 の実施例に お け る水平補間機能付き撮像装置の ブ ロ ッ ク 図を示す も の で あ る 。
な お、 同図 に お い て固体撮像素子 3 1 · 3 2 、 垂直位相 シ フ ト 部 3 4、 ア ナ ロ グ信号処理回路 3 8 · 3 9 、 ア ナ ロ グ ' デ ィ ジ タ ル変換回路 4 1 · 4 2 · 4 3 、 補間回路 4 4 マ ト リ ッ ク ス 回路 4 6 、 エ ン コ ー ダ回路 4 7 、 撮像素子駆動回路 4 8 、 シ ス テ ム 制御回路 4 9 は、 そ れぞれ図 1 に示 し た第 1 の実施例 の固 体撮像素子 1 · 2 、 垂直位相 シ フ ト 部 4、 ア ナ ロ グ信号処理回 路 8 · 9 、 ア ナ ロ グ ' デ ィ ジ タ ル変換回路 1 1 · 1 2 · 1 3 、 捕間回路 1 4 マ ト リ ッ ク ス 回路 1 6 、 エ ン コ ー ダ回路 1 7 、 撮 像素子駆動回路 1 8 、 シ ス テ ム 制御回路 1 9 と 同様の効果 を示 す も の で あ る た め詳細 な説明 は省略す る 。
同図 に お い て、 固体撮像素子 3 1 、 3 2 は そ れ ぞれ 3 つ の 色 信号の う ち の G、 R、 B を得 る た め の撮像素子で あ り 固体撮像 素子 3 1 は G信号、 固体撮像素子 3 2 は R信号及 び B信号を得 る 。 垂直位相 シ フ ト 部 3 4 は 色信号の位相 シ フ ト を実現す る こ と を 模式的 に 示 す た め に 記入 し た も の ( 3 2 と 3 4 を あ わ せ て 撮像部 3 6 と す る)で あ る 。 な お、 p 3 に関 し て は イ ン タ ー レ 一 ス走査さ れる映像信号の ラ イ ン間の間隔を 1 に規格化 して考え る。 固体撮像素子 3 1 で得 ら れた G信号 は、 第 1 の実施例 と 同様 の 処理を経て補間回路 4 4 に送 ら れ る 。 ま た撮像部 3 6 で得 ら れ た R信号及 び B信号 は ア ナ ロ グ信号処理回路 3 9 に お い て ア ナ ロ グ信号処理 を施 さ れ、 そ の 後 R 、 B 信号分離回路 4 5 で R 信 号 と B 信号 に分離 さ れ第 1 の実施例 と 同様の処理を経て補間回 路 4 4 に 送 ら れ る 。 な お、 補間回路 4 4 は 、 第 1 の 実施例(図 3 参照) と 同様で あ る た め説明 は省略す る 。
図 8 は色信号の位相 シ フ ト を実現す る た め に 固体撮像素子 3 2 を固体撮像素子 3 1 に対 して ず ら し て配置 し た こ と を模式的 に表わ し た も の で あ る 。 本図 の よ う に固体撮像素子 3 2 は 固体 撮像素子 3 1 に対 し て p 3 ( 0 ≤ p 3 < 1 )だ け ず ら し て配置 さ れて い る 。
図 9 は 固体撮像素子 3 2 の受光面の 図で あ り 、 固体撮像素子 3 2 の受光面 に は 図 に示 し た よ う な赤( R ) と 青( B ) の R B 色 ス ト ラ イ プ フ ィ ル タ が取 り 付 け ら れ て お り 、 こ の 構成 に よ り R 信 号 と B 信号を固体撮像素子 3 2 よ り 得 る こ と が で き る 。 固体撮 像素子 の垂直方向 の長 さ を 2 L と し 、 固体撮像素子 3 2 が p 3 だ け垂直方向 に ず ら し て配置 さ れて い る 。
図 1 0 は本実施例 に お け る 撮像装置の光学系 の う ち 、 G 信号 と R 、 B 信号を分離す る 2 色分解 プ リ ズ ム の構成図 で あ る 。 入 射光の う ち R 、 B の光 は プ リ ズ ム 内 を直進す る の に対 し 、 G の 光 は 図 中 に示 し た ダ イ ク ロ イ ッ ク 層 に よ り 反射 さ れ る こ と に よ り 、 G と 、 R 及 び B を分離す る 。
以上 の よ う に構成 さ れた本実施例 の水平 ラ イ ン補間機能付 き 撮像装置 に つ い て 、 以下 そ の動作 に つ い て説明 す る 。
固体撮像素子 3 1 で得 ら れた G 信号 は 、 ア ナ ロ グ信号処理回 路 3 8 で ア ナ ロ グ信号処理を受 け た後、 ま た撮像部 3 6 で得 ら れた R 信号及 び B 信号 は 、 ア ナ ロ グ信号処理回路 3 9 で ア ナ 口 グ信号処理を受 け かつ R、 B 信号分離回路で R信号 と B 信号 に 分離 さ れた後 に 、 ア ナ ロ グ · デ ィ ジ タ ル変換回路 4 1 、 4 2、 4 3 で ア ナ ロ グ信号か ら デ ィ ジ タ ル信号 に 変換 さ れ補間回路 4 4 に送 ら れ る 。 補間回路 4 4 に送 ら れた G、 R及 び B 信号は そ れ ぞれ補間処理を受 け る が、 こ の補間処理 に つ い て図 1 1 ( a ) 〜図 1 1 ( d )を用 い て説明 す る 。 ま ず、 固体撮像素子 3 1 に対 す る 固体撮像素子 3 2 の ずれが下 向 き (つ ま り ラ イ ン 数が大 き く な る 方 向) の場合 を考え る 。 G 信号 の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 一 wの距離の ラ イ ン を補間 に よ り 合成す る 場合(但 し 、 こ の時 ラ イ ン間の距離を 1 に規格化 し 、 0 w < l と し て考 え る)、 0 ≤ w < p 3 な ら ば R 信号及 び B 信号か ら 合 成す る 補間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て 、 R信号及 び B 信号の第 k — l ラ イ ン か ら 1 — p 3 + w、 第 k ラ ィ ン か ら p 3 — wの距離の ラ イ ン を補間 に よ り 合成す る (図 1 1 ( a ) )。 ま た 、 p 3 ≤ w く 1 な ら ば R 信号及 び B 信号 か ら 合成 す る 捕間 ラ イ ン は G信号 に対す る 位相 の シ フ ト を考慮 し て、 R 信号及 び B 信号の第 k ラ イ ン か ら w — p 3 、 第 k + 1 ラ イ ン か ら 1 + P 3 — w の 距離 の ラ イ ン を捕間 に よ り 合成 す る (図 1 1 ( b ))。 次 に 、 固体撮像素子 3 1 に 対す る 固体撮像素子 3 2 の ずれが上向 き (つ ま り ラ ィ ン数が小 さ く な る 方向)の場合 を考え る 。 G信号の第 k ラ イ ン か ら w、 第 k + 1 ラ イ ン か ら 1 — の 距離の ラ イ ン を補間 に よ り 合成す る 場合、 0 w < p 3 な ら ば R信号及 び B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対す る 位 相 の シ フ ト を考慮 し て、 R 信号及 び B 信号 の第 k ラ イ ン か ら w + p 3 、 第 k + 1 ラ イ ン か ら 1 一 p 3 — w の距離の ラ イ ン を 補間 に よ り 合成す る (図 l l ( c ))。 ま た、 p 3 w く 1 な ら ば R信号及 び B 信号か ら 合成す る 補間 ラ イ ン は G信号 に対 す る 位 相のシフ トを考慮して、 R信号及び B信号の第 k + 1ラインから一 l + p 3+w、 第 k + 2 ラ イ ン か ら 2 — p 3 — w の距離の ラ イ ン を補間 に よ り 合 成す る (図 1 1 ( d ))。
こ の よ う に補間 ラ イ ン を合成す る と 、 互 い に位相 の シ フ 卜 の あ る G 信号 と R信号及 び B 信号か ら 同位相 の捕間信号が合成で き 、 かつ補間 に伴 う 垂直方向 の周 波数 レ ス ポ ン ス 特性の 劣化が G信号 と R信号及 び B 信号で そ れぞれで異 な る た め、 映像信号 を 3 つ の 色信号全体 で見 た 場合(例 え ば G、 R、 B 信号 か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号 を考 え た 場合)、 垂直 方向 の 周 波数 レ ス ポ ン ス 特性の劣化を軽減で き 、 水平 ラ イ ン捕 間の 際の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 例 え ば p 3 = [ イ ン タ 一 レ ー ス 走 さ れ る 映像信号 の 1 / 2 ラ イ ン 分 ] と す る と 、 w = 0. 5 の垂直方向 の 周 波数 レ ス ボ ン ス 特性 の劣化が最 も 大 き い捕間処理 を行 う 場合、 R、 B 信号 は 補間処理を さ れず垂直方向 の 周 波数 レ ス ポ ン ス 特性の劣化 の無 い状態 を維持で き 、 ま た G信号に お い て w = 0 補間処理を行 う 場合、 R、 B 信号 は垂直方向 の周 波数 レ ス ポ ン ス 特性 の劣化が 最 も 大 き い補間処理を施 さ れ る が G信号は補間処理を さ れず垂 直方向の周波数 レ ス ポ ン ス特性の劣化の無い状態を維持でき るため、 映像信号 を 3 つ の 色信号全体 で見 た 場合(例 え ば G、 R、 B 信 号か ら マ ト リ ッ ク ス演算に よ り 合成 し た輝度信号を考えた場合)、 水平 ラ イ ン補間 の際の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 ま た 、 本実施例 の構成を用 い れば、 色信号の位相 シ フ ト の た め の垂直位相 シ フ ト 部を 1 つ にす る こ と がで き 、 全体の構成を第 1 の実施例 に 比べ よ り 簡略化す る こ と がで き る 。
ま た 、 本実施例 に お い て は 、 固体撮像素子 3 2 に対す る 固体 撮像素子駆動回路 は 、 垂直位相 シ フ ト 部 3 4 に 含 ま れ且つ シ ス テ ム 制御回路 4 9 の制御を受 け る 構成 と な る 。
ま た 、 本実施例 に お い て は 、 撮像部 3 6 よ り 得 ら れた R 及 び B 信号は ア ナ ロ グ信号処理回路 3 9 を経た の ち R、 B 信号分離 回路 に よ り R 信号 と B 信号 に 分離 さ れ る よ う な構成を と つ て い る が こ れに限 る も の で は な く 、 ア ナ ロ グ信号処理回路 3 9 と R、 B 信号分離回路を ひ と つ に ま と め た よ う な構成 も 考え ら れ る 。
ま た、 本実施例に おいて は、 R信号及び B 信号を得る た め に、 固体撮像素子 3 2 に R B 色 ス ト ラ イ プ フ ィ ル タ を用 い た 構成を 使用 し た が、 こ れ に 限 る も の で は な い。
な お、 第 1 の実施例 に お い て、 3 つ の色信号 R、 G、 B の位 相 を そ れぞれず ら す た め に は 、 例え ば 3 つ の色信号を得 る た め の 3 色分解 プ リ ズ ム に 固体撮像素子を接着固定す る 際 に そ の位 置 を従来 と は異 な り 垂直方向 に ず ら せて接着す る こ と に よ り 実 現で き る が こ れ に限 る も の で は な く 例え ば、 3 色分解 プ リ ズ ム 内部の屈折率を操作 し て光の光路を 曲 げ る こ と に よ り 色信号の 位相 をず ら す こ と も考え ら れ る。 ま た、 第 2 の実施例に おい て、 3 つ の 色信号 の う ち の G、 R 及 び B の位相 を そ れ ぞれず ら す た め に は 、 例え ば 2 つ の 色信号( G 信号 と R 及 び B 信号)を得 る た め の 2 色分解 プ リ ズ ム に固体撮像素子を接着固定す る 際 に そ の 位置を従来 と は異 な り 垂直方向 に ず ら せ て接着す る こ と に よ り 実現で き る が こ れ に 限 る も の で は な く 例え ば、 2 色分解 プ リ ズ ム 内部の屈折率を操作 し て入射光の光路 を 曲 げ る こ と に よ り 色 信号の 位相 を ず ら す こ と も 考 え ら れ る 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 3 つ の 色信号の位相 を シ フ 卜 さ せ る 場合 に G 信号 に対 し て R 及 び B 信号を シ フ 卜 さ せ る よ う な構成を示 し た が こ.れ に限 る も の で は な く 、 R 信号 に 対 し G、 B 信号を シ フ ト ま た は B 信号に対 し G、 R 信号 を シ フ 卜 さ せ る よ う な構成 も 考え ら れ る 。
ま た 、 第 1 及び第 2 の実施例に おいて、 3 つ の色信号は 、 R、 G、 B と し た が こ れ に 限 る も の で は な く 、 例え ばイ ェ ロ ー 、 シ ア ン 、 マ ゼ ン タ の 3 つ の色信号を使用 す る こ と も 可能で あ る 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 補間回路 に 関 し て は ラ イ ン メ モ リ の制御 に 関 し て の み説明 し た が、 そ れ と は別 に 固 体撮像素子 ま た は フ ィ ー ル ド メ モ リ 等か ら の読み 出 し の 制御 も 必要 に な る が そ れ は G、 R、 B 信号で の そ れぞれ の信号の位相 の シ フ ト 量 に 応 じ て コ ン ト ロ ー ルす る こ と がで き る がそ れ に 限 る も の で は な い 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 捕間回路は 3 つ の ラ ィ ン メ モ リ を持つ構成 と し た が こ れ に 限 る も の で は な く 、 4 つ 以上の ラ イ ン メ モ リ を持つ構成 も 考え ら れ る 。 そ し て上記 2 つ の実施例 に お い て は捕間処理 は線形捕間 と し た が こ れ に 限 る も の で は な く 、 4 つ以上の ラ イ ン メ モ リ を持つ構成 と す る と 2 次 捕間等 の高次 の補間処理が可能 と な る こ と は 明 ら かで あ る 。
ま た 、 第 1 及び第 2 の実施例 に お い て、 p 1 、 p 2 、 p 3 の 範囲 は 0 以上 1 未満 と し た が こ れ に 限 る も の で は な く 、 例 え ば p l = 1. 5 と し た場合 に こ れが p l = 0. 5 と し た場合 と 同様 の効果が得 ら れ る ( p 2、 p 3 に関 し て も 同様) こ と は 明 ら か で あ る 。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 マ ト リ ッ ク ス 回路 と ェ ン コ ー ダ回路の両方を備え た構成を用 い た が こ れ に 限 る も の で は な く 、 例 え ばマ ト リ ッ ク.ス 回路 と エ ン コ ー ダ回路 の ど ち ら か 1 つ しか持た ない構成及び両方と も持たな い構成 も考え られる。
ま た 、 第 1 及 び第 2 の実施例 に お い て、 エ ン コ ー ダ回路 の 出 力 は N T S C信号 と し た が こ れ に限 る も の で は な い。
C 3 ] 〈第 3 の実施例 : 駆動制御回路、 周 波数帯域制限 フ ィ ル タ 一を有す る 構成〉
図 1 2 は本発明 の第 3 の実施例 に お け る 水平 ラ イ ン補間機能 付 き 撮像装置 の プ ロ ッ ク 図を示す も の で あ る 。 図 1 2 に お い て 1 0 1 は光電変換機能を有す る 撮像素子部、 1 0 2 は撮像素子 部 1 0 1 に対す る 撮像素子駆動回路、 1 0 3 は撮像素子駆動回 路 1 0 2 を制御す る 駆動制御回路、 1 0 4 は撮像素子 1 0 1 の 出力信号 に サ ン プ リ ン グ · 増幅等の処理を 行 う ア ナ ロ グ信号処 理回路、 1 0 5 は ア ナ ロ グ信号処理回路 1 0 2 の 出力信号 に対 す る ア ナ ロ グ · デ ィ ジ タ ル変換回路(以下 A / D変換回路)、 1 0 6 は A Z D変換 さ れた デ ィ ジ タ ル信号か ら輝度信号や色信号 · 色差信号 な ど の生成 ま た は R G B信号処理を行 う デ ィ ジ タ ル信 号処理回路、 1 0 7 は デ ィ ジ タ ル信号処理回路 1 0 6 の 出力信 号を記億す る フ ィ ー ル ド メ モ リ 回路、 1 0 8 は フ ィ ー ル ド メ モ リ 回路 1 0 7 を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 0 9 は フ ィ ー ル ド メ モ リ 回路 1 0 7 の 出力信号を用 い て捕間 · 拡大処 理を行 う 電子 ズ ー ム 回路、 1 1 0 は電子 ズ ー ム 回路 1 0 9 を制 御す る電子ズー ム制御回路、 1 1 1 は上記駆動制御回路 1 0 3 、 フ ィ ー ル ド メ モ リ 制御回路 1 0 8 、 電子 ズ ー ム制御回路 1 1 0 を総合的 に制御す る シ ス テ ム 制御回路、 1 1 2 は R · G · B か ら N T S C 信号を得 る ェ ン コ.ー ダ回路で あ る 。
以上の よ う に構成 さ れた本実施例 の水平 ラ イ ン捕間機能付 き 撮像装置 に つ い て 、 以下 そ の動作 に つ い て説明 す る 。 撮像素子 部 1 0 1 か ら 出力 さ れ る R · G · B の複数 の 出力信号 は ア ナ 口 グ信号処理及 び A D 変換処理 さ れ デ ィ ジ タ ル信号 と な る 。 こ の デ ィ ジ タ ル信号は デ ィ ジ タ ル信号処理回路 1 0 6 に お い て R G B 信号処理 さ れ フ ィ ー ル ド メ モ リ 回路 1 0 7 に 入力 さ れ る 。 フ ィ ー ル ド メ モ リ 回路 1 0 7 に入力 さ れた信号は フ ィ ー ル ド メ モ リ 制御回路 1 0 8 と 電子 ズ ー ム 回路 1 0 9 及 び電子 ズ ー ム 制 御回路 1 1 0 に よ っ て捕間演算 さ れ る 。
図 1 3 に駆動制御回路 1 0 3 に よ る 撮像素子の フ レ ー ム 蓄積 駆動制御を示す。 図 1 3 ( a )に通常 の撮像素子の ィ ン タ ー レ — ス 読み 出 し駆動制御、 図 1 3 ( b ) に本実施例 に お け る 撮像素子 部 1 0 1 の構成例で あ る R · G · B の各信号を得 る R · G · B 撮像素子の読 み 出 し 駆動制御の概略 を示す。 図 1 3 ( a )に示す よ う に フ レ ー ム 蓄積 モ ー ド で は 、 oddフ ィ ー ル ド で フ ィ ー ル ド シ フ ト の期間 に感光部 の画素の う ち 、 垂直方向 に 1 つ お き 奇数 番 目 の ラ イ ン の画素の信号を読み 出 し 、 次 に evenフ ィ ー ル ド で 偶数番 目 の ラ イ ン の画素の信号を読み 出 し 、 イ ン タ ー ラ イ ン転 送 を 実現 し て い る 。 本実施例 で は 図 1 3 ( b )に 示 す よ う に odd フ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R . B の撮像素子 で は垂直方向 に奇数番 目 の ラ イ ン の画素の信号を 、 G の撮像素 子では偶数番目の ラ イ ン の画素の信号を読み出 し、 次に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の撮像素子で は垂 直方向 に偶数番 目 の ラ イ ン の 画素の信号を 、 G の撮像素子で は 奇数番 目 の ラ イ ン の画素の信.号を読み 出 し て い る 。 こ の よ う に フ レ ー ム 蓄積駆動制御で R · G · B の撮像素子の odd/evenの読 み 出 し を、 R · B 撮像素子 と G撮像素子 と で逆 に し て い る 。
次 に 図 1 4 に撮像素子の フ ィ ー ル ド蓄積駆動制御を示す。 図 1 4 ( a )に通常の撮像素子の ィ ン タ ー レ ー ス読み出 し駆動制御、 図 1 4 ( b )に本実施例 に お け る 撮像素子部 1 0 1 の他の構成例 で あ る R · G · B の各信号を得 る R · G · B 撮像素子の読み 出 し 駆動制御の概略を示す。 図 1 4 ( a )に示す よ う に フ ィ ー ル ド 蓄積 モ ー ド で は 、 oddフ ィ ー ル ド で水平転送 C C D (図示せ ず) に近 い ラ イ ン の画素か ら 奇数番 目 の ラ イ ン の信号 と 次の 偶数番 目 の ラ イ ン の信号を 同時に加算 ( P D m i x) し て読み 出 し、 次に evenフ ィ ー ル ド で加算の組合せ を変 え下か ら 偶数番 目 の ラ イ ン の信号 と 次の奇数番 目 の ラ イ ン の信号を同時 に加算 し て読み 出 し 、 イ ン タ ー ラ イ ン転送を実現 し て い る 。 本実施例で は 図 1 4 ( b ) に示す よ う に oddフ ィ ー ル ド で 、 R . G · B の撮像素子 の う ち R · B の撮像素子で は 図 1 4 ( a )で示 し た oddフ ィ ー ル ド 読み出 し を、 G の撮像素子で は evenフ ィ ー ル ド読み出 し を行い、 次 に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R . B の 撮像素子で は evenフ ィ ー ル ド読み出 し を、 G の撮像素子で は odd フ ィ ー ノレ ド読 み 出 し を行 っ て い る 。 こ の よ う に フ ィ ー ル ド葚獰 駆動制御で R · G · B の撮像素子 の odd/evenの P D mix読 み 出 し を、 R * B 撮像素子 と G 撮像素子 と で逆 に し て い る 。
上記図 1 3 及 び図 1 4 に示 し た よ う に 、 odd/evenの読み 出 し を R · B 撮像素子 と G 撮像素子 と で逆 に す る こ と に よ っ て、 得 ら れ る R · B 信号 と G 信号 の空間的位置(位相) は 1 / 2 ラ イ ン ( 1 フ ィ ー ル ド で の ラ イ ン 間隔)ずれ る こ と と な る 。
以上 の よ う に本実施例 に よ れば、 駆動制御回路を備 え る こ と に よ り 、 3 つ の色信号、 R、 G、 B の位相 を そ れ ぞれず ら す た め に 、 固体撮像素子を 3 つ の 色信号 を得 る た め の 3 色分解 プ リ ズ ム ま た は 2 色分解 プ リ ズ ム に そ の位置を垂直方向 に ず ら せ て 接着固定す る と い う 厳 し い精度を有す る 組 み立て工程を必要 と せ ず、 製造装置及 び製造時間 を含む ト ー タ ル の製造 コ ス ト を減 少 さ せ た 、 捕間処理 に伴 う 垂直方向 の周波数 レ ス ポ ン ス 特性の 劣化 を軽減 し 水平 ラ イ ン補間 の際 の垂直方向 の尖鋭度の 劣化を 減少 さ せ る 撮像装置を得 る こ と が可能で あ る 。
次 に 得 ら れ た R · G · B の各色信号 に対す る 信号処理方法を 以下 に 示す。
図 1 5 に 信号処理の概略を示す。 図 1 5 ( a )は補間処理を行 わ な い場合、 図 1 5 ( b ) は捕間処理 を行 う 場合 で あ る 。 図 1 5 ( a ) に示す よ う に R · B 信号 と G信号は位相 が 1 / 2 ラ イ ン ( 1 フ ィ ー ル ド で の ラ イ ン 間隔)ずれて い る の で 、 信号処理 に は 垂 直方向 の位相 を合わ せ る 必要が あ る 。 そ こ で G 信号 に対 し て連 続す る 2 ラ イ ン の平均化処理(内挿係数 1 / 2 · 1 / 2 の 捕間処 理) を 行 う こ と に よ っ て 、 R · G · B 信号 の 位相 を 一致 さ せ る こ と がで き る 。 こ れ を (数 1 ) に示す 。 ま た 図 1 5 ( b ) に 示す よ う に補間処理を行 う 場合 は、 内挿係数を w, R - B 信号 と G 信 号 の 位相 の ズ レ を p ( = 1 / 2 ラ イ ン ) と す る と w と p と の 関数 で表わ す こ と がで き 、 得 ら れ る 捕間信号を(数 2 ) に示す。
【数 1 】
Λ m = R B m = B n、 (G- 1 + Gn)/2
【数 2 ]
Figure imgf000028_0001
U m = (w + p) xGn + i + (1-w-p) G n - 1
こ の よ う に 補間 ラ イ ン を合成す る と 、 異 な る 2 種類の 位相 の 色信号か ら 同位相 の補間信号が合成で き 、 かつ補間 に伴 う 周 波 数 レ ス ポ ン ス 特性の劣化が位相 に伴 い そ れぞれ異 な る た め 、 映 像信号 を 3 つ の 色信号全体で見 た場合、 (例 え ば G、 R、 B 信 号カヽ ら マ ト リ ッ ク ス演算に よ り 合成 し た輝度信号を考え た場合) 周波数 レ ス ポ ン ス 特性 の劣化を軽減で き 、 水平 ラ イ ン補間信号 の垂直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。 例 え ば = [ ィ ン タ ー レ ー ス 走査 さ れ る 映像信号 の 1 / 2 ラ イ ン 分 ] と す る と 、 w = 0 . 5 の 最 も 周 波数 レ ス ポ ン ス 特性 の 劣化 が大 き い捕間処理を行 う 場合 で も G 信号 ま た は R、 B 信号の ど ち ら か は補間処理を さ れず周 波数 レ ス ポ ン ス 特性 の劣化 の無 い 状態を維持で き る た め 、 映像信号全体で は水平 ラ イ ン補間信号 の垂直方向 の尖鋭度の 劣化が減少 し て い る 。
な お上図 1 3、 1 4、 1 5 で は G 信号の位置を空間的 に ず ら す制御 ( C 1 )の場合を説明 し た が、 R 及 び B 信号の位置 を空間 的 に ず ら す制御( C 2 ) も 可能で あ る 。 ま た R信号の位置だ け( C 3 )を 、 B 信号の位置だ け ( C 4 )を空間的 に ず ら す制御 も 可能 で あ る 。 以下 こ の空間位置制御 に つ い て説明 す る 。 輝度( Y )信' 号は R · G · B信号によ っ て作成さ れ、 それは(数 3 )で示さ れる。 【数 3 】
Y = 0.3R + 0.59G + 0.11B
こ こ で輝度信号 に含 ま れ る 空間的 に ずれて い る 信号( Y a ) と ず れて い な い信号( Y b )は、 上記 C 1 〜 C 4 の場合 そ れぞれ次式 (数 4 )で示 さ れ る 。
【数 4 】
C1: Ya = 0.3R + 0.11B
Yb = 0.59G
C2: Ya = 0.59G
Yb = 0.3R+0.11B
C3: Ya = 0.59G + 0.11B
Yb = 0.3R
C4: Ya = 0.3R + 0.59G
Yb = 0.11B
ま た 色差信号( R — Y及 び B — Y )は R · G · B 信号か ら 作成 さ れ、 そ れ は (数 5 )で示 さ れ る 。
【数 5 】
R-Y=0.7K-0.59G-0.11B
B-Y=0.3K-0.59G-0.89B
こ こ で各色差信号 に 含 ま れ る 空間的 に ずれて い る 信号( C a ) と ずれて い な い信号( C b )は 、 上記 C 1 〜 C 4 の場合 そ れ ぞれ次 式(数 6 )で示 さ れ る 。 【数 6 】
C1: Ca(R-Y) = 0.7R-0.11B
Ca(B-Y) = - 0.3R + 0.89B
Cb(R-Y) = -0.59G
Cb(B-Y) = - 0.59G
C2: Ca(R-Y) = -0.59
Ca(B-Y) = -0.59G
Cb(R-Y) = 0.7R-0.11B
Cb(B-Y) = -0.3R+0.89B
C3: Ca(R-Y) = -0.59G-0.11B
Ca(B-Y) = -0.59G+0.89B
Cb(R-Y) = 0.7K
Cb(B-Y) = -0.3R
C4: Ca(R-Y) = 0.7R-0.59G
Ca(B-Y) = -0.3R+0.59G
Cb(R-Y) = -0.11B
Cb(B-Y) = 0.89B
映像信号全体で の水平 ラ イ ン補間信号の垂直方向 の尖鋭度の劣 ィ匕を減少 さ せ る に は 、 (数 4 )及 び(数 6 )に て Y a と Y b が略等 し く 、 C a と C b が略等 し い必要があ る 。 こ の こ と よ り 空間位 置制御 は C 1 ま た は C 2 が適切で あ る こ と がわ か る 。 し た が つ て、 こ れ よ り は空間位置制御が C 1 及 び C 2 の場合 の説明 の み を行 う 。
次 に 、 図 1 2 で デ ィ ジ タ ル信号処理回路 1 0 6 の回路構成 に つ い て説明 す る 。 図 1 6 に 回路構成例 を示す。 図 1 6 ( a )は空 間位置制御が C 1 、 図 1 6 ( b )は C 2 の場合で あ る 。 同図( a ) ( b ) に お い て 同様の効果 : 示す も の に関 し て は 、 同 じ 番号を付 し て省略す る 。 図 1 6 ( a )は G信号の 1 水平 ラ イ ン期間 の遅延 の た め の 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 、 ゲ イ ン調整の た め の 1 / 2 ア ン プ 5 0 3 、 上記(数 3 )に示 し た 演算処理 を 行 う 輝度信号マ ト リ ッ ク ス 5 0 4.と 、 (数 5 )に 示 し た演算処理を行 う 色信号マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 同様 に 図 1 6 ( b ) は R信号及 び B 信号の 1 水平 ラ イ ン期間の遅延の た め に 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 と 、 ゲ イ ン 調整 の た め の 1 / 2 ァ ン プ 5 0 3 、 上記(数 3 )に示 し た演算処理 を行 う 輝度信号マ ト リ ッ ク ス 5 0 4 と 、 (数 5 )に示 し た演算処理を行 う 色信号 マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 こ の よ う に構成 さ れた デ ィ ジ タ ル信号処理回路 に お い て は、 1 H メ モ リ を有す る 垂直方向捕間 機能つ ま り 2 H ラ イ ン の平均回路を備え る こ と に よ り 、 色信号 の位相 を一致 さ せ る こ と がで き 、 以下輝度信号処理及 び色信号 処理を行 う 。 ま た 図 1 6 ( a ) ( b )よ り 同図( a )つ ま り 空間位置 制御が C 1 ( G信号を ず ら す)の方が回路規模 の 削減 に は適 し て い る こ と が わ か る 。
他方、 補間処理を行わ な い 時の信号処理 に お い て、 図 1 6 に 示 し た 空間位置(位相)がずれて い る 色信号 に対 し て の位相合わ せ は、 垂直方 向 に L P F 処理 を行 う こ と に な る の で 、 高域周 波 数特性が劣化 す る 。 映像信号を 3 つ の色信号全体(例え ば、 G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号)で 見た場合、 周 波数特性 は上記(数 3 )に示 し た演算処理を行 う 輝 度信号 マ ト リ ッ ク ス で は 、 (数 4 )に示す よ う に R · B 信号の位 相 を ず ら す空間位置制御 C 2 の ほ う が、 G 信号を ず ら す C 1 よ り 高域周 波数特性がす ぐ れて い る ま た(数 5 ) に示 し た演算処理 を行 う 色信号 マ ト リ ッ ク ス で も 、 (数 6 )に 示す よ う に空間位置 制御 C 2 の ほ う が C 1 よ り 高域周波数特性がす ぐ れて い る 。 こ の よ う に 、 空間位置制御 C 2 の方が捕間処理を行わ な い 時の信 号処理に おけ る高域の周波数.特性では適 し て い る こ と がわか る 。
ま た 色差信号を作成す る 色信号マ ト リ ッ ク ス で は 、 色信号の 高域周 波数が異 な る こ と に よ つ て高域周波数帯域 に 偽信号が発 生す る こ と に な る 。 こ の点 に 関 し て以下説明 す る 。 例え ば 白 色 を撮影 し た場合、 色差信号 R — Y · B — Y は零 レ ベ ル で あ る 必 要が あ る 。 し か し上記空間位置制御 C 2 の場合、 高域周 波数帯 域 で は G 信号 は 存在 す る ( G ≠ 0 ) が R · B 信号 は 存在 し な い ( R = B = 0 ) の で 、 色差信号 R — Y · B - Y は(数 7 ) に示す よ う に 零 レ ベ ル で は な く 偽色信号が発生す る 。 こ の 偽色信号を 除 去す る た め の 図 1 2 で の デ ィ ジ タ ル信号処理回路 1 0 6 の 回路 構成例 を図 1 7 に示す。 以下図 1 7 に お い て 、 6 0 1 は 1 水平 ラ イ ン期間 の遅延の た め に 1 H メ モ リ 、 6 0 2 は加算器、 6 0 3 は ゲ イ ン 調整 の た め の 1 / 2 ア ン プ 、 6 0 4 は 上記(数 3 ) に 示 し た演算処理を行 う 輝度信号マ ト リ ッ ク ス 、 6 0 5 は (数 5 ) に示 し た演算処理を行 う 色信号マ ト リ ッ ク ス 、 6 0 6 は上記 6 0 1 か ら 6 0 3 で構成 さ れて い る 位相調整回路、 6 0 7 は G 信 号の高域の周 波数成分 を減衰 さ せ る V L P F、 6 0 8 - 6 0 9 は色差信号 R — Y · B — Y の高域の周 波数成分を減衰 さ せ る V L P F で あ る 。
【数 7 】 R-Y I H = -0.59G
B-YI H = -0.59G
以上の よ う に構成 さ れた信号処理回路の説明 を 以下行 う 。 図 1 7 の 6 0 1 か ら 6 0 5 は 図 1 6 の 5 0 1 か ら 5 0 5 と 同様で あ り 異 な る の は 6 0 7 · 6 0 8 · 6 0 9 の V L P F で あ る 。 図 1 7 ( a )に お い て V L P F 6. 0 7 は G信号の高域周波数成分を 減衰 さ せ R · B 信号 と 等 し く す る こ と に よ っ て色差信号 の高域 周 波数帯域 に 発生す る 偽信号 を低減す る 。 同様 に 図 1 7 ( b )に お い て V L P F 6 0 8 · 6 0 9 は色差信号の高域周 波数成分を M衰 さ せ る こ と に よ っ て高域周 波数帯域 に 発生す る 偽信号を低 減す る 。 図 1 7 ( c )は 図 1 7 ( a ) ( b )の効果を加算 し た も の で あ り 、 G信号の高域周 波数成分を減衰 さ せ、 更 に 色差信号 の高 域周 波数成分 を減衰 さ せ る こ と に よ つ て高域周波数帯域 に 発生 す る 偽信号を低減す る 。 こ の よ う に垂直 L P F を備 え る こ と に よ っ て 、 高域周 波数帯域 に 発生す る 偽信号を低減す る こ と が可 能で あ り 、 偽信号の な い水平 ラ イ ン補間機能付 き 撮像装置 を 得 る こ と が で き る 。
次 に 、 図 1 2 の水平 ラ イ ン捕間機能付 き 撮像装置の プ ロ ッ ク 図 に示 し た補間機能部分の構成例 を図 1 8 を用 い て 1 つ の信号 に つ い て説明 す る 。 同図 に お い て 7 0 1 か ら 7 0 4 は 図 5 に示 し た 垂直方 向 の位相 を 合 わ せ る 2 ラ イ ン の平均化処理(内挿係 数 1 / 2 · 1 / 2 の 補間処理) を行 う 垂直方向 の 空間位置位相補 償部で 7 0 1 の 1 H メ モ リ と 、 7 0 2 の加算器 と 、 7 0 3 の 1 / 2 ア ン プ と 、 こ れ ら か ら 構成 さ れ る 7 0 4 位相補償回路で あ る 。 ま た 7 0 5 は フ ィ ー ノレ ド メ モ リ で あ り 、 7 0 6 は 切換器 で次 に で次 に示す 1 H の ラ イ ン メ モ リ 7 0 7 か ら 7 0 9 の W R I T E 動作を切 り 換 え る 。 7 1 0 は セ レ ク タ で前記 ラ イ ン メ モ リ か ら 2 つ を選択す る 。 7 1 1 · 7 1 2 は乗算器、 7 1 3 は加算器、 7 1 4 は 7 1 0 か ら 7 1 3 で構成 さ れ る 垂直捕間回路、 7 1 5 は水平方向の遅延を行 う ラ ッ チ回路、 7 1 6 · 7 1 7 は乗算器、 7 1 8 は加算器、 7 1 9 は 7. 1 5 か ら 7 1 8 で構成 さ れ る 水平 捕間回路、 7 2 0 は垂直補間回路 7 1 4 と 水平捕間回路 7 1 9 か ら な る 電子 ズ ー ム 回路で あ る 。
こ の よ う に 、 構成 さ れた捕間機能部分で は 、 ま ず位相補償回 路 7 0 4で垂直方向 の位相 の ズ レ を捕償 し た信号を、 フ ィ ー ル ド メ モ リ に記憶 し 、 フ ィ ー ル ド メ モ リ 7 0 5 の制御(図示せ ず) と 電子ズー ム回路 7 2 0内の 3本の ラ イ ン メ モ リ の制御を行い、 垂直補間回路 7 1 4 内で乗算デー タ w l と w 2 の補間演算を行 う 。 (w 2 = 1 一 w 1 の時 1 次内挿補間 と な る 。 )次 に水平補間回路 7 1 9 内 で乗算 デ ー タ h i と h 2 の補間演算 を 行 う 。 ( h 2 = 1 一 h i の 時 1 次 内挿補間 と な る 。 ) た だ し 、 垂直補償回路 7 0 4 は垂直方向 に 位相 を ず ら し た信号 に対 し て必要で あ り 、 垂 直方向 に位相 の ズ レ を行 っ て い な い信号 に は必要で な い 。
以上 の よ う に 、 位相補償回路 と 垂直補間回路 と 水平捕間回路 と を備 え る こ と で、 垂直方向 に位相 を ず ら し た水平 ラ イ ン捕間 機能付 き 撮像装置 に お い て垂直及 び水平方向 の補間機能を行 う こ と がで き る 。
C 4 ] 〈第 4 の実施例 ·' 垂直内挿選択回路 を付加 し た構成〉 図 1 9 は、 第 4 の実施例 を示す水平 ラ イ ン補間機能付 き 撮像 装置の ブ ロ ッ ク 図で あ る 。 同図 に お い て、 8 0 1 か ら 8 1 0 は 図 1 2 の 1 0 1 か ら 1 1 0 と 同様で あ り 、 異 な る の は垂直内揷 SW . 回路 7 1 1 と 上記回路を総合的 に制御す る シ ス テ ム制御回路 8 1 2 で あ る 。 こ の よ う に構成さ れた水平 ラ イ ン捕間機能付き 撮 像装置 に つ い て以下異 な る 点を 中心 に説明 を行 う 。
図 1 9 に お い て 、 捕間動作 を 行わ な い場合 は 、 垂直内挿 SW . 回路 8 1 1 は o f f 状態 と な り 、 シ ス テ ム 制御回路 8 1 2 、 駆動 制御回路 8 0 3 及 び撮像素子駆動回路 8 0 2 を経て撮像素子部 8 0 1 は R · G · B 各信号の垂直位相 の合致 し た通常の駆動動 作を行 う 。 他方水平 ラ イ ン を補間機能に よ っ て作成す る場合'は、 垂直 内挿 S W . 回路 8 1 1 は on状態 と な り 、 シ ス テ ム 制御回路 8 1 2 、 駆動制御回路 8 0 3 及 び撮像素子駆動回路 8 0 2 を経て 撮像素子部 8 0 1 は第 3 の実施例 の図 1 3 及 び図 1 4 で示 し た 手段 に よ っ て R · B 信号 と G 信号の垂直位相 が異 な る 駆動動作 を行 う 。
こ の よ う に 構成 さ れた本実施例の水平 ラ イ ン補間機能付 き 撮 像装置 に お い て、 補間処理を行わ な い信号処理の場合 は 、 空間 位置(位相)が合致 し て い る の で 、 色信号に対 し て の位相合わせ を必要 と せ ず、 垂直方向 の L P F 処理を行 う 必要 も な い の で 、 高域周 波数特性 は劣化 し な い。 ま た捕間処理を行 う 信号処理の 場合 は第 3 の実施例 と 同様 に 、 捕間処理 に伴 う 周 波数 レ ス ボ ン ス 特性の劣化が位相 に と も な い そ れ ぞれ異 な る た め 、 映像信号 を 3 つ の 色信号全体で見 た 場合(例 え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た 輝度信号 を考え た 場合)、 周 波 数 レ ス ポ ン ス 特性 の劣化を軽減で き 、 水平 ラ イ ン 補間信号 の垂 直方向 の尖鋭度の劣化を減少 さ せ る こ と が可能で あ る 。
以上の よ う に本実施例 に よ れば、 駆動制御回路及 び垂直内揷 SW . 回路 を備 え る こ と に よ り 、 補間処理 を 行わ な い と き は垂直 解像度劣化の無い高解像度の 映像が得 ら れ、 捕間処理を行 う と き は水平 ラ イ ン捕間信号の垂直方向 の尖鋭度の劣化を減少 さ せ 画質劣化の少 な い映像 を得 る. こ と が可能で あ る 。
[ 5 ] 〈第 5 の 実施例 : 「垂直補間回路 + 水平捕間 回 路」 構 成〉
図 2 0 は、 第 5 の実施例を示す水平 ラ イ ン補間機能付 き 撮像 装置の ブ ロ ッ ク 図で あ る 。 同図 に お い て、 9 0 1 か ら 9 0 5 は 図 1 2 の 1 0 1 か ら 1 0 5 と 同様で あ り 、 異な る の は A Z D 変 換回路 9 0 5 の 出力信号を記憶す る 9 0 6 フ ィ ー ル ド メ モ リ 回 路、 フ ィ ー ル ド メ モ リ 回路 9 0 6 を制御す る 9 0 7 フ ィ ー ル ド メ モ リ 制御回路、 フ ィ ー ル ド メ モ リ 回路 9 0 6 の 出力信号を用 い て垂直方向 の補間処理を行 う 9 0 8 垂直補間回路、 垂直補間 回路 9 0 8 を制御す る 9 0 9 垂直補間制御回路、 垂直補間回路 9 0 8 の 出力信号か ら 輝度信号や色信号 · 色差信号 な ど の生成 ま た は R G B 信号処理 を行 う 9 1 0 デ ィ ジ タ ル信号処理回路、 デ ィ ジ タ ル信号処理回路 9 1 0 の 出力信号を用 い て水平方向 の 補間処理を行 う 9 1 1 水平捕間回路、 水平補間回路 9 1 1 を制 御す る 9 1 2 水平捕間制御回路、 及 び上記回路を総合的 に 制御 す る 9 1 3 シ ス テ ム 制御回路で あ る 。
• 以上 の よ う に '構成 さ れた本実施例 の水平 ラ イ ン 捕間機能付 き 撮像装置 に つ い て、 以下 そ の動作 に つ い て説明 す る 。 本実施例 が第 3 の実施例 と 大き く 異な る の は、 電子 ズー ム 回路が垂直補 間回路 9 0 8 と 水平補間回路 9 1 1 と に分割 し て い る 点で あ る 。 以下図 2 1 及び図 2 2 を用 いて電子ズー ム機能につ いて説 明す る 。
図 2 1 に垂直電子ズー ム機能の構成例を示す。 同図に お いて 1 0 0 1 · 1 0 0 2 · 1 0 0.3 は、 そ れぞれ R ' B ' G信号を 記憶す る フ ィ ー ル ド メ モ リ 回路、 1 0 0 4 は フ ィ ー ル ド メ モ リ 回路 1 0 0 3 ( G 信号)を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 0 0 5 は フ ィ ー ル ド メ モ リ 回路 1 0 0 1 ( R信号)及び 1 0 0 2 ( B 信号)を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 0 0 6 · 1 0 0 7 · 1 0 0 8 はそれぞれ フ ィ ー ル ド メ モ リ 回路 1 0 0 1 · 1 0 0 2 · 1 0 0 3 か ら の R · B · G信号に垂直方向の捕間 . 拡大処理を行 う 垂直補間回路、 1 0 0 9 は垂直補間回路 1 0 0 8 を制御す る 垂直補間制御回路、 1 0 1 0 は垂直補間回路 1 0 0 6 及び 1 0 0 7 を制御す る 垂直電子 ズー ム制御回路、 1 0 1 1 は上記制御回路を コ ン ト ロ ー ルす る 図 2 0 シ ス テ ム制御回路 9 1 3 に含ま れ る垂直方向制御回路であ る 。
ま た図 2 2 に垂直捕間回路を示す。 同図 に示す よ う に 1 1 0 9 が垂直補間回路全体で あ り 、 1 1 0 1 か ら 1 1 0 8 は第 3 の 実施例の図 1 8 の 7 0 6 か ら Ί 1 3 と 同様の構成で あ る の で説 明 は省略す る 。 ま た R · G · B の信号 と も 同 じ構成で あ り 、 異 な る の は垂直補間制御回路か ら乗算器への乗算係数(補間係数) が R · B 信号は v l · v 2 、 G信号は v 3 · v 4 の点で あ る 。
こ の よ う に構成 さ れた垂直電子ズー ム機能の説明 を R · B 信 号の垂直位相 がずれて い る 場合 につ い て行 う 。 R及 び B 信号は フ ィ ー ル ド メ モ リ 回路 1 0 0 1 · 1 0 0 2 と フ ィ ー ル ド メ モ リ 制御回路 1 0 0 5 、 さ ら に垂直捕間回路 1 0 0 6 · 1 0 0 7 と 垂 直捕間制御回路 1 0 1 0 に よ っ て制御 さ れ、 図 1 5 ( b )の G信 号で示 し た よ う に 垂直方 向 の 位相 の ずれ分 p ( l / 2 ラ イ ン) と 垂直内挿係数 w か ら 決 ま る 垂直捕間係数 v l · V 2 に よ る 演算 に よ っ て水平 ラ イ ン を補間す る 。 ま た G信号は フ ィ ー ル ド メ モ リ 回路 1 0 0 3 と フ ィ ー ル ド メ モ リ 制御回路 1 0 0 4 、 さ ら に 垂直補間回路 1 0 0 8 と 垂直補間制御回路 1 0 0 9 に よ っ て制 御 さ れ、 図 1 5 ( b )の R · B 信号で示 し た よ う に 垂直内揷係数 w か ら 決 ま る 垂直捕間係数 V 3 · V 4 に よ る 演算 に よ っ て水平 ラ イ ン を捕間す る 。 次 に垂直方向 の捕間処理後 に デ ィ ジ タ ル信 号処理回路 9 1 0 で R · G · B あ る い は Y (輝度) · C (色)の信 号処理を行 い 、 水平補間回路 9 1 1 で水平方向 の捕間処理 を行 う 。 こ の水平捕間回路 は 図 1 8 の 7 1 9 水平補間回路 と 同様の 回路で構成で き る の で こ こ で は説明 を省略す る 。
こ の よ う に垂直補間回路 1 0 0 6 及 び 1 0 0 7 を 備 え る こ と に よ り 、 垂直方向 の位相 ズ レ p に対す る 位相補償機能 と 内挿係 数 w に対す る 垂直内挿機能を 同時に 行 い 、 垂直位相捕償 の た め の回路 を 削減す る こ と が で き 、 少な い回路規模で水平 ラ イ ン 捕 間機能付 き 撮像装置を得 る こ と が可能で あ る 。
[ 6 ] 〈第 6 の実施例 : 擬似 フ レ ー ム構成〉
図 2 3 は 、 第 6 の実施例 を示す水平 ラ イ ン補間機能付 き 撮像 装置の デ ィ ジ タ ル信号処理部 を示す プ ロ ッ ク 図で あ る 。 同図 に お い て 1 2 0 1 は R · G · B 信号か ら 2 種類の輝度信号 Y 1 · Y 2 及 び 2 種類の色信号 C I · C 2 を得 る デ ィ ジ タ ル信号処理 回路、 1 2 0 2 か ら 1 2 0 5 は各信号を記憶す る フ ィ ー ル ド メ モ リ 、 1 2 0 6 は上記 フ ィ ー ル ド メ モ リ を制御す る フ ィ ー ル ド メ モ リ 制御回路、 1 2 0 7 は Y 1 · Υ 2 · C 1 · C 2 を 用 い て 捕間 · 拡大を 行 う 電子 ズ ー ム 回路、 1 2 0 8 は上記 デ ィ ジ タ ル 信号処理回路、 フ ィ ー ル ド メ 乇 リ 制御回路、 電子ズ ー ム回路を 総合的 に制御す る シ ス テ ム 制御回路で あ る 。 ま た 図 2 4 は 図 2 3 の デ ィ ジ タ ル信号処理回路 1 2 0 1 の構成を示す プ ロ ッ ク 図 で あ る 。 同図 に お い て 1 3 0 1 は 1 Η期間 の信号を記憶す る ラ イ ン メ モ リ 、 1 3 0 2 は加算器、 1 3 0 3 は ゲ イ ン調整 を行 う 1 Z 2 ア ン プ 、 1 3 0 4 は 3 信号か ら 2 信号 R 1 . R 2 を シ ス テ ム 制御回路 か ら の情報で選択す る セ レ ク タ 回路、 1 3 0 5 · 1 3 0 6 · 1 3 0 7 は上記 1 3 0 1 か ら 1 3 0 4 で構成 さ れ る 信号選択回路、 1 3 0 8 は輝度信号 Y 1 を作成す る Y 1 マ ト リ ツ ク ス 回路、 1 3 0 9 は輝度信号 Υ 2 を作成 す る Υ 2 マ ト リ ッ ク ス 回路、 1 3 1 0 は色信号 C 1 を作成す る C 1 マ ト リ ッ ク ス 回 路、 1 3 1 1 は 色信号 C 2 を作成す る C 2 マ ト リ ッ ク ス 回路、 1 3 1 2 は上記 1 3 0 8 か ら 1 3 1 1 で構成 さ れ る マ ト リ ッ ク ス 回路 で あ る 。
以上 の よ う に構成 さ れた水平 ラ イ ン補間機能付 き 撮像装置 に つ いて、 以下そ の動作を図 2 5、 2 6、 2 7 を用 いて説明す る 。 図 2 4 に お い て信号選択回路 1 3 0 5 か ら 1 3 0 7 で は 、 ま ず 連続す る 2 ラ イ ン の信号か ら 3 信号を作成す る 。 こ れを 図 2 5 に 示 す。 図 2 5 で は R , Β 信号が G 信号 に 対 し て 1 / 2 ラ イ ン 垂直方向 の位相 がずれて い る R · G · Β 信号か ら 作成 さ れ る 信 号を示 し て い る 。 例え ば R · B 信号 に お い て( n — 2 ) ラ イ ン と n ラ イ ン の信号か ら (m — 1 ) ラ イ ン の補間信号を 、 n ラ イ ン と ( n + 2 ) ラ イ ン の信号か ら (m + 1 ) ラ イ ン の補間信号を作成 し、 同様 に G信号 に お い て ( n — 1 ) ラ イ ン と ( n + 1 ) ラ イ ン の信号 か ら m ラ イ ン の捕間信号 を 、 ( n + 1 ) ラ イ ン と ( n + 3 ) ラ イ ン の信号か ら (m + 2 ) ラ イ ン.の補間 ラ イ ン 信号を作成す る 。 こ の よ う に連続す る 2 ラ イ ン の信号か ら 補間信号を含め て 3 ラ イ ン の信号を作成す る 。 次に図 2 4 に お け る セ レ ク タ 1 3 0 4 で は上記 3 信号か ら 2 信号を選択す る 。 こ れを図 2 6 及 び図 2 7 に示す。 図 2 6 で は 図 2 5 と 同様 に R , B 信号が G信号 に 対 し て 1 / 2 ラ イ ン 垂直方向 の 位相 がず れて い る R · G · B 信号 か ら 作成す る 捕間 ラ イ ン h 1 を、 図 2 7 で は 同様 に 作成す る 捕間 ラ イ ン h 2 を示 し て い る 。 図 2 6 に示す よ う に ( n — 1 ) ラ イ ン と n ラ イ ン間に捕間 ラ イ ン h 1 を作成す る の に必要な信号 R— , · G m - , ' B m―】 及 び R m- G m- B mを (数 8 ) に 、 作成 さ れ る 輝度 信号 Ym- i · Ym と 色差信号( R - Y ) m- ( R — Y )m 及び( B - Y ) m-! · ( B — Y )mを(数 9 ) に示す。
【数 8 】
β m - 1 = (Λ η - 2 +Λ ηノ / 2ヽ - 1 = Gn - 1 ヽ
Figure imgf000040_0001
Am = xi nヽ Um— l 二 (Gn一 l +U n 1)/ 2ヽ
B m = D n
【数 9 】
Ym - i = 0.3Rm - s +0. 59Gm— i +0. llBm- i
= 0. 3(Rn- 2 + Rn)/2 + 0.59Gn- 1+0. 11 (Bn- 2 + Bn)/2 Ym = 0.3Rn + 0.59(Gn-l+Gn + l)/2 + 0. ΙΙΒη
(R-Y)m- l = 0.7(Rn- 2+Rn)/2-0. 59G„-l-0. 11(Bn- 2+Bn)/2
(R-Y)m = 0. 7R„-0.59(Gn- i+Gn + i)/2-0. 11B„
(B-Y)m-! = -0.3(Rn- 2+Rn)/2-0. 59Gn- l+0.89(Bn- 2+B„)/2 (B-Y)m = -0.3Rn-0.59(Gn- i+Gn + i)/2 + 0.89Bn
ま た、 図 2 7 に示す よ う に n.ラ イ ン と ( n + 1 ) ラ イ ン 間 に補間 ラ イ ン h 2 を作成す る の に必要な信号 R Λ G A B 及び R m+-i
G m+ 1 · B m+ 1を(数 1 0 )に 、 作成 さ れ る 輝度信号 Y m * 丫:^! と 色差信号( R — Y )m * ( R - Y )m+ 1及 び( B - Y )m * ( B - Y )m+i を(数 1 1 ) に示す。
【数 1 0 】
Rm = I n Jm = (Gn- l T G n + l)/2 B m = D n
R m + 1 — (Κητβη + 2 / 2 G m + 1 = U n + l
Figure imgf000041_0001
【数 1 1 】
Ym = 0.3Bn + 0.59(Gn- l+Gn. l)/2 + 0. ΙΙΒη
Ym+ 1 = 0. 3(Rn+Rn + 2)/2 + 0.59Gn + l+0. ll(Bn+Bn + 2)
(R-Y)m = 0. 7Rn"0.59(Gn- l+Gn + l)/2-0. HBn
(R-Y)m+ l = 0. 7(Rn+Rn+ 2)/2-0. 59Gn+l-0. 11(Bn+Bn+ 2)/2 (B-Y)m = -0. 3Rn-0.59(Gn- i+Gn÷ i)/2 + 0.89Bn
(B-Y)m+ 1 = -0.3(Rn+Rn+ 2)/2-0.59Gn+ l+0.89(Bn+Bn+ 2)/2 こ の よ う に連続す る 2 ラ イ ン の信号か ら作成さ れた 3信号か ら 、 捕間 ラ イ ン を作成す る の に必要 な 2 信号を選択す る こ と に よ つ て 、 任意の位置に補間信号を作成す る こ と が で き る 。 上記示 し た 2 信号の選択を セ レ ク タ 回路が シ ス テ ム 制御回路か ら の制御 に よ り 行い、 補間 ラ イ ン h 1 作成時の Y_ i 及 び補間 ラ イ ン h 2 作成時 の Y mの マ ト リ ッ ク ス 演算を Y 1 マ ト リ ッ ク ス 回路 1 3 0 8 が、 補間 ラ イ ン h 1 作成時の Y m及 び捕間 ラ イ ン h 2 作成 時の Y m+ iの マ ト リ ッ ク ス 演算を Y 2 マ ト リ ッ ク ス 回路 1 3 0 が行 う 。 ま た 同様 に補間 ラ イ ン h 1 作成時の( R — Y ! · ( B 一 Y)m- i及び補間 ラ イ ン h 2作成時の(R — Y)m ' ( B — Y)mの マ ト リ ッ ク ス 演算を C 1 マ ト リ ッ ク ス 回路 1 3 1 0 が、 補間 ラ ィ ン h 1 作成時の(R — Y) m* ( B - Y ) び補間 ラ イ ン h 2作 成時の (R — Y) m+ 1 ' ( B — Y) m+ 1の マ ト リ ッ ク ス 演算で C 2 マ ト リ ッ ク ス 回路 1 3 1 1 が行 う 。 ま た C 1 及 び C 2 マ ト リ ッ ク ス で は (R — Y)信号 と ( B — Y)信号 と を間引 き 後 に 時分割で 出 力 す る 。 以上の動作を行 う 図 2 3 の デ ィ ジ タ ル信号処理回路 1 2 0 1 の 出力信号を図 2 3 に示す。 図 2 8 で の例え ば ) (m— 1 )ラ イ ン の第 1 画素の輝度信号を表 し て い る 。 図 2 8 ( a ) は 図 2 6 で示 し た捕間 の 出力信号で あ り 、 色信号 は 色差信号が 2 画素毎 に 間引 かれ て 時系列化 さ れて い る 。 同 図( a )で は ( m 一 1 )ラ イ ン及 び m ラ イ ン 信号が、 ( b )で は m ラ イ ン 及 び(m + 1 ) ラ イ ン 信号が、 そ れぞれ出力 し て い る 。
次 に 図 2 3 に お け る デ ィ ジ タ ル信号処理回路 1 2 0 1 の 出力 信号 は、 フ ィ 一ル ド メ モ リ 制御回路 1 2 0 6 の 制御 に よ り そ れ ぞれ フ ィ ー ル ド メ モ リ 1 2 0 2〜 1 2 0 5 に記憶 さ れ、 そ の後 電子 ズ ー ム 回路 1 2 0 7 で は フ ィ 一 ル ド メ モ リ か ら の 上記 の 信 号を用 い て捕間演算を行 う 。 捕間演算は フ レ ー ム 信号の位置関 係 に あ る 2 ラ イ ン の信号を用 い て演算を行 う 。 例 え ば図 2 6 に 示す場合 は フ レ ー ム 信号の位置関係 に あ る ( m — 1 ) ラ イ ン と m ラ イ ン の信号を用 い て、 図 2 7 に示す場合 は 同 じ く フ レ ー ム 信号の位置関係 に あ る m ラ イ ン と ( m + 1 ) ラ イ ン の信号を用 い て補間演算 を行 う 。 こ の電子 ズ ー ム 回路の構成例 を図 2 9 に 示す。 同図 に お い て 1 8 0 1 は切換器、 1 8 0 2 · 1 8 0 3 は ラ イ ン メ モ リ 、 1 8 0 4 は ラ イ ン メ モ リ 制御回路、 1 8 0 5 は セ レ ク タ 回路、 1 8 0 6 · 1.8 0 7 は垂直方向 ラ イ ン メ モ リ 制 御回路、 1 8 0 8 · 1 8 0 9 は垂直内挿用 の乗算器、 1 8 1 0 は加算器、 1 8 1 1 は水平方向 の遅延を与え る ラ ッ チ 回路、 1 8 1 2 · 1 8 1 3 は水平用 内挿用 の乗算器、 1 8 1 4 は加算器、 1 8 1 5 は水平補間回路で あ る 。 以下そ の動作 に つ い て 図 1 8 の電子 ズ ー ム 回路 7 2 0 と 異 な る 点を 中心 に説明 す る 。 図 2 9 で は補間演算 を行 う Y 1 · Y 2 ま た は C 1 · C 2 の 2 ラ イ ン の 信号が入力 さ れ、 各信号 と 垂直方向 の 内挿 デ ー タ と で垂直内挿 演算を行 う 。 こ の た め 1 8 0 6 · 1 8 0 7 の垂直 ラ イ ン メ モ リ 制御回路で は 2 つ の ラ イ ン メ モ リ を一方を White用 、 他方を Read 用 と し て制御 し て い る 。
以上 の よ う に本実施例 に よ れば、 Y 1 · Υ 2及 び C 1 · C 2 信号を作成す る デ ィ ジ タ ル信号処理回路 と 電子 ズ ー ム 回路 を備 え る こ と に よ っ て 、 画質劣化の少 な い フ レ ー ム 信号の位置関係 に あ る 2 ラ イ ン の輝度信号及 び色差信号か ら 捕間信号を作成す る こ と が で き る の で 、 水平 ラ イ ン捕間信号 の垂直方向 の尖鋭度 の劣化 を減少 さ せ画質劣化 の 少な い映像を得 る こ と が可能で あ る 。 ま た補間 に必要な 2 ラ イ ン の信号が電子 ズ ー ム 回路 に 入力 さ れて い る の で電子 ズ ー ム 回路内 の ラ イ ン メ モ リ 数が少 な く 、 回路規模を 削減す る こ と も 可能で あ る 。 な お、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て 3 つ の 色信号 R · G · B の位相 を ず ら す た め に撮像素子の駆動制御を 行 っ て い る が、 駆動制御 に加 え て例 え ば 3 つ の色信号を得 る た め の 3 色分解 プ リ ズ ム に固体撮像素子を接着固定す る 際 に そ の 位置を従来 と は異 な り 垂直方向 に ず ら せ て接着す る 、 ま た は 3 色分解 プ リ ズ ム 内部の屈折率.を操作 し て光の光路 を 曲 げ る こ と に よ り 色信号 の位相 を ず ら す こ と も 考え ら れ る 。 ま た 、 こ の場 合、 p l 、 p 2、 p 3 の範囲 は 0 以上 1 未満 と し た が こ れ に限 る も の で は な く 、 例え ば p l = l . 5 と す る こ と も可能で あ り 、 こ の場合は p l = 0 . 5 と した場合と 同様の効果が得られる ( p 2、 p 3 に 関 し て も 同様) こ と は 明 ら かで あ る 。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て撮像素 子部に関 しては R · G · B 信号を出力す る こ と の みを示 し たが、 そ の 構成 と し て は 3 つ の 固体撮像素子 を 有 し 、 そ れ ぞ れ R * G ' B 信号を得 る 3 板式撮像装置や 、 2 つ の撮像素子を有 し一 方の撮像素子 は G 信号、 他方 の撮像素子 は R 信号及 び B 信号を 得 る 2 板式撮像装置の構成が考え ら れ る 。
ま た 、 上記第 3 の 実施例 に お い て は 電子 ズ ー ム 回 路 か ら の R · G · B 信号を エ ン コ ー ダ回路が N T S C 信号 に変換す る 場 合 を示 し 、 第 4 、 第 5 、 第 6 の実施例で は 電子 ズ ー ム 回路か ら R · G · B 信号 ま た は Y · C 信号が出力 さ れ る 所 ま で を示 し た が、 N T S C 信号あ る いは他の信号に変換す る こ と も可能であ る。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て 、 3 つ の色信号は 、 R、 G、 B と し た が こ れ に 限 る も の で は な く 、 例 え ばイ ェ ロ ー 、 シ ア ン 、 マ ゼ ン タ の 3 つ の 色信号 を使用 す る こ こ と も 可能で あ る 。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て、 捕間 回路 に関 し て は ラ イ ン メ モ リ の制御 に関 し て の み説明 し た が、 そ れ と は別 に 固体撮像素子 ま た は フ ィ ー ル ド メ モ リ 等か ら の読 み 出 し の 制御 も 必要 に な る が そ れ は R · G · B 信号 あ る い は Y · C 信号そ れぞれの信号に.応 じ て コ ン ト ロ ー ルす る こ と がで き る が そ れ に 限 る も の で は な い。
ま た 、 上記第 3 、 第 4 、 第 5 、 第 6 の実施例 に お い て 、 補間 処理 は線形補間の場合を示 し た が こ れ に限 る も の で は な く 、 3 つ以上の ラ イ ン メ モ リ 出力信号を用 い て 2 次補間等の高次の捕 間処理が可能 と な る こ と は明 ら かで あ る 。
ま た 、 第 3 、 第 4 、 第 5 、 第 6 の 各実施例で示 し た 内容を他 の実施例 と 組み合わせ て使用 す る こ と は可能で あ る 。 例 え ば偽 色信号除去 は 第 3 の実施例で の み説明 し た が、 こ れ を第 4 、 第 5 、 第 6 の実施例において組み合わせて使用 す る こ と も で き る 。
[ 7 ] 〈第 7 の実施例 : フ レ ー ム 静止画を作成す る 構成〉 図 3 0 は、 第 7 の実施例 に お け る 水平 ラ イ ン補間機能付 き 撮 像装置 の プ ロ ッ ク 図を示す も の で あ る 。 図 3 0 に お い て 2 1 0 1 は光電変換機能を有す る 撮像素子部、 2 1 0 2 は撮像素子部 2 1 0 1 に対す る 撮像素子駆動回路、 2 1 0 3 は撮像素子駆動 回路 2 1 0 2 を制御す る 駆動制御回路、 2 1 0 4 は撮像素子 2 1 0 1 の 出力信号 に サ ン プ リ ン グ · 増幅等 の処理を行 う ア ナ 口 グ信号処理回路、 2 1 0 5 は ア ナ ロ グ信号処理回路 2 1 0 2 の 出力信号 に 対す る ア ナ ロ グ · デ ィ ジ タ ル変換回路 (以下 A Z D 変換回路)、 2 1 0 6 は A Z D変換 さ れた デ ィ ジ タ ル信号か ら 輝度信号や色信号 · 色差信号な ど の生成ま た は R G B信号処理 を行 う デ ィ ジ タ ル信号処理回路、 2 1 0 7 は デ ィ ジ タ ル信号処 理回路 2 1 0 6 の出力信号を記憶す る フ ィ 一ル ド メ モ リ 回路、 2 1 0 8 は フ ィ ー ル ド メ モ リ 回路 2 1 0 7 を制御す る フ ィ ー ル ド メ モ リ 制御回路、 2 1 0 9は.上記駆動制御回路 2 1 0 3、 フ ィ ー ル ド メ モ リ 制御回路 2 1 0 8 、 を総合的 に制御す る シ ス テ ム制 御回路、 2 1 1 0 は デ ィ ジ タ ル信号処理回路 2 1 0 6 の 出力信 号から NTS C信号等のテレビジョン信号を得るヱンコーダ回路、 2111はフィー ル ド メ モ リ 回路 2 1 0 7 の 出力信号か ら N T S C信号等の テ レ ビ ジ ョ ン信号を得る エ ン コ ー ダ回路であ る 。
以上の よ う に構成 さ れた本実施例の水平 ラ イ ン補間機能付 き 撮像装置につ い て 、 以下そ の動作に つ い て説明す る 。 撮像素子 部 2 1 0 1 か ら 出力 さ れ る R · G · B の複数の 出力信号は ア ナ ロ グ信号処理及び Aノ D変換処理 さ れデ ィ ジ タ ル信号 と な る 。 こ の デ ィ ジ タ ル信号は デ ィ ジ タ ル信号処理回路 2 1 0 6 に お い て輝度信号(Y 1 · Υ 2 )及び色信号( C I « C 2 )処理 さ れ フ ィ 一ル ド メ モ リ 回路 2 1 0 7 に入力 さ れる 。 フ ィ ー ル ド メ モ リ 回 路 2 1 0 7 に入力 さ れた信号は フ ィ ー ル ド メ モ リ 制御回路 2 1 0 8 に よ っ て フ レ ー ム静止画出力 さ れる 。
図 1 3 に駆動制御回路 2 1 0 3 に よ る撮像素子の フ レ ー ム蓄 積駆動制御を示す。 図 1 3 ( a )に通常の撮像素子のィ ン タ ー レ一 ス読み出 し駆動制御、 図 1 3 ( b )に本実施例に お け る撮像素子 部 2 1 0 1 の構成例で あ る R * G ' B の各信号を得 る R . G . B撮像素子の読み出 し駆動制御の概略を示す。 図 1 3 ( a )に示 す よ う に フ レ ー ム 蓄積モ ー ド で は 、 oddフ ィ ー ル ド で フ ィ ー ル ド シ フ ト の期間 に感光部の画素の う ち、垂直方向 に 1 つ お き 奇 数番 目 の ラ イ ン の画素の信号を読み 出 し、次に evenフ ィ ー ル ド で偶数番目 の ラ イ ン の画素の信号を読み出 し、 イ ン タ ー ラ イ ン 転送を実現 して い る。 本実施例では図 1 3 ( b )に示す よ う に odd フ ィ ー ル ド で 、 R ' G ' B の.撮像素子の う ち R · B の撮像素子 で は垂直方向 に奇数番 目 の ラ イ ン の画素の信号を、 G の撮像素 子では偶数番目の ラ イ ン の画素の信号を読み出 し、 次に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の撮像素子で は垂 直方向 に偶数番目 の ラ イ ン の画素の信号を、 G の撮像素子では 奇数番 目 の ラ イ ン の画素の信号を読み出 し て い る 。 こ の よ う に フ レ ー ム蓄積駆動制御で R · G · B の撮像素子の odd/evenの読 み出 し を、 R · B 撮像素子 と G撮像素子 と で逆に し て い る 。
次に図 1 4 に撮像素子の フ ィ ー ル ド蓄積駆動制御を示す。 図 1 4 ( a )に通常の撮像素子のィ ン タ ー レ ー ス読みだ し駆動制御、 図 1 4 ( b )に本実施例 に おけ る撮像素子部 2 1 0 1 の他の構成 例で あ る R · G · B の各信号を得る R · G · B 撮像素子の読み だ し駆動制御の概略を示す。 図 1 4 ( a )に示す よ う に フ ィ ー ル ド蓄積モ ー ドでは、 oddフ ィ 一ル ド で水平転送 C C D (図示せず) に近い ラ イ ン の画素か ら奇数番目 の ラ イ ン の信号 と 次の偶数番 目 の ラ イ ン の信号を同時に加算( P D m i x ) し て読み出 し、 次に evenフ ィ ー ル ド で加算の組合せを変え下か ら偶数番目 の ラ イ ン の信号 と 次の奇数番目 の ラ イ ン の信号を同時に加算 し て読み出 し、 ィ ン タ 一 ラ イ ン転送を実現 して い る。 本実施例では図 1 4 ( b ) に示す よ う に od d フ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の撮像素子で は 図 1 4 ( a )で示 し た oddフ ィ ー ル ド 読み出 し を、 G の撮像素子では evenフ ィ ー ル ド読み出 し を行い、 次 に evenフ ィ ー ル ド で 、 R · G · B の撮像素子の う ち R · B の 撮像素子で は evenフ ィ ー ル ド読み出 し を、 G の撮像素子で は odd フ ィ ー ル ド読み 出 し を行 っ て い る 。 こ の よ う に フ ィ ー ル ド蓄積 駆動制御 で R · G · B の 撮像素子 の odd/evenの P D raix読み 出 し を、 R · B 撮像素子 と G撮像素子 と で逆 に し て い る 。
上記図 1 3 及 び図 1 4 に示 し た よ う に 、 odd/evenの読 み 出 し を R · B 撮像素子 と G撮像素子 と で逆に す る こ と に よ っ て 、 得 ら れ る R · B 信号 と G 信号 の空間的位置(位相) は 1 / 2 ラ イ ン ( 1 フ ィ ー ル ド で の ラ イ ン 間隔)ずれ る こ と と な る 。
以上の よ う に本実施例で は、 3 つ の色信号 R、 G、 B の位相 を そ れ ぞれず ら す た め に駆動制御回路を備 え た場合 を示 し た。 こ れ以外 に も 、 3 つ の 色信号を得 る た め の 3 色分解 プ リ ズ ム ま た は 2 色分解 プ リ ズ ム に固体撮像素子の位置を垂直方向 に ず ら せ て接着固定す る こ と に よ つ て も 、 3 つ の色信号 R、 G、 B の 位相 を そ れぞれず ら す こ と が可能で あ る 。
次 に 得 ら れ た R · G · B の各色信号 に対す る 信号処理方法を 以下 に 示す。
図 3 1 に信号処理の概略を示す。 図 3 1 ( a )は R信号及 び B 信号 と 位相 が合 っ た G信号を得 る 処理、 図 3 1 ( b )は G信号 と 位相 が合 っ た R信号及 び B 信号を得 る 処理の概略 を示す。 図 3 1 に示すよ う に R * B信号と G信号は位相が 1 / 2 ラ イ ン( 1 フ ィ ー ル ド で の ラ イ ン 間隔) ず れ て い る の で 、 信号処理 に は垂直方向 の位相 を合わ せ る 必要が あ る 。 そ こ で図 3 1 ( a )で は G 信号 に 対 し て連続す る 2 ラ イ ン の平均化処理(内挿係数 1 / 2 · 1 / 2 の捕間処理) を行うことによって、 R · G · B信号の位相を一致させることができ、図 31 ( b )で は R及び B 信号に対 し て連続す る 2 ラ イ ン の平均化処理 (内挿係数 1 / 2 · 1 / 2 の捕間処理)を行 う こ と に よ っ て、 R * G · B 信号の位相を一致 さ せ る こ と がで き る 。 こ れを(数 1 2 ) に示す。 - 【数 1 2 】
(a): Rm = Rn . Bm = Bn、 Gm = (G n - i +G n + i ) /2
(b) : Km = (K n- l +R n + l)/2. Bm = (B n- l +B n + l)/2.
Figure imgf000049_0001
な お上図 1 3、 1 4、 3 1 ( a )で は G信号の位置を空間的 に ず ら す制御( C 1 )の場合を説明、 図 3 1 ( b )で は R及び B 信号 の位置を空間的 にず ら す制御( C 2 ) も可能であ る 。 ま た R信号 の位置だ け( C 3 )を、 B 信号の位置だ け( C 4 )を空間的 に ず ら す制御 も可能であ る。 以下 こ の空間位置制御につ いて説明す る。 輝度(Y)信号は R · G · B信号に よ っ て作成さ れ、 それは(数 3 ) で示さ れ る 。
【数 3 】
Y = 0.3R + 0.59G + 0.11B
こ こ で輝度信号に含ま れる 空間的 に ずれて い る 信号( Y a ) と ず れて い な い信号( Y b )は、 上記 C 1 〜 C 4 の場合そ れぞれ次式 (数 4 )で示 さ れ る 。
【数 4 】
C1: Ya = 0.3R + 0.11B
Yb = 0.59G 968 Ό + 069 ·0 - = (人 - 8) Z
9Π Ό-969 ·0 - = (Α-8)Β3: CD
868 Ό + Ό- = (A-8)q3
an Ό-ai, ·ο = (人一 joq:)
06S ·ο - = (人 - g)
06 ·ο - = (A-a)qo
969 ·0 - = (人 - ίΐ Ο
968 OiSS Ό- = (A-9)e0
ail Ό-SL Ό = (人一 13
【 9 】 SL ( 9 ^ )
W ¾ ^ if ω :) 〜 "[ つ 2暴 T 、 ( q つ ) # II i i ^ . ^
( B O ) ^ s w コ 享 琴コ i^i コ :
868 *0 + 06S '0-38 '0 - =人 - 8
an O-06S Ό-ai, Ό = A-a οι
【 s 】
' an "0 = q人
36S '0 + 8S '0 = B入: 9
as Ό = q入
8Π '0 + 36S '0 = B入:
an ·ο+8ε Ό = q入
069 Ό = ^k' Z - 一 8 一
Z00I0/£6dr/lDd Sl0C0/f6 OM Cb(R-Y) = 0.7R
Cb(B-Y) = - 0, 3R
C4 :Ca(R-Y) = 0.7R-0.59G
Ca(B-Y) = -0.3R+0.59G
Cb(K-Y) = -0.11B
Cb(B-Y) = 0.89B .
映像信号全体で擬似 フ レ ー ム 映像信号を得 る に は 、 (数 4 )及 び (数 6 ) に て Y a と Y b が略等 し く 、 C a と C b が略等 し い必要 があ る 。 こ の こ と よ り 空間位置制御 は C 1 ま た は C 2 が適切で あ る こ と がわ か る 。 し た が っ て、 こ れ よ り は空間位置制御が C 1 及 び C 2 の場合の説明 の み を行 う 。
次 に 、 図 3 1 に示 し た信号処理概略の回路構成例を図 1 6 に 示す。 図 1 6 ( a )は空間位置制御が C l 、 図 1 6 ( b )は C 2 の 場合で あ る 。 同図( a )( b )に お い て 同様の効果を示す も の に 関 し て は 、 同 じ 番号を付 し て省略す る 。 図 1 6 ( a )は G信号の 1 水平 ラ イ ン期間の遅延の た め の 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 、 ゲ イ ン 調整 の た め の 1 / 2 ア ン プ 5 0 3 、 上記(数 3 )に 示 し た演算処理を行 う 輝度信号マ ト リ ッ ク ス 5 0 4 と 、 (数 5 ) に示 し た演算処理を行 う 色信号マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 同様 に図 1 6 ( b )は R信号及 び B信号の 1 水平 ラ イ ン期間 の遅延の た め に 1 H メ モ リ 5 0 1 と 、 加算器 5 0 2 と 、 ゲ イ ン 調整 の た め の 1 / 2 ア ン プ 5 0 3 、 上記(数 3 )に示 し た 演算処 理を行 う 輝度信号マ ト リ ッ ク ス 5 0 4 と 、 (数 5 )に示 し た演算 処理を行 う 色信号 マ ト リ ッ ク ス 5 0 5 を有 し て い る 。 こ の よ う に構成 さ れた デ ィ ジ タ ル信号処理回路 に お い て は 、 1 H メ モ リ を有す る 垂直方向補間機能つ ま り 2 H ラ イ ン の平均回路 を備 え る こ と に よ り 、 色信号の位相 を一致 さ せ る こ と がで き 、 以下輝 度信号処理及 び色信号処理を行 う 。 ま た図 1 6 ( a ) ( b )よ り 同 図( a )つ ま り 空間位置制御が C 1 ( G信号を ず ら す)の方が回路 規模の 削減に は適 し て い る こ と がわ か る 。
ま た、 図 1 6 に示 し た空間.位置(位相)がずれて い る 色信号 に 対 し て の位相合わせ は、 垂直方向 に L P F 処理を行 う こ と に な る の で、 高域周波数特性が劣化す る 。 映像信号を 3 つ の色信号 全体(例 え ば G、 R、 B 信号か ら マ ト リ ッ ク ス 演算 に よ り 合成 し た輝度信号)で見 た場合、 周 波数特性 は上記(数 3 )に 示 し た 演算処理を行 う 輝度信号マ ト リ ッ ク ス で は 、 (数 4 )に示す よ う に R · B 信号の位相 を ず ら す空間位置制御 C 2 の ほ う が、 G信 号 を ず ら す C 1 よ り 高域周 波数特性がす ぐ れて い る 。 ま た (数 5 ) に示 し た 演算処理 を行 う 色信号 マ ト リ ッ ク ス で も 、 (数 6 ) に示す よ う に空間位置制御 C 2 の ほ う が C 1 よ り 高域周 波数特 性がす ぐ れて い る 。 こ の よ う に、 空間位置制御 C 2 の方が補間 処理を行わ な い時の信号処理 に お け る 高域の周 波数特性で は適 し て い る こ と が分か る 。
ま た色差信号を作成す る 色信号マ ト リ ッ ク ス で は、 色信号の 高域周波数が異 な る こ と に よ っ て高域周波数帯域 に偽信号が発 生す る こ と に な る 。 例 え ば白 色を撮影 し た場合、 色差信号 R — Y · B — Y は零 レ ベ ル で あ る 必要があ る 。 し か し 上記空間位置 制御 C 2 の 場合、 高域周 波数帯域で は G信号 は 存在す る ( G ≠ 0 ) が R · B 信号は存在 し な い( R = B = 0 )の で、 色差信号 R 一 Y · B — Y は (数 7 ) に示す よ う に零 レ ベ ルで は な く 偽色信号 が発生す る 。 こ の問題点 に 関 し て は第 3 の実施例 に て詳 し く 説 明済み で あ る の で以下説明 は省略す る 。
次 に 、 図 3 0 で の デ ィ ジ タ ル信号処理回路 2 1 0 6 の 回路構 成 に つ い て図 3 2 を用 い て説明 す る 。 同図 に お い て 2 6 0 1 は 1 H期間の信号を記憶す る ラ イ ン メ モ リ 、 2 6 0 2 は加算器、 2 6 0 3 は ゲ イ ン 調整 を 行 う 1 / 2 ア ン プ 、 2 6 0 4 は 上記 2 6 0 1 か ら 2 6 0 3 で構成 さ れ る 信号補間回路、 2 6 0 5 は輝 度信号 Y 1 を作成す る Y 1 マ ト リ ッ ク ス 回路、 2 6 0 6 は輝度 信号 Y 2を作成する Y 2マトリックス回路、 2607は色信号 C 1を作成する C 1マトリツ ク ス 回路、 2 6 0 8 は色信号 C 2 を作成す る C 2 マ ト リ ッ ク ス 回路、 2 6 0 9 は上記 2 6 0 5 か ら 2 6 0 8 で構成 さ れ る マ ト リ ッ ク ス回路、 2 6 1 0 は輝度信号 Y 1 及び Y 2 に ア パ ー チ ャ 、 コ ア リ ン グ等の処理を行 う 輝度信号処理回路、 2 6 1 1 は色信 号 C 1 及 び C 2 に ホ ワ イ ト バ ラ ン ス 、 色再現等の 処理を 行 う 色 信号処理回路 で あ る 。
以上 の よ う に構成 さ れた水平 ラ イ ン補間機能付 き 撮像装置 に つ い て 、 以下 そ の 動作 を 図 2 5 、 3 3 、 3 4 を 用 い て 説明 す る 。 図 3 2 に お い て信号捕間回路 2 6 0 4 で は 、 連铳す る 2 ラ イ ン の信号か ら 補間信号を作成す る 。 こ れ を図 2 5 に示す。 図 2 5 で は R · B 信号が G 信号 に対 し て 1 / 2 ラ イ ン 垂直方 向 の 位相 がずれて い る R · G · B 信号か ら 作成 さ れ る 信号を示 し て い る 。 例 え ば R · B 信号 に お い て ( n — 2 ) ラ イ ン と n ラ イ ン の 信号か ら (m — 1 ) ラ イ ン の補間信号を η ラ イ ン と ( η + 2 ) ラ イ ン の信号か ら (m + 1 ) ラ イ ン の補間信号を作成 し 、 同様 に G信 号 に お い て ( n — 1 ) ラ イ ン と ( n + 1 ) ラ イ ン の信号か ら m ラ イ ン の 捕間信号を 、 ( n + 1 ) ラ イ ン と ( n + 3 ) ラ イ ン の信号か ら (m + 2 ) ラ イ ン の 捕間 ラ イ ン 信号 を作成す る 。 こ の よ う に連続 す る 2 ラ イ ン の信号か ら 補間信号を作成す る 。 次 に図 3 2 に お け る マ ト リ ッ ク ス 回路 2 6 0 9 で は R · G · B の信号捕間回路 出力信号を用 い て マ ト リ ッ ク ス 信号処理を行 う 。 図 3 3 で は図 2 5 と 同様 に R · B 信号が G信号 に対 し て 1 / 2 ラ イ ン垂直方 向 の 位相 が ず れ て い る R · G · B 信号 か ら 作成 す る 輝度信号
Y m- 1 , Y m… 及 び色差信号( R — Y )m - ( R - Y )m…及 び( B
- Y )m- 1. ( B — Y )m… を示 し て い る 。 図 3 3 に示す よ う に 各 色信号 R m- 1 · G m- 1 « B m-i及 び R m ' G m - B mを (数 8 ) に 、 作成 さ れ る 輝度信号 Y m- i · Y mと 色差信号 ( R — Y ) m - , · ( R 一 Y ) m及 び ( B Y ) ( B - Y ) mを (数 9 ) に示す 【数 8 】
Rm- 1 = (Rn- 2+Rn)/2. G, = G .
Figure imgf000054_0001
Κιη = βη Gm - 1 = VJ n - l+Gn+ I ) / ^
B m = B n
【数 9 】
Ym- 1 = 0.3Rm- 1 +0.59Gm- ! +0. HBm- l
= 0.3(Rn- 2+Rn)/2+0.59Gn-l+0.11(Bn- 2+Bn)/2
Ym = 0.3Rn+0.59(Gn- l+Gn÷l)/2+0.11Bn
(K-Y)m-l = 0.7(Rn- 2+Rn)/2-0.59Gn-l-0.1i(Bn- 2+Bn)/2 (S-Y)m = 0.7Rn-0.59(Gn-l+Gn +l)/2-0. 11Bn
(B-Y)m-1 = -0.3(Bn- 2+Rn)/2-0.59Gn-l+0.89(Bn - 2+Bn)/2
(B-Y)m
Figure imgf000054_0002
i)/2 + 0.89Bn 上記 の Ym- i の マ ト リ ッ ク ス 演算 を Y 1 マ ト リ ッ ク ス 回路 2 6 0 5 が、 Ymの マ ト リ ッ ク ス 演算 を Y 2 マ ト リ ッ ク ス 回路 2 6 0 6 が行 う 。 ま た同様に( R — Υ ! · ( Β — Y )m— i の マ ト リ ツ ク ス 演算を C 1 マ ト リ ッ ク ス 回路 2 6 0 7 が、 ( R — Y )m' ( B 一 Y )mの マ ト リ ッ ク ス 演算を C 2 マ ト リ ッ ク ス 回路 2 6 0 8 が 行 う 。 ま た C 1 及 び C 2 マ ト リ ッ ク ス で は ( R — Y )信号 と ( B 一 Y )信号 と を 間引 き 後 に 時分割 で 出 力 す る 。 以上 の 動作 を 行 う 図 3 0 の デ ィ ジ タ ル信号処理回路 2 1 0 6 の 出力信号 を図 3 4 に示す。 図 3 4 で の 例 ぇ ば(丫 111- 1. 1) は ( 111 ー 1 ) ラ ィ ン の 第 第 1 画素の輝度信号を表わ し て い る 。 図 3 4 に お い て色信号 は 色差信号が 2 画素毎 に 間引 か れて時系列化 さ れて い る 場合 を示 し て い る 。 同図 に お い て Y 1 信号 と し て(m — 1 ) ラ イ ン 、 Y 2 信号 と し て m ラ イ ン信号が、 そ れ ぞれ出力 し て い る 。
次 に 図 3 0 に お け る デ ィ ジ タ ル信号処理回路 2 1 0 6 の 出力 信号 は 、 エ ン コ ー ダ回路 2 1 1 0 に よ っ て テ レ ビ ジ ョ ン 信号 ( T V 1 )に変換 さ れ動画 と し て 出力 す る 。 ま た デ ィ ジ タ ル信号 処理回路 2 1 0 6 の出力信号 は フ ィ ー ル ド メ モ リ 制御回路 2 1 0 8 の制御 に よ り 任意の瞬間 の画像 を そ れ ぞれ フ ィ ー ル ド メ モ リ 2 1 0 7 に記憶 さ れ、 Y 1 及 び C 1 信号か ら 構成 さ れ る 第 1 フ ィ ー ル ド信号 と 、 Y 2 及 び C 2 信号か ら 構成 さ れ る 第 2 フ ィ ー ル ド 信号 と し て時系列 に輝度信号 Y 3 及 び色差信号 C 3 と し て 出力 さ れ、 さ ら に エ ン コ ー ダ回路 2 1 1 1 に よ っ て Y 3 信号 及 び C 3 信号 は テ レ ビ ジ ョ ン信号( T V 2 )に変換 さ れ静止画 と し て 出力 す る 。 .
こ れ を図 3 5 を用 い て説明 す る 。 図 3 5 に お い て ( a ) は Y 1 及 び C I 信号が表 わ す空間位置 を示 し 、 ( b )は Y 2 及 び.( C 2 信号が表わす空間位置を示 し、 ( c ) は Y l 、 Υ 2 及び C l 、 C 2 信号が表わ す空間位置を示 し て い る 。 図 3 5 ( a )の Y 1 及 び じ 1 信号 と ( b )の Y 2 及 び C 2 信号は図 3 4 に示 し た よ う に デ ィ ジ タ ル信号処理回路 2 1 0 6 か ら 同時 に毎 フ ィ ー ル ド 出力 す る 。 そ こ で上記の テ レ ビ ジ. ョ ン信号( T V 1 )は Y 1 信号 と C 1 信号か ら構成 さ れ動画 と し て 出力 さ れ、 Y 3 及 び C 3 信号 は 第 1 フ ィ ー ル ド信号 と し て( a )の位置の Y 1 及 び C 1 信号を 出 力 し 、 第 2 フ ィ ー ル ド 信号 と し て( b )の位置の Y 2 及 び C 2 信 号を 出力 し 、 第 1 及 び第 2 の フ ィ ー ル ド信号は高画質の フ レ ー ム 静止画を構成 し て い る 。 ま た テ レ ビ ジ ョ ン信号( T V 2 ) は Ύ 3 信号 と C 3 信号を合成 し て コ ン ポ ジ ッ ト 信号 と し て第 1 及 び 第 2 の フ ィ ー ル ド信号が高画質の フ レ ー ム静止画を構成 してい る。
以上 の よ う に本実施例 に よ れば、 Y 1 · Y 2 及 び C 1 · C 2 信号を 作成す る デ ィ ジ タ ル信号処理回路 と フ ィ ー ル ド メ モ リ 回 路 フ ィ ー ル ド メ モ リ 制御回路 を備え る こ と に よ っ て 、 フ レ ー ム 信号の 位置関係 に あ る 輝度信号及 び色差信号を作成 し 、 同一時 刻の フ レ ー ム 信号を構成す る 2 つ の フ ィ 一ル ド信号を得 る こ と が可能で あ る 。
[ 8 ] 〈第 8 の実施例 : フ レ ー ム 静止画を作成す る 構成 + 垂直 内揷選択回路付加〉
図 3 6 は 、 第 8 の実施例を示す水平 ラ イ ン補間機能付 き 撮像 装置の ブ ロ ッ ク 図で あ る 。 同図 に お い て、 3 1 0 1 か ら 3 1 0 8 及 び 3 1 1 0 と 3 1 1 1 は 図 3 0 の 2 1 0 1 か ら 2 1 0 8 及 び 2 1 1 0 と 2 1 1 1 と 同様 で あ り 、 異 な る の は 垂直内挿 SW . 回路 3 1 1 2 と 上記回 を総合的 に制御す る シ ス テ ム 制御回路 3 1 0 9 で あ る 。 こ の よ う に構成 さ れた水平 ラ イ ン補間機能付 き 撮像装置 に つ い て以下異 な る 点を 中心に説明 を行 う 。
図 3 6 に お い て、 静止画作成処理を行わ な い場合 は 、 垂直内 揷 SW. 回路 3 1 1 2 は o f f 状態 と な り 、 シ ス テ ム 制御回路 3 1 0 9 、 駆動制御回路 3 1 0 3 及 び撮像素子駆動回路 3 1 0 2 を経 て撮像素子部 3 1 0 1 は R · G · B 各信号 の垂直位相 の 合致 し た通常 の駆動動作を行 う 。 他方静止画作成機能 に よ っ て静止画 処理を 行 う 場合 は 、 垂直内挿 SW . 回路 3 1 1 2 は on状態 と な り 、 シ ス テ ム 制御回路 3 1 0 9 、 駆動制御回路 3 1 0 3 及 び撮像素 子駆動回路 3 1 0 2 を経て撮像素子部 3 1 0 1 は第 7 の実施例 の 図 1 3 及 び図 1 4 で示 し た手段 に よ っ て R · B 信号 と G 信号 の垂直位相 が異 な る 駆動動作 を行 う 。
こ の よ う に 構成 さ れ た本実施例 の水平 ラ イ ン補間機能付 き 撮 像装置に おいて、 静止画作成処理を行わ な い信号処理の場合は、 空間位置 (位相) が合致 し て い る の で、 色信号 に対 し て の位相 合 わせ を必要 と せ ず、 垂直方向 の L P F 処理を行 う 必要 も な い の で、 高域周 波数特性 は劣化 し な い 。 ま た フ レ ー ム 静止画作成 処理を行 う 信号処理の場合 は第 7 の実施例 と 同様 に 、 デ ィ ジ タ ル信号処理回路 に よ っ て Y 1 · Υ 2 及 び C 1 · C 2 信号を作成 し 、 フ ィ ー ル ド メ モ リ 回路及 び フ ィ ー ル ド メ モ リ 制御回路が フ レ ー ム 静止画 を 出力 す る こ と が可能で あ る 。
以上の よ う に本実施例 に よ れば、 駆動制御回路及 び垂直内挿 S W . 回路 を 備 え る こ と に よ り 、 静止画処理 を 行 わ な い と き は 垂 直解像度劣化の無 い高解像度の映像 が得 ら れ、 静止画処理を行 う と き は 同一時刻の フ レ ー ム 信号を構成す る 2 つ の フ ィ 一ル ド 信号を得 る こ と が可能で あ る 。
なお、 上記第 7 、 第 8 の実施例に ぉぃて 3 っ の色信号 1 、 G、 B の位相 を ず ら す た め に撮像素子の駆動制御を行 っ て い る が、 駆動制御 に加 え て例え ば 3 つ.の色信号を得 る た め の 3 色分解 プ リ ズ ム に 固体撮像素子を接着固定す る 際 に そ の位置を従来 と は 異 な り 垂直方向 に ず ら せ て接着す る 、 ま た は 3 色分解 プ リ ズ ム 内部の屈折率 を操作 し て光の光路を 曲 げ る こ と に よ り 色信号の 位相をず ら す こ と も考え ら れ る。 ま た、 こ の場合、 p l、 p 2、 p 3 の範囲 は 0 以上 1 未満 と し た が こ れ に 限 る も の で は な く 、 例 え ば p 1 = 1 . 5 と す る こ と も 可能 で あ り 、 こ の 場合 は p 1 = 0 . 5 と し た 場合 と 同様 の効果が得 ら れ る ( p 2 、 p 3 に 関 し て も 同様) こ と は 明 ら かで あ る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て 3 つ の 色信号 は 固体 撮像素子出力信号の場合を説明 し た が、 フ ィ ー ル ド メ モ リ ま た は フ レ ー ム メ モ リ 等 に記憶 さ れた信号 に対 し て も 同様で あ り 、 こ の場合垂直方向 の位相 を シ フ ト さ せ る 手段 と し て 、 メ モ リ 読 み 出 し 制御を行 う こ と が で き る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て撮像素子部 に 関 し て は R · G · B 信号を 出力 す る こ と の み を示 し た が、 そ の構成 と し て は 3 つ の 固体撮像素子を有 し 、 そ れぞれ R · G · B 信号を 得 る 3 板式撮像装置や、 2 つ の撮像素子を有 し 一方 の撮像素子 は G 信号、 他方の 像素子は R 信号及 び B 信号を得 る 2 板式撮 像装置 の構成が考 え ら れ る 。 ま た 、 上記第 7 、 第 8 の実施例 に お い て 、 3 つ の色信号 は、 R、 G、 B と し たが こ れに限 る も の では な く 、 例え ばイ ェ ロ ー、 シ ア ン 、 マ ゼ ン タ の 3 つ の色信号を使用す る こ と も可能であ る 。
ま た、 上記第 7 、 第 8 の実施例 に お い て、 フ ィ ー ル ド メ モ リ 回路 は フ ィ ー ル ド メ モ リ 制御回路の制御 に よ っ て任意の 瞬間 の 画像 を記録す る と と も に静止.画 と し て 出力 す る 機能を有 す る 説 明 だ け を行 っ た が、 そ の他の点例え ば記録可能 な 画像数 は メ モ リ 容量 に よ っ て決定、 記録す る 任意の瞬間 を指示す る 機能や画 像 の更新方法等 は シ ス テ ム 制御回路 と フ ィ ー ル ド メ モ リ 制御回 路 を通 じ た SW. の 設置等 に よ っ て構成 す る こ と が で き る の で こ こ で の説明 は 省略す る 。
ま た 、 上記第 7 、 第 8 の実施例 に お い て 、 出力形態 と し て ィ ン タ ー レ ー ス 方式の現行 テ レ ビ ジ ョ ン信号 に合 う 場合 を説明 し た が、 ノ ン ィ ン タ ー レ ー ス 方式の テ レ ビ ジ ョ ン対応の動画出力 と し て フ レ ー ム 動画信号 ( Y l 、 Υ 2 及 び C l 、 C 2 信号) を 出力 す る 、 静止画用 出力 と し て プ リ ン タ の 入力方式等 に 合わせ て 1 フ レ ー ム 画像 を 出力 す る こ と も で き る 。
さ ら に、 上記第 7 、 第 8 の実施例 に お い て は擬似 フ レ ー ム 信 号 (補間 に よ り 作成 し た フ レ ー ム 位置信号) と し て Y l 、 Υ 2 信号及 び C l 、 C 2 信号を 出力 す る 場合を説明 し た が、 こ れ に 限 る こ と な く R ' G ' B の 各信号で R 1 ' R 2 、 G 1 ' G 2 、 B 1 · B 2 の擬似 フ レ ー ム 信号を 出 力 す る 、 ま た は人間 の 目 の 解像度 に対す る 感度を考慮 し て Y信号は擬似 フ レ ー ム 信号、 C 信号は通常 の フ ィ ー ル ド信号を 出力 す る 場合等 も あ る 。

Claims

• 請 求 の 範 囲
1 . 異 な る 3 つ の 色信号 C I 、 C 2 及 び C 3 を得 る 複数の固 体撮像素子 と 、 前記色信号 C 1 に対 し て前記色信号 C 2 の 垂直方向 の位相 を一定 ピ ッ チ P 1 だ け シ フ 卜 さ せ る 第 1 の 5 垂直位相 シ フ ト 部 と 、
前記色信号 C 3 の垂直.方向 の位相 を一定 ピ ッ チ p 2 だ け シ フ 卜 さ せ る 第 2 の垂直位相 シ フ ト 部 と 、
前記色信号 C 1 と 前記垂直方向 に位相 シ フ ト さ れ た 色信 号 C 2、 C 3 か ら 捕間処理 に よ り 捕間水平 ラ イ ン信号を得 る 捕間回路を有す る こ と を特徵 と す る 、 水平 ラ イ ン 捕間機 能付 き 撮像装置。
2 . 異 な る 3 つ の色信号 C l 、 C 2 及 び C 3 を得 る 複数の固 体撮像素子が、 色信号 C 1 を得 る 第 1 の固体撮像素子 と 、 色信号 C 2 を得 る 第 2 の 固体撮像素子 と 、 色信号 C 3 を得 る 第 3 の 固体撮像素子か ら な る こ と を 特徴 と す る 請求項 1 記載の水平 ラ イ ン捕間機能付 き 撮像装置。
3 . 第 1 の垂直位相 シ フ ト 部及び第 2 の垂直位相 シ フ ト 部は、 固体撮像素子の取付位置 を空間的 に一定 ピ ッ チ p 1 及 び p 2 だ け垂直方向 に ず ら し て配置す る こ と を特徴 と す る 請求 項 1 、 2 記載の水平 ラ イ ン補間機能付 き 撮像装置。
4 . 第 1 の垂直位相 シ フ 卜 部及び第 2 の垂直位相 シ フ ト 部は、 固体撮像素子を駆動す る 駆動回路を制御す る 駆動制御回路 を含む構成で あ る こ と を特徵 と す る請求項 1 、 2、 3 記載 の水平 ラ イ ン 捕間機能付 き 撮像装置。
5 . 第 1 の垂直位相 シ フ ト 部及び第 2 の垂直位相 シ フ ト 部は、 • 固体撮像素子を駆動す る 駆動回路を制御す る 駆動制御回路 と 、 固体撮像素子の取付位置を空間的 に一定 ピ ッ チ垂直方' 向にずら して配置する こ と を含む構成であ る こ と を特徴と する 請求項 1、 2、 3、 4記載の水平ラ イ ン補間機能付き撮像装置。 5
6 . 駆動制御回路 は フ レ ー ム蓄積駆動制御を行 い、 同一時 に 前記複数 の撮像素子 の 部 の撮像素子 に 対 し て oddフ ィ 一 ル ド読み 出 し を行 い、 残 り の撮像素子 に対 し て evenフ ィ ー ノレ ド読み 出 し を行 う こ と を特徴 と す る 請求項 1 、 2 、 3 、 4 、 5 記載の水平 ラ イ ン捕間機能付 き 撮像装置。
7 . 駆動制御回路 は フ ィ ー ル ド蓄積駆動制御を行 い 、 同一時 に 前記複数 の 撮像素子 の一部 の撮像素子 に 対 し て oddフ ィ 一ル ド読 み 出 し を行 い、 残 り の撮像素子 に対 し て evenフ ィ 一ル ド読み出 し を行 う こ と を特徴 と す る請求項 1 、 2 、 3 、
4 、 5 、 6 記載の水平 ラ イ ン補間機能付 き 撮像装置。
8 . ピ ッ チ p i と ピ ッ チ p 2 の と る 値 は 、 0 ≤ p l く 1 、 0 ≤ ρ 2 < 1 で あ る こ と を特徴 と す る請求項 1 、 2 、 3 、 4 、
5 、 6 、 7 記載の水平 ラ イ ン補間機能付 き 撮像装置。
9 . ピ ッ チ p i 及 び p 2 は 、 1 フ ィ ー ノレ ド 画像 の 1 / 2 ラ イ ン 分 に相 当 す る 量で あ る こ と を特徴 と す る 請求項 1 、 2 、 3 、 4 、 5 、 6 、 7 、 8 記載の水平 ラ イ ン補間機能付 き 撮 像装置。
1 0 . 補間回路 は 、 色信号 C 1 に 対 し て 補間係数 w ( 0 w < 1 )に よ り 補間処理を行 い、 色信号 C 2 に対 し て は w と p 1 か ら 決定 さ れ る 補間係数 に よ り 補間処理を行 い 、 C 3 に対 し て は w と p 2 か ら 決定 さ れ る 補間係数 に よ り 補間処理を • 行 う こ と を特徵 と す る請求項 1 、 2 、 3 、 4 、 5 、 6 、 7 、
8 、 9 記載の水平 ラ イ ン補間機能付 き 撮像装置。
1 1 . ピ ッ チ p i と ピ ッ チ p 2 を 、 p l = p 2 = p と し た こ と を特徴 と す る請求項 1 、 2 、 3 、 4、 5 、 6 、 7 、 8 、 9 、
5 1 0 記載の水平 ラ イ ン捕間機能付 き 撮像装置。
1 2 . 異 な る 3 つ の色信号 C. 1 、 C 2 及 び C 3 を得 る 複数の固 体撮像素子が、 色信号 C 1 を得 る 第 1 の固体撮像素子 と 、 色信号 C 2 及 び C 3 を得 る 第 2 の固体撮像素子で あ り 、 垂直方向 の位相 ピ ッ チ が p 1 = p 2 = p 3 で あ る こ と を 特徵と する請求項 1記載の水平ラ イ ン補間機能付き撮像装置。
1 3 . ピ ッ チ p 3 の と る 値 は 、 0 ^ ρ 3 く 1 で あ る こ と を特徴 と す る請求項 1 2記載の水平 ラ イ ン捕間機能付 き撮像装置。
1 4 . ピ ッ チ p 3 は 、 イ ン タ ー レ ー ス 走査 さ れ る 映像信号の 1 / 2 ラ イ ン 分 に 相 当 す る 量 で あ る こ と を特徴 と す る 請求項 1 2 、 1 3 記載の水平 ラ イ ン補間機能付 き 撮像装置。
1 5 . 補間回路 は 、 色信号 C 1 に 対 し て捕間係数 w ( 0 ≤ w < 1 ) に よ り 補間処理を行 い、 色信号 C 2 、 C 3 に 対 し て は w と p 3 か ら 決定 さ れ る 補間係数に よ り 補間処理を行 う こ と を特徵 と す る 請求項 1 2 、 1 3 、 1 4 記載の水平 ラ イ ン 捕間機能付 き 撮像装置。
1 6 . 垂直位相 シ フ ト 部 は、 2 つ の 固体撮像素子 の取付位置 を 空間的 に 一定 ピ ッ チ p 3 だ け垂直方向 に ず ら し て配置す る こ と を特徴 と す る 請求項 1 2 、 1 3 、 1 4 、 1 5 記載の水 平 ラ イ ン 補間機能付 き 撮像装置。
1 7 . 異 な る 3 つ の 色信号 C l 、 C 2 及 び C 3 は 、 3 つ の 色信 • 号 R、 G及び B であ る こ と を特徵 と す る請求項 1、 2、 3、
4、 5、 6、 7、 8、 9、 1 0、 1 1、 1 2、 1 3、 1 4、 1 5、 1 6 記載の水平 ラ イ ン補間機能付 き 撮像装置。
1 8 . 異な る 3 つ の色信号 C l 、 C 2 及 び C 3 は 、 3 つ の 色信 5 号 R、 G 及 び B で あ り 、 C 1 = G で あ る こ と を特徴 と す る 請求項 1、 2、 3、 4、 5、 6、 7、 8、 9、 1 0、 1 1、 1 2、 1 3、 1 4、 1 5、 1 6、 1 7 記載の水平 ラ イ ン補 間機能付 き 撮像装置。
1 9 . 異 な る 3 つ の色信号 C l、 C 2 及 び C 3 を得 る 複数の 固 体撮像素子 と 、 前記固体撮像素子を駆動す る 複数の撮像素 子駆動回路 と 、 前記撮像素子駆動回路 を制御 す る 駆動制御 回路 と 、 補間回路 と 、 垂直内挿選択回路を有 し 、 前記垂直内挿選択回路 に よ り 、 垂直内挿 on時 は前記駆動 制御回路 が、 前記撮像素子駆動回路を制御 し て前記色信号 C 1 に対 し て前記色信号 C 2 の 垂直方向 の位相 を一定 ピ ッ チ p l だ け シ フ 卜 さ せ、 かつ前記色信号 C 3 の垂直方向 の 位相 を一定 ピ ッ チ P 2 だ け シ フ 卜 さ せ 、 垂直 内 挿 off 時 は 前記駆動制御回路が、 前記撮像素子駆動回路 を制御 し て前 記色信号 C 1 · C 2 · C 3 の垂直方向 の位相 を一致 さ せ、 垂直内挿 on時は前記色信号 C 1 と 前記垂直方向 に 位相 シ フ ト さ れ た色信号 C 2、 C 3 か ら前記補間回路が補間処理 に よ り 捕間水平 ラ イ ン信号を得 る こ と を特徵 と す る 、 水平 ラ イ ン捕間機能付 き 撮像装置。
2 0 . 異 な る 3 つ の色信号 C l 、 C 2 及 び C 3 を得 る 手段 と 、5 前記色信号 C 1 に 対 し て前記色信号 C 2 の垂直方向 の位相 b 2
• を一定 ピ ッ チ p 1 だ け シ フ 卜 さ せ る 第 1 の垂直位相 シ フ ト 部 と 、
前記色信号 C 3 の垂直方向 の位相 を一定 ピ ッ チ P 2 だ け シ フ 卜 さ せ る 第 2 の垂直位相 シ フ ト 部 と 、
5 前記色信号を演算す る 演算回路 と 、 前記演算回路出力信 号か ら 補間水平 ラ イ ン 信号を得 る 補間回路 と 、 少な く と も 前記色信号あ る い は演算回路 出力信号 あ る い は捕間回路出 力信号の周 波数特性を制御す る フ ィ ル タ 回路 と を備 え た水 平 ラ イ ン 補間機能付 き 撮像装置。
2 1 . 演算回路 は異 な る 3 つ の色信号 C l 、 C 2 及 び C 3 か ら 輝度信号 あ る い は 色差信号を得 る こ と を特徵 と す る 請求項 2 0 記載の水平 ラ イ ン 捕間機能付 き 撮像装置。
2 2 . 演算回路 は 、 色信号 C 1 と 色信号 C 2 と 色信号 C 3 の垂 直方向の位相を合わせ る こ と を特徵 と す る請求項 2 0、 2 1 記載 の水平 ラ イ ン捕間機能付 き 撮像装置。
2 3 . 補間回路 は 、 色信号 C 1 と 色信号 C 2 と 色信号 C 3 の垂 直方向の位相を合わせる こ と を特徴 と する請求項 2 0、 2 1、 2 2 記載の水平 ラ イ ン補間機能付 き 撮像装置。
2 4 . フ ィ ル タ ー 回路 は少 な く と も 色信号 あ る い は演算回路出 力信号 あ る い は補間回路 出力信号の垂直方向高域周 波数成 分 を減衰す る こ と を特徵 と す る 請求項 2 0、 2 1 、 2 2、 2 3 記載 の水平 ラ イ ン 捕間機能付 き 撮像装置。
2 5 . フ ィ ル タ ー 回路 は 色信号演算回路出力信号の垂直方向高 ' 域周 波数成分及 び演算回路出力信号の垂直方向高域周 波数 成分を減衰す る こ と を特徴 と す る 請求項 2 0 、 2 1 、 2 2 • 2 3 、 2 4 記載の水平 ラ イ ン 補間機能付 き 撮像装置。
2 6 . 異な る 3 つ の色信号 C l 、 C 2 及 び C 3 を得 る 手段 と 、 前記色信号 C 1 に対 し て前記色信号 C 2 の垂直方向 の位相 を一定 ピ ッ チ p 1 だ け シ フ ト さ せ る 第 1 の垂直位相 シ フ ト
5 部 と 、
前記色信号 C 3 の垂直.方向 の位相 を一定 ピ ッ チ p 2 だ け シ フ 卜 さ せ る 第 2 の垂直位相 シ フ 卜 部 と 、
前記色信号か ら フ レ ー ム信号を得る フ レ ー ム演算回路 と 、 前記 フ レ ー ム 演算回路出力信号か ら 補間水平 ラ イ ン 信号を 得 る 捕間回路を備え た水平 ラ イ ン捕間機能付 き 撮像装置。
2 7 . フ レ ー ム 演算回路は 、 位相 の異 な る 3 つ の 色信号 C l 、 C 2 及 び C 3 か ら 複数の信号を作成 し 、 こ の 複数の信号が フ レ ー ム 信号の位置関係 に あ る こ と を特徵 と す る 請求項 2 6 記載の水平 ラ イ ン補間機能付 き 撮像装置。
2 8 . フ レ ー ム 演算回路 は 、 位相 の異 な る 3 つ の 色信号 C l 、 C 2 及 び C 3 か ら 輝度信号あ る い は色差信号 を作成 し 、 少 な く と も 輝度信号 は複数 の信号で あ り 、 こ の 複数 の輝度信 号が フ レ ー ム 信号 の位置関係 に あ る こ と を特徴 と す る 請求 項 2 6 記載の水平 ラ イ ン補間機能付 き 撮像装置。
2 9 . 補間回路は フ レ ー ム 演算回路か ら の フ レ ー ム の位置関係 に あ る 複数 の信号か ら 、 補間信号を得 る こ と を特徴 と す る 請求項 2 6 、 2 7 、 2 8 記載の水平 ラ イ ン補間機能付 き 撮 像装置。
3 0 . 異 な る 3 つ の色信号 C l 、 C 2 及 び C 3 を 得 る 手段 と 、 前記色信号 C 1 に対 し て前記色信号 C 2 の 垂直方 向 の位 • 相 を一定 ピ ッ チ P 1 だ け シ フ 卜 さ せ る 第 1 の垂直位相 シ フ ト 部 と 、
前記色信号 C 3の垂直方向 の位相 を一定 ピ ッ チ P 2 だ け シ フ 卜 さ せ る 第 2 の垂直位相 シ フ ト 部 と 、
5 前記色信号 C 1 と 垂直方向 に位相 シ フ ト さ れた色信号 C
2 、 C 3 か ら擬似 フ レ ー ム信号を得る フ レ ー ム演算回路 と 、 前記 フ レ ー ム 演算回路出力信号か ら フ レ ー ム 静止画像 を得 る フ レ ー ム 静止画回路を備 え た水平 ラ イ ン補間機能付 き 撮 像装置。
3 1 . フ レ ー ム 演算回路は、 位相 の異な る 3 つ の色信号 C l 、 C 2 及 び C 3 か ら 複数の 信号を作成 し 、 こ の複数の 信号が フ レ ー ム信号の位置関係に あ る こ と を特徵 と す る請求項 3 0 記載の水平 ラ イ ン捕間機能付 き 撮像装置。
3 2 . フ レ ー ム 演算回路 は 、 位相 の異 な る 3 つ の 色信号 C l 、 C 2 及 び C 3 か ら 輝度信号あ る い は色差信号 を作成 し 、 少 な く と も 輝度信号は複数の信号で あ り 、 こ の 複数の 輝度信 号が フ レ ー ム 信号 を構成す る フ ィ ー ル ド信号 の位置関係 に あ る こ と を特徵 と す る 請求項 3 0 記載の水平 ラ イ ン補間機 能付 き 撮像装置。
3 3. フ レ ー ム 静止画回路は 、 フ レ ー ム 演算回路 出力信号か ら 第 1 の フ ィ ー ル ド 画像信号 と 第 2 の フ ィ ー ル ド画像信号を 作成す る こ と を特徵 と す る 請求項 3 0、 3 1 、 3 2記載の 水平 ラ イ ン 捕間機能付 き 撮像装置。
3 4. フ レ ー ム 静止画回路 は 、 フ レ ー ム 演算回路出力信号か ら 1 フ ィ ー ル ド期間 に フ レ ー ム本数走査線を有す る 画像信号 を作成す る こ と を特徴 と す る請求項 3 0 、 3 1 、 3 2 、 3 3 記載の水平 ラ イ ン捕間機能付 き 撮像装置。
. 異 な る 3 つ の色信号 C l 、 C 2 及 び C 3 を得 る 複数の固 体撮像素子 と 、 前記固体撮像素子を駆動す る 複数の撮像素 子駆動回路 と 、 前記撮像素子駆動回路 を制御す る 駆動制御 回路 と 、 垂直内挿選択回路を有 し 、
前記垂直内挿選択回路 に よ り 、 垂直内挿 o n時 は前記駆動 制御回路が、 前記撮像素子駆動回路を制御 し て前記色信号 C 1 に対 し て前記色信号 C 2 の垂直方向 の位相 を一定 ピ ッ チ p i だ け シ フ ト さ せ 、 か つ前記色信号 C 3 の垂直方向 の 位相 を 一定 ピ ッ チ P 2 だ け シ フ 卜 さ せ 、 垂直 内揷 o f f 時 は 前記駆動制御回路が、 前記撮像素子駆動回路 を制御 し て前 記色信号 C 1 · C 2 · C 3 の垂直方向 の位相 を一致 さ せ、 垂直内挿 on時は前記色信号 C 1 と 前記垂直方向 に 位相 シ フ 卜 さ れ た色信号 C 2 、 C 3 か ら 補間処理 に よ り 捕間水平 ラ ィ ン信号を得、
前記色信号 C 1 と 垂直方向 に 位相 シ フ ト さ れた 色信号 C 2 、 C 3 か ら擬似 フ レ ー ム信号を得る フ レ ー ム演算回路 と 、 前記 フ レ ー ム 演算回路出力信号か ら フ レ ー ム 静止画像 を得 る フ レ ー ム 静止画回路を備 え た水平 ラ イ ン補間機能付 き 撮 像装置。
PCT/JP1993/001002 1992-07-22 1993-07-19 Imaging device with horizontal line interpolation function WO1994003015A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US08/211,151 US5532742A (en) 1992-07-22 1993-07-19 Image pickup apparatus with horizontal line interpolation function having three image pickup units shifted in vertical phase from one another
EP93916186A EP0605738B1 (en) 1992-07-22 1993-07-19 Imaging device with horizontal line interpolation function
DE69327895T DE69327895T2 (de) 1992-07-22 1993-07-19 Bildaufnahmevorrichtung mit interpolationsfunktion der horizontalen zeilen

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP4/195096 1992-07-22
JP4/195097 1992-07-22
JP04195096A JP3134513B2 (ja) 1992-07-22 1992-07-22 水平ライン補間機能付き撮像装置
JP04195099A JP3134515B2 (ja) 1992-07-22 1992-07-22 水平ライン補間機能付き撮像装置
JP4195095A JP3024370B2 (ja) 1992-07-22 1992-07-22 水平ライン補間機能付き撮像装置
JP4/195099 1992-07-22
JP04195097A JP3134514B2 (ja) 1992-07-22 1992-07-22 水平ライン補間機能付き撮像装置
JP4/195095 1992-07-22
JP5/15171 1993-02-02
JP5015171A JP3064721B2 (ja) 1993-02-02 1993-02-02 フレーム画像作成機能付き撮像装置

Publications (1)

Publication Number Publication Date
WO1994003015A1 true WO1994003015A1 (en) 1994-02-03

Family

ID=27519682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1993/001002 WO1994003015A1 (en) 1992-07-22 1993-07-19 Imaging device with horizontal line interpolation function

Country Status (4)

Country Link
US (3) US5532742A (ja)
EP (1) EP0605738B1 (ja)
DE (1) DE69327895T2 (ja)
WO (1) WO1994003015A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69327895T2 (de) * 1992-07-22 2000-10-12 Matsushita Electric Ind Co Ltd Bildaufnahmevorrichtung mit interpolationsfunktion der horizontalen zeilen
JPH0851635A (ja) * 1994-08-05 1996-02-20 Sony Corp 撮像装置
US6911638B2 (en) 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
US20020195548A1 (en) * 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US20020118457A1 (en) * 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
US7218448B1 (en) * 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
KR100195129B1 (ko) * 1996-02-21 1999-06-15 윤종용 가정용 hdtv 카메라를 위한 수직라인 배속 변환방법 및 그 회로
US5838840A (en) * 1996-08-29 1998-11-17 Bst/Pro Mark Inspection device using a field mode video camera with interpolation to replace missing pixels
KR100277566B1 (ko) * 1997-12-24 2001-01-15 윤종용 수직해상도 변환장치 및 방법
AU8796898A (en) * 1998-05-18 1999-12-06 Acqiris Data acquisition system comprising an analog input signal conversion circuit
US6133960A (en) * 1998-06-26 2000-10-17 Lsi Logic Corporation Field-based upsampling method for performing zoom in a digital video system
US6958772B1 (en) * 1999-01-20 2005-10-25 Canon Kabushiki Kaisha Image sensing apparatus and image processing method therefor
JP2000358193A (ja) * 1999-06-15 2000-12-26 Matsushita Electric Ind Co Ltd 画像メモリ機能付き映像装置
KR100316717B1 (ko) * 1999-10-05 2001-12-20 윤종용 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법
EP1263442A1 (en) * 2000-01-24 2002-12-11 Trustees Of Tufts College TETRACYCLINE COMPOUNDS FOR TREATMENT OF i CRYPTOSPORIDIUM PARVUM /i RELATED DISORDERS
JP2001330797A (ja) * 2000-03-17 2001-11-30 Olympus Optical Co Ltd 偏心光学系を用いたカラー画像表示方式及び撮像方式
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
DE10026739B4 (de) * 2000-05-30 2006-10-19 Micronas Gmbh Verfahren und Vorrichtung zur Phasenkorrektur eines vertikal verzerrten digitalen Bilds
AU2001266878A1 (en) * 2000-06-16 2002-01-02 University Technology Corporation Methods and apparatus for increasing resolution in digital imaging systems by offsetting pixels
EP1173029B1 (en) * 2000-07-14 2005-11-02 Matsushita Electric Industrial Co., Ltd. Color image pickup device
US6536898B1 (en) * 2000-09-15 2003-03-25 The Regents Of The University Of Colorado Extended depth of field optics for human vision
US6873733B2 (en) 2001-01-19 2005-03-29 The Regents Of The University Of Colorado Combined wavefront coding and amplitude contrast imaging systems
JP3760815B2 (ja) * 2001-07-27 2006-03-29 株式会社日立製作所 映像表示装置
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
JP2003274264A (ja) * 2002-03-13 2003-09-26 Sony Corp 撮像装置及び映像信号生成方法
US20040223084A1 (en) * 2003-05-08 2004-11-11 Stanger Leon J. Methods and apparatus for border processing in video distribution systems
JP4415318B2 (ja) * 2004-04-27 2010-02-17 富士フイルム株式会社 カラー画像の色ずれ補正方法及びカラー画像撮像装置
US7557849B2 (en) * 2004-10-11 2009-07-07 Mediatek Usa Inc Processor-controlled timing generator for multiple image sensors
US7903306B2 (en) * 2005-07-22 2011-03-08 Samsung Electronics Co., Ltd. Sensor image encoding and/or decoding system, medium, and method
EP1750457A1 (en) * 2005-08-02 2007-02-07 Thomson Licensing Method and circuit arrangement for processing a video signal, and respective camera
JP2007180765A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 映像処理装置、映像表示装置及び映像処理方法
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP6412361B2 (ja) * 2014-07-30 2018-10-24 Hoya株式会社 内視鏡用撮像装置
US11064247B1 (en) * 2020-05-29 2021-07-13 Elo Touch Solutions, Inc. System and method for communicating non-standard video data via USB

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55130284A (en) * 1979-03-30 1980-10-08 Hitachi Ltd Color solid state pickup device
JPS5654115B2 (ja) * 1974-03-29 1981-12-23
JPS59160390A (ja) * 1984-02-17 1984-09-11 Hitachi Ltd カラ−固体撮像装置
JPH0261248B2 (ja) * 1984-08-31 1990-12-19 Olympus Optical Co

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2048609B (en) * 1979-03-30 1983-05-25 Hitachi Electronics Solid-state colour imaging camera
DE2938542C2 (de) * 1979-09-24 1984-10-25 Siemens Ag, 1000 Berlin Und 8000 Muenchen Signalzuführungsanordnung für ein Oberflächenwellen-Bauteil
JPS56103159A (en) * 1980-01-19 1981-08-18 Nippon Oil & Fats Co Ltd Preparation of novel peroxy ester
JPS62168473A (ja) * 1986-01-20 1987-07-24 Canon Inc 撮像装置
US4951125A (en) * 1988-04-12 1990-08-21 Matsushita Electric Industrial Co., Ltd. Image pickup apparatus
JPH0674624B2 (ja) * 1988-08-26 1994-09-21 三晃金属工業株式会社 中間部連結構造
US5099317A (en) * 1988-09-28 1992-03-24 Kabushiki Kaisha Toshiba Video camera apparatus using a plurality of imaging devices
US4951025A (en) * 1989-06-23 1990-08-21 Texas Instruments Incorporated Thermally monitored electrical outlet receptacle receptacle apparatus
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
DE69327895T2 (de) * 1992-07-22 2000-10-12 Matsushita Electric Ind Co Ltd Bildaufnahmevorrichtung mit interpolationsfunktion der horizontalen zeilen
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5654115B2 (ja) * 1974-03-29 1981-12-23
JPS55130284A (en) * 1979-03-30 1980-10-08 Hitachi Ltd Color solid state pickup device
JPS59160390A (ja) * 1984-02-17 1984-09-11 Hitachi Ltd カラ−固体撮像装置
JPH0261248B2 (ja) * 1984-08-31 1990-12-19 Olympus Optical Co

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0605738A4 *

Also Published As

Publication number Publication date
US5532742A (en) 1996-07-02
DE69327895D1 (de) 2000-03-30
US5602588A (en) 1997-02-11
EP0605738A1 (en) 1994-07-13
US5798792A (en) 1998-08-25
EP0605738A4 (en) 1995-02-15
DE69327895T2 (de) 2000-10-12
EP0605738B1 (en) 2000-02-23

Similar Documents

Publication Publication Date Title
WO1994003015A1 (en) Imaging device with horizontal line interpolation function
US5541648A (en) Color image pickup apparatus having a plurality of color filters arranged in an offset sampling structure
US9392241B2 (en) Image processing apparatus and image processing method
US6847397B1 (en) Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor
EP1187455A2 (en) Image data processing apparatus and electronic camera
JP5591261B2 (ja) 画像処理装置
US20060038914A1 (en) Image pickup apparatus with function of adjusting incident light quantity
JP2003338988A (ja) 撮像装置
JP2003032695A (ja) 画像信号処理装置
JP2009253667A (ja) 動画処理装置及び動画処理方法、動画処理プログラム
JP2635917B2 (ja) 電子スチルカメラ
US7233355B2 (en) Imaging apparatus utilizing image pickup devices used for an interlaced scanning
WO2011065012A1 (ja) データ処理装置
JP3134513B2 (ja) 水平ライン補間機能付き撮像装置
JP3064721B2 (ja) フレーム画像作成機能付き撮像装置
JP3134514B2 (ja) 水平ライン補間機能付き撮像装置
JP3024370B2 (ja) 水平ライン補間機能付き撮像装置
JP3450366B2 (ja) カラー撮像装置
JP3134515B2 (ja) 水平ライン補間機能付き撮像装置
JP3651477B2 (ja) 画像信号処理装置
JP3417664B2 (ja) 多板式カラー撮像装置の輪郭補正回路
JP3024437B2 (ja) 画像動き補正装置
JP3658430B2 (ja) 画像信号処理装置
JPH06253202A (ja) メモリ回路と撮像装置
JP2000341709A (ja) 撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1993916186

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 08211151

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1993916186

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1993916186

Country of ref document: EP