WO2006067926A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2006067926A1
WO2006067926A1 PCT/JP2005/021347 JP2005021347W WO2006067926A1 WO 2006067926 A1 WO2006067926 A1 WO 2006067926A1 JP 2005021347 W JP2005021347 W JP 2005021347W WO 2006067926 A1 WO2006067926 A1 WO 2006067926A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
compression
imaging
incident light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/021347
Other languages
English (en)
French (fr)
Inventor
Jun Takayama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2006548731A priority Critical patent/JP4661788B2/ja
Priority to US11/721,659 priority patent/US7791647B2/en
Publication of WO2006067926A1 publication Critical patent/WO2006067926A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof

Definitions

  • the present invention relates to an imaging device having an imaging device that converts incident light into an electrical signal, and an imaging method using the imaging device.
  • an imaging device such as a digital camera is provided with an imaging device that converts incident light into an electrical signal.
  • This imaging device switches the conversion mode to an electric signal based on the amount of incident light, and more specifically, a linear conversion mode for linearly converting incident light into an electric signal and a logarithmic conversion mode for logarithmic conversion.
  • a linear conversion mode for linearly converting incident light into an electric signal
  • a logarithmic conversion mode for logarithmic conversion.
  • the dynamic range of the electrical signal is wide compared to an image sensor that performs only the linear conversion mode, so even if a subject with a wide luminance range is photographed, ⁇
  • the degree information can be expressed by an electrical signal.
  • the electrical signal derived from logarithmic transformation is converted back to the state derived from linear transformation, and the entire electrical signal is derived from the linear transformation. It is preferable to process the force in a unified manner.
  • Patent Document 1 JP 2002-77733 A
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2004-88312
  • An object of the present invention is to provide an imaging device and an imaging method capable of converting an electrical signal derived from a plurality of characteristic transformations into a state derived from linear transformation and preventing an increase in size of the device. .
  • the invention described in claim 1 is an imaging apparatus
  • An imaging device having a plurality of pixels that convert incident light into electrical signals with a plurality of characteristics based on the amount of light
  • a signal processing unit that performs signal processing on the electrical signal
  • a linearization unit that converts an electrical signal output from the image sensor into a linearly converted state from incident light
  • a compression unit that compresses a predetermined range component corresponding to a predetermined signal value range of the electric signal output from the image sensor.
  • the linearization unit that converts the electrical signal derived from the plurality of characteristic conversions output from the imaging device force into a linearly converted state from the incident light.
  • An electrical signal derived from multiple characteristic transformations can be converted to a state derived from linear transformation.
  • the bit width when processing digital signals after that is reduced compared to the conventional case where compression is not performed. Can do. Therefore, it is possible to convert an electrical signal derived from a plurality of characteristic conversions into a state derived from linear conversion and to prevent the apparatus from becoming large.
  • the invention according to claim 2 is the imaging apparatus according to claim 1, wherein the plurality of characteristics are linear characteristics.
  • the linearization unit that converts the electrical signals derived from the plurality of linear transformations output from the imaging device force into the linearly transformed state from the incident light. It is possible to convert an electrical signal derived from a plurality of linear transformations into a state derived from linear transformations.
  • the bit width when processing digital signals after that is reduced compared to the conventional case where compression is not performed. Can do. Therefore, it is possible to convert the electrical signals derived from a plurality of linear transformations into a state derived from linear transformations and to prevent the apparatus from becoming large.
  • the invention according to claim 3 is the imaging apparatus according to claim 1, wherein the plurality of characteristics are logarithmic characteristics.
  • the linearization unit that converts the electrical signal derived from the logarithmic conversion output from the imaging device force into a linearly converted state from the incident light
  • the logarithm An electrical signal derived from conversion can be converted to a state derived from linear transformation.
  • a compression unit that compresses a predetermined region component of the electrical signal output from the image sensor is provided, the compression is not performed, and the bit width in the subsequent digital signal processing is reduced as compared with the conventional case. Can do. Therefore, the electrical signal derived from logarithmic conversion can be converted into a state derived from linear conversion, and the size of the apparatus can be prevented from being increased.
  • the invention according to claim 4 is the imaging apparatus according to claim 1, wherein the plurality of characteristics are a linear characteristic and a logarithmic characteristic.
  • the linearization unit that converts the linear transformation and logarithmic transformation-derived electrical signal output from the imaging device force into a linearly transformed state from the incident light is provided. Therefore, it is possible to convert an electric signal derived from linear transformation and logarithmic transformation into a state derived from linear transformation.
  • the bit width when digital signal processing is subsequently performed is reduced compared to the conventional case where compression is not performed. Can do. Therefore, it is possible to convert an electric signal derived from linear transformation and logarithmic transformation into a state derived from linear transformation, and to prevent the apparatus from becoming large.
  • the invention according to claim 5 is the imaging device according to any one of claims 1 to 4,
  • the compression unit compresses a high frequency component equal to or greater than a predetermined signal value among electrical signals output from the imaging device.
  • the compression unit compresses the high-frequency component
  • the compression component is compressed by the amount that makes it easier to extract the component to be compressed than when compressing the mid-frequency component. It is easy to do this.
  • the invention according to claim 6 is the imaging device according to claim 5, further comprising an AD comparator that converts an analog signal output from the imaging element into a digital signal,
  • the predetermined signal value is a maximum output value of the AD converter.
  • the invention according to claim 7 is the imaging device according to any one of claims 1 to 6,
  • the image sensor is a Bosch image sensor
  • the linearization unit converts the electrical signal generated by logarithmic transformation into a state generated by linear transformation.
  • the image pickup device switches between a linear conversion mode for linearly converting incident light and a logarithmic conversion mode for logarithmic conversion based on the incident light quantity! Even in this case, it is possible to obtain the same effect as that of the invention described in any one of claims 1 to 6.
  • the invention according to claim 8 is the imaging device according to any one of claims 1 to 7,
  • the compression unit compresses the predetermined range component by 1Z2 N (N is an integer of 1 or more) times.
  • the compression unit compresses the predetermined frequency component by 1Z2 N times, a bit shift can be used for the compression. Therefore, as compared with the case where the predetermined frequency component is divided by a number different from the power of 2, the compression can be facilitated and the compression unit can be reduced in size.
  • the invention according to claim 9 is the imaging apparatus according to any one of claims 1 to 8,
  • the compression unit is
  • the predetermined region component is compressed so that the linear coefficient of the signal and the incident light is constant over the entire range of the incident light amount.
  • the linear coefficient between the electric signal and the incident light is a slope of a straight line indicating the relationship between the electric signal and the incident light.
  • the linear coefficient between the electric signal and the incident light is in the entire range of the incident light amount. Since it is constant, unlike the case where the linear coefficient changes, the same processing can be performed on all the electrical signals after expansion. Accordingly, it is possible to facilitate the processing after the expansion.
  • the invention according to claim 10 is the imaging device according to any one of claims 1 to 9,
  • the compression unit compresses the predetermined area component by bit shift.
  • the compression unit compresses the predetermined region component by bit shift, compared with a case where the predetermined region component is compressed by a method different from the bit shift, While making compression easy, a compression part can be reduced in size.
  • the invention according to claim 11 is the imaging apparatus according to any one of claims 1 to 9,
  • the signal processing unit as the linearization unit and the compression unit,
  • An electrical signal output from the image sensor is converted into a linearly converted state from incident light, and a lookup table for compressing the predetermined range component after conversion is provided.
  • each of the linearity unit and the compression unit includes a calculation circuit. Compared to the case, the signal processing unit can be downsized.
  • the invention according to claim 12 is the imaging device according to any one of claims 1 to 11,
  • An arithmetic processing unit that performs arithmetic processing based on an electrical signal output from the signal processing unit
  • the predetermined region component compressed by the compression unit is expanded and converted into a state before compression. Since the extending part is interposed, the linear coefficient between the electric signal processed by the arithmetic processing part and the incident light is constant in the entire range of the incident light quantity. Therefore, unlike the case where the linear coefficient changes, the same processing can be performed on all the electrical signals after extension, which simplifies the arithmetic processing in the arithmetic processing unit and reduces the size of the arithmetic processing unit. can do.
  • the invention according to claim 13 is the imaging apparatus according to claim 12, wherein the decompression unit uses bit shift to convert the predetermined region component compressed by the compression unit into 2 N ( N is an integer greater than 1).
  • the invention according to claim 14 is the imaging device according to claim 12 or 13,
  • An exposure control processing unit that adjusts an exposure amount for the image sensor based on a calculation result of the calculation processing unit is provided.
  • the invention according to claim 15 is the imaging device according to any one of claims 12 to 14,
  • a white balance processing unit that performs white balance processing of a photographed image based on a calculation result of the calculation processing unit is provided.
  • any one of claims 12 to 14 can be used even when the evaluation value for performing white balance processing is calculated by the arithmetic processing unit.
  • the same effects as those of the invention described in the above item can be obtained.
  • the invention according to claim 16 is an imaging method
  • a signal processing step of performing signal processing on the electrical signal is a signal processing step of performing signal processing on the electrical signal
  • a plurality of characteristics can be obtained by converting an electrical signal derived from a plurality of characteristic conversions that also outputs an imaging element force into a linearly converted state from incident light.
  • An electrical signal derived from conversion can be converted to a state derived from linear transformation.
  • the bit width in the subsequent digital signal processing can be reduced as compared with the conventional case where compression is not performed. Therefore, it is possible to convert an electrical signal derived from a plurality of characteristic conversions into a state derived from linear conversion and to prevent the apparatus from becoming large.
  • the invention according to claim 17 is the imaging method according to claim 16, wherein the plurality of characteristics are linear characteristics.
  • the plurality of linear signals derived from the plurality of linear conversions that also output the imaging device force are converted from the incident light into a linearly converted state.
  • An electrical signal derived from conversion can be converted to a state derived from linear transformation.
  • the bit width in the subsequent digital signal processing can be reduced as compared with the conventional case where compression is not performed. Therefore, it is possible to convert the electrical signals derived from a plurality of linear transformations into a state derived from linear transformations and to prevent the apparatus from becoming large.
  • the invention according to claim 18 is the imaging method according to claim 16.
  • the imaging method wherein the plurality of characteristics are logarithmic characteristics.
  • the electric signal derived from logarithmic conversion is converted into a linearly converted state from incident light by converting the electric signal derived from logarithmic conversion that also outputs the imaging element force.
  • the signal can be converted to a state derived from linear transformation.
  • the bit width for subsequent digital signal processing can be reduced compared to the conventional case where compression is not performed. . Therefore, the electrical signal derived from logarithmic transformation can be converted into a state derived from linear transformation, and an increase in the size of the apparatus can be prevented.
  • the invention according to claim 19 is the imaging method according to claim 16,
  • the imaging method wherein the plurality of characteristics are a linear characteristic and a logarithmic characteristic.
  • linear conversion and logarithmic conversion derived electrical signals output from the imaging device force are converted into a linearly converted state from incident light.
  • An electric signal derived from logarithmic transformation can be converted into a state derived from linear transformation.
  • the bit width when performing digital signal processing thereafter can be reduced compared to the conventional case without compression. . Therefore, it is possible to convert an electric signal derived from linear conversion and logarithmic conversion into a state derived from linear conversion, and to prevent the apparatus from becoming large.
  • the invention according to claim 20 is the imaging method according to any one of claims 16 to 19, wherein
  • a high frequency component greater than or equal to a predetermined signal value is compressed out of the electrical signal output from the image sensor.
  • the compression unit compresses the high-frequency component
  • the compression component is compressed as much as the component to be compressed becomes easier to extract than in the case of compressing the mid-frequency component. Can be easily handled.
  • the invention according to claim 21 is the imaging method according to claim 20, Using an AD converter, an AD conversion step of converting an analog signal output from the image sensor into a digital signal is provided,
  • the maximum output value of the AD converter is used as the predetermined signal value V.
  • the invention according to claim 22 is the imaging method according to any one of claims 16 to 21, wherein
  • the electrical signal generated by logarithmic conversion is converted into a state generated by linear conversion.
  • an imaging element that switches between a linear conversion mode for linearly converting incident light and a logarithmic conversion mode for logarithmic conversion based on the amount of incident light. Even when used as, it is possible to obtain the same effects as those of the invention according to any one of claims 16 to 21.
  • the predetermined range component is compressed to 1Z2 N (N is an integer of 1 or more) times.
  • the linear coefficient between the electric signal and the incident light is constant in the entire range of the incident light amount. It is characterized by compressing a predetermined range component.
  • the linear coefficient of the electric signal and the incident light is in the entire range of the incident light amount. It becomes constant. Therefore, unlike the case where the linear coefficient changes, the same processing can be performed on all the electrical signals after expansion, and therefore the processing after expansion can be facilitated.
  • the invention according to claim 25 is the imaging method according to any one of claims 16 to 24, wherein
  • the predetermined range component is compressed by bit shift.
  • the predetermined region component is compressed by bit shift, so that the predetermined region component is compressed by a method different from the bit shift. While simplifying, the apparatus for compression can be reduced in size.
  • the invention according to claim 26 is the imaging method according to any one of claims 16 to 24, wherein
  • the linearization step and the compression step are performed using a lookup table that converts the electrical signal output from the imaging device into a linearly converted state from incident light and compresses the predetermined region component after conversion. It is characterized by performing.
  • the invention according to claim 27 is directed to the imaging method according to any one of claims 16 to 26, An arithmetic processing step for performing arithmetic processing based on the electrical signal signal-processed in the signal processing step;
  • an expansion step is performed in which the predetermined region component compressed in the compression step is expanded and converted to a state before compression.
  • the predetermined region component compressed in the compression step is expanded and converted into a state before compression.
  • the linear coefficient between the electric signal processed in the calculation process and the incident light becomes constant in the entire range of the incident light quantity. Therefore, unlike the case where the linear coefficient changes, the same processing can be performed on all the electrical signals after expansion, which facilitates the arithmetic processing in the arithmetic processing step and reduces the size of the arithmetic processing device.
  • the invention according to claim 28 is the imaging method according to claim 27, wherein in the expansion step, the predetermined region component compressed in the compression step is converted to 2 N ( N is an integer greater than 1).
  • the invention according to claim 29 is the imaging method according to claim 27 or 28
  • An exposure control processing step of adjusting an exposure amount for the image pickup device based on a calculation result of the calculation processing step is provided.
  • the invention according to claim 30 is the imaging method according to any one of claims 27 to 29, wherein
  • a white balance processing step for performing white balance processing of the photographed image is provided. [0065] According to the invention of Claim 30, even if the evaluation value for performing white balance processing is calculated in the arithmetic processing step, any of Claims 27 to 29 The same effect as that of the invention described in item 1 can be obtained.
  • any one of claims 1 to 7 and any one of claims 16 to 22 can be obtained, the compression can be facilitated, and the compression device (compression unit) can be downsized.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the present invention.
  • FIG. 2 is a block diagram showing a configuration of an image sensor.
  • FIG. 3 is a diagram for explaining the operation of a pixel and a signal processing unit.
  • FIG. 4 is a circuit diagram showing a configuration of a pixel.
  • FIG. 5 is a timing chart showing a pixel reset operation.
  • FIG. 6 is a diagram for explaining the operation of an evaluation value calculation unit.
  • FIG. 7 is a diagram showing the relationship between the difference in signal ⁇ and the conversion mode.
  • FIG. 8 is a diagram showing processing for an output signal of signal processing unit power.
  • FIG. 9 is a diagram showing a lookup table.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus 1 according to the present invention.
  • the imaging apparatus 1 includes an imaging element 2 that receives incident light through a lens group 10 and a diaphragm 11.
  • a lens group 10 and a diaphragm 11 conventionally known lenses are used.
  • the image sensor 2 has a plurality of pixels G arranged in a matrix (matrix arrangement).
  • n and m are integers of 1 or more.
  • Each of the pixels G to G photoelectrically converts incident light and outputs an electric signal.
  • Pixels G to G switch the conversion mode to electrical signals based on the amount of incident light.
  • each of the pixels G to G has an incident light amount less than a predetermined incident light amount th.
  • linear conversion or logarithmic conversion of incident light into an electric signal means linear conversion or logarithmic conversion of a time integral value of the light amount into an electric signal.
  • the pixels G to G include a power supply line 20 and signal application lines L to L, L
  • Bn CI Cn Dl Dm 11 mn is also connected to clock and bias supply lines, but these are not shown in Figure 2! / Speak.
  • the signal application lines L to L, L to L, and L to L are connected to the pixels G to G with signals ⁇ and ⁇ .
  • a vertical scanning circuit 21 is connected to L to L and L to L. This vertical scanning circuit 21
  • the electrical signals generated by the pixels G to G are derived from the signal readout lines L to L, respectively.
  • a DC voltage V is applied to one end (lower end in the figure) of each of the constant current sources D to D.
  • the selection circuits S to S are supplied with the pixels G to G through the signal readout lines L to L, respectively.
  • a horizontal scanning circuit 22 and a correction circuit 23 are connected to these selection circuits S to S. Horizontal scan
  • the circuit 22 samples and holds the electric signal and transmits it to the correction circuit 23.
  • the correction circuit 23 removes the noise signal from the electrical signal based on the noise signal transmitted from the selection circuits S to S m 1 m and the electrical signal at the time of imaging.
  • One correction circuit 23 may be provided for each of ⁇ S.
  • a black reference setting unit 14 and a signal processing unit 3 are connected to the above image pickup device 2 via an amplifier 12 and an AD converter 13 in this order.
  • the digital signal output from the AD converter is 12 bits wide!
  • the black reference setting unit 14 sets the minimum level of the digital signal.
  • the signal processing unit 3 performs signal processing on the electric signals from the pixels G to G.
  • the linearization unit 30 linearly converts an electrical signal generated by logarithmic transformation from electrical signals output from the image sensor 2 from incident light. It is converted to a state that has been achieved, that is, a state derived from linear transformation. Note that the linear interpolation unit 30 may perform conversion using a look-up table, or may perform conversion by an operation such as exponential conversion. In the present embodiment, the electrical signals processed by the linearization unit 30 are all 24 bits wide.
  • the compression unit 31 includes a predetermined range component corresponding to a predetermined signal range among the electrical signals output from the linearization unit 30, and the present embodiment In, the high-frequency component exceeding the bit width of the AD converter 13 is compressed.
  • an image processing unit 4 is connected to the signal processing unit 3.
  • the image processing unit 4 is image data constituted by the entire electrical signals from the pixels G to G.
  • AWB Auto White Balance processing unit 40, color compensation unit 41, color correction unit 42, gradation conversion unit 43, and color space conversion unit 44 are provided.
  • the AWB processing unit 40, the color interpolation unit 41, the color correction unit 42, the gradation conversion unit 43, and the color space conversion unit 44 are connected to the signal processing unit 3 in this order.
  • the AWB processing unit 40 performs white balance processing on image data, and the color interpolation unit 41 is based on electrical signals from a plurality of adjacent pixels provided with the same color filter. For the pixels located between these adjacent pixels, this color electrical signal is interpolated.
  • the color correction unit 42 corrects the hue of the image data. More specifically, the color correction unit 42 corrects the electrical signal of each color for each pixel based on the electrical signals of other colors.
  • the gradation conversion unit 43 performs gradation conversion of image data, and the color space conversion unit 44 performs RGB conversion. The signal is converted to YCbCr signal.
  • evaluation value calculation unit 5 and the control device 46 are connected to the signal processing unit 3 in this order.
  • the evaluation value calculation unit 5 includes an expansion unit 50 and an arithmetic processing unit 51.
  • the decompressing unit 50 decompresses the high frequency component compressed by the compressing unit 31 of the signal processing unit 3 and returns it to the state before compression.
  • the stretched high frequency component output from the decompression unit 50 and the low frequency component that is not decompressed by the decompression unit 50 are combined between the decompression unit 50 and the arithmetic processing unit 51.
  • the arithmetic processing unit 51 includes an AWB evaluation value calculation circuit 52, a compression unit 53, and an AE evaluation value calculation circuit.
  • the AWB evaluation value calculation circuit 52 calculates an AWB evaluation value used for white balance processing (AWB processing) in the AWB processing unit 40.
  • the compression unit 53 compresses the electric signal, and in this embodiment, the electric signal is multiplied by 1Z2 16 by bit shift.
  • the AE evaluation value calculation circuit 54 calculates an AE evaluation value used for exposure control processing (AE processing) in the exposure control processing unit 47.
  • the control device 46 controls each part of the imaging device 1. As shown in Fig. 1, the amplifier 12, the black reference setting unit 14, the AWB processing unit 40, the color interpolation unit 41, and the color correction as described above. Are connected to the unit 42, the gradation conversion unit 43, and the color space conversion unit 44. The control device 46 is connected to the aperture 11 via the exposure control processing unit 47 and is connected to the image sensor 2 and the AD converter 13 via the signal generation unit 48.
  • each of the pixels G to G includes a photodiode P, transistors T to T, and
  • transistors T to T are MOS transistors in the ⁇ channel.
  • the drain T of the transistor T is connected to the node P.
  • the signal ⁇ is input to the gate T of the transistor T, and the source ⁇ Is connected to the gate T and drain ⁇ of the transistor T.
  • a signal application line L (corresponding to L to L in Fig. 2) is connected to the source ⁇ of this transistor ⁇ .
  • This signal application line L force signal ⁇ is input.
  • the signal ⁇ is a binary voltage signal.
  • Transistor T operates in the subthreshold region when the incident light intensity exceeds th.
  • the voltage value VL for the transistor T and the voltage value VH for bringing the transistor T into the conductive state take two values.
  • the gate T of the transistor T is connected to the source T of the transistor T.
  • a DC voltage V is applied to the drain T of the transistor T.
  • the source T of the transistor T includes one end of the capacitor C and the drain of the transistor T.
  • the signal application line L (corresponding to L to L in Fig. 2) is connected to the other end of the capacitor C.
  • the signal application line L force is also given the signal ⁇ .
  • the signal ⁇ is a ternary voltage signal. More specifically, the capacitor C is integrated.
  • the voltage value Vh at the time of operation, the voltage value Vm at the time of reading out the photoelectrically converted electrical signal, and the voltage value VI at the time of reading the noise signal are taken.
  • DC voltage V power is input to the source T of the transistor T, and the signal ⁇ is input to the gate T.
  • the drain T of the transistor T has a DC voltage V as in the drain T of the transistor T.
  • the source T of this transistor T has a signal readout line L (corresponding to L to L in FIG. 2).
  • the signal is applied from the signal application line L (corresponding to L to L in Fig. 2).
  • the vertical scanning circuit 21 performs the reset operation of the pixels G to G.
  • signal ⁇ is Low
  • signal ⁇ is Hi
  • signal ⁇ is VL
  • signal ⁇ is Hi
  • signal ⁇ is VL
  • the vertical scanning circuit 21 determines that the noise signal ⁇ and the voltage value Vm The pulse signal ⁇ is applied to the pixels G to G and the electrical signal is output to the signal readout line L.
  • the vertical scanning circuit 21 sets the signal ⁇ to VH, so that the gate T of the transistor T
  • VPS 22 2G drain T
  • the vertical scanning circuit 21 sets the signal ⁇ to Low and turns on the transistor T.
  • the vertical scanning circuit 21 sets the signal ⁇ to VL, so that the potential of the transistor T
  • the signal ⁇ is set to Hi and the transistor T is turned OFF.
  • capacitor C performs integration. This allows capacitor C and the gate of transistor T
  • the vertical scanning circuit 21 supplies the pulse signal ⁇ to the gate T of the transistor T.
  • the transistor T is turned ON and the pulse signal ⁇ with the voltage value VI is applied to the capacitor C.
  • the transistor operates as a T-force source follower type MOS transistor.
  • the vertical scanning circuit 21 applies the pulse signal ⁇ to the gate T of the transistor T to generate a key.
  • ⁇ G is ready for imaging.
  • the pixels G to G perform an imaging operation.
  • a voltage corresponding to the amount of photocharge accumulated in the gate T of the data T appears at the gate T. So
  • the amount of incident light on the photodiode P where the luminance of the subject is high is the predetermined incident.
  • the transistor T operates in the subthreshold region. So
  • the gate ⁇ of the transistor ⁇ has a voltage obtained by logarithmically converting incident light with a natural logarithm.
  • the predetermined value is not equal between the pixels G 1 to G.
  • Gate T has a voltage obtained by linear or logarithmic conversion of the incident light from photodiode P.
  • the vertical scanning circuit 21 sets the voltage value of the signal ⁇ to Vm and sets the signal ⁇ to Low.
  • the transistor T is a source follower type MO
  • the vertical scanning circuit 21 sets the voltage value of the signal ⁇ to Vh and sets the signal ⁇ to Hi.
  • the percentage of subject brightness that operates in the 2G 2S 2 state that is, the percentage of subject brightness that undergoes linear conversion increases.
  • the graph of FIG. 7 is a semilogarithmic graph in which the vertical axis is logarithmic.
  • the dynamic range of the image signal and the inflection point that becomes the boundary between the linear conversion mode and the logarithmic conversion mode that is, the predetermined incident light quantity th.
  • the luminance range of the subject is narrow
  • the pressure value VL is increased to widen the logarithmic conversion luminance range.
  • the photoelectric conversion characteristics of ⁇ G can be matched to the characteristics of the subject.
  • the voltage value VL VL
  • the imaging device 2 in which the incident light amount to the pixels G to G is larger than the predetermined incident light amount th is a pair.
  • the image sensor 2 photoelectrically converts the incident light to the pixels G to G, and the electric power derived from logarithmic conversion is obtained.
  • the air signal is output as an analog signal (photoelectric conversion process). Specifically, as described above, when each of the pixels G to G outputs an electric signal to the signal readout line L, the electric signal is converted to a constant voltage.
  • the source D is amplified and the selection circuit S samples and holds in order.
  • the correction circuit 23 removes the noise and outputs the electric signal.
  • the AD converter 13 converts it into a digital signal (AD conversion step).
  • the signal processing unit 3 performs signal processing (signal processing step). Specifically, first, as indicated by an arrow Z in FIG. 3A, the linearization unit 30 converts the electrical signal into a state derived from linear transformation (linearization step). Then, as indicated by an arrow W in FIG. 3 (a), the compression unit 31 converts the high-frequency component of the electric signal into a component having a bit width greater than that of the AD converter 13, that is, a component having an upper 12-bit width. By shifting, 1Z2 is multiplied by 8 and compressed to a 4-bit width (compression process).
  • the bit width in the processing described later is reduced as compared with the conventional case in which compression is not performed. Further, as compared with the case where the high frequency component is compressed by a method different from the bit shift, the compression is facilitated and the compression unit 31 is downsized. Further, for example, unlike the case where compression is performed on a component having a signal value equal to or greater than the predetermined incident light quantity th of the electrical signal, the boundary point between the compressed component and the compressed component! Is constant. [0138] Next, as shown in FIG.
  • the compressed 12-bit wide extension portion 50 of the evaluation value calculation unit 5 of the high frequency components from 4-bit width by 2 8-fold by bit shifting in the compression unit 31
  • the expanded high-frequency component and the low-frequency component, that is, the lower 12-bit width electric signal are combined into an electric signal having a total 24-bit width.
  • the linear coefficient between the electric signal and the incident light becomes constant over the entire range of the incident light quantity.
  • the AWB evaluation value calculation circuit 52, the compression unit 53, and the AE evaluation value calculation circuit 54 of the arithmetic processing unit 51 calculate the AWB evaluation value and the AE evaluation value based on the combined 24-bit width electric signal. Calculate (calculation process).
  • control device 46 controls the exposure control processing unit 47 to adjust the exposure amount for the image sensor 2 (exposure control processing step).
  • control device 46 controls the AWB processing unit 40 based on the AWB evaluation value, the minimum level set by the black reference setting unit 14 and the like, and the image output from the signal processing unit 3 White balance processing is performed on the data (white balance processing step).
  • an electric signal derived from logarithmic transformation can be converted into a state derived from linear transformation by a linear interpolation process.
  • the compression process can reduce the bit width in image processing after the compression process. Therefore, it is possible to convert the electrical signal derived from logarithmic transformation into a state derived from linear transformation, and to prevent the imaging apparatus 1 from becoming large.
  • the linear coefficient of the electrical signal and the incident light can be made constant in the entire range of the incident light amount by the extension process, unlike the case where the linear coefficient changes, However, the same processing can be performed. Therefore, it is possible to facilitate the processing in the arithmetic processing step after expansion, and to reduce the size of the arithmetic processing unit 51.
  • the AD converter 13, the linearization unit 30, and the compression unit 31 may be arranged in the other order in the force described as being arranged in this order. .
  • the compression unit 31, the linear key unit 30, and the AD converter 13 are arranged in this order, the above-described compression process, linear key process, and AD conversion process are performed in this order.
  • the predetermined frequency component compressed by the compression unit 31 of the signal processing unit 3 has been described as a component having a bit width greater than that of the AD converter 13, that is, a high frequency component having an upper 12-bit width.
  • the high frequency component equal to or higher than the signal value corresponding to the predetermined incident light quantity th is acceptable.
  • the predetermined range component may be a predetermined low range component or mid range component.
  • the compression unit 31 of the signal processing unit 3 expands the electric signal compressed with the high frequency component by the expansion unit 50 of the evaluation value calculation unit 5, and the force is also calculated in the AWB evaluation value and AE evaluation value calculation processing.
  • the high frequency component may be compressed and output again after being used for other processing.
  • Magenta and Yellow may be provided.
  • the signal processing unit 3 in this modification includes a lookup table shown in FIG. 9 instead of the linearity unit 30 and the compression unit 31.
  • This lookup table is an electric signal that is input to an electric signal derived from linear conversion among electric signals that are input from the image sensor 2 via the amplifier 12, the AD converter 13, and the black reference setting unit 14. The signal is linearly converted and output (refer to point a in the origin force in the figure).
  • this lookup table is applied to electrical signals derived from logarithmic conversion. The applied electrical signal is exponentially converted (see point a to point c in the figure), and the component that exceeds the bit width of AD converter 13 after exponent conversion is compressed to 1Z2 8 times (see figure). (See midpoint b to point d).
  • the linear processing step and the compression step can be performed by a look-up table, so that the signal processing unit is compared with the case where each of the linear display unit 30 and the compression unit 31 includes an arithmetic circuit. 3 can be miniaturized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

複数の特性変換由来の電気信号を線形変換由来の状態に変換するとともに、装置の大型化を防止する装置及び方法。  撮像装置1は、入射光を電気信号に対数変換する複数の画素G11~Gmnを有する撮像素子2と、電気信号に信号処理を行う信号処理部3とを備える。信号処理部3は、撮像素子2から出力される電気信号を、入射光から線形変換された状態に変換する線形化部30と、撮像素子2から出力される電気信号のうち、所定の信号値域に対応する所定域成分を圧縮する圧縮部31とを有する。

Description

明 細 書
撮像装置及び撮像方法
技術分野
[0001] 本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置と、撮像素子 を用 ヽた撮像方法とに関する。
背景技術
[0002] 従来、デジタルカメラ等の撮像装置には、入射光を電気信号に変換する撮像素子 が設けられている。この撮像素子は、入射光量に基づいて電気信号への変換モード を切り換えるようになっており、より詳細には、入射光を電気信号に線形変換する線 形変換モードと、対数変換する対数変換モードとを切り換えるようになつている(例え ば、特許文献 1, 2参照)。
[0003] このような撮像素子によれば、線形変換モードのみを行う撮像素子と比較して電気 信号のダイナミックレンジが広くなるため、輝度範囲の広 ヽ被写体を撮影した場合で あっても、 ^度情報を電気信号で表現することができる。
[0004] ところで、撮像素子から出力される電気信号の処理を容易化する観点からは、対数 変換由来の電気信号を線形変換由来の状態に変換し直し、電気信号全体を線形変 換由来の状態に統一して力も処理を行うことが好ましい。
特許文献 1:特開 2002 - 77733号公報
特許文献 2:特開 2004— 88312号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、単純に対数変換由来の電気信号を線形変換由来の状態に変換する と、その後にデジタル信号処理する場合のビット幅が広くなつてしまい、信号処理回 路が大型化してしまう。
[0006] 本発明の課題は、複数の特性変換由来の電気信号を線形変換由来の状態に変換 するとともに、装置の大型化を防止することができる撮像装置及び撮像方法を提供す ることである。 課題を解決するための手段
[0007] 請求の範囲第 1項記載の発明は、撮像装置において、
光量に基づいて入射光を複数の特性で電気信号に変換する複数の画素を有する 撮像素子と、
電気信号に信号処理を行う信号処理部とを備え、
この信号処理部は、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 する線形化部と、
前記撮像素子から出力される電気信号のうち、所定の信号値域に対応する所定域 成分を圧縮する圧縮部とを有することを特徴とする。
[0008] 請求の範囲第 1項記載の発明によれば、撮像素子力 出力される複数の特性変換 由来の電気信号を、入射光から線形変換された状態に変換する線形化部を備える ので、複数の特性変換由来の電気信号を線形変換由来の状態に変換することがで きる。また、撮像素子から出力される電気信号の所定域成分を圧縮する圧縮部を備 えるので、圧縮を行わない従来の場合と比較して、その後にデジタル信号処理する 場合のビット幅を少なくすることができる。従って、複数の特性変換由来の電気信号 を線形変換由来の状態に変換するとともに、装置の大型化を防止することができる。
[0009] 請求の範囲第 2項記載の発明は、請求の範囲第 1項記載の撮像装置において、 前記複数の特性は、線形特性であることを特徴とする。
[0010] 請求の範囲第 2項記載の発明によれば、撮像素子力 出力される複数の線形変換 由来の電気信号を、入射光から線形変換された状態に変換する線形化部を備える ので、複数の線形変換由来の電気信号を線形変換由来の状態に変換することがで きる。また、撮像素子から出力される電気信号の所定域成分を圧縮する圧縮部を備 えるので、圧縮を行わない従来の場合と比較して、その後にデジタル信号処理する 場合のビット幅を少なくすることができる。従って、複数の線形変換由来の電気信号 を線形変換由来の状態に変換するとともに、装置の大型化を防止することができる。 請求の範囲第 3項記載の発明は、請求の範囲第 1項記載の撮像装置において、 前記複数の特性は、対数特性であることを特徴とする。 [0011] 請求の範囲第 3項記載の発明によれば、撮像素子力 出力される対数変換由来の 電気信号を、入射光から線形変換された状態に変換する線形化部を備えるので、対 数変換由来の電気信号を線形変換由来の状態に変換することができる。また、撮像 素子から出力される電気信号の所定域成分を圧縮する圧縮部を備えるので、圧縮を 行わな 、従来の場合と比較して、その後にデジタル信号処理する場合のビット幅を 少なくすることができる。従って、対数変換由来の電気信号を線形変換由来の状態 に変換するとともに、装置の大型化を防止することができる。
[0012] 請求の範囲第 4項記載の発明は、請求の範囲第 1項記載の撮像装置において、 前記複数の特性は、線形特性及び対数特性であることを特徴とする。
[0013] 請求の範囲第 4項記載の発明によれば、撮像素子力 出力される線形変換及び対 数変換由来の電気信号を、入射光から線形変換された状態に変換する線形化部を 備えるので、線形変換及び対数変換由来の電気信号を線形変換由来の状態に変換 することができる。また、撮像素子から出力される電気信号の所定域成分を圧縮する 圧縮部を備えるので、圧縮を行わない従来の場合と比較して、その後にデジタル信 号処理する場合のビット幅を少なくすることができる。従って、線形変換及び対数変 換由来の電気信号を線形変換由来の状態に変換するとともに、装置の大型化を防 止することができる。
[0014] 請求の範囲第 5項記載の発明は、請求の範囲第 1項〜第 4項の何れか一項に記載 の撮像装置において、
前記圧縮部は、前記撮像素子から出力される電気信号のうち、所定信号値以上の 高域成分を圧縮することを特徴とする。
[0015] 請求の範囲第 5項記載の発明によれば、圧縮部は高域成分を圧縮するので、中域 成分を圧縮する場合と比較して、圧縮すべき成分が取り出し易くなる分、圧縮を容易 ィ匕することがでさる。
[0016] 請求の範囲第 6項記載の発明は、請求の範囲第 5項記載の撮像装置において、 前記撮像素子から出力されるアナログ信号をデジタル信号に変換する ADコンパ一 タを備え、
前記所定信号値は、前記 ADコンバータの最大出力値であることを特徴とする。 [0017] 請求の範囲第 6項記載の発明によれば、 ADコンバータのビット幅以上の成分が圧 縮されるので、例えば電気信号のうち、線形変換由来の成分と対数変換由来の成分 との境界点以上で圧縮を行う場合と異なり、圧縮されていない成分と、圧縮されてい る成分との境界点が一定となる。従って、圧縮後の電気信号に対する処理を容易化 することができる。
[0018] 請求の範囲第 7項記載の発明は、請求の範囲第 1項〜第 6項の何れか一項に記載 の撮像装置において、
前記撮像素子は、
入射光量に基づいて、入射光を電気信号に線形変換する線形変換モードと、対数 変換する対数変換モードとを切り換え、
前記線形化部は、対数変換によって生成された電気信号を、線形変換によって生 成された状態に変換することを特徴とする。
[0019] 請求の範囲第 7項記載の発明によれば、撮像素子が入射光量に基づ!/、て、入射 光を線形変換する線形変換モードと、対数変換する対数変換モードとを切り換えるも のであっても、請求の範囲第 1項〜第 6項の何れか一項に記載の発明と同様の効果 を得ることができる。
[0020] 請求の範囲第 8項記載の発明は、請求の範囲第 1項〜第 7項の何れか一項に記載 の撮像装置において、
前記圧縮部は、前記所定域成分を 1Z2N(Nは 1以上の整数)倍に圧縮することを 特徴とする。
[0021] 請求の範囲第 8項記載の発明によれば、圧縮部は前記所定域成分を 1Z2N倍に 圧縮するので、圧縮にビットシフトを用いることができる。従って、 2のべき数とは異な る数で所定域成分を割る場合と比較して、圧縮を容易化するとともに、圧縮部を小型 ィ匕することがでさる。
[0022] 請求の範囲第 9項記載の発明は、請求の範囲第 1項〜第 8項の何れか一項に記載 の撮像装置において、
前記圧縮部は、
圧縮後の前記所定域成分を 2N(Nは 1以上の整数)倍に伸長した場合に、電気信 号と入射光との線形係数が入射光量の全変域で一定となるように、前記所定域成分 を圧縮することを特徴とする。
[0023] ここで、電気信号と入射光との線形係数とは、電気信号と入射光との関係を示す直 線の傾きのことである。
[0024] 請求の範囲第 9項記載の発明によれば、圧縮後の前記所定域成分を 2N倍に伸長 した場合に、電気信号と入射光との線形係数が入射光量の全変域で一定となるので 、線形係数が変化する場合と異なり、伸長後の全電気信号に対して同一の処理を行 うことができる。従って、伸長後の処理を容易化することができる。
[0025] 請求の範囲第 10項記載の発明は、請求の範囲第 1項〜第 9項の何れか一項に記 載の撮像装置において、
前記圧縮部は、ビットシフトによって前記所定域成分を圧縮することを特徴とする。
[0026] 請求の範囲第 10項記載の発明によれば、圧縮部はビットシフトによって前記所定 域成分を圧縮するので、ビットシフトとは異なる手法で所定域成分を圧縮する場合と 比較して、圧縮を容易化するとともに、圧縮部を小型化することができる。
[0027] 請求の範囲第 11項記載の発明は、請求の範囲第 1項〜第 9項の何れか一項に記 載の撮像装置において、
前記信号処理部は、前記線形化部及び前記圧縮部として、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 するとともに、変換後の前記所定域成分を圧縮するルックアップテーブルを備えるこ とを特徴とする。
[0028] 請求の範囲第 11項記載の発明によれば、信号処理部は線形化部及び圧縮部とし てルックアップテーブルを備えるので、線形ィ匕部及び圧縮部としてそれぞれ演算回 路を備える等の場合と比較して、信号処理部を小型化することができる。
[0029] 請求の範囲第 12項記載の発明は、請求の範囲第 1項〜第 11項の何れか一項に 記載の撮像装置において、
前記信号処理部から出力される電気信号に基づいて演算処理を行う演算処理部 を備え、
前記信号処理部と前記演算処理部との間には、前記圧縮部によって圧縮された前 記所定域成分を伸長して圧縮前の状態に変換する伸長部が介在することを特徴と する。
[0030] 請求の範囲第 12項記載の発明によれば、信号処理部と演算処理部との間には、 前記圧縮部によって圧縮された前記所定域成分を伸長して圧縮前の状態に変換す る伸長部が介在するので、演算処理部で処理される電気信号と入射光との線形係数 が入射光量の全変域で一定となる。従って、線形係数が変化する場合と異なり、伸 長後の全電気信号に対して同一の処理を行うことができるため、演算処理部での演 算処理を容易化するとともに、演算処理部を小型化することができる。
[0031] 請求の範囲第 13項記載の発明は、請求の範囲第 12項記載の撮像装置において 前記伸長部は、前記圧縮部によって圧縮された前記所定域成分をビットシフトによ つて 2N (Nは 1以上の整数)倍に伸長することを特徴とする。
[0032] 請求の範囲第 13項記載の発明によれば、請求の範囲第 12項記載の発明と同様 の効果を得ることができる。
[0033] 請求の範囲第 14項記載の発明は、請求の範囲第 12項または第 13項記載の撮像 装置において、
前記演算処理部の演算結果に基づいて、前記撮像素子に対する露光量を調節す る露光制御処理部を備えることを特徴とする。
[0034] 請求の範囲第 14項記載の発明によれば、撮像素子に対する露光量を調節するた めの評価値を演算処理部で算出する場合であっても、請求の範囲第 12項または第
13項記載の発明と同様の効果を得ることができる。
[0035] 請求の範囲第 15項記載の発明は、請求の範囲第 12項〜第 14項の何れか一項に 記載の撮像装置において、
前記演算処理部の演算結果に基づ!/、て、撮影画像のホワイトバランス処理を行うホ ワイトバランス処理部を備えることを特徴とする。
[0036] 請求の範囲第 15項記載の発明によれば、ホワイトバランス処理を行うための評価値 を演算処理部で算出する場合であっても、請求の範囲第 12項〜第 14項の何れか一 項に記載の発明と同様の効果を得ることができる。 [0037] 請求の範囲第 16項記載の発明は、撮像方法において、
光量に基づいて入射光を複数の特性で入射光を電気信号に変換する複数の画素 を有する撮像素子によって各画素に対する入射光を電気信号に光電変換する光電 変換工程と、
電気信号に信号処理を行う信号処理工程とを備え、
この信号処理工程は、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 する線形化工程と、
前記撮像素子から出力される電気信号のうち、所定の信号値域に対応する所定域 成分を圧縮する圧縮工程とを備えることを特徴とする。
[0038] 請求の範囲第 16項記載の発明によれば、撮像素子力も出力される複数の特性変 換由来の電気信号を、入射光から線形変換された状態に変換することにより、複数 の特性変換由来の電気信号を線形変換由来の状態に変換することができる。また、 撮像素子から出力される電気信号の所定域成分を圧縮することにより、圧縮を行わ な ヽ従来の場合と比較して、その後にデジタル信号処理する場合のビット幅を少なく することができる。従って、複数の特性変換由来の電気信号を線形変換由来の状態 に変換するとともに、装置の大型化を防止することができる。
[0039] 請求の範囲第 17項記載の発明は、請求の範囲第 16項記載の撮像方法において 前記複数の特性は、線形特性であることを特徴とする。
[0040] 請求の範囲第 17項記載の発明によれば、撮像素子力も出力される複数の線形変 換由来の電気信号を、入射光から線形変換された状態に変換することにより、複数 の線形変換由来の電気信号を線形変換由来の状態に変換することができる。また、 撮像素子から出力される電気信号の所定域成分を圧縮することにより、圧縮を行わ な ヽ従来の場合と比較して、その後にデジタル信号処理する場合のビット幅を少なく することができる。従って、複数の線形変換由来の電気信号を線形変換由来の状態 に変換するとともに、装置の大型化を防止することができる。
[0041] 請求の範囲第 18項記載の発明は、 請求の範囲第 16項記載の撮像方法におい て、
前記複数の特性は、対数特性であることを特徴とする撮像方法。
[0042] 請求の範囲第 18項記載の発明によれば、撮像素子力も出力される対数変換由来 の電気信号を、入射光から線形変換された状態に変換することにより、対数変換由 来の電気信号を線形変換由来の状態に変換することができる。また、撮像素子から 出力される電気信号の所定域成分を圧縮することにより、圧縮を行わない従来の場 合と比較して、その後にデジタル信号処理する場合のビット幅を少なくすることができ る。従って、対数変換由来の電気信号を線形変換由来の状態に変換するとともに、 装置の大型化を防止することができる。
[0043] 請求の範囲第 19項記載の発明は、 請求の範囲第 16項記載の撮像方法におい て、
前記複数の特性は、線形特性及び対数特性であることを特徴とする撮像方法。
[0044] 請求の範囲第 19項記載の発明によれば、撮像素子力 出力される線形変換及び 対数変換由来の電気信号を、入射光から線形変換された状態に変換することにより 、線形変換及び対数変換由来の電気信号を線形変換由来の状態に変換することが できる。また、撮像素子から出力される電気信号の所定域成分を圧縮することにより、 圧縮を行わな 、従来の場合と比較して、その後にデジタル信号処理する場合のビッ ト幅を少なくすることができる。従って、線形変換及び対数変換由来の電気信号を線 形変換由来の状態に変換するとともに、装置の大型化を防止することができる。
[0045] 請求の範囲第 20項記載の発明は、請求の範囲第 16項〜第 19項の何れか一項に 記載の撮像方法にぉ 、て、
前記圧縮工程では、前記撮像素子から出力される電気信号のうち、所定信号値以 上の高域成分を圧縮することを特徴とする。
[0046] 請求の範囲第 20項記載の発明によれば、圧縮部は高域成分を圧縮するので、中 域成分を圧縮する場合と比較して、圧縮すべき成分が取り出し易くなる分、圧縮を容 易ィ匕することができる。
[0047] 請求の範囲第 21項記載の発明は、請求の範囲第 20項記載の撮像方法において ADコンバータを用いて、前記撮像素子から出力されるアナログ信号をデジタル信 号に変換する AD変換工程を備え、
前記圧縮工程では、前記所定信号値として前記 ADコンバータの最大出力値を用 V、ることを特徴とすることを特徴とする。
[0048] 請求の範囲第 21項記載の発明によれば、 ADコンバータのビット幅以上の成分を 圧縮することにより、例えば電気信号のうち、線形変換由来の成分と対数変換由来の 成分との境界点以上で圧縮を行う場合と異なり、圧縮されていない成分と、圧縮され ている成分との境界点が一定となる。従って、圧縮後の電気信号に対する処理を容 易ィ匕することができる。
[0049] 請求の範囲第 22項記載の発明は、請求の範囲第 16項〜第 21項の何れか一項に 記載の撮像方法にぉ 、て、
前記撮像素子として、
入射光量に基づいて、入射光を電気信号に線形変換する線形変換モードと、対数 変換する対数変換モードとを切り換えるものを用い、
前記線形化工程では、対数変換によって生成された電気信号を、線形変換によつ て生成された状態に変換することを特徴とする。
[0050] 請求の範囲第 22項記載の発明によれば、入射光量に基づ 、て、入射光を線形変 換する線形変換モードと、対数変換する対数変換モードとを切り換えるものを撮像素 子として用いる場合であっても、請求の範囲第 16項〜第 21項の何れか一項に記載 の発明と同様の効果を得ることができる。
[0051] 請求の範囲第 23項記載の発明は、請求の範囲第 16項〜第 22項の何れか一項に 記載の撮像方法にぉ 、て、
前記圧縮工程では、前記所定域成分を 1Z2N (Nは 1以上の整数)倍に圧縮するこ とを特徴とする。
請求の範囲第 23項記載の発明によれば、前記所定域成分を 1Z2N倍に圧縮するこ とにより、圧縮にビットシフトを用いることができる。従って、 2のべき数とは異なる数で 所定域成分を割る場合と比較して、圧縮を容易化するとともに、圧縮用の装置を小型 ィ匕することがでさる。 [0052] 請求の範囲第 24項記載の発明は、請求の範囲第 16項〜第 23項の何れか一項に 記載の撮像方法にぉ 、て、
前記圧縮工程では、
圧縮後の前記所定域成分を 2N(Nは 1以上の整数)倍に伸長した場合に、電気信 号と入射光との線形係数が入射光量の全変域で一定となるように、前記所定域成分 を圧縮することを特徴とする。
[0053] 請求の範囲第 24項記載の発明によれば、圧縮後の前記所定域成分を 2N倍に伸長 した場合に、電気信号と入射光との線形係数が入射光量の全変域で一定となる。従 つて、線形係数が変化する場合と異なり、伸長後の全電気信号に対して同一の処理 を行うことができるため、伸長後の処理を容易化することができる。
[0054] 請求の範囲第 25項記載の発明は、請求の範囲第 16項〜第 24項の何れか一項に 記載の撮像方法にぉ 、て、
前記圧縮工程では、ビットシフトによって前記所定域成分を圧縮することを特徴とす る。
[0055] 請求の範囲第 25項記載の発明によれば、ビットシフトによって前記所定域成分を 圧縮することにより、ビットシフトとは異なる手法で所定域成分を圧縮する場合と比較 して、圧縮を容易化するとともに、圧縮用の装置を小型化することができる。
[0056] 請求の範囲第 26項記載の発明は、請求の範囲第 16項〜第 24項の何れか一項に 記載の撮像方法にぉ 、て、
前記信号処理工程では、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 するとともに、変換後の前記所定域成分を圧縮するルックアップテーブルを用いて前 記線形化工程及び前記圧縮工程を行うことを特徴とする。
[0057] 請求の範囲第 26項記載の発明によれば、ルックアップテーブルを用いて線形ィ匕ェ 程及び圧縮工程を行うことにより、線形ィ匕工程及び圧縮工程にそれぞれ演算回路を 用いる等の場合と比較して、信号処理用の装置を小型化することができる。
[0058] 請求の範囲第 27項記載の発明は、請求の範囲第 16項〜第 26項の何れか一項に 記載の撮像方法にぉ ヽて、 前記信号処理工程で信号処理された電気信号に基づいて演算処理を行う演算処 理工程を備え、
前記信号処理工程と前記演算処理工程との間では、前記圧縮工程で圧縮された 前記所定域成分を伸長して圧縮前の状態に変換する伸長工程を行うことを特徴とす る。
[0059] 請求の範囲第 27項記載の発明によれば、信号処理工程と演算処理工程との間で 、前記圧縮工程で圧縮された前記所定域成分を伸長して圧縮前の状態に変換する 伸長工程を行うことにより、演算処理工程で処理される電気信号と入射光との線形係 数が入射光量の全変域で一定となる。従って、線形係数が変化する場合と異なり、 伸長後の全電気信号に対して同一の処理を行うことができるため、演算処理工程で の演算処理を容易化するとともに、演算処理用の装置を小型化することができる。
[0060] 請求の範囲第 28項記載の発明は、請求の範囲第 27項記載の撮像方法において 前記伸長工程では、前記圧縮工程で圧縮された前記所定域成分をビットシフトによ つて 2N (Nは 1以上の整数)倍に伸長することを特徴とする。
[0061] 請求の範囲第 28項記載の発明によれば、請求の範囲第 27項記載の発明と同様 の効果を得ることができる。
[0062] 請求の範囲第 29項記載の発明は、請求の範囲第 27項または第 28項記載の撮像 方法において、
前記演算処理工程の演算結果に基づいて、前記撮像素子に対する露光量を調節 する露光制御処理工程を備えることを特徴とする。
[0063] 請求の範囲第 29項記載の発明によれば、撮像素子に対する露光量を調節するた めの評価値を演算処理工程で算出する場合であっても、請求の範囲第 27項または 第 28項記載の発明と同様の効果を得ることができる。
[0064] 請求の範囲第 30項記載の発明は、請求の範囲第 27項〜第 29項の何れか一項に 記載の撮像方法にぉ 、て、
前記演算処理工程の演算結果に基づ!/、て、撮影画像のホワイトバランス処理を行 うホワイトバランス処理工程を備えることを特徴とする。 [0065] 請求の範囲第 30項記載の発明によれば、ホワイトバランス処理を行うための評価値 を演算処理工程で算出する場合であっても、請求の範囲第 27項〜第 29項の何れか 一項に記載の発明と同様の効果を得ることができる。
発明の効果
[0066] 請求の範囲第 1項,第 16項記載の発明によれば、複数の特性変換由来の電気信 号を線形変換由来の状態に変換するとともに、装置の大型化を防止することができる
[0067] 請求の範囲第 2項,第 17項記載の発明によれば、線形変換由来の電気信号を線 形変換由来の状態に変換するとともに、装置の大型化を防止することができる。
[0068] 請求の範囲第 3項,第 18項記載の発明によれば、対数変換由来の電気信号を線 形変換由来の状態に変換するとともに、装置の大型化を防止することができる。 請求の範囲第 4項,第 19項記載の発明によれば、線形変換及び対数変換由来の電 気信号を線形変換由来の状態に変換するとともに、装置の大型化を防止することが できる。
[0069] 請求の範囲第 5項,第 20項記載の発明によれば、請求の範囲第 1項〜第 4項の何 れか一項,第 16項〜第 19項の何れか一項に記載の発明と同様の効果を得ることが できるのは勿論のこと、圧縮を容易化することができる。
[0070] 請求の範囲第 6項,第 21項記載の発明によれば、請求の範囲第 5項、第 20項記載 の発明と同様の効果を得ることができるのは勿論のこと、圧縮後の電気信号に対する 処理を容易化することができる。
[0071] 請求の範囲第 7項,第 22項記載の発明によれば、請求の範囲第 1項〜第 6項の何 れか一項,第 16項〜第 22項の何れか一項に記載の発明と同様の効果を得ることが できる。
[0072] 請求の範囲第 8項,第 23項記載の発明によれば、請求の範囲第 1項〜第 7項の何 れか一項,第 16項〜第 22項の何れか一項に記載の発明と同様の効果を得ることが できるのは勿論のこと、圧縮を容易化するとともに、圧縮用の装置 (圧縮部)を小型化 することができる。
[0073] 請求の範囲第 9項,第 24項記載の発明によれば、請求の範囲第 1項〜第 8項の何 れか一項,第 16項〜第 23項の何れか一項に記載の発明と同様の効果を得ることが できるのは勿論のこと、伸長後の処理を容易化することができる。
[0074] 請求の範囲第 10項,第 25項記載の発明によれば、請求の範囲第 1項〜第 9項の 何れか一項,第 16項〜第 24項の何れか一項に記載の発明と同様の効果を得ること ができるのは勿論のこと、圧縮を容易化するとともに、圧縮用の装置 (圧縮部)を小型 ィ匕することがでさる。
[0075] 請求の範囲第 11項,第 26項記載の発明によれば、請求の範囲第 1項〜第 9項の 何れか一項,第 16項〜第 24項の何れか一項に記載の発明と同様の効果を得ること ができるのは勿論のこと、信号処理用の装置 (信号処理部)を小型化することができ る。
[0076] 請求の範囲第 12項,第 27項記載の発明によれば、請求の範囲第 1項〜第 11項何 れか一項,第 16項〜第 26項の何れか一項に記載の発明と同様の効果を得ることが できるのは勿論のこと、演算処理工程での演算処理を容易化するとともに、演算処理 用の装置 (演算処理部)を小型化することができる。
[0077] 請求の範囲第 13項〜第 15項,第 28項〜第 30項記載の発明によれば、請求の範 囲第 12項,第 27項記載の発明と同様の効果を得ることができる。
図面の簡単な説明
[0078] [図 1]本発明に係る撮像装置の概略構成を示すブロック図である。
[図 2]撮像素子の構成を示すブロック図である。
[図 3]画素及び信号処理部の動作を説明するための図である。
[図 4]画素の構成を示す回路図である。
[図 5]画素のリセット動作を示すタイミングチャートである。
[図 6]評価値算出部の動作を説明するための図である。
[図 7]信号 φ の差と変換モードとの関係を示す図である。
VPS
[図 8]信号処理部力 の出力信号に対する処理を示す図である。
[図 9]ルックアップテーブルを示す図である。
符号の説明
[0079] 1 撮像装置 2 撮像素子
3 信号処理部
13 ADコンノータ
30 線形化部
31 圧縮部
40 AWB処理部(ホワイトバランス処理部)
47 露光制御処理部
50 伸長部
51 演算処理部
G 〜G 画素
11 mn
発明を実施するための最良の形態
[0080] [実施の形態]
以下、図面を参照しつつ、本発明の実施の形態について説明する。
[0081] 図 1は、本発明に係る撮像装置 1の概略構成を示すブロック図である。
[0082] この図に示すように、撮像装置 1は、レンズ群 10及び絞り 11を介して入射光を受光 する撮像素子 2を備えている。これらレンズ群 10及び絞り 11としては、従来より公知 のものが用いられている。
[0083] 撮像素子 2は、図 2に示すように、行列配置 (マトリクス配置)された複数の画素 G
11
〜G (但し、 n, mは 1以上の整数)を有している。
mn
[0084] 各画素 G 〜G は、入射光を光電変換して電気信号を出力するものである。これら
11 mn
画素 G 〜G は、入射光量に基づいて電気信号への変換モードを切り換えるように
11 mn
なっており、より詳細には、入射光を電気信号に線形変換する線形変換モードと、対 数変換する対数変換モードとを切り換えるようになって ヽる。本実施の形態にぉ 、て は、図 3 (a)に示すように、各画素 G 〜G は、所定入射光量 th未満の入射光量に
11 mn
対しては線形変換モードを、所定入射光量 th以上の入射光量に対しては対数変換 モードを行うようになっている。なお、本実施の形態においては、入射光を電気信号 に線形変換や対数変換するとは、光量の時間積分値を電気信号に線形変換や対数 変換することである。 [0085] これら画素 G 〜G のレンズ群 10側には、それぞれレッド(Red)、グリーン(Green) ll mn
及びブルー(Blue)のうち何れ力 1色のフィルタ(図示せず)が配設されている。また、 画素 G 〜G には、図 2に示すように、電源ライン 20や信号印加ライン L 〜L , L
11 mn Al An Bl
〜L , L 〜L 、信号読出ライン L 〜L が接続されている。なお、画素 G 〜G
Bn CI Cn Dl Dm 11 mn には、クロックラインやバイアス供給ライン等のラインも接続されているが、図 2ではこ れらの図示を省略して!/ヽる。
[0086] 信号印加ライン L 〜L , L 〜L , L 〜L は画素 G 〜G に対して信号 φ , φ
Al An Bl Bn CI Cn 11 mn v
, φ (図 4,図 5参照)を与えるようになつている。これら信号印加ライン L 〜L
VD
L 〜L , L 〜L には、垂直走査回路 21が接続されている。この垂直走査回路 21
Bl Bn CI Cn
は、後述の信号生成部 48 (図 1参照)からの信号に基づいて信号印加ライン L 〜L
Al A
, L 〜L , L 〜L に信号を印加するものであり、信号を印加する対象の信号印 n Bl Bn CI Cn
カロライン L 〜L , L 〜L , L 〜L を X方向に順次切り換えるようになつている。
Al An Bl Bn CI Cn
[0087] 信号読出ライン L 〜L には、各画素 G 〜G で生成された電気信号が導出され
Dl Dm 11 mn
るようになっている。これら信号読出ライン L 〜L には定電流源 D〜D及び選択
Dl Dm 1 m 回路 S〜Sが接続されている。
1 m
[0088] 定電流源 D〜Dの一端(図中下側の端部)には、直流電圧 V が印加されるように
1 m PS
なっている。
[0089] 選択回路 S〜Sは、各信号読出ライン L 〜L を介して画素 G 〜G 力 与えら
1 m Dl Dm 11 mn
れるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択 回路 S〜Sには、水平走査回路 22及び補正回路 23が接続されている。水平走査
1 m
回路 22は、電気信号をサンプルホールドして補正回路 23に送信する選択回路 S〜
1
Sを、 Y方向に順次切り換えるものである。また、補正回路 23は、選択回路 S〜Sか m 1 m ら送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ 信号を除去するものである。
[0090] なお、選択回路 S〜S及び補正回路 23としては、特開平 2001— 223948号公報
1 m
に開示のものを用いることができる。また、本実施の形態においては、選択回路 S〜
1
Sの全体に対して補正回路 23を 1つのみ設けることとして説明するが、選択回路 S m 1
〜S のそれぞれに対して補正回路 23を 1つずつ設けることとしても良い。 [0091] 以上の撮像素子 2には、図 1に示すように、アンプ 12及び ADコンバータ 13を介し て、黒基準設定部 14及び信号処理部 3がこの順に接続されている。なお、本実施の 形態においては、図 3 (a)に示すように、 ADコンバータから出力されるデジタル信号 は 12ビット幅となって!/ヽる。
[0092] 黒基準設定部 14は、デジタル信号の最低レベルを設定するものである。
[0093] 信号処理部 3は、各画素 G 〜G からの電気信号に対して信号処理を行うもので
11 mn
あり、線形化部 30及び圧縮部 31を備えている。
[0094] 線形化部 30は、図 3 (a)に矢印 Zで示すように、撮像素子 2から出力される電気信 号のうち、対数変換によって生成された電気信号を、入射光から線形変換された状 態、つまり線形変換由来の状態に変換するものである。なお、線形ィ匕部 30はルックァ ップテーブルを用いて変換を行うこととしてもよいし、指数変換する等の演算によって 変換を行うこととしてもよい。また、本実施の形態においては、線形化部 30で処理さ れた電気信号は全 24ビット幅となって 、る。
[0095] 圧縮部 31は、図 3 (a)に矢印 Wで示すように、線形化部 30から出力される電気信 号のうち、所定の信号値域に対応する所定域成分、本実施の形態においては ADコ ンバータ 13のビット幅以上の高域成分を圧縮するものである。
[0096] この信号処理部 3には、図 1に示すように、画像処理部 4が接続されている。
[0097] 画像処理部 4は、画素 G 〜G からの電気信号全体によつて構成される画像デー
11 mn
タに対して画像処理を行うものであり、 AWB (Auto White Balance)処理部 40、色補 間部 41、色補正部 42、階調変換部 43及び色空間変換部 44を備えている。これら A WB処理部 40、色補間部 41、色補正部 42、階調変換部 43及び色空間変換部 44は 、信号処理部 3に対してこの順に接続されている。
[0098] AWB処理部 40は画像データに対してホワイトバランス処理を行うものであり、色補 間部 41は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基 づいて、これら近接画素間に位置する画素について、この色の電気信号を補間演算 するものである。色補正部 42は画像データの色合いを補正するものであり、より詳細 には、各色の電気信号を他の色の電気信号に基づき画素毎に補正するものである。 階調変換部 43は画像データの階調変換を行うものであり、色空間変換部 44は RGB 信号を YCbCr信号に変換するものである。
[0099] また、信号処理部 3には、評価値算出部 5及び制御装置 46がこの順に接続されて いる。
[0100] 評価値算出部 5は伸長部 50と演算処理部 51とを備えている。
[0101] 伸長部 50は、図 6に示すように、信号処理部 3の圧縮部 31によって圧縮された前 記高域成分を伸長して圧縮前の状態に戻すものである。なお、この伸長部 50から出 力される伸長後の高域成分と、伸長部 50に伸長されない低域成分とは、伸長部 50と 演算処理部 51との間で結合されるようになって 、る。
[0102] 演算処理部 51は、 AWB評価値算出回路 52、圧縮部 53及び AE評価値算出回路
54を有している。
[0103] AWB評価値算出回路 52は、 AWB処理部 40でのホワイトバランス処理 (AWB処 理)に用いられる AWB評価値を算出するものである。圧縮部 53は、電気信号を圧縮 するものであり、本実施の形態においては電気信号をビットシフトによって 1Z216倍 するようになつている。 AE評価値算出回路 54は、露光制御処理部 47での露出制御 処理 (AE処理)に用いられる AE評価値を算出するものである。
[0104] 制御装置 46は、撮像装置 1の各部を制御するものであり、図 1に示すように、上述 のアンプ 12、黒基準設定部 14、 AWB処理部 40、色補間部 41、色補正部 42、階調 変換部 43及び色空間変換部 44と接続されている。また、制御装置 46は、露光制御 処理部 47を介して絞り 11と接続され、信号生成部 48を介して撮像素子 2及び ADコ ンバータ 13と接続されて 、る。
[0105] 続いて、本実施の形態における画素 G 〜G について説明する。
11 mn
[0106] 各画素 G 〜G は、図 4に示すように、フォトダイオード P、トランジスタ T〜T及び
11 mn 1 6 キャパシタ Cを備えている。なお、トランジスタ T〜Tは、 Ρチャネルの MOSトランジス
1 6
タである。
[0107] フォトダイオード Ρには、レンズ群 10及び絞り 11を通過した光が当たるようになって いる。このフォトダイオード Ρの力ソード Ρには直流電圧 V が印加されており、ァノー k PD
ド Pにはトランジスタ Tのドレイン T が接続されている。
A 1 ID
[0108] トランジスタ Tのゲート T には信号 φ が入力されるようになっており、ソース Τ に はトランジスタ Tのゲート T 及びドレイン Τ が接続されている。
2 2G 2D
[0109] このトランジスタ Τのソース Τ には信号印加ライン L (図 2の L 〜L に相当)が接
2 2S C CI Cn
続されており、この信号印加ライン L力 信号 φ が入力されるようになっている。こ
C VPS
こで、図 5に示すように、信号 φ は 2値の電圧信号であり、より詳細には、入射光量
VPS
が所定入射光量 thを超えたときにトランジスタ Tをサブスレツショルド領域で動作させ
2
るための電圧値 VLと、トランジスタ Tを導通状態にする電圧値 VHとの 2つの値をとる
2
ようになつている。
[0110] また、トランジスタ Tのソース T にはトランジスタ Tのゲート T が接続されている。
1 1S 3 3G
[0111] このトランジスタ Tのドレイン T には、直流電圧 V が印加されるようになっている。
3 3D PD
また、トランジスタ Tのソース T には、キャパシタ Cの一端と、トランジスタ Tのドレイン
3 3S 5
T と、トランジスタ Tのゲート T とが接続されている。
5D 4 4G
[0112] キャパシタ Cの他端には、信号印加ライン L (図 2の L 〜L に相当)が接続されて
B Bl Bn
おり、この信号印加ライン L力も信号 φ が与えられるようになつている。ここで、図 5
B VD
に示すように、信号 φ は 3値の電圧信号であり、より詳細には、キャパシタ Cを積分
VD
動作させる際の電圧値 Vhと、光電変換された電気信号読み出し時の電圧値 Vmと、 ノイズ信号読み出し時の電圧値 VIとの 3つの値をとるようになっている。
[0113] トランジスタ Tのソース T には直流電圧 V 力 ゲート T には信号 φ が入力され
5 5S RG 5G RS
るようになっている。
[0114] トランジスタ Tのドレイン T には、トランジスタ Tのドレイン T と同様に直流電圧 V
4 4D 3 3D PD が印加されるようになっており、ソース T には、トランジスタ Tのドレイン T が接続さ
4S
れている。
[0115] このトランジスタ Tのソース T には、信号読出ライン L (図 2の L 〜L に相当)が
6 6S D Dl Dm
接続されており、ゲート T には、信号印加ライン L (図 2の L 〜L に相当)から信号
6G A Al An
φ が入力されるようになっている。
V
[0116] 続いて、各画素 G 〜G 及び垂直走査回路 21の動作について説明する。
11 mn
[0117] まず、図 5に示すように、垂直走査回路 21が画素 G 〜G のリセット動作を行う。
11 mn
[0118] 具体的には、信号 φ が Low、信号 φ が Hi、信号 φ が VL、信号 φ が Hi、信号
S V VPS RS
φ が Vhとなっている状態から、垂直走査回路 21が、ノ ルス信号 φ と、電圧値 Vm のパルス信号 φ とを画素 G 〜G に与えて電気信号を信号読出ライン Lに出力さ
VD 11 mn D せた後、信号 φ を Hiとしてトランジスタ Tを OFFにする。
5 1
[0119] 次に、垂直走査回路 21が信号 φ を VHとすることで、トランジスタ Tのゲート T
VPS 2 2G 及びドレイン T 、並びにトランジスタ Tのゲート T に蓄積された負の電荷を速やか
2D 3 3G
に再結合させる。また、垂直走査回路 21が信号 φ を Lowとしてトランジスタ Tを ON
RS 5 にすることにより、キャパシタ Cとトランジスタ Tのゲート T との接続ノードの電圧を初
4 4G
期化する。
[0120] 次に、垂直走査回路 21が信号 φ を VLとすることでトランジスタ Tのポテンシャル
VPS 2
状態を基の状態に戻した後、信号 φ を Hiにして、トランジスタ Tを OFFにする。次
RS 5
に、キャパシタ Cが積分動作を行う。これにより、キャパシタ Cとトランジスタ Tのゲート
4
T との接続ノードの電圧力 リセットされたトランジスタ Tのゲート電圧に応じたものと
4G 2
なる。
[0121] 次に、垂直走査回路 21がパルス信号 φ をトランジスタ Tのゲート T に与えること
V 6 6G
でトランジスタ Tを ONにするとともに、電圧値 VIのパルス信号 φ をキャパシタ Cに
6 VD
印加する。このとき、トランジスタ T力ソースフォロワ型の MOSトランジスタとして動作
4
するため、信号読出ライン Lにはノイズ信号が電圧信号として現れる。
D
[0122] そして、垂直走査回路 21がパルス信号 φ をトランジスタ Tのゲート T に与えてキ
RS 5 5G
ャパシタ Cとトランジスタ Tのゲート T との接続ノードの電圧をリセットした後、信号 φ
4 4G S を Lowにしてトランジスタ Tを ONにする。これにより、リセット動作が完了し、画素 G
1 11
〜G が撮像可能状態となる。
mn
[0123] 次に、画素 G 〜G が撮像動作を行う。
ll mn
[0124] 具体的には、フォトダイオード Pより入射光量に応じた光電荷がトランジスタ Tに流
2 れ込むと、光電荷がトランジスタ Tのゲート T に蓄積される。
2 2G
[0125] ここで、被写体の輝度が低ぐフォトダイオード Pに対する入射光量が前記所定入射 光量 thよりも少ない場合には、トランジスタ Tはカットオフ状態であるので、トランジス
2
タ Tのゲート T に蓄積された光電荷量に応じた電圧が当該ゲート T に現れる。そ
2 2G 2G
のため、トランジスタ τのゲート
3 τ には、入射光を線形変換した電圧が現れる。
3G
[0126] 一方、被写体の輝度が高ぐフォトダイオード Pに対する入射光量が前記所定入射 光量 thよりも多い場合には、トランジスタ Tがサブスレツショルド領域で動作を行う。そ
2
のため、トランジスタ τのゲート τ には、入射光を自然対数で対数変換した電圧が
3 3G
現れる。
[0127] なお、本実施の形態においては、画素 G 〜G の間で前記所定値の値は等しくな
11 mn
つている。
[0128] トランジスタ Tのゲート T に電圧が現れると、その電圧量に応じてキャパシタじから
3 3G
トランジスタ Tのドレイン T に流れる電流が増幅される。そのため、トランジスタ Tの
3 3D 4 ゲート T には、フォトダイオード Pの入射光を線形変換または対数変換した電圧が現
4G
れる。
[0129] 次に、垂直走査回路 21が信号 φ の電圧値を Vmとするとともに、信号 φ を Lowと
VD V
する。これにより、トランジスタ Tのゲート電圧に応じたソース電流力 トランジスタ Tを
4 6 介して信号読出ライン Lへ流れる。このとき、トランジスタ Tがソースフォロワ型の MO
D 4
Sトランジスタとして動作するため、信号読出ライン Lには撮像時の電気信号が電圧
D
信号として現れる。ここで、トランジスタ T , Tを介して出力される電気信号の信号値
4 6
はトランジスタ τのゲート電圧に比例した値となるため、当該信号値はフォトダイォー
4
ド Pの入射光を線形変換または対数変換した値となる。
[0130] そして、垂直走査回路 21が信号 φ の電圧値を Vhとするとともに、信号 φ を Hiと
VD V
することにより、撮像動作が終了する。
[0131] なお、画素 G 〜G が上記のように動作するとき、図 7に示すように、信号 φ の撮
11 mn VPS 像時の電圧値 VLとリセット時の電圧値 VHとの差が大きくなるほど、また、リセットの終 了から撮像の開始までの時間が短くなるほど、図中「I」〜「V」の順にトランジスタ Tの
2 ゲート T とソース T との間のポテンシャルの差が大きくなり、トランジスタ Tがカットォ
2G 2S 2 フ状態で動作する被写体輝度の割合、つまり線形変換する被写体輝度の割合が大 きくなる。なお、図 7のグラフは、縦軸が対数の片対数グラフである。
[0132] そのため、信号 φ の電圧値 VLや電圧値 VHの値、リセットの終了力ゝら撮像の開
VPS
始までの時間の長さを変化させることによって、画像信号のダイナミックレンジや、線 形変換モードと対数変換モードとの境界となる変極点、即ち前記所定入射光量 thを 制御することができる。具体的には、例えば、被写体の輝度範囲が狭い場合には電 圧値 VLを低くして線形変換する輝度範囲を広くするとともに、被写体の輝度範囲が 広い場合には電圧値 VLを高くして対数変換する輝度範囲を広くすることで、画素 G
1
〜G の光電変換特性を被写体の特性に合わせることができる。更に、電圧値 VLを
1 mn
最小とするときには常に画素 G 〜G を線形変換する状態(図 7中「I」参照)とし、電
11 mn
圧値 VLを最大とするときには常に画素 G 〜G を対数変換する状態(図 7中「V」参
li mn
照)とすることちでさる。
[0133] 続いて、本発明に係る撮像方法について説明する。なお、以下の説明においては 、画素 G 〜G への入射光量が前記所定入射光量 thよりも大きぐ撮像素子 2が対
11 mn
数変換モードで動作することとして説明する。
[0134] まず、撮像素子 2が各画素 G 〜G への入射光を光電変換し、対数変換由来の電
ll mn
気信号をアナログ信号として出力する (光電変換工程)。具体的には、上述のように 各画素 G 〜G が信号読出ライン Lに電気信号を出力すると、この電気信号を定電
11 mn D
流源 Dが増幅し、選択回路 Sが順にサンプルホールドする。そして、サンプルホール ドされた電気信号が選択回路 Sから補正回路 23に送出されると、補正回路 23がノィ ズを除去して電気信号を出力する。
[0135] 次に、撮像素子 2から出力されたアナログ信号をアンプ 12が増幅した後、 ADコン バータ 13がデジタル信号に変換する (AD変換工程)。
[0136] 次に、黒基準設定部 14がデジタル信号の最低レベルを設定した後、信号処理部 3 が信号処理を行う (信号処理工程)。具体的には、まず、図 3 (a)に矢印 Zで示すよう に、線形化部 30が、電気信号を線形変換由来の状態に変換する (線形化工程)。そ して、図 3 (a)に矢印 Wで示すように、圧縮部 31が、電気信号の前記高域成分として 、 ADコンバータ 13のビット幅以上の成分、つまり上位 12ビット幅の成分をビットシフト により 1Z28倍して 4ビット幅に圧縮する (圧縮工程)。
[0137] これにより、圧縮を行わない従来の場合と比較して、後述の処理におけるビット幅が 少なくなる。また、ビットシフトとは異なる手法で高域成分を圧縮する場合と比較して、 圧縮が容易化されるとともに、圧縮部 31が小型化される。また、例えば電気信号のう ち、前記所定入射光量 thに対応する信号値以上の成分に圧縮を行う場合と異なり、 圧縮されて 、な 、成分と、圧縮されて!、る成分との境界点が一定となる。 [0138] 次に、図 6に示すように、圧縮部 31で圧縮された前記高域成分を評価値算出部 5 の伸長部 50がビットシフトにより 28倍して 4ビット幅から 12ビット幅に伸長した後(伸長 工程)、伸長された高域成分と、前記低域成分、つまり下位 12ビット幅の電気信号と は、結合されて全 24ビット幅の電気信号となる。これにより、電気信号と入射光との線 形係数が入射光量の全変域で一定となる。
[0139] 次に、結合後の 24ビット幅の電気信号に基づいて演算処理部 51の AWB評価値 算出回路 52、圧縮部 53及び AE評価値算出回路 54が前記 AWB評価値, AE評価 値を算出する (演算処理工程)。
[0140] 次に、算出された AE評価値に基づいて制御装置 46が露光制御処理部 47を制御 し、撮像素子 2に対する露光量を調節させる(露光制御処理工程)。
[0141] また、 AWB評価値や、前記黒基準設定部 14で設定された前記最低レベル等に基 づ ヽて制御装置 46が AWB処理部 40を制御し、信号処理部 3から出力される画像デ ータに対してホワイトバランス処理を行わせる(ホワイトバランス処理工程)。
[0142] そして、 AWB処理部 40から出力される画像データに基づいて色補間部 41、色補 正部 42、階調変換部 43及び色空間変換部 44がそれぞれ画像処理を行った後、画 像データを出力する。
[0143] 以上の撮像方法によれば、線形ィ匕工程により、対数変換由来の電気信号を線形変 換由来の状態に変換することができる。また、圧縮工程により、圧縮工程後の画像処 理などにおけるビット幅を少なくすることができる。従って、対数変換由来の電気信号 を線形変換由来の状態に変換するとともに、撮像装置 1の大型化を防止することがで きる。
[0144] また、圧縮されて 、な 、成分と、圧縮されて!、る成分との境界点を一定にすることが できるため、圧縮後の電気信号に対する伸長工程や演算処理工程などの処理を容 易ィ匕することができる。
[0145] また、伸長工程によって電気信号と入射光との線形係数を入射光量の全変域で一 定とすることができるため、線形係数が変化する場合と異なり、伸長後の全電気信号 に対して同一の処理を行うことができる。従って、伸長後の演算処理工程における処 理を容易化するとともに、演算処理部 51を小型化することができる。 [0146] なお、上記実施の形態においては、 ADコンバータ 13、線形化部 30及び圧縮部 3 1がこの順に配設されていることとして説明した力 他の順序に配設されることとしても 良い。例えば、圧縮部 31、線形ィ匕部 30及び ADコンバータ 13がこの順に配設される 場合には、上述の圧縮工程、線形ィ匕工程及び AD変換工程がこの順に行われること となる。
[0147] また、信号処理部 3の圧縮部 31によって圧縮される所定域成分を ADコンバータ 1 3のビット幅以上の成分、即ち上位 12ビット幅の高域成分として説明したが、図 3 (b) に示すように、前記所定入射光量 thに対応する信号値以上の高域成分としても良 ヽ 。また、この所定域成分を、所定の低域成分や中域成分としても良い。
[0148] また、信号処理部 3の圧縮部 31で前記高域成分の圧縮された電気信号を評価値 算出部 5の伸長部 50で伸長して力も AWB評価値及び AE評価値の算出処理に用 いることとして説明したが、図 8に示すように、他の処理に用いた後、再び高域成分を 圧縮して出力することとしても良い。
[0149] また、画素 G 〜G は図 4のような構成を有することとして説明したが、線形変換モ
11 mn
ードと対数変換モードとを切り換え可能であれば、例えば上述の特許文献 1に示され るような構成を有することとしても良 、。
[0150] 更に、各画素 G 〜G に RGBフィルタを設けることとして説明した力 シアン(Cyan
11 mn
)、マゼンタ(Magenta)及びイェロー (Yellow)などの他の色フィルタを設けることとして も良い。
[実施の形態の変形例]
次に、上記実施の形態の変形例について説明する。なお、上記実施の形態と同様 の構成要素には同一の符号を付し、その説明を省略する。
[0151] 本変形例における信号処理部 3は、線形ィ匕部 30及び圧縮部 31の代わりに、図 9に 示すルックアップテーブルを備えて 、る。
[0152] このルックアップテーブルは、アンプ 12、 ADコンバータ 13及び黒基準設定部 14を 介して撮像素子 2から入力される電気信号のうち、線形変換由来の電気信号に対し ては入力される電気信号を線形変換して出力するようになっている(図中原点力も点 a参照)。また、このルックアップテーブルは、対数変換由来の電気信号に対しては入 力される電気信号を指数変換し (図中点 aから点 c参照)、更に、指数変換後に ADコ ンバータ 13のビット幅以上となる成分を 1Z28倍に圧縮するようになっている(図中点 bから点 d参照)。
この場合には、ルックアップテーブルによって前記線形ィ匕工程及び圧縮工程を行う ことができるため、線形ィ匕部 30及び圧縮部 31としてそれぞれ演算回路を備える等の 場合と比較して、信号処理部 3を小型化することができる。

Claims

請求の範囲
[1] 光量に基づ!ヽて入射光を複数の特性で電気信号に変換する複数の画素を有する 撮像素子と、
電気信号に信号処理を行う信号処理部とを備え、
この信号処理部は、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 する線形化部と、
前記撮像素子から出力される電気信号のうち、所定の信号値域に対応する所定域 成分を圧縮する圧縮部とを有することを特徴とする撮像装置。
[2] 請求の範囲第 1項記載の撮像装置において、
前記複数の特性は、線形特性であることを特徴とする撮像装置。
[3] 請求の範囲第 1項記載の撮像装置において、
前記複数の特性は、対数特性であることを特徴とする撮像装置。
[4] 請求の範囲第 1項記載の撮像装置において、
前記複数の特性は、線形特性及び対数特性であることを特徴とする撮像装置。
[5] 請求の範囲第 1〜第 4項の何れか一項に記載の撮像装置において、
前記圧縮部は、前記撮像素子から出力される電気信号のうち、所定信号値以上の 高域成分を圧縮することを特徴とする撮像装置。
[6] 請求の範囲第 5項記載の撮像装置において、
前記撮像素子から出力されるアナログ信号をデジタル信号に変換する ADコンパ一 タを備え、
前記所定信号値は、前記 ADコンバータの最大出力値であることを特徴とする撮像 装置。
[7] 請求の範囲第 1項〜第 6項の何れか一項に記載の撮像装置において、
前記撮像素子は、
入射光量に基づいて、入射光を電気信号に線形変換する線形変換モードと、対数 変換する対数変換モードとを切り換え、
前記線形化部は、対数変換によって生成された電気信号を、線形変換によって生 成された状態に変換することを特徴とする撮像装置。
[8] 請求の範囲第 1項〜第 7項の何れか一項に記載の撮像装置において、
前記圧縮部は、前記所定域成分を 1Z2N(Nは 1以上の整数)倍に圧縮することを 特徴とする撮像装置。
[9] 請求の範囲第 1項〜第 8項の何れか一項に記載の撮像装置において、
前記圧縮部は、
圧縮後の前記所定域成分を 2N(Nは 1以上の整数)倍に伸長した場合に、伸長後 の電気信号と入射光との線形係数が入射光量の全変域で一定となるように、前記所 定域成分を圧縮することを特徴とする撮像装置。
[10] 請求の範囲第 1項〜第 9項の何れか一項に記載の撮像装置において、
前記圧縮部は、ビットシフトによって前記所定域成分を圧縮することを特徴とする撮 像装置。
[11] 請求の範囲第 1項〜第 9項の何れか一項に記載の撮像装置において、
前記信号処理部は、前記線形化部及び前記圧縮部として、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 するとともに、変換後の前記所定域成分を圧縮するルックアップテーブルを備えるこ とを特徴とする撮像装置。
[12] 請求の範囲第 1項〜第 11項の何れか一項に記載の撮像装置において、
前記信号処理部から出力される電気信号に基づいて演算処理を行う演算処理部 を備え、
前記信号処理部と前記演算処理部との間には、前記圧縮部によって圧縮された前 記所定域成分を伸長して圧縮前の状態に変換する伸長部が介在することを特徴と する撮像装置。
[13] 請求の範囲第 12項記載の撮像装置において、
前記伸長部は、前記圧縮部によって圧縮された前記所定域成分をビットシフトによ つて 2N (Nは 1以上の整数)倍に伸長することを特徴とする撮像装置。
[14] 請求の範囲第 12項または第 13項記載の撮像装置において、
前記演算処理部の演算結果に基づいて、前記撮像素子に対する露光量を調節す る露光制御処理部を備えることを特徴とする撮像装置。
[15] 請求の範囲第 12項〜第 14項の何れか一項に記載の撮像装置において、
前記演算処理部の演算結果に基づ!/、て、撮影画像のホワイトバランス処理を行うホ ワイトバランス処理部を備えることを特徴とする撮像装置。
[16] 光量に基づ!/ヽて入射光を複数の特性で電気信号に変換する複数の画素を有する 撮像素子によって各画素に対する入射光を電気信号に光電変換する光電変換工程 と、
電気信号に信号処理を行う信号処理工程とを備え、
この信号処理工程は、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 する線形化工程と、
前記撮像素子から出力される電気信号のうち、所定の信号値域に対応する所定域 成分を圧縮する圧縮工程とを備えることを特徴とする撮像方法。
[17] 請求の範囲第 16項記載の撮像方法において、
前記複数の特性は、線形特性であることを特徴とする撮像方法。
[18] 請求の範囲第 16項記載の撮像方法において、
前記複数の特性は、対数特性であることを特徴とする撮像方法。
[19] 請求の範囲第 16項記載の撮像方法において、
前記複数の特性は、線形特性及び対数特性であることを特徴とする撮像方法。
[20] 請求の範囲第 16項〜第 19項の何れか一項に記載の撮像方法において、
前記圧縮工程では、前記撮像素子から出力される電気信号のうち、所定信号値以 上の高域成分を圧縮することを特徴とする撮像方法。
[21] 請求の範囲第 20項記載の撮像方法にぉ 、て、
ADコンバータを用いて、前記撮像素子から出力されるアナログ信号をデジタル信 号に変換する AD変換工程を備え、
前記圧縮工程では、前記所定信号値として前記 ADコンバータの最大出力値を用 V、ることを特徴とする撮像方法。
[22] 請求の範囲第 16項〜第 21項の何れか一項に記載の撮像方法において、 前記撮像素子として、
入射光量に基づいて、入射光を電気信号に線形変換する線形変換モードと、対数 変換する対数変換モードとを切り換えるものを用い、
前記線形化工程では、対数変換によって生成された電気信号を、線形変換によつ て生成された状態に変換することを特徴とする撮像方法。
[23] 請求の範囲第 16項〜第 22項の何れか一項に記載の撮像方法において、
前記圧縮工程では、前記所定域成分を 1Z2N (Nは 1以上の整数)倍に圧縮するこ とを特徴とする撮像方法。
[24] 請求の範囲第 16項〜第 23項の何れか一項に記載の撮像方法において、
前記圧縮工程では、
圧縮後の前記所定域成分を 2N(Nは 1以上の整数)倍に伸長した場合に、伸長後 の電気信号と入射光との線形係数が入射光量の全変域で一定となるように、前記所 定域成分を圧縮することを特徴とする撮像方法。
[25] 請求の範囲第 16項〜第 24項の何れか一項に記載の撮像方法において、
前記圧縮工程では、ビットシフトによって前記所定域成分を圧縮することを特徴とす る撮像方法。
[26] 請求の範囲第 16項〜第 24項の何れか一項に記載の撮像方法において、
前記信号処理工程では、
前記撮像素子から出力される電気信号を、入射光から線形変換された状態に変換 するとともに、変換後の前記所定域成分を圧縮するルックアップテーブルを用いて、 前記線形化工程及び前記圧縮工程を行うことを特徴とする撮像方法。
[27] 請求の範囲第 16項〜第 26項の何れか一項に記載の撮像方法において、
前記信号処理工程で信号処理された電気信号に基づいて演算処理を行う演算処 理工程を備え、
前記信号処理工程と前記演算処理工程との間では、前記圧縮工程で圧縮された 前記所定域成分を伸長して圧縮前の状態に変換する伸長工程を行うことを特徴とす る撮像方法。
[28] 請求の範囲第 27項記載の撮像方法にぉ 、て、 前記伸長工程では、前記圧縮工程で圧縮された前記所定域成分をビットシフトによ つて 2N (Nは 1以上の整数)倍に伸長することを特徴とする撮像方法。
[29] 請求の範囲第 27項または第 28項記載の撮像方法にぉ 、て、
前記演算処理工程の演算結果に基づいて、前記撮像素子に対する露光量を調節 する露光制御処理工程を備えることを特徴とする撮像方法。
[30] 請求の範囲第 27項〜第 29項の何れか一項に記載の撮像方法にぉ 、て、
前記演算処理工程の演算結果に基づ!/、て、撮影画像のホワイトバランス処理を行 うホワイトバランス処理工程を備えることを特徴とする撮像方法。
PCT/JP2005/021347 2004-12-20 2005-11-21 撮像装置及び撮像方法 Ceased WO2006067926A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006548731A JP4661788B2 (ja) 2004-12-20 2005-11-21 撮像装置及び撮像方法
US11/721,659 US7791647B2 (en) 2004-12-20 2005-11-21 Image capturing apparatus which converts incident light to first electric signals according to a plurality of photoelectronic conversion characteristics and image capturing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004367725 2004-12-20
JP2004-367725 2004-12-20

Publications (1)

Publication Number Publication Date
WO2006067926A1 true WO2006067926A1 (ja) 2006-06-29

Family

ID=36601531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/021347 Ceased WO2006067926A1 (ja) 2004-12-20 2005-11-21 撮像装置及び撮像方法

Country Status (3)

Country Link
US (1) US7791647B2 (ja)
JP (1) JP4661788B2 (ja)
WO (1) WO2006067926A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074813A (ja) * 2008-08-20 2010-04-02 Ricoh Co Ltd 撮像装置および撮像方法
US8059141B2 (en) 2006-10-26 2011-11-15 Renesas Electronics Corporation Display brightness control circuit
JP2012134779A (ja) * 2010-12-22 2012-07-12 Hitachi Consumer Electronics Co Ltd 画像信号処理装置
JP2013223152A (ja) * 2012-04-18 2013-10-28 Clarion Co Ltd 撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172356A (ja) * 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd A/d変換装置および撮像装置
JP2001086402A (ja) * 1999-09-09 2001-03-30 Nec Corp 高ダイナミックレンジ画像処理装置および方法
JP2004088312A (ja) * 2002-08-26 2004-03-18 Minolta Co Ltd 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03224372A (ja) * 1989-12-22 1991-10-03 Olympus Optical Co Ltd 電子カメラ
JPH07184083A (ja) * 1993-12-22 1995-07-21 Canon Inc 画像処理装置及び撮像装置
JPH10294949A (ja) * 1997-02-19 1998-11-04 Sony Corp カラー方式固体撮像装置
JPH11266401A (ja) * 1998-03-16 1999-09-28 Nec Corp 固体撮像素子
JP2001054017A (ja) * 1999-08-09 2001-02-23 Minolta Co Ltd 固体撮像装置及び固体撮像装置の信号処理方法
JP4374745B2 (ja) * 2000-07-19 2009-12-02 コニカミノルタホールディングス株式会社 固体撮像装置
JP3493405B2 (ja) 2000-08-31 2004-02-03 ミノルタ株式会社 固体撮像装置
JP2004032398A (ja) * 2002-06-26 2004-01-29 Minolta Co Ltd 撮像装置
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172356A (ja) * 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd A/d変換装置および撮像装置
JP2001086402A (ja) * 1999-09-09 2001-03-30 Nec Corp 高ダイナミックレンジ画像処理装置および方法
JP2004088312A (ja) * 2002-08-26 2004-03-18 Minolta Co Ltd 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059141B2 (en) 2006-10-26 2011-11-15 Renesas Electronics Corporation Display brightness control circuit
JP2010074813A (ja) * 2008-08-20 2010-04-02 Ricoh Co Ltd 撮像装置および撮像方法
JP2012134779A (ja) * 2010-12-22 2012-07-12 Hitachi Consumer Electronics Co Ltd 画像信号処理装置
JP2013223152A (ja) * 2012-04-18 2013-10-28 Clarion Co Ltd 撮像装置

Also Published As

Publication number Publication date
US7791647B2 (en) 2010-09-07
JPWO2006067926A1 (ja) 2008-06-12
JP4661788B2 (ja) 2011-03-30
US20080218617A1 (en) 2008-09-11

Similar Documents

Publication Publication Date Title
CN101322416B (zh) 图像信号处理装置及图像信号处理方法
JP4374745B2 (ja) 固体撮像装置
JP4003399B2 (ja) 画像処理装置および方法、並びに記録媒体
US8723958B2 (en) Image pickup apparatus and image pickup element
US20080122953A1 (en) Image processing device, image processing method, and image sensing apparatus
CN101361374A (zh) 提供用于数字成像系统的自动色彩平衡的方法及设备
JP4374484B2 (ja) ディジタル・カメラにおける画質向上のための方法
JP2012075071A (ja) 信号処理装置、画像処理装置、並びに撮影装置
JP4661788B2 (ja) 撮像装置及び撮像方法
JPWO2010010871A1 (ja) 撮像装置
JP2010098616A (ja) 画像処理回路
JP4479429B2 (ja) 撮像装置
JP2008028623A (ja) 撮像装置
JP2005086630A (ja) 撮像装置
JP2007324998A (ja) 撮像装置
JP2004007160A (ja) シェーディング補正装置
JP4720130B2 (ja) 撮像装置
JP4853734B2 (ja) 撮像装置
JP4123210B2 (ja) 撮像装置
JP2006237998A (ja) 撮像装置
JP2007208884A (ja) デジタルカメラ
JPWO2006085464A1 (ja) 撮像装置
JP2006345301A (ja) 撮像装置
JP2006180065A (ja) 撮像装置及び撮像方法
KR20060113811A (ko) 카메라 시스템

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006548731

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11721659

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05809158

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5809158

Country of ref document: EP