WO2020202885A1 - 撮像装置、および、画像調整方法 - Google Patents

撮像装置、および、画像調整方法 Download PDF

Info

Publication number
WO2020202885A1
WO2020202885A1 PCT/JP2020/007009 JP2020007009W WO2020202885A1 WO 2020202885 A1 WO2020202885 A1 WO 2020202885A1 JP 2020007009 W JP2020007009 W JP 2020007009W WO 2020202885 A1 WO2020202885 A1 WO 2020202885A1
Authority
WO
WIPO (PCT)
Prior art keywords
brightness
gain
value
adjusting unit
adjustment
Prior art date
Application number
PCT/JP2020/007009
Other languages
English (en)
French (fr)
Inventor
敏信 秦野
哲哉 牧田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202080026460.5A priority Critical patent/CN113728619B/zh
Publication of WO2020202885A1 publication Critical patent/WO2020202885A1/ja
Priority to US17/491,286 priority patent/US11758283B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the present disclosure relates to an image pickup apparatus and an image adjustment method.
  • the in-vehicle camera which is a typical image information input device, be compact and can be installed in a free arrangement with an emphasis on vehicle design.
  • the vehicle ECU Electronic Control Unit
  • the image information of the in-vehicle camera It has become possible to visually recognize and detect the situation outside the vehicle not only behind the vehicle but also around the entire circumference of the vehicle.
  • Such an in-vehicle camera outputs a highly visible image day and night, for example, the visibility of an obstacle subject on the road surface at night is higher than that of human vision, and the spot height of a headlight or the like is increased. It is desired to ensure the visibility of a bright subject so that the driver can visually confirm the safety by visually recognizing the image.
  • an amplification means for expanding the dynamic range of the input image signal and an image signal with the expanded dynamic range can be used.
  • the RGB ⁇ correction means for performing RGB ⁇ correction on the RGB signal and outputting as a signal bit-extended from the output bit length, and the RGB signal bit-extended by the RGB ⁇ correction means.
  • a technique including a conversion means for calculating a luminance signal and a color difference signal and a non-linear correction means for performing non-linear correction so that the calculated output level of the luminance signal falls within the output bit length is disclosed (for example, Patent Document 2). ..
  • Patent Documents 1 and 2 it is not considered to improve the visibility at night in real time more than the human vision by effectively utilizing the gamma characteristic for the moving image output of the imaging device.
  • the imaging apparatus of the present disclosure has a first brightness adjusting unit that adjusts the brightness when imaging a subject, and an image pickup with the brightness adjusted by the first brightness adjusting unit.
  • a second brightness adjusting unit that adjusts the brightness of the analog image signal of the subject, and an A / D that A / D-converts the analog image signal of the brightness adjusted by the second brightness adjusting unit.
  • the third brightness adjustment unit that adjusts the brightness of the A / D converted digital image signal, and the digital image signal whose brightness is adjusted by the third brightness adjustment unit. It includes a gain-up adjustment unit that increases the gain of the low-lightness unit by real-time change adjustment using gamma characteristics.
  • the first brightness adjusting unit is an exposure time adjusting unit that adjusts the exposure time
  • the second brightness adjusting unit adjusts the output amplitude of the analog image signal
  • the third brightness adjusting unit is a digital gain adjusting unit that adjusts the output amplitude of the digital image signal.
  • the gain-up adjusting unit has an intermediate characteristic obtained by mixing two or more gamma characteristics in a low illuminance state such that the digital gain of the digital image signal is close to the maximum value. The gain of the low-light portion is increased.
  • the gain-up adjusting unit is the result of two or more gamma characteristics when the low-light portion is gained up by the intermediate characteristics obtained by the mixed processing of the two or more gamma characteristics.
  • the value of ⁇ is adjusted so that the relationship between two or more gain coefficients is ⁇ and 1- ⁇ ( ⁇ : 0 to 1) with respect to the configuration in which the gains are multiplied and then added.
  • the imaging apparatus of the present disclosure when adjusting the value of ⁇ with the relationship between the two or more gain coefficients being ⁇ and 1- ⁇ ( ⁇ : 0 to 1), the brightness level obtained by the photometric detection process is used.
  • the value of ⁇ is automatically adjusted in real time by correlating the value.
  • the imaging apparatus of the present disclosure has a gain coefficient with respect to the target luminance level value when the value of ⁇ is automatically adjusted in real time by correlating the luminance level value obtained by the photometric detection process.
  • the first brightness adjusting unit, the second brightness adjusting unit, and the third brightness adjusting unit adjust the brightness
  • the brightness of the subject is adjusted.
  • the value of the digital gain adjustment unit is adjusted to a value lowered from the maximum value to an arbitrary value.
  • the setting of the two or more gamma characteristics can be arbitrarily set.
  • the image adjustment method of the present disclosure includes a first brightness adjustment step of adjusting the brightness when imaging a subject, and the subject imaged with the brightness adjusted by the first brightness adjustment step.
  • the imaging device 1 includes a pre-processing unit 10 and a post-processing unit 20.
  • the preprocessing unit 10 includes an image sensor exposure time adjustment unit 11, an analog gain adjustment unit 12, an A / D conversion processing unit 13, a digital gain adjustment unit 14, and a WDR (Wide Dynamic Range) imaging input data synthesis processing unit 15.
  • WDR Wide Dynamic Range
  • the signal processing function of the image pickup device 1 is a digital camera that converts an analog image signal of an optical image of a subject captured via an image sensor into a digital image signal and outputs a luminance signal and a color signal.
  • the image sensor (not shown) provided in the image pickup apparatus 1 is an image sensor typified by a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal Oxide Semiconductor) type.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the analog image signal of the optical image of the subject formed on the light receiving surface of the image sensor is converted into a signal charge of an amount corresponding to the amount of incident light by each photodiode (pixel) two-dimensionally arranged in the image sensor.
  • the image sensor exposure time adjustment unit 11 provided in the image sensor has an exposure time adjustment (electronic shutter) function (first) that adjusts the charge accumulation time (shutter speed) of each photodiode (pixel) by controlling the timing of the shutter gate pulse. It has a brightness adjustment function).
  • the operation of the image sensor (exposure time, readout, etc.) is controlled by the CPU (not shown).
  • An analog image signal is output from the image sensor to the analog gain adjusting unit 12.
  • the analog gain adjusting unit 12 has a function (second brightness adjusting function) of adjusting the brightness by adjusting the gain of the output amplitude of the input analog image signal.
  • the analog image signal after adjusting the brightness is output to the A / D conversion processing unit 13.
  • the A / D conversion processing unit 13 converts the input analog image signal into a digital image signal by A / D conversion.
  • the converted digital image signal is output to the digital gain adjusting unit 14.
  • the digital gain adjusting unit 14 has a function of adjusting the brightness by adjusting the output amplitude of the input digital image signal (third brightness adjusting function).
  • the first brightness adjustment function by the image sensor exposure time adjustment unit 11 the second brightness adjustment function by the analog gain adjustment unit 12, and the third brightness adjustment function by the digital gain adjustment unit 14
  • the first brightness adjustment function by the image sensor exposure time adjustment unit 11 the second brightness adjustment function by the analog gain adjustment unit 12
  • the third brightness adjustment function by the digital gain adjustment unit 14 By adjusting the brightness of the image signal in combination with, it is possible to respond to changes in illuminance in the imaging environment of the subject.
  • the exposure time is shortened by adjusting the exposure time by the image sensor exposure time adjusting unit 11
  • the analog gain is reduced by the analog gain adjusting unit 12, and the digital gain adjusting unit is used. 14 reduces the digital gain. In this way, when the illuminance of the imaging environment of the subject is bright, the image data having the brightness of the desired digital data value can be output to the post-processing unit 20.
  • the preprocessing unit 10 increases the exposure time by adjusting the exposure time by the image sensor exposure time adjusting unit 11, and increases the analog gain by the analog gain adjusting unit 12, and digital gain.
  • the digital gain is increased by the adjusting unit 14. In this way, when the illuminance of the imaging environment of the subject is bright, the image data having the brightness of the desired digital data value can be output to the post-processing unit 20.
  • the level-adjusted image signal (image data) is input to the WDR imaging input data synthesis processing unit 15.
  • Conventional image sensors are mainly those that output an image signal captured by one exposure time for each frame, but in recent years, sensors that support wide dynamic range (WDR) and high dynamic range (HDR). Is becoming mainstream.
  • WDR wide dynamic range
  • HDR high dynamic range
  • a feature of the readout control by these sensors is that two types of image signals having different brightness can be output in parallel by performing imaging with two types of exposure times for each frame.
  • the WDR image pickup input data synthesis processing unit 15 synthesizes image signals having different brightness output in parallel at the same time to generate one system of composite image signals, and the combined composite image signal (composite image data) is a post-processing unit (composite image data). Output to color image processing unit) 20.
  • the post-processing unit 20 includes a brightness signal adjustment processing unit (gain-up adjustment unit) 21, a color signal adjustment processing unit 22, and a photometric brightness level detection processing unit (not shown).
  • the adjustment by the post-processing unit 20 is controlled by the CPU.
  • the luminance signal adjustment processing unit 21 mainly performs simultaneous processing (processing for calculating the color of each point by interpolating the spatial deviation of the color signal due to the color filter arrangement), gamma correction processing, luminance signal generation processing, and contour. Perform various processes such as emphasis processing and offset level adjustment processing. Further, the luminance signal adjustment processing unit 21 includes a gamma characteristic (non-linear characteristic) input / output adjustment unit 21a.
  • the color signal adjustment processing unit 22 mainly performs simultaneous processing (processing for calculating the color of each point by interpolating the spatial deviation of the color signal due to the color filter arrangement), white balance (WB) adjustment processing, and color gamma. Perform various processes such as correction process and color signal adjustment process.
  • simultaneous processing processing for calculating the color of each point by interpolating the spatial deviation of the color signal due to the color filter arrangement
  • WB white balance
  • color gamma perform various processes such as correction process and color signal adjustment process.
  • the photometric luminance level detection unit performs photometric luminance detection processing for detecting the luminance level of the composite image signal input to the post-processing unit 20.
  • the photometric detection process by the photometric brightness level detection unit may be performed in the preceding stage of the luminance signal adjustment processing unit 21 or as a process in the luminance signal adjustment processing unit 21.
  • Image adjustment of the composite image data in the post-processing unit 20 is performed by the gamma characteristic input / output adjustment unit 21a in the luminance signal adjustment processing unit 21.
  • non-linear characteristic curves are provided as the non-linear specific curves for gamma correction, and simultaneous parallel processing is possible.
  • the second nonlinear characteristic curve with respect to the first nonlinear characteristic curve in the two types of nonlinear characteristic curves lifts the small level image signal in the input image data more relative to the first nonlinear characteristic curve.
  • the relationship between the two gain coefficients is ⁇ by taking the configuration of multiplying the two nonlinear characteristic results by their respective gains and then adding them.
  • 1- ⁇ ( ⁇ : 0 to 1) to adjust the value of ⁇ .
  • the characteristic of the adjustment is that the two gain coefficients ⁇ and 1- ⁇ are set to be 1 by adding the coefficients.
  • the gamma characteristic of the image data captured in the daytime is the gamma characteristic [1] or the gamma characteristic [1]'.
  • the nighttime gamma characteristic in which the gain of the low illuminance portion is increased to improve the nighttime visibility is the non-linear characteristic of the gamma characteristic [2].
  • the X-axis of this graph indicates the input signal data level, and the Y-axis indicates the output signal data level.
  • the composite image data output as a single system of composite data by synthesizing two types of image data with different brightness from the WDR imaging input data synthesis processing unit 15 is the gamma characteristic input / output adjustment unit 21a of the brightness signal adjustment processing unit 21. Is entered in.
  • the range of the input signal of the composite image data input to the gamma characteristic input / output adjustment unit 21a is adjusted and input so that the maximum value matches the maximum value of the input signal data range shown in FIG.
  • the input data range is roughly divided into three, a low illuminance part (WDR image data L (Low)) and an intermediate illuminance part (WDR image data M (Middle)).
  • WDR imaging data H High
  • the changes in the non-linear characteristic graph are characterized.
  • the second nonlinear characteristic curve relatively lifts the small-level image signal in the image data with respect to the first nonlinear characteristic curve, and the large-level image signal in the image data is obtained. It has a non-linear characteristic that draws an arc with more restraint.
  • non-linear characteristics shown in [1] and the non-linear characteristics shown in [2] are set as two gain coefficients, ⁇ and 1- ⁇ (added to 1), and each non-linear characteristic output is set. By multiplying and adding, it can be output as an intermediate characteristic between the non-linear characteristic of [1] and the non-linear characteristic of [2].
  • the daytime gamma characteristic as [1]' it can be output as an intermediate characteristic between the non-linear characteristic of [1]' and the non-linear characteristic of [2].
  • the coefficient ⁇ can be gradually increased from 0 to smoothly change the image as a change.
  • FIG. 4 is a diagram for explaining the cooperative operation of the brightness adjustment function with respect to the environmental illuminance according to the embodiment of the present disclosure.
  • the operation of the automatic brightness adjustment function of the imaging device 1 in response to changes in the environmental illuminance is such that the exposure time adjustment function, the analog gain adjustment function, and the digital gain adjustment function of the image sensor are linked.
  • the environmental illuminance becomes brighter (daytime) toward the left, and the environmental illuminance becomes darker (nighttime) toward the right.
  • the exposure time adjustment of the image sensor operates so that the output level of the exposure time of the image sensor converges to a desired value.
  • the analog gain adjustment value is the minimum value
  • the digital gain adjustment value is also the minimum value (first state).
  • the output level of the exposure time of the image sensor becomes 1/30 second (30 fps operation), which is the maximum value.
  • the analog gain adjustment value gradually increases from the minimum value, and the level of the image signal input to the A / D conversion processing unit 13 operates so as to converge to a desired value (second state).
  • the exposure time of the image sensor becomes 1/30 second (30 fps operation), which is the maximum value, and the analog gain adjustment value also becomes the maximum value. Subsequently, the digital gain adjustment value gradually increases from the minimum value, and the image signal after A / D conversion by the A / D conversion processing unit 13 operates so as to converge to a desired value (third state).
  • the exposure time of the image sensor becomes 1/30 second (30 fps operation), which is the maximum value
  • the analog gain adjustment value becomes the maximum value
  • the digital gain adjustment value also becomes the maximum value. Therefore, the image signal after A / D conversion does not converge to a desired value. Then, as it gets darker, the signal data approaches the black level value (fourth state).
  • the brightness is adjusted by the cooperative operation according to the first to fourth states.
  • the level of the image signal gradually increases from the black level, and the image signal after A / D conversion approaches a desired value (fifth state). ).
  • the digital gain adjustment value is adjusted so as to gradually decrease from the MAX value, and the image signal after A / D conversion operates so as to converge to a desired value (the fifth state). State of 6).
  • the digital gain adjustment value becomes the MIN value, and then the analog gain adjustment value gradually decreases from the maximum value, and the image signal input to the A / D conversion processing unit 13 Operates so that the level of is converged to the desired value (seventh state).
  • the digital gain adjustment value and the analog gain adjustment value become MIN values, and then gradually decrease from 1/30 second (30 fps operation) of the maximum exposure time of the image sensor. Therefore, the output level of the exposure time of the image sensor operates so as to converge to a desired value (eighth state).
  • the output level of the exposure time of the image sensor becomes the MIN value, and when it becomes brighter, the output level of the image sensor exposure time approaches the saturation level. Then, it becomes impossible to converge to the desired value, and the white level value is approached.
  • the image signals before and after the A / D conversion also approach the saturation value (9th state).
  • the gamma characteristic (non-linear characteristic) of the present disclosure is used. Is one type of characteristic, and a typical characteristic is the gamma characteristic of [1] shown in FIG.
  • the operation of the automatic brightness adjustment function when the environmental illuminance gradually changes from a bright state to a dark state is the same as the operation shown in the first to third states.
  • the output level of the exposure time of the image sensor becomes 1/30 second (30 fps operation) of the maximum value, and then the analog gain adjustment value becomes the maximum value, and then Therefore, the digital gain adjustment value becomes the maximum value. Therefore, the image signal after A / D conversion cannot converge to a desired value. Therefore, as it gets darker, the operation of raising the low illuminance side of the input signal data range in the image signal is performed by a mixing process using two gamma characteristics (non-linear characteristics) as an adjustment to improve visibility at night.
  • the value of ⁇ is adjusted assuming that the relationship between the two gain coefficients used is ⁇ and 1- ⁇ ( ⁇ : 0 to 1), whereas in the adjustment method of the present disclosure, the photometric luminance level detection processing unit The value of ⁇ is automatically adjusted by correlating the value of the brightness level data obtained by the photometric detection process.
  • ⁇ 1 is associated with the value of A, the detected data value of the brightness level that gradually decreases as it gets darker is correlated.
  • ⁇ can be automatically changed to a MIN value of 1 to 0 as a decreasing characteristic in which ⁇ decreases from 1 to 0 (MIN value) with respect to an increase in the detected data value of the luminance level.
  • the gain coefficient ⁇ 1 with respect to the target brightness level value.
  • the detected data value of the brightness level gradually rises from the black level value as the state gradually shifts from the darkest state to the bright state.
  • the operation of raising the low illuminance side of the input signal data range is performed by a mixing process using two gamma characteristics (non-linear characteristics), which is an adjustment for improving visibility at night. ..
  • the relationship between the two gain coefficients used is ⁇ and 1- ⁇ ( ⁇ : 0 to 1), and again correlates with the value of the brightness level data obtained by the photometric detection process of the photometric brightness level detection processing unit.
  • the value of ⁇ is automatically adjusted with the property.
  • the detection data value of the brightness level obtained by the photometric detection processing of the photometric brightness level detection processing unit is automatically gain adjusted using the exposure time adjustment function, the analog gain adjustment function, and the digital gain adjustment function. It is a value obtained by the converged state.
  • the automatic adjustment cooperation operation is performed in the state transition between the sixth state to the ninth state, as in the case of a general imaging device.
  • Real-time change of input / output nonlinear characteristics using the characteristic function In order to adjust the brightness level at which adjustment starts, the gain coefficient ⁇ changes by adjusting the MAX value of the digital gain to a value lowered to an arbitrary value. You can set the brightness point to start.
  • WDR wide dynamic range
  • Combined multiple exposure data obtained from multiple gain settings and exposure settings that are being imaged Adjusts the subject data so that it falls within the input signal data range of the gamma characteristic (input / output nonlinear characteristic), and performs video signal processing.
  • Imaging device 10 Preprocessing unit 11 Image sensor exposure time adjustment unit 12 Analog gain adjustment unit 13 A / D conversion processing unit 14 Digital gain adjustment unit 15 WDR imaging input data synthesis processing unit 20 Post-processing unit 21 Brightness signal adjustment processing unit 21a Gamma characteristic input / output adjustment unit 22 color signal adjustment processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本発明の撮像装置は、被写体を撮像する際の明るさを調整する第１の明るさ調整部と、第１の明るさ調整部により調整された明るさで撮像された被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、第２の明るさ調整部により調整された明るさのアナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、第３の明るさ調整部により明るさが調整されたデジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含む。

Description

撮像装置、および、画像調整方法
　本開示は、撮像装置、および、画像調整方法に関する。
　近年、自動車業界において、自動運転を実現するためのセンシング技術開発が活況を呈している。代表的な画像情報入力装置である車載カメラは、小型で車両デザインを重視した自由な配置で取り付けできることが望まれ、運転者はもちろん車両ＥＣＵ（Electronic Control Unit）は、車載カメラの映像情報により、車両の後方はもとより、車両の全周囲にわたっての車外状況を視認・検知できるようになってきている。
　このような車載カメラにおいては、昼夜問わず視認性の高い映像を出力するもの、例えば、夜間における路面上の障害物被写体の視認性を人の視覚以上にあげてかつ、ヘッドライトなどのスポット高輝度被写体の視認性も担保して、運転者の画像視認による安全確認ができるようにするものが望まれている。
　そして、入力信号のダイナミックレンジを広げる方法として、Ａ／Ｄ変換後の信号処理のダイナミックレンジを規定設定するに際し、一回の露光データに対して、第２の高ゲインと第１の低ゲインの比をＡＤ変換器のダイナミックレンジに乗じた値を信号処理のダイナミックレンジとして規定設定する技術が開示されている（例えば、特許文献１）。
　また、入力した画像信号から所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置において、入力した画像信号のダイナミックレンジを拡張する増幅手段と、ダイナミックレンジが拡張された画像信号に基づいてＲＧＢ信号を算出する手段と、ＲＧＢ信号に対してＲＧＢγ補正を行ない、出力ビット長よりもビット拡張した信号として出力するＲＧＢγ補正手段と、ＲＧＢγ補正手段によりビット拡張されたＲＧＢ信号に基づいて輝度信号及び色差信号を算出する変換手段と、算出された輝度信号の出力レベルが出力ビット長に収まるように非線形補正を行なう非線形補正手段を備える技術が開示されている（例えば、特許文献２）。
特開２００２－３３９５６号公報 国際公開第２００７／１０８３１７号
　しかしながら、上記特許文献１、２では、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させることに関しては考えられていない。
　そこで本開示は、上記課題に鑑み、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することを目的とする。
　上記課題を解決するために本開示の撮像装置は、被写体を撮像する際の明るさを調整する第１の明るさ調整部と、前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、前記第３の明るさ調整部により明るさが調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含む。
　また、本開示の撮像装置において、前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部である。
　また、本開示の撮像装置において、前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる。
　また、本開示の撮像装置において、前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する。
　また、本開示の撮像装置は、前記２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する。
　また、本開示の撮像装置は、前記測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する際、目標輝度レベルの値に対して前記ゲイン係数α＝１となり、当該目標輝度レベルの減少に伴いαも徐々に減少し、任意設定の最小値に対して係数α＝０となるよう設定する。
　また、本開示の撮像装置は、前記第１の明るさ調整部、前記第２の明るさ調整部、前記第３の明るさ調整部が明るさの調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定する。
　また、本開示の撮像装置において、前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である。
　また、本開示の画像調整方法は、被写体を撮像する際の明るさを調整する第１の明るさ調整工程と、前記第１の明るさ調整工程により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整工程と、前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整工程と、前記第３の明るさ調整工程により明るさが調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整工程と、を含む。
　本開示によれば、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することができる。
本開示の実施形態に係る代表的な撮像装置の信号処理機能の構成を示す図である。 本開示の実施形態に係る輝度信号調整処理部の内部構成を示す図である。 本開示の実施形態に係る２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップを説明するための図である。 本開示の実施形態に係る明るさ調整機能の環境照度に対する連携動作を説明するための図である。
　以下、本開示の実施形態に係る撮像装置について説明する。 
　（撮像装置の信号処理機能の構成）
　まず、本開示の実施形態に係る代表的な撮像装置の信号処理機能の構成について、図１を用いて説明する。
　撮像装置１は、前処理部１０と、後処理部２０を備える。前処理部１０は、イメージセンサ露光時間調整部１１、アナログゲイン調整部１２、Ａ／Ｄ変換処理部１３、デジタルゲイン調整部１４、ＷＤＲ（Wide Dynamic Range）撮像入力データ合成処理部１５を含む。
　撮像装置１の信号処理機能は、イメージセンサを介して撮像された被写体の光学像のアナログ画像信号をデジタル画像信号に変換して輝度信号と色信号を出力するデジタルカメラである。
　撮像装置１に設けられるイメージセンサ（図示なし）は、ＣＣＤ（Charge Coupled Device）型又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等に代表されるイメージセンサである。
　イメージセンサの受光面に結像された被写体の光学像のアナログ画像信号は、イメージセンサ内に２次元配置された各フォトダイオード（画素）によって入射光量に応じた量の信号電荷に変換される。
　そして、図示しないドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
　イメージセンサに設けられたイメージセンサ露光時間調整部１１は、シャッターゲートパルスのタイミング制御によって各フォトダイオード（画素）の電荷蓄積時間（シャッタースピード）を調整する露光時間調整（電子シャッター）機能（第１の明るさ調整機能）を有している。イメージセンサの動作（露光時間、読み出し等）はＣＰＵ（図示なし）により制御される。イメージセンサからは、アナログ画像信号がアナログゲイン調整部１２に出力される。
　アナログゲイン調整部１２は、入力されたアナログ画像信号の出力振幅をゲイン調整することにより明るさを調整する機能（第２の明るさ調整機能）を有する。明るさの調整後のアナログ画像信号は、Ａ／Ｄ変換処理部１３に出力される。
　Ａ／Ｄ変換処理部１３は、入力されたアナログ画像信号をＡ／Ｄ変換によりデジタル画像信号に変換する。変換されたデジタル画像信号は、デジタルゲイン調整部１４に出力される。
　デジタルゲイン調整部１４は、入力されたデジタル画像信号の出力振幅を調整することにより明るさを調整する機能（第３の明るさ調整機能）を有する。
　以上により、イメージセンサ露光時間調整部１１による第１の明るさ調整機能と、アナログゲイン調整部１２による第２の明るさ調整機能と、デジタルゲイン調整部１４による第３の明るさ調整機能と、を組み合わせて画像信号の明るさを調整することにより、被写体の撮像環境における照度変化に対応することができる。
　被写体の撮像環境の照度が明るい場合、前処理部１０において、イメージセンサ露光時間調整部１１による露光時間調整により露光時間を短くし、アナログゲイン調整部１２によりアナログゲインを小さくし、デジタルゲイン調整部１４によりデジタルゲインを小さくする。このようにして、被写体の撮像環境の照度が明るい場合において、所望のデジタルデータ値の明るさをもつ画像データを後処理部２０へ出力することができる。
　一方、被写体の撮像環境の照度が暗い場合、前処理部１０において、イメージセンサ露光時間調整部１１による露光時間調整により露光時間を長くし、アナログゲイン調整部１２によりアナログゲインを大きくし、デジタルゲイン調整部１４によりデジタルゲインを大きくする。このようにして、被写体の撮像環境の照度が明るい場合において、所望のデジタルデータ値の明るさをもつ画像データを後処理部２０へ出力することができる。
　前処理部１０におけるイメージセンサ露光時間調整部１１による第１の明るさ調整機能、アナログゲイン調整部１２による第２の明るさ調整機能、デジタルゲイン調整部１４による第３の明るさ調整機能により出力レベルが調整された画像信号（画像データ）はＷＤＲ撮像入力データ合成処理部１５に入力される。
　従来のイメージセンサは、１つの露光時間により撮像された画像信号を１フレーム毎に出力するものが主流であったが、近年、ワイドダイナミックレンジ（ＷＤＲ）対応、ハイダイナミックレンジ（ＨＤＲ）対応のセンサが主流になってきている。これらのセンサによる読み出し制御の特徴としては、１フレーム毎に２種類の露光時間で撮像を行うことにより明るさの違う２種類の画像信号を並列出力できることである。
　また、アナログゲイン調整部１２とＡ／Ｄ変換処理部１３を２つ具備し、各々の調整値を２種類の異なる値に設定することにより、明るさの異なる２種類の画像信号を同時並列出力することができる。
　ＷＤＲ撮像入力データ合成処理部１５は、同時に並列出力される明るさの違う画像信号を合成して１系統の合成画像信号を生成し、合成した合成画像信号（合成画像データ）を後処理部（カラー画像処理部）２０に出力する。
　後処理部２０は、輝度信号調整処理部（ゲインアップ調整部）２１と色信号調整処理部２２と測光輝度レベル検出処理部（図示なし）で構成される。この後処理部２０による調整は、ＣＰＵにより制御される。
　輝度信号調整処理部２１は、主に同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ガンマ補正処理、輝度信号生成処理、輪郭強調処理、オフセットレベル調整処理等の各種処理を実施する。また、輝度信号調整処理部２１には、ガンマ特性（非線形特性）入出力調整部２１ａを備える。
　色信号調整処理部２２は、主に同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整処理、色ガンマ補正処理、色信号調整処理等の各種処理を実施する。
　測光輝度レベル検出部は、後処理部２０に入力された合成画像信号の輝度レベルを検出する測光検出処理を実施する。なお、測光輝度レベル検出部による測光検出処理は、輝度信号調整処理部２１の前段で実施される場合と、輝度信号調整処理部２１における処理として実施される場合がある。
　（後処理部２０における輝度信号調整処理部２１の内部構成）
　次に、後処理部２０における輝度信号調整処理部２１の内部構成を、図２を用いて説明する。
　後処理部２０における合成画像データの画像調整は、輝度信号調整処理部２１におけるガンマ特性入出力調整部２１ａで行われる。
　一般的には、入力された画像信号の入力値に対して非線形な出力特性をもたせて出力することができ、入力された画像データのうち小レベルの画像データを持ち上げてかつ大レベルの画像データを抑えて弧を描くガンマ補正の非線形特性曲線を１種類有している。
　しかしながら、本開示の実施形態では、ガンマ補正の非線形特定曲線として２種類の非線形特性曲線を有しており、同時並列処理が可能である。２種類の非線形特性曲線における第１の非線形特性曲線に対して第２の非線形特性曲線は、第１の非線形特性曲線よりも相対的に入力された画像データにおける小レベルの画像信号をより持ち上げ、かつ、画像データにおける大レベルの画像信号をより抑えて弧を描くガンマ補正の非線形特性曲線である。
　この２種類の非線形特性曲線を用いて非線形特性のリアルタイム変更調整を行うにあたり、２つの入出力非線形特性出力の混合処理により、２種類の非線形特性曲線の中間非線形特性で低照度部のゲインアップ調整を行うことができる構成をとる。
　２つの非線形特性曲線の中間非線形特性曲線を可変できるゲインアップ調整を行うにあたり、２つの非線形特性結果にそれぞれのゲインを掛けた後、加算する構成をとることにより、２つのゲイン係数の関係がαと１-α（α：０～１）としてαの値を調整する。２つのゲイン係数であるαと１-αは、係数を加算することにより１になるように設定することが調整の特徴である。
　（２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップ）
　次に、本開示の実施形態に係る２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップについて図３を用いて説明する。
　この図３において、昼間に撮像された画像データのガンマ特性がガンマ特性［１］、もしくは、ガンマ特性［１］´である。また、低照度部のゲインをアップして夜間の視認性を高くした夜間のガンマ特性がガンマ特性［２］の非線形特性である。このグラフのＸ軸は入力信号データレベルを示し、Ｙ軸が出力信号データレベルを示す。
　ＷＤＲ撮像入力データ合成処理部１５から明るさの異なる２種類の画像データを合成して１系統の合成データとして出力された合成画像データは、輝度信号調整処理部２１のガンマ特性入出力調整部２１ａに入力される。
　その際、ガンマ特性入出力調整部２１ａに入力される合成画像データの入力信号のレンジは、その最大値が図３に示す入力信号データレンジの最大値に合うように調整されて入力される。
　入力される合成画像データに非線形特性を持たせる際、例えば、入力データ範囲を大きく３つに分け、低照度部（ＷＤＲ撮像データＬ（Ｌｏｗ））、中間照度部（ＷＤＲ撮像データＭ（Ｍｉｄｄｌｅ））、高照度部（ＷＤＲ撮像データＨ（Ｈｉｇｈ））として、非線形特性グラフの変化に対して特徴づけを行う。このようにすることで、第１の非線形特性曲線に対して第２の非線形特性曲線は相対的に画像データにおける小レベルの画像信号をより持ち上げて、かつ、画像データにおける大レベルの画像信号をより抑えて弧を描く非線形特性をとる。
　また、［１］に示す非線形特性と［２］に示す非線形特性を２つのゲイン係数となるαと、１－α（加算して１となる）と、を設定し、それぞれの非線形特性出力に乗算して加算することにより［１］の非線形特性と［２］の非線形特性の中間特性として出力することができる。
　また、昼間のガンマ特性を［１］´として調整することにより、［１］´の非線形特性と［２］の非線形特性の中間特性として出力することができる。
　そして、２つの非線形特性の中間特性を生成する際、係数αを０から少しずつ増加させることにより、画像の変化として滑らかに変更することができる。
　図４は、本開示の実施形態に係る明るさ調整機能の環境照度に対する連携動作を説明するための図である。
　まず、連携動作を実現する従来からの一般的な一例を図４に基づいて説明する。
　環境照度の変化に対する撮像装置１の自動明るさ調整機能の動作は、イメージセンサの露光時間調整機能とアナログゲイン調整機能とデジタルゲイン調整機能が連動して動作する。
　図４において左に行くに従い環境照度の明るい状態（昼間）となり、右に行くに従い環境照度が暗い状態（夜間）を示している。
　ここで、環境照度が明るい状態から徐々に暗い状態に遷移していく際の、一般的な撮像装置による自動明るさ調整機能の動作について説明する。
　まず、明るい時はイメージセンサの露光時間調整が動作してイメージセンサの露光時間の出力レベルが所望の値に収束するように動作する。このとき、アナログゲイン調整値は最小値であり、デジタルゲイン調整値も最小値である（第１の状態）。
　上記第１の状態よりさらに暗くなるのに従い、イメージセンサの露光時間の出力レベルが最大値である１／３０秒（３０ｆｐｓ動作）となる。続いて、アナログゲイン調整値が最小値から徐々に大きくなり、Ａ／Ｄ変換処理部１３に入力される画像信号のレベルが所望の値に収束するように動作する（第２の状態）。
　上記第２の状態よりさらに暗くなるのに従い、イメージセンサの露光時間が最大値である１／３０秒（３０ｆｐｓ動作）となり、アナログゲイン調整値も最大値となる。続いて、デジタルゲイン調整値が最小値から徐々に大きくなり、Ａ／Ｄ変換処理部１３によるＡ／Ｄ変換後の画像信号が所望の値に収束するように動作する（第３の状態）。
　上記第３の状態よりさらに暗くなるのに従い、イメージセンサの露光時間が最大値である１／３０秒（３０ｆｐｓ動作）となり、アナログゲイン調整値も最大値、デジタルゲイン調整値も最大値となる。よって、Ａ／Ｄ変換後の画像信号は所望の値に収束しない。そして、さらに暗くなるに従って信号データは黒レベル値に近づいていく（第４の状態）。
　このように、一般的な撮像装置では、環境照度が明るい状態から暗い状態に遷移していく場合、上記第１の状態～第４の状態による連携動作で明るさの調整を行う。
　逆に環境照度が暗い状態（夜間）から徐々に明るい状態（昼間）へ遷移する場合、上記第１の状態～第４の状態とは逆の連携動作を行う。
　具体的には、上記第４の状態から明るくなるのに従い、画像信号のレベルが黒レベルから徐々に大きくなり、Ａ／Ｄ変換後の画像信号は所望の値に近づいてくる（第５の状態）。
　上記第５の状態からさらに明るくなるのに従い、デジタルゲイン調整値はＭＡＸ値から徐々に小さくなるように調整し、Ａ／Ｄ変換後の画像信号が所望の値に収束するように動作する（第６の状態）。
　上記第６の状態からさらに明るくなるのに従い、デジタルゲイン調整値はＭＩＮ値となり、続いて、アナログゲイン調整値が最大値から徐々に小さくなり、Ａ／Ｄ変換処理部１３に入力される画像信号のレベルが所望の値に収束するように動作する（第７の状態）。
　上記第７の状態からさらに明るくなるのに従い、デジタルゲイン調整値とアナログゲイン調整値がＭＩＮ値となり、続いて、イメージセンサの露光時間の最大値の１／３０秒（３０ｆｐｓ動作）から徐々に小さくなり、イメージセンサの露光時間の出力レベルが所望の値に収束するように動作する（第８の状態）。
　上記第８の状態からさらに明るくなるのに従い、イメージセンサの露光時間の出力レベルはＭＩＮ値となり、さらに明るくなるとイメージセンサ露光時間の出力レベルは飽和レベルに近づいていく。そして、所望の値に収束することができなくなり、白レベル値に近づいていく。また、Ａ／Ｄ変換前後の画像信号も飽和値に近づいていく（第９の状態）。
　上記第１の状態～第４の状態、および、上記第５の状態～第９状態に示した一般的なカメラの連携動作による明るさの調整においては、本開示であるガンマ特性（非線形特性）は１種類の特性であり、代表的な特性は図３に示す［１］のガンマ特性である。
　次に、連携動作を実現する本開示の調整方法に関して図４に基づいて説明する。
　まず、環境照度が明るい状態から徐々に暗い状態に遷移していく際の自動明るさ調整機能の動作について説明する。環境照度が明るい状態から徐々に暗い状態に遷移していく際の自動明るさ調整機能の動作は、上記第１の状態～第３の状態に示した動作と同じ動作を行う。
　次に上記第４の状態より、さらに暗くなるのに従い、イメージセンサの露光時間の出力レベルが最大値の１／３０秒（３０ｆｐｓ動作）となり、続いて、アナログゲイン調整値が最大値となり、続いて、デジタルゲイン調整値が最大値となる。よって、Ａ／Ｄ変換後の画像信号は所望の値に収束できない。そこで、さらに暗くなるのに従い、夜間の視認性を向上させる調整として２つのガンマ特性（非線形特性）を用いた混合処理により画像信号における入力信号データレンジの低照度側を持ち上げる動作を行う。
　上記混合処理では、使用する２つのゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに対し、本開示の調整方法では、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルデータの値に相関性を持たせてαの値を自動調整する。
　図４では検出輝度レベルがＹ＝ＡからＹ＝Ｂに値が低下していく際、Ａの値に対応してα＝０、Ｂの値に対してα＝１を対応させる。そして、さらに暗くなるのに従い、徐々にＡからＢに向かって小さくなる輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の減少に対してαが０から１（ＭＡＸ値）に増加する増加特性として自動で変化させることができる。
　なお、Ａの値に対してα＝１と対応させた場合、さらに暗くなるのに従い、徐々に小さくなっていく輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが１から０（ＭＩＮ値）に減少する減少特性としてαが１から０のＭＩＮ値に自動で変化させることができる。
　その後、さらに暗くなるのに従い、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値は、黒レベル値（Ｙ＝０）に近づいていく。
　測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値に相関性を持たせて動作させる際に、目標輝度レベルの値に対して上記ゲイン係数α＝０となり、目標輝度レベルの減少に伴いαを徐々に増加させ、任意設定の最小値に対して係数α＝１となるよう調整する。
　また、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値に相関性を持たせて動作させる際に、目標輝度レベルの値に対して上記ゲイン係数α＝１となり、目標輝度レベルの減少に伴いαも徐々に減少させ、任意設定の最小値に対して係数α＝０となるよう調整する。
　次に環境照度が暗い状態から徐々に明るい状態に遷移していく際の自動明るさ調整機能の動作について説明する。
　まず、最も暗い状態より、徐々に明るい状態に遷移していくに従い、輝度レベルの検出データ値が黒レベル値より徐々に上昇する。
　さらに上昇し検出値がＢの値より大きくなると、夜間の視認性を向上させる調整である２つのガンマ特性（非線形特性）を用いた混合処理により入力信号データレンジの低照度側を持ち上げる動作を行う。
　上記混合処理では、使用する２つのゲイン係数の関係がαと１－α（α：０～１）として、再び測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルデータの値に相関性を持たせてαの値を自動調整する。
　図４では検出輝度レベルがＹ＝ＢからＹ＝Ａに値が上昇していく際、Ｂの値に対してα＝１、Ａの値に対してα＝０、を対応させる。そして、さらに明るくなるのに従い、徐々にＢからＡに向かって大きくなる輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが１から０（ＭＩＮ値）に減少する減少特性として自動で変化させることができる。
　なお、Ａの値に対してα＝１と対応させ、Ｂの値に対してα＝０と対応させた場合、さらに明るくなるのに従い徐々に大きくなっていく輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが０から１（ＭＡＸ値）に増加する増加特性として自動で変化させることができる。
　その後、さらに明るくなるのに従い、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値は、露光時間調整機能、アナログゲイン調整機能、デジタルゲイン調整機能を用いた自動ゲイン調整収束状態により得られる値となる。
　その後、さらに明るくなるのに従い、一般的な撮像装置と同様に、上記第６の状態～第９の状態による状態遷移での自動調整連携動作となる。
　（付記事項）
　撮像装置１による画像調整方法であって、電子シャッター（露光時間）調整、Ａ／Ｄ前ゲイン調整、Ａ／Ｄ後のデジタルゲイン調整を行うに際して、被写体の明るさに対して信号処理内部のガンマ特性機能を用いた入出力非線形特性のリアルタイム変更調整が開始する明るさレベルを調整するために、デジタルゲインのＭＡＸ値を任意の値に下げた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定することができる。
　撮像装置１による画像調整方法であって、夜間の低照度路面上障害物被写体の視認性を上げるとともに、ヘッドライトなどのスポット高輝度被写体の視認性も担保するため、ＷＤＲ（ワイドダイナミックレンジ）センサが撮像している複数のゲイン設定と露光設定より得られた複数の露光データの合成被写データをガンマ特性（入出力非線形特性）の入力信号データレンジ内の入るように調整し、映像信号処理出力データレンジ内で諧調を担保することにより、飽和クリップによる白とびを発生させずに照度のダイナミックレンジが非常に広く視認性を担保した好適な画像出力ができる撮像装置１を提供することができる。
　２０１９年４月２日出願の特願２０１９－０７０５５４の日本出願に含まれる明細書、図面および要約書の開示内容は、全て本願に援用される。
　本開示によれば、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することができる。
　１　撮像装置
　１０　前処理部
　１１　イメージセンサ露光時間調整部
　１２　アナログゲイン調整部
　１３　Ａ／Ｄ変換処理部
　１４　デジタルゲイン調整部
　１５　ＷＤＲ撮像入力データ合成処理部
　２０　後処理部
　２１　輝度信号調整処理部
　２１ａ　ガンマ特性入出力調整部
　２２　色信号調整処理部
 

Claims (9)

  1. 　被写体を撮像する際の明るさを調整する第１の明るさ調整部と、
    　前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、
    　前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、
    　前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、
    　前記第３の明るさ調整部により明るさが調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含む、撮像装置。
  2. 　前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、
    　前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、
    　前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部である、請求項１に記載の撮像装置。
  3. 　前記第１の明るさ調整部、前記第２の明るさ調整部、前記第３の明るさ調整部が明るさの調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定する、請求項２に記載の撮像装置。
  4. 　前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる、請求項１から３のいずれか一項に記載の撮像装置。
  5. 　前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する、請求項４に記載の撮像装置。
  6. 　前記２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する、請求項５に記載の撮像装置。
  7. 　前記測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する際、目標輝度レベルの値に対して前記ゲイン係数α＝１となり、当該目標輝度レベルの減少に伴いαも徐々に減少し、任意設定の最小値に対して係数α＝０となるよう設定する、請求項６に記載の撮像装置。
  8. 　前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である、請求項４～７の何れか１項に記載の撮像装置。
  9. 　被写体を撮像する際の明るさを調整する第１の明るさ調整工程と、
    　前記第１の明るさ調整工程により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整工程と、
    　前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、
    　前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整工程と、
    　前記第３の明るさ調整工程により明るさが調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整工程と、を含む、画像調整方法。
PCT/JP2020/007009 2019-04-02 2020-02-21 撮像装置、および、画像調整方法 WO2020202885A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080026460.5A CN113728619B (zh) 2019-04-02 2020-02-21 摄像装置以及图像调整方法
US17/491,286 US11758283B2 (en) 2019-04-02 2021-09-30 Image capture device and image adjusting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019070554A JP7340772B2 (ja) 2019-04-02 2019-04-02 撮像装置、および、画像調整方法
JP2019-070554 2019-04-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/491,286 Continuation US11758283B2 (en) 2019-04-02 2021-09-30 Image capture device and image adjusting method

Publications (1)

Publication Number Publication Date
WO2020202885A1 true WO2020202885A1 (ja) 2020-10-08

Family

ID=72668327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007009 WO2020202885A1 (ja) 2019-04-02 2020-02-21 撮像装置、および、画像調整方法

Country Status (4)

Country Link
US (1) US11758283B2 (ja)
JP (1) JP7340772B2 (ja)
CN (1) CN113728619B (ja)
WO (1) WO2020202885A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3937162A4 (en) * 2019-03-29 2022-05-11 Sony Group Corporation VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD AND IMAGE RECORDING DEVICE
CN114564132A (zh) * 2022-03-09 2022-05-31 深圳创维－Rgb电子有限公司 显示控制方法、装置、显示设备及存储介质
CN117061879B (zh) * 2023-09-27 2023-12-19 武汉华工激光工程有限责任公司 一种自动光量补正方法、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244559A (ja) * 2004-02-26 2005-09-08 Sanyo Electric Co Ltd 画像信号処理装置
JP2012119997A (ja) * 2010-12-01 2012-06-21 Canon Inc 画像処理方法及び画像処理装置
JP2013055495A (ja) * 2011-09-02 2013-03-21 Canon Inc 撮像装置及びその制御方法
JP2016066892A (ja) * 2014-09-24 2016-04-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245151A (ja) * 1993-02-16 1994-09-02 Hitachi Denshi Ltd テレビジョンカメラ装置
JP4402268B2 (ja) 2000-07-14 2010-01-20 オリンパス株式会社 撮像装置
CN101322416B (zh) 2006-03-20 2010-10-13 索尼株式会社 图像信号处理装置及图像信号处理方法
US9113114B2 (en) * 2010-05-12 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for automatically controlling image brightness in image photographing device
JP6282156B2 (ja) * 2014-03-31 2018-02-21 キヤノン株式会社 画像装置、画像処理方法、制御プログラム及び記憶媒体
JP5932068B1 (ja) * 2015-01-06 2016-06-08 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP6752667B2 (ja) * 2016-09-27 2020-09-09 キヤノン株式会社 画像処理装置と画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244559A (ja) * 2004-02-26 2005-09-08 Sanyo Electric Co Ltd 画像信号処理装置
JP2012119997A (ja) * 2010-12-01 2012-06-21 Canon Inc 画像処理方法及び画像処理装置
JP2013055495A (ja) * 2011-09-02 2013-03-21 Canon Inc 撮像装置及びその制御方法
JP2016066892A (ja) * 2014-09-24 2016-04-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム

Also Published As

Publication number Publication date
JP2020170917A (ja) 2020-10-15
CN113728619A (zh) 2021-11-30
US20220021819A1 (en) 2022-01-20
JP7340772B2 (ja) 2023-09-08
CN113728619B (zh) 2023-07-28
US11758283B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
WO2020202885A1 (ja) 撮像装置、および、画像調整方法
JP4773179B2 (ja) 撮像装置
US8023004B2 (en) Imaging apparatus, imaging method, and program for selectively controlling gain in a normal imaging mode and a combined imaging mode
JP4089911B2 (ja) 画像入力装置
TW200803532A (en) Image signal processing device and image signal processing method
JP2006287323A (ja) 撮像装置
TWI459804B (zh) An image processing apparatus, a photographing system, an image processing method, and a program
KR20030097687A (ko) 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법
JP5005731B2 (ja) カメラ装置および露光制御方法
JP3478452B2 (ja) 逆光検出方法、逆光検出装置及び撮像カメラ
JP2008271123A (ja) 撮像装置
JP2018078372A (ja) 画像出力装置
US20090284616A1 (en) Image signal processing circuit
JP2013223152A (ja) 撮像装置
JP5228717B2 (ja) 画像入力装置
JP5159235B2 (ja) 撮像装置及びその制御方法
JP4813839B2 (ja) 露出制御方法及び撮像装置
JP4619981B2 (ja) 画像認識装置
WO2012043063A1 (ja) 画像処理装置
KR101822344B1 (ko) 히스토그램 스프레딩을 갖는 자동차 카메라 장치
KR101170748B1 (ko) 촬영장치의 역광보정방법
JPH11346326A (ja) デジタルｃｃｄカメラ
JP4028395B2 (ja) デジタルカメラ
JP4833669B2 (ja) 撮像装置およびその信号処理方法
JP2004215063A (ja) 撮像装置及び輪郭補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20782161

Country of ref document: EP

Kind code of ref document: A1