WO2017026449A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017026449A1
WO2017026449A1 PCT/JP2016/073307 JP2016073307W WO2017026449A1 WO 2017026449 A1 WO2017026449 A1 WO 2017026449A1 JP 2016073307 W JP2016073307 W JP 2016073307W WO 2017026449 A1 WO2017026449 A1 WO 2017026449A1
Authority
WO
WIPO (PCT)
Prior art keywords
neutral density
density filter
processing unit
pixel
image sensor
Prior art date
Application number
PCT/JP2016/073307
Other languages
English (en)
French (fr)
Inventor
志郎 池田
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2017534447A priority Critical patent/JP6497822B2/ja
Publication of WO2017026449A1 publication Critical patent/WO2017026449A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to an imaging apparatus, and can be applied to an imaging apparatus including a color separation optical system and a plurality of imaging elements, for example.
  • incident light is converted into an electric signal according to the amount of light and the elapsed time. Since the dynamic range of the electrical signal is finite, it is not possible to express a light amount difference that exceeds the dynamic range of the element per unit light receiving time. Therefore, it is possible to acquire a bright and dark image that is greater than the dynamic range of the image sensor by acquiring and synthesizing a short image and a long image. That is, in short-time exposure, the light receiving time acquired by the image sensor is shortened, and the video signal can be acquired without saturation in a bright subject. Further, in the long exposure, the light receiving time acquired by the image sensor becomes long, so that necessary sensitivity can be obtained in a dark subject, and a sufficient video signal can be obtained.
  • the vertical resolution is reduced to about 1/2 in the method of synthesizing two types of images by acquiring short exposure and long exposure images for each line.
  • the frame rate is halved and the dynamic resolution is halved.
  • flickering occurs when the blinking light source is photographed.
  • the imaging apparatus includes a color separation optical system and a neutral density filter for each pixel, and first and second imaging elements that convert light of the color separation optical system into an electrical signal, and the first imaging element.
  • a bright portion luminance signal processing unit that synthesizes a luminance signal from a pixel portion having a neutral density filter and a luminance signal from a pixel portion having a neutral density filter of the second image sensor; and the first imaging.
  • a dark portion luminance signal processing unit that combines a luminance signal from a pixel portion that does not include the neutral density filter of the element and a luminance signal from a pixel portion that does not include the neutral density filter of the second imaging element;
  • a bright portion color signal processing unit that combines a color signal from a pixel portion including a neutral density filter of the image sensor and a color signal from a pixel portion including the neutral density filter of the second image sensor; Equipped with a neutral density filter for one image sensor
  • a dark part color signal processing unit that synthesizes a color signal from a non-pixel part and a color signal from a pixel part that does not include the neutral density filter of the second image sensor, and an output signal of the bright part luminance signal processing unit
  • a luminance signal light / dark combining unit that combines the output signal of the dark portion luminance signal processing unit, and a color signal light / dark combining unit that combines the output signal of the bright portion color signal processing unit and the output signal of the dark portion color signal processing
  • FIG. 3 is a signal processing diagram for explaining the principle of the imaging apparatus according to the first embodiment.
  • FIG. 3 is a signal processing diagram for explaining the principle of the imaging apparatus according to the first embodiment.
  • FIG. 3 is a signal processing diagram for explaining the principle of the imaging apparatus according to the first embodiment.
  • 1 is a block diagram for explaining a configuration of an imaging apparatus according to Embodiment 1.
  • FIG. FIG. 6 is a signal processing diagram for explaining the principle of the imaging apparatus according to the second embodiment.
  • FIG. 6 is a signal processing diagram for explaining the principle of the imaging apparatus according to the second embodiment.
  • FIG. 6 is a signal processing diagram for explaining the principle of the imaging apparatus according to the second embodiment.
  • FIG. 9 is a configuration diagram of an imaging apparatus according to a third embodiment.
  • the image pickup apparatus includes a color separation optical system 1 such as a color separation prism, an image pickup element (first image pickup element) 2 corresponding to the resolved red (R), and an image pickup corresponding to green (G).
  • An element (second imaging element) 3 and an imaging element (third imaging element) 4 corresponding to blue (B) are provided.
  • the image pickup devices 2, 3, and 4 have a portion on which the neutral density filter 5 is mounted and a portion on which the dark filter 5 is not mounted on a pixel basis.
  • the image pickup devices 2 and 4 and the neutral density filter 5 of the image pickup device 3 are arranged in reverse (complementarily). As shown in FIG.
  • the neutral density filters 5 of the image sensors 2, 3, and 4 are arranged in a checkered pattern.
  • the number of pixels in which the neutral density filter 5 of the imaging elements 2, 3, and 4 is arranged is the same as the number of pixels in which the neutral density filter 5 is not arranged.
  • the image P B is a combination of the pixels in the portion where the neutral density filter 5 of the image pickup devices 2, 3, and 4 is present.
  • the image P B is converted into the bright portion of the subject. Used for luminance signal. Since only the pixels having the neutral density filter 5 are selected, a part of the color channel is lost in each pixel.
  • the pixel indicated as “RB” lacks G data
  • the pixel indicated as “G” lacks R and B data.
  • the color signal of the bright part of the object, to the data of the image P B, using the image P B_IP was replaced with data obtained by interpolating the missing color channels at each pixel from the upper, lower, left and right.
  • the R and B signals are interpolated from the top, bottom, left and right, and in the pixel designated by “RB”, the G signal is interpolated from the top, bottom, left and right. Note that the luminance signal is not interpolated.
  • the pixel of the image P D portion has no attenuation filter 5 of the imaging device 2, 3, 4, which was synthesized while maintaining their positions, as shown in FIG. 1C to use a video P D to the dark portion of the luminance signal of an object.
  • the video P D in FIG. 1C pixels denoted as "RB" is missing data G is, the pixels denoted as "G" missing data R and B.
  • pixels designated "G" in the image P D interpolated R and B signals from the vertical and horizontal pixel notation as "RB” interpolates G signals from upper, lower, left and right. Note that the luminance signal is not interpolated.
  • a bright image data and a dark portion data of the luminance signal and the interpolated color signal are combined to obtain a video PC.
  • video data with a wide dynamic range can be obtained.
  • FIG. 2 is a block diagram illustrating the configuration of the imaging apparatus according to the first embodiment.
  • R, G, and B separated by the color separation optical system 1 using a dichroic mirror or the like are converted into video signals by the imaging elements 2, 3, and 4. Since the clock generation unit 29 supplies the same clock signal (CLK) to each of the image sensors 2, 3, and 4, the image sensors 2, 3, and 4 operate at the same timing at the start and end of exposure and reading.
  • the video signals from the image pickup devices 2, 3, 4 are reduced to the signals (R B , G B , B B ) with the neutral density filter by the selectors 31, 32, 33 after the black level and gain are appropriately adjusted. It is divided into signals (R D , G D , B D ) without an optical filter.
  • the selectors 31 and 33 are periodically switched by a horizontal clock signal from the clock generator 29, and the selector 32 is periodically switched by a signal (CLKB) obtained by inverting the clock signal (CLK) by the inverter 30.
  • the adders 34 and 35 add R B , B B , and G B after adjusting the scale as necessary to generate a partial addition signal W B that is a source of the luminance (white) signal. Note for R B, B B, G B will not be all obtained simultaneously, the partial sum signal W B, addition signal or G B signals R B and B B is assumed to alternating.
  • the luminance signal processing unit 38 generates the luminance component (Y B ) of the image with the neutral density filter 5 from the partial addition signal W B (or R B , B B , G B ).
  • the channel shall be multiplied by an appropriate coefficient. Note that this luminance component (Y B ) does not represent complete luminance because part of the color channel is missing.
  • the color signal processing unit 39 generates a color signal (RGB B ) of an image with the neutral density filter 5 for each pixel. That is, as described above, R B, B B, the missing signal of the G B, interpolated with reference to the pixels of the vertical and horizontal.
  • a known method such as a gradient method that interpolates in a direction orthogonal to the gradient direction of the G signal, an adaptive color brain interpolation method, or the like can be used for interpolation.
  • a color separation circuit for the image sensor may be used.
  • the color signal (CC B ) is generated by a predetermined calculation formula.
  • a luminance signal (Y D ), a color signal (RGB D ), and the like are generated by the luminance signal processing unit 40 and the color signal processing unit 41 even for signals without a neutral density filter (R D , G D , B D ).
  • the luminance signal light / dark combining unit 42 combines the luminance signal (Y B ) with the neutral density filter and the luminance signal (Y D ) without the neutral density filter. For example, after multiplying the luminance signal with a neutral density filter (Y B ) by a coefficient for matching the scale (corresponding to the reciprocal of the transmittance of the neutral density filter 5), the luminance signal without the neutral density filter (Y D )) and can be combined, and if necessary, the output is finally subjected to nonlinear processing such as knee / gamma.
  • nonlinear processing such as knee / gamma.
  • the color signal brightness / darkness synthesis unit 43 synthesizes the color signal with the neutral density filter (RGB B ) and the color signal without the neutral density filter (RGB D ) for each pixel by arbitrary determination.
  • the color signals RGB B and RGB D should have the same hue and saturation unless saturation occurs in any of the color channels.
  • the composition is calculated by multiplying a coefficient (corresponding to the reciprocal of the transmittance of the neutral density filter 5) R B , G B or B B.
  • R D , G D , and B D In a channel that is selected and in which saturation does not occur, it can be performed by a method of selecting R D , G D , and B D.
  • the determination of saturation may be made based on whether R B , G B , and B B are equal to or less than the corresponding threshold values. The calculation is the same even if the color signal is the expression difference signal CC B or the like.
  • the color signals RGB B and RGB D are converted into the HSV space, the hue and the saturation are averaged, and then combined with the luminance signal output from the luminance signal light / dark combining unit 42 to obtain the color signal (RGB or CC). Further, in the range where the dynamic ranges of RGB B and RGB D overlap, they may be averaged instead of selecting one. However, in these processes, the final gradation may be deteriorated by synthesizing a signal whose gradation is made discrete by multiplication of coefficients. Thereby, an image that realizes a wide dynamic range can be generated.
  • the neutral density filter in some of the pixels of the image sensor, it is possible to simultaneously capture dark and bright images. Since it is a neutral density filter system, the exposure time is constant and the phenomenon that flicker occurs only in a part of the screen does not occur in principle. Furthermore, since the color separation optical system and a plurality of image sensors are used, the resolution of the luminance signal does not decrease.
  • FIGS. 3A to 3C are signal processing diagrams for explaining the principle of the imaging apparatus according to the second embodiment.
  • the image pickup apparatus according to the second embodiment corresponds to the color separation optical system 1 as in the first embodiment, the image pickup element (first image pickup element) 21 corresponding to the separated red (R), and the green (G).
  • the neutral density filter 5 is halved from that of the first embodiment as shown in FIG. 3A and is arranged in only one of the four pixels.
  • the checkered pattern is arranged so that they are evenly spaced with the intention of minimizing the reduction in spatial resolution in the highlight area.
  • the image P B2 is a combination of the pixels (light portions) of the neutral density filter 5 of the image sensors 21, 31, 41, and the image P D2 is an image of the image sensors 21, 31, 41.
  • the neutral density filter 5 By providing the neutral density filter 5, there is a pixel in which data of the image sensor is missing.
  • the pixel denoted by “RB” lacks G data
  • the pixel denoted by “G” lacks R and B data
  • the blank pixel indicates R, G and B data are missing.
  • the color signal of an object light portion compared data of the video P B2, using the image P B_IP2 calculated data obtained by interpolating the missing portion of the image sensor data from the vertical and / or horizontal.
  • the blank pixel of the image P B2 interpolates the RB signal from the top and bottom and the G signal from the left and right, and interpolates the G signal from the top and bottom and the RB signal from the left and right.
  • the pixel indicated as “RB” lacks G data
  • the pixel indicated as “G” lacks R and B data. Pixels labeled “RGB” have no missing data.
  • video PDIP2 obtained by calculating data obtained by interpolating the missing part of the image sensor data from the top, bottom, left and right with respect to the data of video PD2.
  • the pixel indicated by “G” in the video PD2 interpolates the RB signal from the top, bottom, left and right or the RB signal from the top, bottom, left and right.
  • the pixel indicated as “RG” in the video PD2 interpolates the G signal from the top, bottom, left and right or the G signal from the top, bottom, left and right.
  • the bright part data and the dark part data of each of the interpolated color signals are synthesized, and the luminance signal with the neutral density filter and the luminance signal without the neutral density filter are synthesized by arbitrary determination, and the video PC 2 is displayed. obtain. Thereby, an image that realizes a wide dynamic range can be generated.
  • a resolution of about 70% can be obtained in a portion without the neutral density filter.
  • the dark portion is generated from 3/4 pixels, so that the sensitivity reduction can be suppressed to about 2.5 dB. In this way, by changing the arrangement of the neutral density filter, it is possible to allow a reduction in the resolution of the luminance signal to some extent and suppress the reduction in sensitivity.
  • FIG. 4 is a configuration diagram of the imaging apparatus according to the third embodiment. Assume that the image pickup elements 2, 3, and 4 are provided with the same light shielding filter 5 as in the first embodiment. Signals from the image sensors 2, 3, 4 are first input to the interpolation filters 11, 12, 13.
  • Interpolation filters 11, 12, and 13 have the same configuration, and output a signal that is input from the image sensor at a certain target pixel and a signal that is interpolated from a pixel adjacent to the target pixel for each pixel position.
  • Interpolation such as gradient method and adaptive color brain interpolation method can also be applied to the interpolation filter 11 and the like, and these adaptive controls may be linked in each color channel or independent.
  • Brightness selector 14, 15 and 16 a signal from the corresponding interpolation filters 11, a signal based on a signal of a pixel having a neutral density filter 5 (bright portion data such as G B), the neutral density filter 5 a signal based on a signal of a pixel without a (dark portion data such as G D), separated for each pixel.
  • the light / dark combining units 17, 18 and 19 select the signal that is not saturated among the bright portion data and the dark portion data, and output the signals with the same scale. Circuit.
  • the color matrix unit 20 converts the RGB signals from the light / dark combining units 17, 18 and 19 into luminance and color difference signals by color matrix calculation, and outputs them.
  • the color difference signal may be obtained from the interpolation filter value of the RGB signal at the required (virtual) pixel position.
  • the luminance signal obtained in the third embodiment is different from the first embodiment in that it involves interpolation (filtering) in the spatial direction.
  • interpolation filtering
  • the degree of the spatial filter in this way, the spatial resolution (especially with respect to luminance) and the wideness and fidelity of the dynamic range (with respect to luminance and color gamut) of the image obtained from the image sensor as in this embodiment.
  • the balance with can be changed intentionally.
  • the luminance signal of the first embodiment is used properly in the texture portion and the edge portion, and the luminance signal of the third embodiment is used separately in the flat portion, or simply switched alternately for each frame, thereby improving the subjective image quality. Can also be expected.
  • the present invention is not limited to the above embodiments and can be variously modified.
  • the configuration is three imaging elements, but it is sufficient if the configuration is two or more.
  • the neutral density filter only one of the four pixels is used as the neutral density filter, but any ratio can be used.
  • the present invention can be used in an imaging apparatus, and is suitable for an imaging apparatus including a color separation optical system and a plurality of imaging elements, for example.
  • SYMBOLS 1 Color separation optical system, 2 ... Image sensor (1st image sensor), 3 ... Image sensor (2nd image sensor), 4 ... Image sensor (3rd image sensor), 5 ... Neutral filter, PB ... Video, PD ... Video, PBIP ... Video, PDIP ... Video, PC ... Video, 21 ... Image sensor (first image sensor), 31 ... Image sensor (second image sensor), 41 ... Image sensor (third) Image sensor), PB2 ... video, PD2 ... video, PBIP2 ... video, PDIP2 ... video, PC2 ... video, 29 ... clock, 30 ... inverter, 31 ... selector, 32 ... selector, 33 ... selector, 34 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

解像度の低下を抑えつつフリッカ発生を抑制する撮像装置を提供することにある。撮像装置は、第１および第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号を合成する明部輝度信号処理部と、第１および第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号を合成する暗部輝度信号処理部と、第１および第２の撮像素子の減光フィルタを備える画素の部分からの色信号を合成する明部色信号処理部と、第１および第２の撮像素子の減光フィルタを備えない画素の部分からの色信号合成する暗部色信号処理部と、明部輝度信号処理部の出力信号と暗部輝度信号処理部の出力信号とを合成する輝度信号明暗合成部と、明部色信号処理部の出力信号と暗部色信号処理部の出力信号とを合成する色信号明暗合成部と、を備える。明部色信号処理部および暗部色信号処理部は、それぞれ欠落撮像データを隣接画素データに基づいて補間する。

Description

撮像装置
　本開示は撮像装置に関し、例えば色分解光学系と複数の撮像素子とを含む撮像装置に適用可能である。
　撮像素子では、入射光はその光量と経過時間に応じて電気信号に変換される。電気信号のダイナミックレンジは有限であるため、単位受光時間当たり素子のダイナミックレンジ以上の光量差を表現することはできない。そこで受光時間を短い映像と長い映像を取得し、合成することで撮像素子のダイナミックレンジ以上の明暗映像を取得することが可能となる。すなわち、短時間露光では、撮像素子が取得する受光時間が短くなり、明るい被写体において映像信号を飽和することなく取得できる。また、長時間露光では、撮像素子が取得する受光時間が長くなり、暗い被写体において必要な感度を得ることができ、十分な映像信号を得ることが可能となる。時分割で撮像素子の露光時間を変化させ、撮像素子内または後段映像処理部で短時間露光の映像と長時間露光の映像とを合成する方式がある（例えば、特開２００２－２２３３８８号公報）。また、短時間露光の映像と長時間露光の映像とを合成する方式として、ラインごとに短時間露光と長時間露光の映像とを取得し合成する方式や、１フレームごとに短露光時間の映像と長露光時間の映像とを取得し合成する方式などがある。
特開２００２－２２３３８８号公報 特開２００６－３５２４６６号公報 特許第５０３３７１１号公報
　ラインごとに短時間露光と長時間露光の映像とを取得し２種類の映像を合成する方式では、垂直解像度が約１／２に低下する。１フレームごとに短露光時間の映像と長露光時間の映像とを取得し２種類の映像を合成する方式では、フレームレートが１／２になり動解像度が１／２に低下する。また、露光時間を短くすることにより露光しない期間が発生することで、点滅光源を撮影するとフリッカが発生する。一画面に露光時間の異なる映像を合成することにで、画面の一部にフリッカが発生し不自然な映像になる。  本開示の課題は解像度の低下を抑えつつフリッカ発生を抑制する撮像装置を提供することにある。
　本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。  すなわち、撮像装置は、色分解光学系と、減光フィルタを画素単位に備え、前記色分解光学系の光を電気信号に変換する第１および第２の撮像素子と、前記第１の撮像素子の減光フィルタを備える画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号とを合成する明部輝度信号処理部と、前記第１の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号とを合成する暗部輝度信号処理部と、前記第１の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの色信号とを合成する明部色信号処理部と、前記第１の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの色信号とを合成する暗部色信号処理部と、前記明部輝度信号処理部の出力信号と前記暗部輝度信号処理部の出力信号とを合成する輝度信号明暗合成部と、前記明部色信号処理部の出力信号と前記暗部色信号処理部の出力信号とを合成する色信号明暗合成部と、を備える。前記明部色信号処理部は欠落撮像データを隣接画素データに基づいて補間し、前記暗部色信号処理部は欠落撮像データを隣接画素データに基づいて補間する。
　本開示によれば、解像度の低下を抑えつつフリッカ発生を抑制することができる。
実施例１に係る撮像装置の原理を説明するための信号処理図。 実施例１に係る撮像装置の原理を説明するための信号処理図。 実施例１に係る撮像装置の原理を説明するための信号処理図。 実施例１に係る撮像装置の構成を説明するためのブロック図。 実施例２に係る撮像装置の原理を説明するための信号処理図。 実施例２に係る撮像装置の原理を説明するための信号処理図。 実施例２に係る撮像装置の原理を説明するための信号処理図。 実施例３に係る撮像装置の構成図。
　以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。
　図１Ａ、１Ｂ、１Ｃは実施例１に係る撮像装置の原理を説明するための信号処理図である。実施例１に係る撮像装置は、色分解プリズム等の色分解光学系１と、分解された赤色（Ｒ）に対応する撮像素子（第１の撮像素子）２、緑色（Ｇ）に対応する撮像素子（第２の撮像素子）３、青色（Ｂ）に対応する撮像素子（第３の撮像素子）４とを備える。撮像素子２、３、４は、画素単位に減光フィルタ５を搭載する部分と搭載しない部分を有する。撮像素子２、４と撮像素子３の減光フィルタ５は逆転して（相補的に）配置されている。図１Ａに示すように、撮像素子２、３、４の減光フィルタ５は市松模様に配置されている。撮像素子２、３、４の減光フィルタ５が配置される画素の数と減光フィルタ５が配置されない画素の数は同じである。
　図１Ｂに示すように、映像ＰＢは撮像素子２、３、４の減光フィルタ５がある部分の画素を合成したものであり、図１Ｃに示すように、映像ＰＢを被写体の明部の輝度信号に使用する。減光フィルタ５を備えた画素のみ選択したことにより、各画素においてカラーチャネルの一部欠落する。図１Ｃの映像ＰＢにおいて、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落している。被写体の明部の色信号には、映像ＰＢのデータに対し、各画素で欠落したカラーチャネルを上下左右から補間したデータで代替した映像ＰＢ_ＩＰを使用する。映像ＰＢの「Ｇ」と表記の画素では、ＲとＢ信号は上下左右から補間し、「ＲＢ」と表記の画素では、Ｇ信号は上下左右から補間される。なお、輝度信号は補間しない。
　また、図１Ｂに示すように、映像ＰＤは撮像素子２、３、４の減光フィルタ５が無い部分の画素を、それらの位置を保ったまま合成したものであり、図１Ｃに示すように、映像ＰＤを被写体の暗部の輝度信号に使用する。図１Ｃの映像ＰＤにおいて、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落している。被写体の暗部の色信号は、映像ＰＤのデータに対し、撮像素子データの欠落部を上下左右から補間したデータを算出した映像ＰＤ_ＩＰを使用する。映像ＰＤの「Ｇ」と表記の画素では上下左右からＲとＢ信号を補間し、「ＲＢ」と表記の画素は上下左右からＧ信号を補間する。なお、輝度信号は補間しない。
　図１Ｃに示すように、輝度信号、補間した色信号それぞれの明部データ、暗部データを合成して映像ＰＣを得る。これにより、ワイドダイナミックレンジの映像データを得ることができる。
　図２は実施例１に係る撮像装置の構成を示すブロック図である。ダイクロイックミラー等を用いた色分解光学系１で分解されたＲ、Ｇ、Ｂは、撮像素子２、３、４で映像信号に変換される。クロック生成部２９が、各撮像素子２、３、４に同じクロック信号（ＣＬＫ）を供給するため、各撮像素子２、３、４は、露光の開始及び終了や読出しにおいて同じタイミングで作動する。撮像素子２、３、４からの映像信号は、適宜黒レベルやゲインが揃えられた後、セレクタ３１、３２、３３でそれぞれ減光フィルタありの信号（ＲＢ、ＧＢ、ＢＢ）と減光フィルタ無しの信号（ＲＤ、ＧＤ、ＢＤ）に分割される。
　セレクタ３１、３３はクロック生成部２９からの水平クロック信号で周期的に切換えられ、セレクタ３２はクロック信号（ＣＬＫ）をインバータ３０で反転した信号（ＣＬＫＢ）で周期的に切り換えられる。
　加算器３４、３５は、ＲＢ、ＢＢ、ＧＢを、必要に応じてスケールを調整したうえで加算して、輝度（白）信号の元となる部分加算信号ＷＢを生成する。なおＲＢ、ＢＢ、ＧＢが全て同時に得られることはないため、部分加算信号ＷＢは、ＲＢとＢＢの加算信号又はＧＢ信号が交互に並んだものとなる。
　輝度信号処理部３８は、部分加算信号ＷＢ（若しくはＲＢ、ＢＢ、ＧＢ）から減光フィルタ５有の画像の輝度成分（ＹＢ）を生成する。輝度信号は、Rec. ITU-R BT.1391のカラリメトリーに従う場合、Ｙ = 0.2126R + 0.7152G + 0.0722Bにより計算されなければならず、加算器３４、３５で加算される前に、各カラーチャネルには適切な係数が乗算されるものとする。なおこの輝度成分（ＹＢ）も、カラーチャネルの一部が欠落しているため、完全な輝度を表していない。
　色信号処理部３９は、減光フィルタ５有の画像の色信号（ＲＧＢＢ）を画素毎に生成する。つまり上述したように、ＲＢ、ＢＢ、ＧＢの内の欠落した信号を、その上下左右の画素を参照して補間する。なお補間には、４画素の単純平均である線形補間法の他、Ｇ信号の勾配方向と直交する方向に補間する勾配法、適応型カラーブレーン補間法等の公知の方法が利用でき、ベイヤー配列撮像素子用の色分離回路を流用してもよい。なおCb、Crの色差信号を出力する場合、所定の計算式により色信号（ＣＣＢ）を生成する。同様に減光フィルタ無しの信号（ＲＤ、ＧＤ、ＢＤ）においても輝度信号処理部４０と色信号処理部４１で輝度信号（ＹＤ）、色信号（ＲＧＢＤ）等を生成する。
　輝度信号明暗合成部４２は、減光フィルタ有の輝度信号（ＹＢ）と減光フィルタ無しの輝度信号（ＹＤ）とを合成する。例えば、減光フィルタ有の輝度信号（ＹＢ）に、スケールを一致させるための係数（減光フィルタ５の透過率の逆数に相当する）を乗算した後、減光フィルタ無しの輝度信号（ＹＤ）と加算することで合成でき、もし必要であれば、最後にニ―／ガンマ等の非線形処理をして出力する。この合成により、同一画素位置で全てのカラーチャネルが揃うため、完全な輝度信号となる。また合成後の輝度信号ではビット数（ビット深度、ダイナミックレンジ）が増大する。なお規格に忠実に準拠するならば、輝度信号に変換される前に各カラーチャネルにおいて独立に非線形処理されるべきであるが、処理量低減のため、本例ではこのようにしている。
　色信号明暗合成部４３は、減光フィルタ有の色信号（ＲＧＢＢ）と減光フィルタ無しの色信号（ＲＧＢＤ）とを、任意の判定により画素毎に合成する。ここで、色信号ＲＧＢＢとＲＧＢＤは、いずれかのカラーチャネルで飽和が起こっていない限り、その色相や彩度は同じになるはずである。合成は、減光フィルタ無しの色信号ＲＧＢＤで飽和が起こっているチャネルでは、係数（減光フィルタ５の透過率の逆数に相当する）が乗じられたＲＢ、ＧＢ或いはＢＢ等を選択し、飽和が起こっていないチャネルではＲＤ、ＧＤ、ＢＤを選択する方法で行うことができる。飽和の判断は、ＲＢ、ＧＢ、ＢＢが対応する閾値以下であるかどうかで行ってもよい。なお色信号が式差信号ＣＣＢ等であっても演算は同様である。
　他の方法として、色信号ＲＧＢＢとＲＧＢＤをそれぞれＨＳＶ空間に変換し、色相や彩度を平均化した後、輝度信号明暗合成部４２から出力された輝度信号と組み合わせて色信号（ＲＧＢやＣＣ）に戻してもよい。また、ＲＧＢＢとＲＧＢＤでダイナミックレンジが重複している範囲において、一方を選択する代りにそれらを平均してもよい。ただしこれらの処理では係数の乗算により階調が離散的になった信号が合成されることにより、却って最終的な階調が悪化することがある。これにより、ワイドダイナミックレンジを実現する映像を生成することができる。
　本実施例によれば、撮像素子の一部の画素に減光フィルタを配置することにより、暗部と明部の映像を同時に撮影することが可能となる。減光フィルタ方式であるので、露光時間は一定であり、画面の一部だけフリッカが発生する現象は原理的に発生しない。さらに色分解光学系と複数の撮像素子で構成することにより、輝度信号に関して解像度の低下も発生しない。
　次に、感度低下を低減する実施例２に係る撮像装置について図３Ａから３Ｃを用いて説明する。  図３Ａ、３Ｂ、３Ｃは実施例２に係る撮像装置の原理を説明するための信号処理図である。実施例２に係る撮像装置は、実施例１同と様の色分解光学系１と、分解された赤色（Ｒ）に対応する撮像素子（第１の撮像素子）２１、緑色（Ｇ）に対応する撮像素子（第２の撮像素子）３１、青色（Ｂ）に対応する撮像素子（第３の撮像素子）４１とを備える。ただし、撮像素子２１、３１、４１において、減光フィルタ５は、図３Ａに示すように実施例１より半減され、４画素のうち１画素だけに配置される。暗部を撮影するときは、できるだけ受光面を広く取ることが望ましが、明部の撮影では、受光量を減らしても問題はない。このような配置においても、実施例１と同様に縦２画素、横2画素の４画素を配置の単位をしていることには変わりがない。また、いずれかの色で遮光された画素に注目すると、ハイライト領域での空間分解能の低下を最小限にすることを意図して、それらが均等に離れるような市松模様の配置になっている。図３Ｂに示すように、映像ＰＢ２は撮像素子２１、３１、４１の減光フィルタ５の画素（明部の部分）を合成したものであり、映像ＰＤ２は撮像素子２１、３１、４１の減光フィルタ５無の画素（暗部の部分）を合成したものである。減光フィルタ５を備えることにより、撮像素子のデータが欠落する画素がある。図３Ｃの映像ＰＢ２において、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落し、空白の画素はＲ、ＧおよびＢのデータが欠落している。被写体明部の色信号は、映像ＰＢ２のデータに対し、撮像素子データの欠落部を上下及び／又は左右から補間したデータを算出した映像ＰＢ_ＩＰ２を使用する。映像ＰＢ２の空白の画素は上下からＲＢ信号を左右からＧ信号を補間したり、上下からＧ信号を左右からＲＢ信号を補間したりする。図３Ｃの映像ＰＤ２において、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落している。「ＲＧＢ」と表記の画素は欠落データがない。被写体暗部の色信号は、映像ＰＤ２のデータに対し、撮像素子データの欠落部を上下左右から補間したデータを算出した映像ＰＤＩＰ２を使用する。映像ＰＤ２の「Ｇ」と表記の画素は上下左右からＲＢ信号または斜め上下左右からＲＢ信号を補間する。映像ＰＤ２の「ＲＧ」と表記の画素は上下左右からＧ信号または斜め上下左右からＧ信号を補間する。
　図３Ｃに示すように、補間した色信号それぞれの明部データ、暗部データを合成し、減光フィルタ有の輝度信号と減光フィルタ無しの輝度信号を任意の判定により合成して、映像ＰＣ２を得る。これにより、ワイドダイナミックレンジを実現する映像を生成することができる。実施例２の構成の場合、減光フィルタ無しの部分において約７０％の解像度を得ることができる。また、暗部は３／４の画素から生成することで、感度低下を約２．５ｄＢに抑えることができる。このように、減光フィルタの配置を変更することにより、輝度信号の解像度低下をある程度許容し、感度の低下を抑えることが可能である。
　図４は実施例３に係る撮像装置の構成図である。撮像素子２、３、４は実施例１と同様の遮光フィルタ５が設けられているとする。撮像素子２、３、４からの信号は、まず補間フィルタ１１、１２、１３に入力される。
　補間フィルタ１１、１２、１３は同じ構成であり、ある対象画素において撮像素子から入力されたままの信号と、対象画素に隣接する画素から補間された信号とを、各画素位置毎に出力する。補間フィルタ１１等においても、勾配法、適応型カラーブレーン補間法等の補間を適用することができ、それら適応制御は各色チャネルで連動させてもよく独立でもよい。
　明暗セレクタ１４、１５、１６は、対応する補間フィルタ１１、１２、１３からの信号を、減光フィルタ５を備えた画素の信号に基づく信号（ＧＢ等の明部データ）と、減光フィルタ５を備えない画素の信号に基づく信号（ＧＤ等の暗部データ）とに、画素毎に分離する。
　明暗合成部１７、１８、１９は、実施例１の色信号明暗合成部４３と同様に、明部データと暗部データの内、飽和していない方の信号を選択し、スケールを揃えて出力する回路である。
　カラーマトリクス部２０は、明暗合成部１７、１８、１９からのＲＧＢ信号を、カラーマトリクス演算により輝度と色差信号に変換して出力する。4:2:2や4:2:0のフォーマットで出力する場合、色差信号は必要とされる(仮想の)画素位置おける、ＲＧＢ信号の補間フィルタ値から、色差信号を求めてもよい。
　本実施例３で得られる輝度信号は、空間方向の補間（フィルタリング）を伴う点で実施例１などと異なる。この様に空間フィルタの程度を異ならせることで、本実施形態のような撮像素子から得られる映像の、（特に輝度に関する）空間分解能と、（輝度や色域に関する）ダイナミックレンジの広さや忠実性とのバランスを意図的に変更することもできる。例えば絵柄に応じて、テクスチャー部やエッジ部では実施例１の輝度信号を、平坦部では実施例３の輝度信号を使い分けたり、単純にフレーム毎に交互に切り替えたりすることで、主観画質の向上も期待できる。
　以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施例に限定されるものではなく、種々変更可能であることはいうまでもない。  例えば、実施例１、２では撮像素子３枚の構成であるが、２枚以上の構成であればよい。実施例２では減光フィルタを４画素のうち１画素だけとしているが、任意の割合にすることができる。この出願は、２０１５年８月１３日に出願された日本出願特願２０１５－１５９７７２を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
以上説明したように本発明は撮像装置に利用可能であり、例えば色分解光学系と複数の撮像素子とを含む撮像装置に好適なものである。
１…色分解光学系、２…撮像素子（第１の撮像素子）、３…撮像素子（第２の撮像素子）、４…撮像素子（第３の撮像素子）、５…減光フィルタ、ＰＢ…映像、ＰＤ…映像、ＰＢＩＰ…映像、ＰＤＩＰ…映像、ＰＣ…映像、２１…撮像素子（第１の撮像素子）、３１…撮像素子（第２の撮像素子）、４１…撮像素子（第３の撮像素子）、ＰＢ２…映像、ＰＤ２…映像、ＰＢＩＰ２…映像、ＰＤＩＰ２…映像、ＰＣ２…映像、２９…クロック、３０…インバータ、３１…セレクタ、３２…セレクタ、３３…セレクタ、３４…加算器、３５…加算器、３６…加算器、３７…加算器、３８…輝度信号処理部、３９…色信号処理部、４０…輝度信号処理部、４１…色信号処理部、４２…輝度信号明暗合成部、４３…色信号明暗合成部

Claims (5)

  1. 　色分解光学系と、
    　減光フィルタを画素単位に備え、前記色分解光学系の光を電気信号に変換する第１および第２の撮像素子と、
    　前記第１の撮像素子の減光フィルタを備える画素の部分からの輝度信号と、前記第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号とを合成する明部輝度信号処理部と、
    　前記第１の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号とを合成する暗部輝度信号処理部と、
    　前記第１の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの色信号とを合成する明部色信号処理部と、
    　前記第１の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの色信号とを合成する暗部色信号処理部と、
    　前記明部輝度信号処理部の出力信号と前記暗部輝度信号処理部の出力信号とを合成する輝度信号明暗合成部と、
    　前記明部色信号処理部の出力信号と前記暗部色信号処理部の出力信号とを合成する色信号明暗合成部と、を備え、
    　前記明部色信号処理部は欠落撮像データを隣接画素データに基づいて補間し、
    　前記暗部色信号処理部は欠落撮像データを隣接画素データに基づいて補間する 　撮像装置。
  2. 　請求項１において、
    　前記第１および第２の撮像素子の減光フィルタはそれぞれ市松模様に配置され、前記第１の撮像素子の減光フィルタと第２の撮像素子の減光フィルタとは相補的に配置される 　撮像装置。
  3. 　請求項１において、
    　前記第１および第２の撮像素子のそれぞれにおいて、減光フィルタがある画素の数は減光フィルタがない画素の数よりも少ない 　撮像装置。
  4. 　請求項３において、
    　前記第１および第２の撮像素子のそれぞれにおいて、減光フィルタがある画素の数は減光フィルタがない画素の数の１／３である。
  5. 　請求項１において、さらに、
    　前記色分解光学系の光を電気信号に変換する第３の撮像素子を備え、
    　前記明部輝度信号処理部は、前記第１の撮像素子の減光フィルタを備える画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号と前記第３の撮像素子の減光フィルタを備える画素の部分からの輝度信号とを合成し、
    　前記暗部輝度信号処理部は、前記第１の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号とを前記第３の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と合成すると、
    　前記明部色信号処理部は、前記第１の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第３の撮像素子の減光フィルタを備える画素の部分からの色信号とを合成し、
    　前記暗部色信号処理部は、前記第１の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第３の撮像素子の減光フィルタを備えない画素の部分からの色信号とを合成し、
    　前記第１、第２および第３の撮像素子のそれぞれは、赤、緑、青用の撮像素子である 　撮像装置。
PCT/JP2016/073307 2015-08-13 2016-08-08 撮像装置 WO2017026449A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017534447A JP6497822B2 (ja) 2015-08-13 2016-08-08 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015159772 2015-08-13
JP2015-159772 2015-08-13

Publications (1)

Publication Number Publication Date
WO2017026449A1 true WO2017026449A1 (ja) 2017-02-16

Family

ID=57984570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073307 WO2017026449A1 (ja) 2015-08-13 2016-08-08 撮像装置

Country Status (2)

Country Link
JP (1) JP6497822B2 (ja)
WO (1) WO2017026449A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112110A (ja) * 2000-09-28 2002-04-12 Matsushita Electric Ind Co Ltd 撮像装置および記録媒体
JP2003101886A (ja) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd 撮像装置
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262301A (ja) * 2001-03-02 2002-09-13 Olympus Optical Co Ltd 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112110A (ja) * 2000-09-28 2002-04-12 Matsushita Electric Ind Co Ltd 撮像装置および記録媒体
JP2003101886A (ja) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd 撮像装置
WO2013089036A1 (ja) * 2011-12-16 2013-06-20 ソニー株式会社 撮像装置

Also Published As

Publication number Publication date
JPWO2017026449A1 (ja) 2018-06-28
JP6497822B2 (ja) 2019-04-10

Similar Documents

Publication Publication Date Title
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US9392241B2 (en) Image processing apparatus and image processing method
JP5206796B2 (ja) 画像入力装置
KR101263888B1 (ko) 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
KR101391161B1 (ko) 화상처리장치
WO2015198127A1 (ja) 撮像処理装置および撮像処理方法
TWI386049B (zh) A solid-state imaging device, and a device using the solid-state imaging device
KR20160034897A (ko) 촬상 소자, 촬상 방법, 및 프로그램
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP2011151739A (ja) 画像処理装置
JP6095519B2 (ja) 撮像装置
US8823825B2 (en) Image processing device, image processing method, and solid-state imaging device
JPWO2006059365A1 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
JPH11146410A (ja) ビデオカメラ
JP6497822B2 (ja) 撮像装置
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP2018022951A (ja) 画像処理装置および白黒画像処理装置
JP7022544B2 (ja) 画像処理装置及び方法、及び撮像装置
KR20140133394A (ko) 화상 처리 장치 및 화상 처리 방법
JP7203441B2 (ja) 画像生成装置及び撮像装置
JP5991932B2 (ja) 撮像装置
JP2010103817A (ja) 撮像装置
JP2018056848A (ja) 撮像装置、撮像装置の制御方法
TW201737703A (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16835146

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017534447

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16835146

Country of ref document: EP

Kind code of ref document: A1