WO2021166236A1 - 撮像システム、画像処理プログラム、および画像処理方法 - Google Patents

撮像システム、画像処理プログラム、および画像処理方法 Download PDF

Info

Publication number
WO2021166236A1
WO2021166236A1 PCT/JP2020/007161 JP2020007161W WO2021166236A1 WO 2021166236 A1 WO2021166236 A1 WO 2021166236A1 JP 2020007161 W JP2020007161 W JP 2020007161W WO 2021166236 A1 WO2021166236 A1 WO 2021166236A1
Authority
WO
WIPO (PCT)
Prior art keywords
video signal
afterimage
color
exposure
mode
Prior art date
Application number
PCT/JP2020/007161
Other languages
English (en)
French (fr)
Inventor
拓洋 澁谷
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US17/799,233 priority Critical patent/US11683568B2/en
Priority to PCT/JP2020/007161 priority patent/WO2021166236A1/ja
Priority to JP2022501567A priority patent/JP7295329B2/ja
Publication of WO2021166236A1 publication Critical patent/WO2021166236A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Definitions

  • the present invention relates to an imaging system, an image processing program, and an image processing method.
  • HDR High Dynamic Range
  • OLED Organic Light Emitting Diode
  • the imaging device that captures the displayed image is strongly required to expand the dynamic range in order to support HDR.
  • the amount of light that can be photoelectrically converted by the image sensor is limited, and when the amount of light is large, a predetermined level or more is saturated.
  • the ratio of the amount of light received by each color component changes greatly depending on the difference in the color temperature of the light source, such as outdoors and under an electric lamp. Therefore, it has been difficult to sufficiently expand the dynamic range with an ND filter having an invariant dimming ratio.
  • the multi-plate image pickup device it is possible to avoid the color saturation of a specific color component and expand the dynamic range by making the exposure period of the image pickup element of each color component different.
  • this method since the degree of afterimage generation differs depending on the color component, an afterimage (colored afterimage) having a color shift different from the original subject color is generated.
  • an object of the present invention is to provide a technique for reducing colored afterimages.
  • one of the typical image pickup systems of the present invention includes a color separation optical system, a plurality of image pickup elements, a color-specific exposure setting unit, and an exposure control unit.
  • the color separation optical system disperses subject light into a plurality of wavelength ranges to form images of a plurality of color components.
  • the plurality of image pickup devices each capture images of the plurality of the color components and generate color components of the video signal.
  • the color-specific exposure setting unit sets the exposure period for each of the plurality of color components.
  • the exposure control unit controls the exposure of a plurality of the image pickup devices substantially simultaneously in a common period equal to or less than the shortest period of the exposure periods set for each color component, and controls the exposure to a video signal (hereinafter referred to as "reference video signal”). ) Is obtained by the exposure control ⁇ . Further, the exposure control unit obtains a video signal (hereinafter referred to as "extended video signal") by controlling the exposure of each of the plurality of image pickup devices during a period obtained by excluding the common period from the exposure period for each color component. Perform control ⁇ .
  • FIG. 1 is a block diagram showing a configuration of the imaging system 100 of the first embodiment.
  • FIG. 2 is a diagram illustrating the problem of colored afterimages.
  • FIG. 3 is a flow chart illustrating an operation sequence (1/2) of the imaging system 100.
  • FIG. 4 is a flow chart illustrating an operation sequence (2/2) of the imaging system 100.
  • FIG. 5 is an explanatory diagram showing a state of processing of the imaging system 100.
  • FIG. 1 is a block diagram showing a configuration of the imaging system 100 of the first embodiment.
  • the image pickup system 100 includes a photographing optical system 110, a color separation optical system 120, an image sensor 121G for a G color component, an image sensor 121R for an R color component, an image sensor 121B for a B color component, and color-specific exposure.
  • the photographing optical system 110 forms an image of the subject light transmitted through the diaphragm.
  • the color separation optical system 120 disperses the subject light to be imaged into a wavelength range for each color component to form an image for each color component.
  • the image sensors 121R, 121G, and 121B photoelectrically convert the image of each color component to generate the color component of the video signal, respectively.
  • the color-specific exposure setting unit 130 sets the exposure periods TR, TG, and TB for each RGB color component.
  • the exposure control unit 140 continuously executes the exposure control ⁇ and the exposure control ⁇ .
  • the exposure period of the exposure control ⁇ is set to a common period equal to or less than the shortest period of the exposure periods TR, TG, and TB.
  • the exposure control unit 140 controls the exposure of the image pickup devices 121R, 121G, and 121B substantially simultaneously during this common period to obtain a reference video signal.
  • the exposure period of the exposure control ⁇ is set to the remaining period excluding the above common period from the exposure periods TR, TG, and TB.
  • the exposure control unit 140 controls the exposure of the image pickup devices 121R, 121G, and 121B during the remaining period to obtain an extended video signal.
  • the afterimage correction units 150R, 150G, and 150B acquire the reference video signal and the extended video signal for each color component, and perform "determination of colored afterimage” and "mode switching".
  • FIG. 1 shows only the internal configuration of the afterimage correction unit 150G, the internal configuration of the afterimage correction units 150R and 150B is also the same.
  • the afterimage correction units 150R, 150G, and 150B include a memory 151, a level correction unit 152, a color afterimage determination unit 153, and a mode switching unit 154.
  • the memory 151 temporarily stores the reference video signal and the extended video signal, and outputs both signals in synchronization with each pixel.
  • the level correction unit 152 corrects the level difference caused by the difference in the exposure amount between the two signals based on the ratio of the "exposure period of the extended video signal" and the "exposure period of the reference video signal".
  • the color afterimage determination unit 153 compares the differences between the two signals after level correction and determines the colored afterimage.
  • the mode switching unit 154 implements a low afterimage mode that generates an output image from the reference video signal if the colored afterimage determined by the color afterimage determination unit 153 is out of the permissible range. Further, the mode switching unit 154 implements a range expansion mode in which an output image is generated from the combined result of the reference video signal and the extended video signal if the colored afterimage is within the permissible range. As shown in FIG. 1, the mode switching unit 154 includes an addition unit 155, a WB unit 156, a WB unit 157, and a selector 158.
  • the addition unit 155 synthesizes the reference video signal and the extended video signal on a pixel-by-pixel basis to generate a range-enlarged video.
  • the WB unit 156 adjusts the RGB gain of the range-enlarged image in each of the afterimage correction units 150R, 150G, and 150B.
  • the WB unit 157 adjusts the RGB gain (a kind of sensitization process) for aligning the range-expanded image and the average signal level with respect to the reference image signal in each of the afterimage correction units 150R, 150G, and 150B. To generate a low afterimage image.
  • the selector 158 switches between the range enlarged image and the low afterimage image according to the determination result of the color afterimage determination unit 153 to generate an output image. If there is a time lag between the switching timing of the selector 158 and the determination timing of the color afterimage determination unit 153, a signal delay unit for delaying the preceding timing to eliminate the time lag may be provided.
  • the video signal processing unit 180 performs various signal processing (gamma correction, contour enhancement, noise removal, white balance adjustment, color conversion, etc.) on this output image.
  • various signal processing gamma correction, contour enhancement, noise removal, white balance adjustment, color conversion, etc.
  • the video signal output unit 190 converts the output image after signal processing into a predetermined signal format such as HD-SDI (High Definition Serial Digital Interface) and outputs it.
  • HD-SDI High Definition Serial Digital Interface
  • FIG. 2 is a diagram illustrating the problem of colored afterimages.
  • the average light of the subject illuminated by this lamp shows a wavelength distribution with a peak in the R color gamut.
  • the amount of light received by the image sensor 121R for the R color component is larger than the amount of light received by the other image sensors 121G and 121B. Therefore, the R color component of the video signal is color-saturated earlier than the other GB color components.
  • a short exposure period that avoids color saturation of the R color component is uniformly set to the exposure period of the RGB color component. Therefore, only a part of the dynamic range of the image sensor is used for the GB color component, and the GB color component has a narrower gradation width (dynamic range) than the R color component, resulting in low sensitivity and high noise.
  • the exposure period of the RGB color components different. That is, for the R color component, the exposure period is set short to avoid color saturation of the R color component. On the other hand, for the GB color component, a long exposure period is set to achieve a wide dynamic range with high sensitivity and low noise.
  • FIG. 2 shows shooting conditions in which the exposure periods of the RGB color components are different in this way. If the subject is stationary and there is no camera shake, this shooting condition makes it possible to obtain an output image with high sensitivity, low noise, and a wide dynamic range.
  • FIGS. 3 and 4 are flow charts illustrating an operation sequence of the imaging system 100.
  • FIG. 5 is an explanatory diagram showing a state of processing of the imaging system 100.
  • the step numbers shown in FIGS. 3 and 4 will be described in this order.
  • Step S101 The color-specific exposure setting unit 130 acquires photometric data for each RGB of the subject.
  • This photometric data may be acquired from a photometric unit (not shown) included in the imaging system 100. Further, by monitoring the signal outputs of the image sensors 121R, 121G, and 121B, RGB-specific photometric data may be acquired.
  • the color-specific exposure setting unit 130 sets the exposure periods TR, TG, and TB of the image sensors 121R, 121G, and 121B based on the ratio of the photometric data for each RGB (see FIG. 5).
  • the exposure period is set short so that color saturation does not occur in the gradation for the color component in which the amount of received light is excessive. Further, for the color component whose light receiving amount is insufficient, the exposure period is set longer so that the dark part is not crushed in the gradation.
  • Step S102 The exposure control unit 140 obtains the shortest period from the exposure periods TR, TG, and TB for each color component, and determines a common period equal to or less than this shortest period.
  • the common period may be determined equal to the shortest period.
  • the common period may be shorter than the shortest period in order to suppress afterimages.
  • the common period is determined to be equal to the exposure period TR of the R color component.
  • Step S103 The exposure control unit 140 electronically controls the image pickup devices 121R, 121G, and 121B in the remaining period excluding the common period from the exposure periods TR, TG, and TB for each color component, and obtains an extended video signal.
  • the exposure based on this remaining period is called "exposure control ⁇ ".
  • the exposure period of the exposure control ⁇ is determined as follows. -For the R color component of the extended video signal, the exposure period becomes zero due to the exposure period (TR-TR). (Therefore, the electronic shutter control for the image sensor 121R is not performed, and the R color component of the extended video signal becomes zero.) -For the G color component of the extended video signal, the exposure period is determined to be (TG-TR). -For the B color component of the extended video signal, the exposure period is determined to be (TB-TR).
  • Step S104 The exposure control unit 140 obtains a reference video signal by electronically controlling the image pickup devices 121R, 121G, and 121B substantially simultaneously with the common period TR as the exposure period (see FIG. 5).
  • the exposure during this common period is called "exposure control ⁇ ".
  • the electronic shutter control in steps S103 and S104 may be any of a global shutter method, a rolling shutter method, and the like.
  • Step S110 The level correction unit 152 expands the reference video signal and the extension based on the "ratio of (exposure period of the extended video signal) / (exposure period of the reference video signal)" and the "photoelectric conversion curve of the image sensor". Align the average signal levels of video signals. As a result, the level difference between the two signals due to the difference in the exposure amount is canceled out, and the level difference in pixel units due to the colored afterimage appears clearly.
  • Step S111 The color afterimage determination unit 153 compares the difference between the reference video signal and the extended video signal for each color component. In this comparison process, the pixel region in which the colored afterimage is generated is detected as the difference region between the two signals.
  • Step S112 The color afterimage determination unit 153 determines whether or not the image quality of the level difference (pixel area of the colored afterimage) of each pixel detected in step S111 is within an allowable range. According to the result of this determination, if it is within the permissible range, the color afterimage determination unit 153 switches the operation to step S113 in order to select the range expansion mode. If it is out of the permissible range, the color afterimage determination unit 153 switches the operation to step S116 in order to select the low afterimage mode.
  • an output image (moving image, continuous image, etc.) in which frames having different modes are combined may be generated in the subsequent processing. That is, the range expansion mode is selected for a frame having a small amount of colored afterimage, and the low afterimage mode is selected for a frame having a large amount of colored afterimage.
  • an output image combining regions having different modes is generated in the subsequent processing. May be good. That is, the range expansion mode is selected for a region having a small colored afterimage, and the low afterimage mode is selected for a region having a large colored afterimage.
  • an output image in which color components having different modes are combined may be generated in the subsequent processing. That is, the range expansion mode is selected for the color component having a small colored afterimage, and the low afterimage mode is selected for the color component having a large colored afterimage.
  • any one or a combination of the following [1] to [4] may be selected.
  • the color afterimage determination unit 153 determines that the color difference of the color shift afterimage is out of the permissible range because it is clear and conspicuous.
  • the color afterimage determination unit 153 determines that if the area of the region where the level difference is generated (the number of pixels) is larger than a predetermined threshold value, the area of the color shift afterimage is large and conspicuous, and therefore it is out of the permissible range.
  • the color afterimage determination unit 153 determines that if the frequency of pixels causing a level difference is greater than a predetermined threshold value, it is out of the permissible range because many locations where color shift afterimages occur are conspicuous. [4] If the cumulative value of the absolute value of the level value is larger than a predetermined threshold value, the color afterimage determination unit 153 determines that the color shift afterimage is out of the permissible range because it is quantitatively large and conspicuous.
  • Step S113 The addition unit 155 synthesizes the reference video signal and the extended video signal on a pixel-by-pixel basis to generate a range-enlarged video.
  • the reference video signal and the extended video signal may be simply added.
  • the range-expanded image in this case becomes an image substantially equivalent to the image captured in the exposure periods TR, TG, and TB set in step S101. Therefore, the range-expanded image is a wide dynamic range image in which the dynamic range of the RGB color components is appropriately within the output gradation range of the image sensors 121R, 121G, and 121B.
  • reference video signal and the extended video signal may be weighted and added. For example, the larger the level difference between the reference video signal and the extended video signal detected by the color afterimage determination unit 153, the larger the addition ratio of the reference video signal, and the eclectic output between the range expansion mode and the low afterimage mode. You may generate an image
  • Step S114 The WB unit 156 adjusts the RGB gain of the range-enlarged image to keep the RGB level of the range-enlarged image within a predetermined range. In this case, it is preferable to adjust the RGB gain so that bit loss (gradation loss) does not occur according to the HDR (High Dynamic Range) signal format.
  • Step S115 The selector 158 switches and outputs the range-enlarged video as an output image to the video signal processing unit 180.
  • the imaging system 100 returns to step S101 in order to perform shooting of the subsequent frame.
  • Step S116 The WB unit 157 adjusts the RGB gain of the reference video signal to keep the RGB level (white balance) of the reference video signal within a predetermined range. At the same time, the WB unit 157 also adjusts the signal level with respect to the reference video signal (a kind of sensitization processing), and outputs it as a "low afterimage video" in which the range-expanded video and the average signal level are aligned.
  • Step S117 The selector 158 switches and outputs the low afterimage video as an output image to the video signal processing unit 180.
  • the average signal level in step S116 the discontinuous change in the signal level due to the switching between the range-expanded image and the low afterimage image is suppressed.
  • the imaging system 100 executes operation sequences such as moving image shooting and still image shooting.
  • Example 1 exposure control ⁇ and exposure control ⁇ are performed as a kind of divided exposure.
  • this exposure control ⁇ a plurality of image pickup devices are uniformly exposed and controlled in a common period equal to or less than the shortest period of the exposure periods set for each color component.
  • the exposure control ⁇ the exposure control of each of the plurality of image pickup devices is performed in the period obtained by excluding the common period from the exposure period for each color component.
  • an extended video signal mainly including a colored afterimage Both signals obtained by these divided exposures are signals having different appearances of colored afterimages. Therefore, image processing such as extracting a colored afterimage based on the difference between the two signals and reducing the extracted colored afterimage becomes possible.
  • the reference video signal and the extended video signal are compared. Since the colored afterimages of both signals appear differently, it is possible to determine the colored afterimage by comparing both signals.
  • the low afterimage mode is performed.
  • an output image (low afterimage image) is generated from a reference image signal that does not generate a colored afterimage. Therefore, it is possible to obtain an output image in which a colored afterimage does not occur in a difficult shooting environment in which the colored afterimage exceeds an allowable range.
  • the range expansion mode is performed.
  • an output image (range expansion image) is generated from the composite result of the reference video signal and the extended video signal.
  • This range-expanded video has a wide dynamic range because the gradation range of the extended video signal is added to the gradation range of the reference video signal. Further, the range-expanded video has high sensitivity and high S / N because the signal level of the extended video signal is added to the signal level of the reference video signal. Therefore, it is possible to obtain a high-sensitivity and high-S / N output image with a wide dynamic range in a shooting environment in which the colored afterimage is within the permissible range.
  • the low afterimage image obtained by simply sensitizing the reference image signal is inferior in terms of S / N to the range-enlarged image.
  • a fast-moving subject scene that causes a colored afterimage outside the permissible range is difficult for the human eye to clearly capture, so that the noise feeling is not noticeable.
  • the subject scene with fast movement has low utility value as a still image, there is no problem in terms of using a still image.
  • the low afterimage mode and the range expansion mode are switched in frame units. Therefore, in moving image shooting or continuous shooting, a low afterimage mode that reduces the colored afterimage is selected during the frame period in which the colored afterimage is generated by the moving subject. Further, in the frame period in which a colored afterimage does not occur due to the still subject, the range expansion mode for expanding the dynamic range is selected. Therefore, by switching between the low afterimage mode and the range expansion mode in frame units, it is possible to obtain a wide dynamic range image in frame units while avoiding image disruption due to colored afterimages in frame units.
  • the low afterimage mode and the range expansion mode are switched for each region in the frame. Therefore, in the contour region of a moving subject where a colored afterimage occurs, a low afterimage mode that reduces the colored afterimage is selected. Further, in the region where a colored afterimage does not occur, the range expansion mode for expanding the dynamic range is selected. Therefore, by switching between the low afterimage mode and the range expansion mode for each area within the frame, it is possible to obtain a wide dynamic range image for each area within the frame while avoiding image corruption due to colored afterimages for each area within the frame. Becomes possible.
  • the reference video signal and the extended video signal are compared for each color component, and the colored afterimage is determined for each color component. Therefore, it is possible to determine the state of a colored afterimage such that a colored afterimage is generated in a specific color component and a colored afterimage is not generated in other color components.
  • the low afterimage mode and the range expansion mode are switched for each color component based on the colored afterimage for each color component. Therefore, select the low afterimage mode for a specific color component that causes a colored afterimage to avoid image disruption due to the colored afterimage, and select the range expansion mode for a color component that does not generate a colored afterimage. It becomes possible to achieve a wide dynamic range.
  • the gain correction of the color component is performed according to the low afterimage mode and the range expansion mode. Therefore, it is possible to suppress the level change of the output image due to the mode switching between the low afterimage mode and the range expansion mode.
  • the timing of closing the electronic shutter is synchronized in the exposure control ⁇ (a kind of rear curtain synchronization).
  • the colored afterimage generated in the extended video signal by this trailing curtain synchronization is generated so as to trail backward with respect to the moving direction of the subject. Therefore, in the extended video signal, it is possible to obtain a colored afterimage that is close to the human afterimage sensation.
  • the color afterimage determination unit 153, the mode switching unit 154, and the like described above may be configured as a computer system including a CPU (Central Processing Unit), a memory, and the like as hardware.
  • a CPU Central Processing Unit
  • various functions such as a color afterimage determination unit 153 and a mode switching unit 154 are realized.
  • dedicated equipment general-purpose machine learning machines, DSPs (Digital Signal Processors), FPGAs (Field-Programmable Gate Arrays), GPUs (Graphics Processing Units), PLDs (programmable logic devices) You may substitute with.
  • DSPs Digital Signal Processors
  • FPGAs Field-Programmable Gate Arrays
  • GPUs Graphics Processing Units
  • PLDs programmable logic devices
  • the reference video signal and the extended video signal obtained by the divided exposure may be temporarily saved (RAW data saving, etc.).
  • the computer system image processing program
  • the final output image is obtained by performing "colored afterimage determination” and "mode switching" later. It will be possible to obtain.
  • a color afterimage determination unit 153 and a mode switching unit 154 are provided for a plurality of client terminals (users).
  • a function (image processing method) corresponding to the above may be provided as a service.
  • the exposure control ⁇ and the exposure control ⁇ are performed in this order.
  • the present invention is not limited to this.
  • the exposure control ⁇ and the exposure control ⁇ may be performed in this order. In this case, since the exposure control ⁇ is executed first, it is possible to obtain a reference video signal with a smaller shutter time lag.
  • the reference video signal is sensitized to generate a low afterimage video. Since the noise level of this low afterimage image increases due to sensitization, the contour enhancement processing may be weakened or the noise reduction processing may be strengthened in the image signal processing unit 180.
  • Example 1 an RGB 3-plate type image pickup apparatus has been described.
  • the number of image pickup devices of the present invention may be a plurality, and the number is not limited to the number of image pickup devices.
  • the present invention may be applied to a four-plate image pickup device using an RGGB.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Further, it is possible to add / delete / replace a part of the configuration of the embodiment with another configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本発明は、色付き残像を軽減するための技術を提供する。この課題を解決するため、撮像システムは、次の構成を備える。色分解光学系は、被写体光を複数の波長域に分光し、複数の色成分の像を形成する。複数の撮像素子は、複数の前記色成分の像をそれぞれ撮像し、映像信号の色成分をそれぞれ生成する。色別露光設定部は、露光期間を複数の前記色成分ごとにそれぞれ設定する。露光制御部は、前記色成分ごとに設定された前記露光期間のうちの最短期間以下の共通期間において、複数の前記撮像素子を略同時に露光制御して映像信号（以下「基準映像信号」という）を得る露光制御αを実施する。さらに、前記露光制御部は、前記色成分ごとの露光期間から前記共通期間を除いた期間で、複数の前記撮像素子をそれぞれ露光制御して映像信号（以下「拡張映像信号」という）を得る露光制御βを実施する。

Description

撮像システム、画像処理プログラム、および画像処理方法
　本発明は、撮像システム、画像処理プログラム、および画像処理方法に関する。
　近年、ＯＬＥＤ（Organic　Light　Emitting　Diode）技術の普及によってコントラスト比をより人間の視覚に近づけたＨＤＲ（High　Dynamic　Range）対応の表示装置が注目されている。
　それに伴い、表示する映像を撮影する撮像装置には、ＨＤＲに対応するためにダイナミックレンジの拡大が強く求められる。しかし、撮像素子が光電変換できる光量は限られており、光量が大きい場合には所定レベル以上が飽和してしまう。
　そこで、単板式撮像装置において、『露光期間』を異ならせて２つの画像を連続撮像し、２つの画像を合成してダイナミックレンジを拡大する技術が知られている（例えば、特許文献１参照）。
　一方、入射光を色分解して各色成分を各々の撮像素子で受光する構成の多板式撮像装置が知られている。この種の多板式撮像装置においては、色成分ごとの撮像素子の受光量をＮＤフィルタ（光量減少フィルタ）で揃えることでダイナミックレンジを拡大する技術が知られている（例えば、特許文献２参照）。
特開平１－２０４５７９号公報 特開平７－２５０３３２号公報
　特許文献２の多板式撮像装置では、受光量の大きな特定の色成分についてはＮＤフィルタで減光して信号飽和を避け、その他の色成分については受光量を保つ。その結果、ダイナミックレンジを拡大する一定の効果が得られる。
　しかしながら、各色成分の受光量の比率は、屋外と電灯下など、光源色温度の違いによって大きく変化する。そのため、減光比率が不変のＮＤフィルタでは、ダイナミックレンジを十分に拡大することは困難であった。
　なお、多板式撮像装置において、各色成分の撮像素子の露光期間を異ならせることで、特定の色成分の色飽和を避けて、ダイナミックレンジを拡大することは可能である。しかしながら、この方法では、色成分ごとに残像の発生度合いが異なるため、本来の被写体色とは異なる色ズレが付いた残像（色付き残像）が発生する。
　この色付き残像は、人間の視覚特性とは異なる現象であるため、映像品位（違和感のない映像）が重要視される放送用カメラなどでは許容されない現象になる。
　そこで、本発明は、色付き残像を軽減するための技術を提供することを目的とする。
　上記課題を解決するために、本発明の代表的な撮像システムの一つは、色分解光学系、複数の撮像素子、色別露光設定部、および露光制御部を備える。
　前記色分解光学系は、被写体光を複数の波長域に分光し、複数の色成分の像を形成する。
　複数の前記撮像素子は、複数の前記色成分の像をそれぞれ撮像し、映像信号の色成分をそれぞれ生成する。
　前記色別露光設定部は、露光期間を複数の前記色成分ごとにそれぞれ設定する。
　前記露光制御部は、前記色成分ごとに設定された前記露光期間のうちの最短期間以下の共通期間において、複数の前記撮像素子を略同時に露光制御して映像信号（以下「基準映像信号」という）を得る露光制御αを実施する。さらに、前記露光制御部は、前記色成分ごとの露光期間から前記共通期間を除いた期間で、複数の前記撮像素子をそれぞれ露光制御して映像信号（以下「拡張映像信号」という）を得る露光制御βを実施する。
本発明によれば、色付き残像を軽減するための技術が提供される。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
図１は、実施例１の撮像システム１００の構成を示すブロック図である。 図２は、色付き残像の問題を説明する図である。 図３は、撮像システム１００の動作シーケンス（１／２）を説明する流れ図である。 図４は、撮像システム１００の動作シーケンス（２／２）を説明する流れ図である。 図５は、撮像システム１００の処理の様子を示す説明図である。
　以下、本発明の実施例について図面を参照して詳細に説明する。
［撮像システム１００の構成について］
　図１は、実施例１の撮像システム１００の構成を示すブロック図である。
　同図において、撮像システム１００は、撮影光学系１１０、色分解光学系１２０、Ｇ色成分用の撮像素子１２１Ｇ、Ｒ色成分用の撮像素子１２１Ｒ、Ｂ色成分用の撮像素子１２１Ｂ、色別露光設定部１３０、露光制御部１４０、Ｇ色成分用の残像補正部１５０Ｇ、Ｒ色成分用の残像補正部１５０Ｒ、Ｂ色成分用の残像補正部１５０Ｂ、映像信号処理部１８０、および映像信号出力部１９０を備える。
　撮影光学系１１０は、絞りを透過した被写体光を結像する。色分解光学系１２０は、結像する被写体光を色成分ごとの波長域に分光し、色成分ごとの像を形成する。
　撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂは、色成分ごとの像を光電変換して、映像信号の色成分をそれぞれ生成する。
　色別露光設定部１３０は、ＲＧＢ色成分ごとの露光期間ＴＲ、ＴＧ、ＴＢを設定する。
　露光制御部１４０は、露光制御αおよび露光制御βを連続的に実施する。
　露光制御αの露光期間は、露光期間ＴＲ、ＴＧ、ＴＢのうちの最短期間以下の共通期間に設定される。露光制御部１４０は、この共通期間で撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂを略同時に露光制御して、基準映像信号を得る。
　露光制御βの露光期間は、露光期間ＴＲ、ＴＧ、ＴＢから上記の共通期間を除いた残り期間に設定される。露光制御部１４０は、この残り期間で撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂを露光制御して、拡張映像信号を得る。
　残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂは、基準映像信号および拡張映像信号を色成分ごとに取得し、『色付き残像の判定』と『モード切り替え』を実施する。図１には残像補正部１５０Ｇの内部構成のみを示すが、残像補正部１５０Ｒ、１５０Ｂの内部構成も同様である。残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂは、メモリ１５１、レベル補正部１５２、色残像判定部１５３、およびモード切替部１５４を備える。
　メモリ１５１は、基準映像信号および拡張映像信号を一旦記憶し、両信号を画素単位に同期させて出力する。
　レベル補正部１５２は、『拡張映像信号の露光期間』と『基準映像信号の露光期間』との比率に基づいて、両信号における露光量の違いに起因するレベル差を補正する。
　色残像判定部１５３は、レベル補正後の両信号について差異を比較して色付き残像を判定する。
　モード切替部１５４は、色残像判定部１５３の判定した色付き残像が許容範囲の外であれば基準映像信号から出力画像を生成する低残像モードを実施する。また、モード切替部１５４は、色付き残像が許容範囲の内であれば基準映像信号と拡張映像信号との合成結果から出力画像を生成するレンジ拡大モードを実施する。このモード切替部１５４の内部には、図１に示すように、加算部１５５、ＷＢ部１５６、ＷＢ部１５７、およびセレクタ１５８を備える。
　加算部１５５は、基準映像信号と拡張映像信号とを画素単位に合成して、レンジ拡大映像を生成する。
　ＷＢ部１５６は、残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂそれぞれにおいてレンジ拡大映像のＲＧＢゲインを調整する。
　一方、ＷＢ部１５７は、残像補正部１５０Ｒ、１５０Ｇ、１５０Ｂそれぞれにおいて、基準映像信号に対して、レンジ拡大映像と平均信号レベルを揃えるためのＲＧＢゲインの調整（一種の増感処理）を実施して、低残像映像を生成する。
　セレクタ１５８は、色残像判定部１５３の判定結果に従って、レンジ拡大映像と低残像映像とを切り替えて、出力画像を生成する。なお、セレクタ１５８の切り替えタイミングと、色残像判定部１５３の判定タイミングとにタイムラグが存在する場合は、先行するタイミングを遅延させてタイムラグを解消するための信号遅延部を備えてもよい。
　映像信号処理部１８０は、この出力画像に対して各種の信号処理（ガンマ補正、輪郭強調、ノイズ除去、ホワイトバランス調整、色変換など）を実施する。
　映像信号出力部１９０は、信号処理後の出力画像をＨＤ－ＳＤＩ（High　Definition　Serial　Digital　Interface）などの所定の信号形式に変換して出力する。
［色付き残像の問題について］
　次に、実施例１の動作シーケンスを説明する前に、『色付き残像の問題』について説明する。
　図２は、色付き残像の問題を説明する図である。
　ここでは、一例として光源色温度が低い電灯下の撮影環境を想定する。この電灯に照らされた被写体の平均的な光は、Ｒ色域をピークにした波長分布を示す。この場合、撮像システム１００においてＲ色成分用の撮像素子１２１Ｒの受光量は、その他の撮像素子１２１Ｇ、１２１Ｂの受光量よりも大きくなる。そのため、映像信号のＲ色成分は他のＧＢ色成分に比べて先に色飽和する。
　従来の放送用カメラであれば、このＲ色成分の色飽和を避ける短めの露光期間を、ＲＧＢ色成分の露光期間に一律設定する。そのため、ＧＢ色成分については撮像素子のダイナミックレンジの一部範囲のみしか使用せず、Ｒ色成分に比べてＧＢ色成分は、階調幅（ダイナミックレンジ）が狭く、低感度かつ高ノイズになる。
　これに対して、ＲＧＢ色成分の露光期間を異ならせる方策が考えられる。すなわち、Ｒ色成分については、露光期間を短めに設定して、Ｒ色成分の色飽和を避ける。一方、ＧＢ色成分については、露光期間を長めに設定して、高感度かつ低ノイズでワイドダイナミックレンジ化を図る。
　図２には、このようにＲＧＢ色成分の露光期間を異ならせた撮影条件を示す。
　被写体が静止し、かつカメラブレがなければ、この撮影条件によって、高感度かつ低ノイズでワイドダイナミックレンジの出力映像を得ることが可能になる。
　しかしながら、被写体が動いている場合（またはカメラブレがある場合）、出力映像には、ＲＧＢ色成分の異なる露光期間に応じて、異なる幅の残像が発生する（図２参照）。このようにＲＧＢ色成分ごとに残像の幅が異なることによって、本来の被写体色とは異なる色が付いた残像（色付き残像）が発生する。
［実施例１の処理について］
　続いて、上述した色付き残像の問題を改善する実施例１の処理について説明する。
　図３および図４は、撮像システム１００の動作シーケンスを説明する流れ図である。
　図５は、撮像システム１００の処理の様子を示す説明図である。
　以下、図３および図４に示すステップ番号の順に説明する。
ステップＳ１０１：　色別露光設定部１３０は、被写体のＲＧＢ別の測光データを取得する。この測光データは、撮像システム１００が備える測光部（不図示）から取得してもよい。また、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂの信号出力をモニタリングすることによって、ＲＧＢ別の測光データを取得してもよい。
　色別露光設定部１３０は、ＲＧＢ別の測光データの比率に基づいて、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂの露光期間ＴＲ、ＴＧ、ＴＢをそれぞれ設定する（図５参照）。
　その結果、ＲＧＢ色成分の内、受光量が過多となる色成分については、階調に色飽和が生じないように露光期間が短めに設定される。また、受光量の不足する色成分については、階調に暗部潰れが生じないように露光期間が長めに設定される。
ステップＳ１０２：　露光制御部１４０は、色成分ごとの露光期間ＴＲ、ＴＧ、ＴＢから最短期間を求め、この最短期間以下の共通期間を決定する。通常は、共通期間を最短期間に等しく決定すればよい。ただし、被写体の動きが激しいなどの場合は、残像を抑制するために共通期間を最短期間よりも短くしてもよい。
　なお、ここでは説明を簡単にするため、図５に示すケースでは、共通期間がＲ色成分の露光期間ＴＲに等しく決定される。
ステップＳ１０３：　露光制御部１４０は、色成分ごとの露光期間ＴＲ、ＴＧ、ＴＢから共通期間を除いた残り期間で、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂをそれぞれ電子シャッタ制御し、拡張映像信号を得る。この残り期間による露光を『露光制御β』という。
　図５に示すケースでは、露光制御βの露光期間は次のように決定される。
・拡張映像信号のＲ色成分については、露光期間（ＴＲ－ＴＲ）のために、露光期間はゼロになる。（そのため、撮像素子１２１Ｒに対する電子シャッタ制御は行われず、拡張映像信号のＲ色成分はゼロになる。）
・拡張映像信号のＧ色成分については、露光期間が（ＴＧ－ＴＲ）に決定される。
・拡張映像信号のＢ色成分については、露光期間が（ＴＢ－ＴＲ）に決定される。
ステップＳ１０４：　露光制御部１４０は、共通期間ＴＲを露光期間として、撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂを略同時に電子シャッタ制御して、基準映像信号を得る（図５参照）。この共通期間による露光を『露光制御α』という。なお、ステップＳ１０３，Ｓ１０４における電子シャッタ制御は、グローバルシャッタ方式やローリングシャッタ方式などのいずれでもよい。
ステップＳ１１０：　レベル補正部１５２は、『（拡張映像信号の露光期間）／（基準映像信号の露光期間）の比率』と、『撮像素子の光電変換カーブ』とに基づいて、基準映像信号と拡張映像信号の平均信号レベルを揃える。その結果、露光量の違いに起因する両信号のレベル差は相殺され、色付き残像による画素単位のレベル差が明確に現れる。
ステップＳ１１１：　色残像判定部１５３は、基準映像信号と拡張映像信号との差異を色成分ごとに比較する。この比較処理において、色付き残像を生じた画素領域は、両信号の差分領域として検出される。
ステップＳ１１２：　色残像判定部１５３は、ステップＳ１１１で検出された画素単位のレベル差（色付き残像の画素領域）について、画質として許容範囲か否かを判定する。この判定の結果に従って、許容範囲の内であれば、色残像判定部１５３はレンジ拡大モードを選択するためにステップＳ１１３に動作を切り替える。許容範囲の外であれば、色残像判定部１５３は低残像モードを選択するためにステップＳ１１６に動作を切り替える。
　なお、ここでの動作切り替えを映像のフレーム単位に実施することによって、以降の処理においてモードの異なるフレームを組み合わせた出力画像（動画や連続画像など）を生成してもよい。すなわち、色付き残像の少ないフレームについてはレンジ拡大モードが選択され、色付き残像の多いフレームについては低残像モードが選択される。
　また、ここでの動作切り替えをフレーム内の領域（画素単位、画素ブロック単位、ライン単位など）ごとに独立に実施することによって、以降の処理においてモードの異なる領域を組み合わせた出力画像を生成してもよい。すなわち、色付き残像の少ない領域についてはレンジ拡大モードが選択され、色付き残像の多い領域については低残像モードが選択される。
　さらに、ここでの動作切り替えを色成分ごとに独立に実施することによって、以降の処理においてモードの異なる色成分を組み合わせた出力画像を生成してもよい。すなわち、色付き残像の少ない色成分についてはレンジ拡大モードが選択され、色付き残像の多い色成分については低残像モードが選択される。
　また、ここでの判定アルゴリズムとしては、例えば、次の［１］～［４］のいずれか一つ、または組み合わせを選んでもよい。
［１］色残像判定部１５３は、画素単位のレベル差が所定の閾値より大きければ、色ズレ残像の色差が明確で目立つために許容範囲の外と判定する。
［２］色残像判定部１５３は、レベル差を生じた領域面積（画素の数）が所定の閾値より大きければ、色ズレ残像の面積が大きく目立つために許容範囲の外と判定する。
［３］色残像判定部１５３は、レベル差を生じた画素の頻度が所定の閾値より大きければ、色ズレ残像の発生箇所が多数で目立つために許容範囲の外と判定する。
［４］色残像判定部１５３は、レベル値の絶対値の累積値が所定の閾値より大きければ、色ズレ残像が量的に大きくて目立つために許容範囲の外と判定する。
ステップＳ１１３：　加算部１５５は、基準映像信号と拡張映像信号とを画素単位に合成して、レンジ拡大映像を生成する。通常は、基準映像信号と拡張映像信号とを単純加算すればよい。この場合のレンジ拡大映像は、ステップＳ１０１において設定された露光期間ＴＲ、ＴＧ、ＴＢで撮像された映像とほぼ等価な映像になる。そのため、レンジ拡大映像は、ＲＧＢ色成分のダイナミックレンジが撮像素子１２１Ｒ、１２１Ｇ、１２１Ｂの出力階調の範囲に適度に収まるワイドダイナミックレンジの映像になる。
　なお、基準映像信号と拡張映像信号とを加重加算してもよい。例えば、色残像判定部１５３において検出される基準映像信号と拡張映像信号とのレベル差が大きいほど、基準映像信号の加算比率を大きくして、レンジ拡大モードと低残像モードとの折衷的な出力画像を生成してもよい
ステップＳ１１４：　ＷＢ部１５６は、レンジ拡大映像のＲＧＢゲインを調整することにより、レンジ拡大映像のＲＧＢレベルを所定範囲に収める。この場合に、ＨＤＲ（High　Dynamic　Range）・の信号形式に応じてビット落ち（階調欠落）が生じないようにＲＧＢゲインを調整することが好ましい。
ステップＳ１１５：　セレクタ１５８は、レンジ拡大映像を出力画像として映像信号処理部１８０へ切り替え出力する。ここまでの動作を完了すると、撮像システム１００は、後続フレームの撮影を実施するため、ステップＳ１０１に動作を戻す。
ステップＳ１１６：　ＷＢ部１５７は、基準映像信号のＲＧＢゲインを調整して、基準映像信号のＲＧＢレベル（ホワイトバランス）を所定範囲に収める。それと同時に、ＷＢ部１５７は、基準映像信号に対する信号レベルの調整（一種の増感処理）を併せて行い、レンジ拡大映像と平均信号レベルの揃った『低残像映像』として出力する。
ステップＳ１１７：　セレクタ１５８は、低残像映像を出力画像として映像信号処理部１８０へ切り替え出力する。なお、ステップＳ１１６における平均信号レベルの調整によって、レンジ拡大映像と低残像映像の切り替えに伴う非連続な信号レベルの変化は抑制される。ここまでの動作を完了すると、撮像システム１００は、後続フレームの撮影を実施するため、ステップＳ１０１に動作を戻す。
　以上の一連の動作を継続的に繰り返すことによって、撮像システム１００では、動画撮影および静止画撮影などの動作シーケンスが実施される。
［実施例１の効果について］
　次に、実施例１が奏する効果について説明する。
（１）実施例１では、露光制御αおよび露光制御βを一種の分割露光として実施する。
　この露光制御αでは、色成分ごとに設定された露光期間のうちの最短期間以下の共通期間で、複数の撮像素子を一律に露光制御する。その結果、色飽和を軽減しつつ、色付き残像の生じない基準映像信号を得ることが可能になる。
　一方、露光制御βでは、色成分ごとの露光期間から共通期間を除いた期間で、複数の撮像素子をそれぞれ露光制御する。その結果、色付き残像を主として含む拡張映像信号を得ることが可能になる。
　これら分割露光によって得られる両信号は、色付き残像の出方が異なる信号である。したがって、両信号の差異に基づいて色付き残像を抽出する、抽出した色付き残像を軽減するなどの画像処理が可能になる。
（２）実施例１では、基準映像信号と拡張映像信号との比較を行う。両信号の色付き残像は出方が異なるため、両信号を比較することによって色付き残像を判定することが可能になる。
（３）実施例１では、色付き残像が許容範囲の外であれば、低残像モードを実施する。この低残像モードは、色付き残像を生じない基準映像信号から出力画像（低残像映像）が生成される。そのため、色付き残像が許容範囲を超える難しい撮影環境において、色付き残像の生じない出力画像を得ることが可能になる。
（４）実施例１では、色付き残像が許容範囲の内であれば、レンジ拡大モードを実施する。このレンジ拡大モードでは、基準映像信号と拡張映像信号との合成結果から出力画像（レンジ拡大映像）が生成される。このレンジ拡大映像は、基準映像信号の階調範囲に拡張映像信号の階調範囲が増し加わるために、ワイドダイナミックレンジになる。また、レンジ拡大映像は、基準映像信号の信号レベルに拡張映像信号の信号レベルが増し加わるため、高感度かつ高Ｓ／Ｎになる。そのため、色付き残像が許容範囲に収まる撮影環境において、ワイドダイナミックレンジで高感度かつ高Ｓ／Ｎの出力画像を得ることが可能になる。
（５）なお、基準映像信号を増感しただけの低残像映像は、レンジ拡大映像に比べてＳ／Ｎの点で劣った映像になる。しかし、許容範囲の外の色付き残像が発生するような動きが速い被写体シーンは人間の目では鮮明に捉え難いためノイズ感が目立つことはない。また、動きが速い被写体シーンは静止画としての利用価値が低いため、静止画利用という面での問題も生じない。
（６）実施例１では、低残像モードとレンジ拡大モードをフレーム単位に切り替える。そのため、動画撮影や連続撮影において、動体被写体によって色付き残像が発生するフレーム期間においては、色付き残像を軽減する低残像モードが選択される。また、静止被写体によって色付き残像が発生しないフレーム期間においては、ダイナミックレンジを拡大するレンジ拡大モードが選択される。
　したがって、低残像モードとレンジ拡大モードをフレーム単位に切り替えることによって、色付き残像による映像破綻をフレーム単位に回避しつつ、ワイドダイナミックレンジの映像をフレーム単位に得ることが可能になる。
（７）実施例１では、低残像モードとレンジ拡大モードをフレーム内の領域単位に切り替える。そのため、色付き残像が発生する動体被写体の輪郭領域などにおいては、色付き残像を軽減する低残像モードが選択される。また、色付き残像が発生しない領域においては、ダイナミックレンジを拡大するレンジ拡大モードが選択される。
　したがって、低残像モードとレンジ拡大モードをフレーム内の領域単位に切り替えることによって、色付き残像による映像破綻をフレーム内の領域単位に回避しつつ、ワイドダイナミックレンジの映像をフレーム内の領域単位に得ることが可能になる。
（８）実施例１では、基準映像信号と拡張映像信号とを色成分ごとに比較して、色付き残像を色成分ごとに判定する。そのため、特定の色成分において色付き残像が発生し、それ以外の色成分において色付き残像が発生しないなどの色付き残像の状況を判定することが可能になる。
（９）実施例１では、色成分ごとの色付き残像に基づいて、低残像モードとレンジ拡大モードを色成分ごとに切り替える。そのため、色付き残像が発生する特定の色成分については低残像モードを選択して色付き残像による映像破綻を回避しつつ、色付き残像が発生しない色成分についてはレンジ拡大モードを選択して、当該色成分のワイドダイナミックレンジ化を図ることが可能になる。
（１０）実施例１では、低残像モードとレンジ拡大モードとに応じた色成分のゲイン補正を行う。そのため、低残像モードとレンジ拡大モードのモード切り替えに伴う出力画像のレベル変化を抑制することが可能になる。
（１１）実施例１では、図５に示すように、露光制御βにおいて電子シャッタを閉じるタイミングを同期させる（一種の後幕シンクロ）。この後幕シンクロによって拡張映像信号に生じる色付き残像は、被写体の移動方向に対して後方に尾を引くように発生する。そのため、拡張映像信号において、人間の残像感覚に近い色付き残像を得ることが可能になる。
［実施形態の補足事項について］
　上述した色残像判定部１５３、およびモード切替部１５４などは、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成してもよい。このハードウェアがコンピュータ可読媒体に記憶された画像処理プログラムを実行することにより、色残像判定部１５３およびモード切替部１５４などの各種機能（図３、図４参照）が実現する。このハードウェアの一部または全部については、専用の装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ(programmable logic device）などで代替してもよい。
　また、撮影時には、分割露光によって得られた基準映像信号および拡張映像信号を一旦保存（ＲＡＷデータ保存など）してもよい。その場合、色残像判定部１５３およびモード切替部１５４に相当するコンピュータシステム（画像処理プログラム）において、後から『色付き残像の判定』と『モード切り替え』を実施することにより、最終的な出力画像を得ることが可能になる。
　さらに、ハードウェアやプログラムの一部または全部をネットワーク上のサーバに集中または分散してクラウドシステムを構成することにより、複数のクライアント端末（ユーザ）に対して色残像判定部１５３およびモード切替部１５４に相当する機能（画像処理方法）をサービス提供してもよい。
　なお、上述した実施例１では、図３～図５に示すように、露光制御β、露光制御αの順番に実施する。しかしながら、本発明はこれに限定されない。露光制御α、露光制御βの順番に実施してもよい。この場合、露光制御αが先に実施されるため、シャッタタイムラグのより少ない基準映像信号を得ることが可能になる。
　また、上述した実施例１では、基準映像信号を増感して低残像映像を生成する。この低残像映像については、増感によりノイズレベルが増えるため、映像信号処理部１８０において輪郭強調処理を弱くする、またはノイズリダクション処理を強くしてもよい。
　さらに、上述した実施例１では、ＲＧＢ３板式の撮像装置について説明した。しかしながら、本発明の撮像素子は複数であればよく、撮像素子の数に限定されない。例えば、ＲＧＧＢによる４板式の撮像装置に本発明を適用してもよい。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１００…撮像システム、１１０…撮影光学系、１２０…色分解光学系、１２１Ｂ…Ｂ色成分用の撮像素子、１２１Ｇ…Ｇ色成分用の撮像素子、１２１Ｒ…Ｒ色成分用の撮像素子、１３０…色別露光設定部、１４０…露光制御部、１５０Ｂ…Ｂ色成分用の残像補正部、１５０Ｇ…Ｇ色成分用の残像補正部、１５０Ｒ…Ｒ色成分用の残像補正部、１５１…メモリ、１５２…レベル補正部、１５３…色残像判定部、１５４…モード切替部、１５５…加算部、１５６…ＷＢ部、１５７…ＷＢ部、１５８…セレクタ、１８０…映像信号処理部、１９０…映像信号出力部

Claims (9)

  1. 　被写体光を複数の波長域に分光し、複数の色成分の像を形成する色分解光学系と、
    　複数の前記色成分の像をそれぞれ撮像し、映像信号の前記色成分をそれぞれ生成する複数の撮像素子と、
    　露光期間を複数の前記色成分ごとにそれぞれ設定する色別露光設定部と、
    　前記色成分ごとに設定された前記露光期間のうちの最短期間以下の共通期間において、複数の前記撮像素子を略同時に露光制御して映像信号（以下「基準映像信号」という）を得る露光制御αと、前記色成分ごとの前記露光期間から前記共通期間を除いた期間で、複数の前記撮像素子をそれぞれ露光制御して映像信号（以下「拡張映像信号」という）を得る露光制御βとを実施する露光制御部と
    　を備えたことを特徴とする撮像システム。
  2. 　請求項１に記載の撮像システムであって、
    　前記基準映像信号と前記拡張映像信号とを比較して、色付き残像を判定する色残像判定部
    　を備えたことを特徴とする撮像システム。
  3. 　請求項２に記載の撮像システムであって、
    　前記色残像判定部の判定した前記色付き残像が許容範囲の外であれば前記基準映像信号から出力画像を生成する低残像モードを実施し、前記色付き残像が前記許容範囲の内であれば前記基準映像信号と前記拡張映像信号との合成結果から出力画像を生成するレンジ拡大モードを実施するモード切替部
    　を備えたことを特徴とする撮像システム。
  4. 　請求項３に記載の撮像システムであって、
    　前記モード切替部は、前記低残像モードと前記レンジ拡大モードをフレーム単位に切り替える
    　ことを特徴とする撮像システム。
  5. 　請求項３に記載の撮像システムであって、
    　前記モード切替部は、前記低残像モードと前記レンジ拡大モードをフレーム内の領域単位に切り替える
    　ことを特徴とする撮像システム。
  6. 　請求項３～５のいずれか一項に記載の撮像システムであって、
    　前記色残像判定部は、前記基準映像信号と前記拡張映像信号とを前記色成分ごとに比較して、前記色付き残像を前記色成分ごとに判定し、
    　前記モード切替部は、前記色成分ごとの前記色付き残像に基づいて、前記低残像モードと前記レンジ拡大モードを前記色成分ごとに切り替える
    　を備えたことを特徴とする撮像システム。
  7. 　請求項３～６のいずれか一項に記載の撮像システムであって、
    　前記モード切替部は、前記低残像モードと前記レンジ拡大モードとに応じて前記色成分のゲイン補正を行って、モード切り替えに伴う出力画像のレベル変化を抑制する
    　ことを特徴とする撮像システム。
  8. 　コンピュータシステムを
    　請求項３～７のいずれか一項に記載の前記色残像判定部、および前記モード切替部として機能させる
    　ことを特徴とする画像処理プログラム。
  9. 　請求項１に記載の撮像システムから前記基準映像信号および前記拡張映像信号を取得して処理する画像処理方法であって、
    　前記基準映像信号と前記拡張映像信号とを比較して、色付き残像を判定する色残像判定ステップと、
    　前記色残像判定ステップの判定した前記色付き残像が許容範囲の外であれば前記基準映像信号から出力画像を生成する低残像モードを実施し、前記色付き残像が前記許容範囲の内であれば前記基準映像信号と前記拡張映像信号との合成結果から出力画像を生成するレンジ拡大モードを実施するモード切替ステップと
    　を備えたことを特徴とする画像処理方法。
PCT/JP2020/007161 2020-02-21 2020-02-21 撮像システム、画像処理プログラム、および画像処理方法 WO2021166236A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/799,233 US11683568B2 (en) 2020-02-21 2020-02-21 Image capturing system, image processing program, and image processing method
PCT/JP2020/007161 WO2021166236A1 (ja) 2020-02-21 2020-02-21 撮像システム、画像処理プログラム、および画像処理方法
JP2022501567A JP7295329B2 (ja) 2020-02-21 2020-02-21 撮像システム、画像処理プログラム、および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007161 WO2021166236A1 (ja) 2020-02-21 2020-02-21 撮像システム、画像処理プログラム、および画像処理方法

Publications (1)

Publication Number Publication Date
WO2021166236A1 true WO2021166236A1 (ja) 2021-08-26

Family

ID=77390531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007161 WO2021166236A1 (ja) 2020-02-21 2020-02-21 撮像システム、画像処理プログラム、および画像処理方法

Country Status (3)

Country Link
US (1) US11683568B2 (ja)
JP (1) JP7295329B2 (ja)
WO (1) WO2021166236A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188898A (ja) * 1997-09-11 1999-03-30 Fuji Photo Film Co Ltd 画像読取装置
JP2008211273A (ja) * 2007-02-23 2008-09-11 Matsushita Electric Ind Co Ltd 撮像装置
JP2017034629A (ja) * 2015-08-06 2017-02-09 株式会社日立国際電気 撮像装置およびビューファインダ
WO2019053764A1 (ja) * 2017-09-12 2019-03-21 株式会社日立国際電気 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01204579A (ja) 1988-02-10 1989-08-17 Matsushita Electric Ind Co Ltd テレビカメラ装置
JP2801853B2 (ja) 1994-03-14 1998-09-21 池上通信機株式会社 ４板式固体撮像装置の信号出力の飽和レベル拡張方法
JP4469018B2 (ja) * 2007-07-17 2010-05-26 パナソニック株式会社 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法
CN101889452B (zh) * 2007-12-04 2012-08-22 松下电器产业株式会社 图像生成装置及图像生成方法
WO2018124055A1 (ja) * 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 撮像装置、カメラ、及び撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188898A (ja) * 1997-09-11 1999-03-30 Fuji Photo Film Co Ltd 画像読取装置
JP2008211273A (ja) * 2007-02-23 2008-09-11 Matsushita Electric Ind Co Ltd 撮像装置
JP2017034629A (ja) * 2015-08-06 2017-02-09 株式会社日立国際電気 撮像装置およびビューファインダ
WO2019053764A1 (ja) * 2017-09-12 2019-03-21 株式会社日立国際電気 撮像装置

Also Published As

Publication number Publication date
US11683568B2 (en) 2023-06-20
US20230073565A1 (en) 2023-03-09
JPWO2021166236A1 (ja) 2021-08-26
JP7295329B2 (ja) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110378859B (zh) 一种新的高动态范围图像生成方法
US9124811B2 (en) Apparatus and method for processing image by wide dynamic range process
US7969480B2 (en) Method of controlling auto white balance
US10560642B2 (en) Image processing device, image processing method and imaging device
CN109785240B (zh) 一种低照度图像增强方法、装置及图像处理设备
US20150243002A1 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
KR20110032344A (ko) 고대비 영상 생성 장치 및 방법
WO2006130564A3 (en) Method and system for automatic brightness and contrast adjustment of a video source
CN202190327U (zh) 低照度摄像机成像控制装置及摄像系统
JP5358344B2 (ja) 撮像装置及び撮像方法
GB2499668A (en) Exposure Controller
JP2002359754A (ja) 階調補正装置及び方法
JP6543787B2 (ja) 画像処理装置および画像処理方法
CN112714301A (zh) 双模态图像信号处理器和图像传感器
WO2021166236A1 (ja) 撮像システム、画像処理プログラム、および画像処理方法
KR20120122574A (ko) 디지털 카메라 장치에서 영상 처리 장치 및 방법
US20190058843A1 (en) Image processing device, image processing method, control program, and recording medium
KR20070105028A (ko) 영상신호 처리장치
JP2008005083A (ja) 撮像装置
JP5520863B2 (ja) 画像信号処理装置
CN107545555B (zh) 图像处理方法及装置
JP2005109579A (ja) 固体撮像素子を用いた撮像装置
JP7379217B2 (ja) 撮像システム
JP5533752B2 (ja) 画像信号処理装置
JP5754929B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920161

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501567

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20920161

Country of ref document: EP

Kind code of ref document: A1