KR102254994B1 - 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램 Download PDF

Info

Publication number
KR102254994B1
KR102254994B1 KR1020167014238A KR20167014238A KR102254994B1 KR 102254994 B1 KR102254994 B1 KR 102254994B1 KR 1020167014238 A KR1020167014238 A KR 1020167014238A KR 20167014238 A KR20167014238 A KR 20167014238A KR 102254994 B1 KR102254994 B1 KR 102254994B1
Authority
KR
South Korea
Prior art keywords
image
pixels
component
exposure
noise
Prior art date
Application number
KR1020167014238A
Other languages
English (en)
Other versions
KR20160093004A (ko
Inventor
토모노리 마스노
켄세이 조
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20160093004A publication Critical patent/KR20160093004A/ko
Application granted granted Critical
Publication of KR102254994B1 publication Critical patent/KR102254994B1/ko

Links

Images

Classifications

    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/628—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for reducing horizontal stripes caused by saturated regions of CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/2353—
    • H04N5/2357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 기술은, 주기적인 노이즈가 실려진 화상으로부터, 그 노이즈를 제거할 수 있도록 하는 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램에 관한 것이다. 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부를 구비하고, 상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정한다. 주기적인 노이즈란, 예를 들면, 플리커이다. 또한, 노이즈 성분의 상호관계는, 주파수 공간에서의 상기 노광 조건의 셔터 함수로 나타낼 수 있다. 본 기술은, 촬영 장치에 적용할 수 있다.

Description

화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, ELECTRONIC APPARATUS, AND PROGRAM}
본 기술은, 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램에 관한 것이다. 상세하게는, 화상에 발생하는 플리커의 보정을 행하는 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램에 관한 것이다.
형광등의 조명하에서, CMOS(Complementary Metal OxideSSemiconductor) 촬상 소자 등 XY 어드레스 주사형의 촬상 소자를 구비한 카메라로 화상을 촬영하면, 영상 신호에 줄무늬형상(縞狀))의 휘도 얼룩이나 색 얼룩이 발생한다. 이 현상은 플리커라고 불린다. 이것은, 상용 전원(교류)에 접속된 형광등이 기본적으로 전원 주파수의 2배의 주기로 점멸을 반복하고 있는 것과 촬상 소자의 동작 원리에 기인한다.
플리커가 발생한 화상에는 수평 방향으로 늘어나는 줄무늬모양(縞模樣)의 휘도 변화 패턴이 출현한다. 예를 들면 동화를 관찰한 경우, 상하로 흐르는 줄무늬모양이 관찰되어 버린다. 이와 같은 플리커를 억제하는 기술을 개시한 종래 기술로서, 예를 들면 특허 문헌 1이 있다. 특허 문헌 1은, 화상으로부터 플리커 성분을 추출하고, 그 역상(逆相) 패턴으로 이루어지는 플리커 보정 계수를 산출하여, 화상의 화소치에 곱하여 보정함으로써 화상에 포함되는 플리커 성분을 제거하는 수법을 개시하고 있다.
일본 특개2011-160090호 공보
그런데, 예를 들면 광다이내믹 레인지 화상을 생성하기 위해, 다른 노광 시간으로 설정한 복수의 화상을 촬영하고, 이들의 다른 노광 시간의 화상을 합성하여, 저휘도분부터 고휘도분까지, 보다 정확한 화소치가 설정된 광다이내믹 레인지 화상을 생성하는 촬상 장치가 제안되어 있다.
이와 같이, 복수의 다른 노광 시간의 화상을 촬영하는 촬상 장치에, 상기한 특허 문헌 1에 기재된 처리를 적용하려고 하면, 다른 노광 시간으로 촬영된 복수의 화상의 각각에 대해, 플리커 성분의 추출 처리, 플리커 성분의 역상 패턴의 보정 계수의 산출 처리, 보정 계수에 의거한 보정 처리 등의 처리를 개별적으로 실행할 것이 필요해진다.
이와 같이, 다른 노광 시간의 화상의 각각에 대해, 상기한 처리를 실행시키기 위해서는, 하드웨어 구성의 증가나, 처리 시간의 증대가 발생할 가능성이 있다.
본 기술은, 이와 같은 상황을 감안하여 이루어진 것으로, 플리커 등의 주기적인 노이즈의 저감 처리를 간이한 구성으로 효율적으로 실행 가능하게 할 수 있도록 하는 것이다.
본 기술의 한 측면의 화상 처리 장치는, 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부를 구비하고, 상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정한다.
상기 주기적인 노이즈란, 플리커라고 할 수 있다.
상기 노이즈 성분의 상호관계는, 주파수 공간에서의 상기 노광 조건의 셔터 함수로 표시되도록 할 수 있다.
상기 추정부는, 상기 화상을 적분하고, 소정의 창(窓) 함수를 곱하여, 푸리에 급수 전개함으로써 얻어지는 값을 이용하여, 상기 노이즈의 성분을 추정하도록 할 수 있다.
상기 적분은, 상기 화상의 어느 것에서도 포화하지 않는 비포화부를 수평 방향으로 행하도록 할 수 있다.
상기 추정부는, 광원의 흔들림 성분을 F로 하였을 때, QF=0이 되는 행렬 Q를 구하고, 상기 성분 F를 구함으로써, 주파수 공간에서의 상기 노이즈의 성분을 구하고, 상기 주파수 공간에서의 상기 노이즈의 성분을 푸리에 급수 역변환함으로써, 상기 화상마다 노이즈의 성분을 추정하도록 할 수 있다.
상기 노이즈 성분의 상호관계는, 상기 화상을 적분하고, 상기 화상의 행마다 제산한 비(比)로 표시되도록 할 수 있다.
상기 적분은, 상기 화상의 어느 것에서도 포화하지 않는 비포화부를 수평 방향으로 행하도록 할 수 있다.
상기 추정부는, 상기 비를 푸리에 급수 전개한 행렬을 R, 상기 노광 조건으로부터 구하여지는 행렬을 T로 하였을 때, 행렬 RT의 고유치 1의 고유 벡터를 구하고, 상기 고유 벡터를, 상기 화상의 상기 노이즈의 성분을 푸리에 급수 전개한 값으로 할 수 있다.
상기 고유 벡터를, 푸리에 급수 역변환함으로써, 상기 화상의 상기 노이즈의 성분을 산출하도록 할 수 있다.
상기 고유 벡터에, 상기 노광 조건으로부터 구하여지는 계수를 승산함으로써, 상기 노이즈의 성분이 산출된 화상과는 다른 화상의 상기 노이즈의 성분을 푸리에 급수 전개한 값을 산출하고, 상기 푸리에 급수 전개한 값을 푸리에 급수 역변환함으로써, 상기 화상의 상기 노이즈의 성분을 산출하도록 할 수 있다.
상기 추정부는, 상기 비를 R, 상기 노광 조건으로부터 구하여지는 계수를 T, 상기 화상의 노이즈의 성분을 G로 하였을 때, 이하의 식에서의 행렬 RT를 생성하고, 상기 화상의 노이즈의 성분을 구하도록 할 수 있다.
[수식 1]
Figure 112016051245008-pct00001
상기 추정부는, 상기 비를 행렬 r, 상기 노광 조건으로부터 구하여지는 행렬을 행렬 t로 하였을 때, 행렬 rt의 고유치 1의 고유 벡터를 구하고, 상기 고유치 벡터를, 상기 화상의 노이즈의 성분으로 추정하도록 할 수 있다.
상기 추정된 노이즈 성분의 선형합(線形和)에 의해, 상기 노이즈의 성분이 산출된 화상과는 다른 화상의 상기 노이즈의 성분을 산출하도록 할 수 있다.
상기 추정부는, 상기 비를 r, 상기 노광 조건으로부터 구하여진 값을 t, 상기 화상의 화소치를 I, 및 상기 노이즈의 성분을 g로 하였을 때, 이하의 식을 충족시키는 g1, g2를 최소제곱(最小二乘) 추정으로 구함으로써, 상기 화상마다의 노이즈의 성분을 구하도록 할 수 있다.
[수식 2]
Figure 112016051245008-pct00002
본 기술의 한 측면의 화상 처리 방법은, 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정 스텝을 포함하고, 상기 추정 스텝은, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 처리를 포함한다.
본 기술의 한 측면의 프로그램은, 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정 스텝을 포함하고, 상기 추정 스텝은, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 처리를 포함하는 처리를 컴퓨터에 실행시킨다.
본 기술의 한 측면의 전자 기기는, 촬상 소자로부터 출력되는 화소 신호에 대해 신호 처리를 행하는 신호 처리부를 구비하고, 상기 신호 처리부는, 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부와, 상기 추정부에서 추정된 노이즈의 성분을 이용하여, 상기 화상으로부터 노이즈를 제거하는 보정을 행하는 보정부를 구비하고, 상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정한다.
본 기술의 한 측면의 화상 처리 장치, 화상 처리 방법, 및 프로그램에서는, 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분이, 화상마다 추정된다. 그 추정은, 노광 조건의 노이즈 성분의 상호관계를 이용한 연산으로부터, 화상마다의 주기적인 노이즈의 성분을 추정함으로써 행하여진다.
본 기술의 한 측면의 전자 기기에서는, 촬상 소자로부터 출력되는 화소 신호에 대해 신호 처리가 행하여지고, 그 신호 처리의 하나의 처리로서, 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분이, 화상마다 추정되고, 추정된 노이즈의 성분이 이용되어, 화상으로부터 노이즈를 제거하는 보정이 행하여진다. 그 추정은, 노광 조건의 노이즈 성분의 상호관계를 이용한 연산으로부터, 화상마다의 주기적인 노이즈의 성분을 추정함으로써 행하여진다.
본 기술의 한 측면에 의하면, 플리커 등의 주기적인 노이즈의 저감 처리를 간이한 구성으로 효율적으로 실행 가능해진다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 플리커의 발생 원리와 보정에 관해 설명하는 도면.
도 2는 플리커의 발생 원리와 보정에 관해 설명하는 도면.
도 3은 플리커의 발생 원리와 보정에 관해 설명하는 도면.
도 4는 본 기술이 적용된 촬상 장치의 한 실시의 형태의 구성을 도시하는 도면.
도 5는 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 6은 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 7은 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 8은 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 9는 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 10은 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 11은 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 12는 다른 노광 시간의 화소의 배치례를 도시하는 도면.
도 13은 다른 노광 시간에 관해 설명하기 위한 도면.
도 14는 화상 처리부의 구성에 관해 설명하기 위한 도면.
도 15는 감도별 보간부의 구성에 관해 설명하기 위한 도면.
도 16은 HDR 합성부의 구성에 관해 설명하기 위한 도면.
도 17은 플리커 보정부의 구성에 관해 설명하기 위한 도면.
도 18은 플리커 추정부의 구성에 관해 설명하기 위한 도면.
도 19는 플리커비에 관해 설명하기 위한 도면.
도 20은 추정 연산부의 구성에 관해 설명하기 위한 도면.
도 21은 추정 연산부의 다른 구성에 관해 설명하기 위한 도면.
도 22는 셔터 함수에 관해 설명하기 위한 도면.
도 23은 플리커 추정부의 다른 구성에 관해 설명하기 위한 도면.
도 24는 주파수 공간에서의 플리커 성분의 산출에 관해 설명하기 위한 도면.
도 25는 기록 매체에 관해 설명하기 위한 도면.
이하에, 본 기술을 실시하기 위한 형태(이하, 실시의 형태라고 한다)에 관해 설명한다. 또한, 설명은, 이하의 순서로 행한다.
1. 플리커 발생 원리와 보정 원리에 관해
2. 촬상 장치의 구성
3. 화상 처리부의 구성에 관해
4. 플리커 보정부의 구성에 관해
5. 플리커비의 산출에 관해
6. 플리커 억제의 제1의 실시의 형태
7. 플리커 억제의 제2의 실시의 형태
8. 플리커 억제의 제3의 실시의 형태
9. 기록 매체에 관해
<플리커 발생 원리와 보정 원리에 관해>
우선, 도 1 이하를 참조하여 플리커 발생 원리와 보정 원리에 관해 설명한다. 도 1의 A는, 카메라로 화상 촬영을 행하는 환경하의 조명 휘도의 시간 변화를 나타낸다. 일반적으로 상용 전원은 50Hz, 또는 60Hz의 교류 전원이기 때문에, 형광등의 광 등의 조명광은, 100Hz, 또는 120Hz의 주파수로 흔들리기 쉽다.
또한, 여기서는, 플리커를 예로 들어 설명하지만, 플리커와 같이, 소정의 주파수로 발생하는 노이즈 등에 대해서도, 이하에 설명하는 본 기술을 적용할 수는 있다.
도 1의 A에 도시한 그래프는, 횡축이 시간(t), 종축이, 각 시간(t)에서의 조명의 휘도(f(t))이다. 시간(t)의 조명광 휘도(f(t))는, 조명광 휘도의 평균치(fD)와, 조명광 휘도 평균치로부터의 변동(fA(t))으로 분해하면, 이하와 같이 표기할 수 있다.
f(t)=fD+fA(t) … (1)
조명광 휘도의 평균치(fD)는 시간(t)에 의하지 않고 일정한 값이고, 평균치로부터의 변동(fA(t))은 조명의 주파수에 응하여, 주기적으로 변동하는 값이 된다. 또한, 조명광의 휘도를 f(t)의 주기를 T로 하면 이하의 관계가 성립된다.
[수식 3]
Figure 112016051245008-pct00003
플리커 보정 처리는, 관측 화상, 즉 카메라에 의해 촬영된 화상으로부터, 조명광 휘도 평균치로부터의 변동(fA(t))의 영향을 제거하는 처리이다.
도 1의 B는, CMOS이미지 센서와 같이 행마다 촬상 타이밍이 다른 촬상 소자의 노광 타이밍의 모식도를 도시한다. 횡축이 시간(t), 종축이 촬상 소자의 행(y),이다. 도면에 도시하는 예는, 일정 간격(S)로, 연속한 화상 프레임을 촬영하는 경우의 예이고, 프레임(1)과, 프레임(2)의 2개의 화상 촬영시의 노광 타이밍을 나타내고 있다. 각 프레임 화상의 촬영은, 촬상 소자의 상위 행부터 하위 행르호 순차적으로, 노광이 실행된다.
각 프레임 화상의 촬영시의 노광 타이밍은, 촬상 소자의 행마다 다르기 때문에, 축적하는 조명광의 영향도 행마다 다르다. 예를 들면, 노광 시간(E)의 촬상 소자의 소정의 화소의 노광 종료 시간을 t라고 한다. 플리커의 영향이 있는 조건하에서의, 그 화소가 노광하는 사이의 조명광의 총합을, FA(t, E)라고 하면, FA(t, E)는 이하와 같이 기술할 수 있다.
[수식 4]
Figure 112016051245008-pct00004
플리커가 없는 이상적인 조건하에서의, 조명광의 총합을, FD(t, E)라고 한다. FD(t, E)는, 플리커의 영향이 없기 때문에, 조명광 휘도 평균치로부터의 변동 fA(t)=0이 되고, 이하와 같이 기술할 수 있다.
FD(t, E)=fD×E… (4)
여기서 「플리커 성분」을, 플리커가 없는 이상적인 화상과, 플리커의 영향을 받은 화상과의 비라고 정의한다. 플리커 성분은, 화소가 축적하는 사이의 조명광의 총량의 비와 동등하다. 따라서 노광 시간(E)의 촬상 소자에서 노광 종료 시간(t)의 화소의 플리커 성분(g(t, E))은 이하의 식(5)으로 표시하는 바와 같이 정식화할 수 있다.
[수식 5]
Figure 112016051245008-pct00005
도 1의 C는, 횡축이, 화상의 각 화소의 노광 종료 타이밍(t), 종축이, 플리커 성분(g(t, E)), 이들의 관계를 모식적으로 표시한 도면이다. 또한 전술한 바와 같이 조명광은 주기적으로 흔들리기 때문에 플리커 성분도 주기성을 갖고 있다. 그 때문에 한 번, 플리커 성분(g(t, E))을 구할 수 있으면, 기본적으로는 모든 노광 종료 타이밍(t)에 대응하는 플리커 성분(g(t, E))을 추정할 수 있다.
또한, 도 1의 B에 도시하는 바와 같이 노광 종료 타이밍은, 촬상 소자의 행 단위로 변화한다. 따라서, 도 1의 C에 도시하는 바와 같이, 플리커 성분(g(t, E))은, 각 행의 노광 종료 타이밍(T)에 응하여 다른 값이 된다.
도 2의 A는, 플리커의 영향을 받은 촬상 소자의 출력 화상에 발생하는 플리커의 영향의 모식도이다. 행마다 노광 종료 타이밍이 다르기 때문에, 출력 화상에는 행 단위의 명암의 줄무늬모양이 나타난다.
도 2의 B는, 출력 화상의 각 행의 플리커 성분의 그래프(g(t0, y, E))를 도시하고 있다. t0은, 1행째의 노광을 종료하는 시각을 나타내고, y는 주목하는 행을 나타낸다. 촬상 장치(카메라)의 데이터 처리부는, 화상 촬영시의 노광 시간(E)과, 각 행(y)의 노광 종료 타이밍(t)에 의거하여, 도 1의 C의 그래프로부터 t에 대응하는 플리커 성분(g(t, E))을 산출할 수 있다.
구체적으로는, 소정의 행의 노광을 마치고 나서, 다음의 하나 아래의 행의 노광을 종료할 때까지의 시간의 단위를 1[line]으로 정의한다. 이와 같이 정의한 경우, g(t0, y, E)와 g(t, E)는 이하와 같이 변환할 수 있다.
gy(t, y, E)=gt(t+y, E) … (6)
촬상 장치(카메라)의 데이터 처리부는, 화상 촬영시의 노광 시간(E)과, 각 행(y)의 노광 종료 타이밍(t)에 의거하여, 도 1의 C의 그래프로부터 t에 대응하는 플리커 성분(g(t, E))을 산출할 수 있다. 예를 들면 도 2에 도시하는 제a행째의 노광 종료 시간을 t라고 하면, 도 1의 C의 그래프로부터 t에 대응하는 플리커 성분(g(t, E))을 산출할 수 있다. 노광 시간(E)의 촬상 소자에서의 노광 종료 시간(t)의 화소의 플리커 성분(g(t, E))을 알면, 촬상 소자의 각 행의 플리커 성분(g(y))을 추정할 수 있다.
도 3은, 플리커의 보정의 원리를 나타내고 있다. 도 3에는 이하의 각 도면을 도시하고 있다.
도 3의 A : 플리커 성분이 포함되는 화상(=도 2의 A)
도 3의 B : 플리커 보정 계수(=도 2의 B의 역수)
도 3의 C : 플리커 보정 화상(=도 3의 A×도 3의 B)
예를 들면 전술한 방법으로, 각 행의 플리커 성분(g(y))을 계측하고, 도 3의 A에 도시하는 관측 화상, 즉 카메라의 촬영 화상의 각 화소치에, 도 3의 B에 도시하는 플리커 성분(g(y))의 역수를 승산함으로써, 도 3의 C에 도시하는 플리커의 영향이 없는 이상적인 화상을 구할 수 있다.
<촬상 장치의 구성>
본 기술이 적용되는 화상 처리 장치는, 예를 들면 광(廣)다이내믹 레인지 화상을 생성하기 위해, 다른 노광 시간으로 설정한 복수의 촬영 화상을 입력하여, 플리커 성분을 제거 또는 저감한 보정 화상을 생성하여 출력한다. 본 기술이 적용되는 화상 처리 장치는, 예를 들면, 다른 노광 시간으로 설정한 복수의 촬영 화상을 합성하여, 저휘도분부터 고휘도분까지, 보다 정확한 화소치가 설정된 광다이내믹 레인지 화상을 생성하여 출력한다.
본 기술이 적용되는 화상 처리 장치에서는, 다른 노광 시간으로 설정된 복수의 화상마다 플리커 성분을 산출하는 처리를 실행하지 않는다. 하나의 노광 시간의 촬영 화상에 대해서만, 플리커 성분의 산출 처리를 실행하고, 이 하나의 노광 시간의 촬영 화상에 의거하여 산출한 플리커 성분을 이용하여, 그 밖이 다른 노광 시간으로 설정된 촬영 화상에 포함되는 플리커 성분을 추정하는 처리를 실행한다. 그러한 화상 처리 장치에 관해 설명한다.
도 4는, 본 기술이 적용되는 화상 처리 장치의 한 실시의 형태의 구성을 도시하는 도면이다. 여기서는, 화상 처리 장치가 포함되는 촬상 장치를 예로 들어 설명한다.
도 4에 도시한 촬상 장치(100)는, 광학 렌즈(101), 촬상 소자(102), 화상 처리부(103), 신호 처리부(104), 제어부(105)를 포함하는 구성으로 되어 있다. 도 4에 도시한 촬상 장치(100)는, 광학 렌즈(101)를 통하여 입사되는 광은 촬상부, 예를 들면 CMOS이미지 센서 등에 의해 구성되는 촬상 소자(102)에 입사하고, 광전 변환에 의한 화상 데이터를 출력한다. 출력 화상 데이터는 화상 처리부(103)에 입력된다.
촬상 소자(102)의 출력 화상은, 각 화소에 RGB의 어느 하나의 화소치가 설정된 이른바 모자이크 화상이다. 화상 처리부(103)는, 상술한 플리커 보정 처리, 또한, 장시간 노광 화상과 단시간 노광 화상과의 합성 처리에 의거한 광다이내믹 레인지(HDR : High Dynamic Range) 화상의 생성 처리 등을 행한다.
이 화상 처리부(103)의 출력은, 신호 처리부(104)에 입력된다. 신호 처리부(104)는, 예를 들면 화이트 밸런스(WB) 조정, 감마 보정 등, 일반적인 카메라에서의 신호 처리를 실행하여 출력 화상(120)을 생성한다. 출력 화상(120)은 도시하지 않은 기억부에 격납된다. 또는 표시부에 출력된다.
제어부(105)는, 예를 들면 도시하지 않은 메모리에 격납된 프로그램에 따라 각 부분에 제어 신호를 출력하고, 각종의 처리의 제어를 행한다.
또한 여기서는, 촬상 소자(102), 화상 처리부(103), 신호 처리부(104), 및 제어부(105)를, 각각 다른 블록으로서 도시하고, 설명을 계속하지만, 이들의 각 부분의 전부 또는 일부가 일체화에 구성되어 있어도 좋다.
예를 들면, 촬상 소자(102), 화상 처리부(103), 신호 처리부(104), 및 제어부(105)가 적층 구조가 되어, 일체화로 구성되어 있어도 좋다. 또한 촬상 소자(102), 화상 처리부(103), 및 신호 처리부(104)가 적층 구조로 되어, 일체화로 구성되어 있어도 좋다. 촬상 소자(102)와 화상 처리부(103)가 적층 구조로 되어, 일체화로 구성되어 있어도 좋다.
또한, 도 4에 도시한 촬상 장치(100)의 구성으로 한하지 않고, 다른 구성이라도 좋다. 예를 들면, 화상 처리부(103)를 복수의 화상 처리부로 분할하고, 그 일부가, 촬상 소자(102)와 적층 구조가 되어 일체화 구성으로 되어 있어도 좋다.
다음에, 촬상 소자(102)의 노광 제어 구성례에 관해 도 5를 참조하여 설명한다. 촬상 장치(100)에서는, 1장의 촬영 화상에 포함되는 화소 단위로, 장시간 노광 화소와 단시간 노광 화소를 설정하고, 이들의 화소 사이의 합성 처리(α블렌드)에 의해, 광다이내믹 레인지 화상을 생성한다. 이 노광 시간 제어는 제어부(105)의 제어에 의해 행하여진다.
도 5는, 촬상 소자(102)의 노광 시간 설정례를 도시하는 도면이다. 도 5에 도시하는 바와 같이, 촬상 소자의 구성 화소는, 제1의 노광 조건(단시간 노광)으로 설정된 화소, 제2의 노광 조건(장시간 노광)으로 설정된 화소의 2개의 종류의 화소로 구분된다.
도 5에서, 사선을 붙여서 기재한 화소는, 제1의 노광 조건으로 노광되는 화상이고, 사선을 붙이지 않고 기재한 화소는, 제2의 노광 조건으로 노광되는 화소이다. 도 5와 같이 하나의 촬상 소자 내에 단시간 노광 화소와 장시간 노광 화소와 같이 다른 노광 시간의 화소를 갖는 화소 배열을 SVE(Spatially Varying Exposure) 배열이라고 부른다.
도 5에 도시한 화소 배치는, 1 내지 8행, 1 내지 8열로 배열된 R화소, G화소, B화소의 배치이다. 도 5에 도시한 것은, 이미지 센서의 일부분이고, 1 내지 8행, 1 내지 8열로 배열된 R화소, G화소, B화소 이외의 다른 행, 다른 열로 배열된 R화소, G화소, B화소에 관한 구성도 마찬가지이다.
이하의 설명에서, 예를 들면, 화소(10)(m, n)라는 기재를 행하는데, m은 행을 나타내고, n은 열을 나타낸다고 한다. 또한 행이란, 수평 신호선(부도시)이 배치되는 수평 방향으로 하고, 열이란, 수직 신호선(부도시)이 배치되는 수직 방향이라고 한다. 예를 들면, 화소(200)(2, 1)란, 2행째의 1열째에 위치하는 화소인 것을 나타낸다. 또한, 여기서, 좌상의 화소를, 화소(200)(1, 1)로 하여, 이 화소(200)(1, 1)를 기준으로 하여, 각 화소의 위치를 나타낸다. 다른 도면에서도, 같은 기재를 행한다.
이미지 센서의 수평 방향(도 5의 좌우 방향이고, 행방향)의 구성을 설명한다. 1행째에는, 제1의 노광 조건으로 노광되는 R화소(200)(1, 1), G화소(200)(1, 2), G화소(200)(1, 4), R화소(200)(1, 5), G화소(200)(1, 6), G화소(200)(1, 8)와, 제2의 노광 조건으로 노광되는 R화소(200)(1, 3), R화소(200)(1, 7)가 배치되어 있다.
이 경우, 1행째에는, R화소와 G화소가, 교대로 배치되어 있다. 또한 1행째의 R화소(200)는, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되어 있다. 또한 1행째의 G화소(200)는, 전부 제1의 노광 조건으로 노광되는 화소로 되어 있다.
2행째에는, 제1의 노광 조건으로 노광되는 B화소(200)(2, 2), B화소(200)(2, 6)와, 제2의 노광 조건으로 노광되는 G화소(200)(2, 1), G화소(200)(2, 3), B화소(200)(2, 4), G화소(200)(2, 5), G화소(200)(2, 7), B화소(200)(2, 8)가 배치되어 있다.
이 경우, 2행째에는, G화소와 B화소가, 교대로 배치되어 있다. 또한 2행째의 B화소(200)는, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되어 있다. 또한 2행째의 G화소(200)는, 전부 제2의 노광 조건으로 노광되는 화소로 되어 있다.
3행째는, 제2의 노광 조건으로 노광되는 R화소(3, 1)로 배치되어 있는 점이 1행째와 다르지만, 1행째와 같이 R화소와 G화소가, 교대로 배치되고, 배치되어 있는 R화소(200)는, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되고, 배치되어 있는 G화소(200)는, 전부 제1의 노광 조건으로 노광되는 화소로 되어 있다.
4행째는, 제2의 노광 조건으로 노광되는 G화소(4, 1), B화소(200)(4, 2)로 배치되어 있는 점이 2행째와 다르지만, 2행째와 같이 G화소와 B화소가, 교대로 배치되고, 배치되어 있는 B화소(200)는, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되고, 배치되어 있는 G화소(200)는, 전부 제2의 노광 조건으로 노광되는 화소로 되어 있다.
5행째는, 1행째와 같이, 6행째는, 2행째와 같이, 7행째는, 3행째와 같이, 8행째는 4행째와 같이, R화소, G화소, B화소가, 각각 배치되어 있다.
이하의 설명에서는, 도 5에 도시한 화소 배치를 예로 들어 설명하지만, 본 기술은, 도 5에 도시한 화소 배치로 적용이 한정되는 것이 아니고, 다른 화소 배치에 대해서도 적용할 수 있다. 다른 화소 배치의 예로서, 도 6 내지 도 12를 참조하여 설명한다.
도 6은, 화소 배치의 다른 예를 도시하는 도면이다. 도 6에 도시한 화소 배치 중의 1행째에는, 제1의 노광 조건으로 노광되는 R화소(210)(1, 1), G화소(210)(1, 2), R화소(210)(1, 3), G화소(210)(1, 4), R화소(210)(1, 5), G화소(210)(1, 6), R화소(210)(1, 7) G화소(210)(1, 8)가 배치되어 있다.
이 경우, 1행째에는, R화소와 G화소가, 교대로 배치되고, 모든 화소가, 제1의 노광 조건(단시간 노광)으로 노광되는 화소로 되어 있다.
2행째에는, 제1의 노광 조건으로 노광되는 G화소(210)(2, 1), B화소(210)(2, 2), G화소(210)(2, 3), B화소(210)(2, 4), G화소(210)(2, 5), B화소(210)(2, 6), G화소(210)(2, 7), B화소(210)(2, 8)가 배치되어 있다.
이 경우, 2행째에는, G화소와 B화소가, 교대로 배치되고, 모든 화소가 제1의 노광 조건(단시간 노광)으로 노광되는 화소로 되어 있다.
3행째에는, 제2의 노광 조건으로 노광되는 R화소(210)(3, 1), G화소(210)(3, 2), R화소(210)(3, 3), G화소(210)(3, 4), R화소(210)(3, 5), G화소(210)(3, 6), R화소(210)(3, 7) G화소(210)(3, 8)가 배치되어 있다.
이 경우, 3행째에는, R화소와 G화소가, 교대로 배치되고, 모든 화소가, 제2의 노광 조건(장시간 노광)으로 노광되는 화소로 되어 있다.
4행째에는, 제2의 노광 조건으로 노광되는 G화소(210)(4, 1), B화소(210)(4, 2), G화소(210)(4, 3), B화소(210)(4, 4), G화소(210)(4, 5), B화소(210)(4, 6), G화소(210)(4, 7), B화소(210)(4, 8)가 배치되어 있다.
이 경우, 4행째에는, G화소와 B화소가, 교대로 배치되고, 모든 화소가 제2의 노광 조건(장시간 노광)으로 노광되는 화소로 되어 있다.
5행째는, 1행째와 같이, 6행째는, 2행째와 같이, 7행째는, 3행째와 같이, 8행째는 4행째와 같이, R화소, G화소, B화소가, 각각 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
도 7은, 화소 배치의 다른 예를 도시하는 도면이다. 도 7에 도시한 화소 배치 중의 1행째에는, 제1의 노광 조건으로 노광되는 R화소(220)(1, 1), G화소(220)(1, 2), R화소(220)(1, 5), G화소(220)(1, 6)와, 제2의 노광 조건으로 노광되는 R화소(220)(1, 3), G화소(220)(1, 4), R화소(220)(1, 7) G화소(220)(1, 8)가 배치되어 있다.
이 경우, 1행째에는, R화소와 G화소가, 교대로 배치되고, R화소와 G화소의 각각은, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되어 있다.
2행째에는, 제1의 노광 조건으로 노광되는 G화소(220)(2, 1), B화소(220)(2, 2), G화소(220)(2, 5), B화소(220)(2, 6)와, 제2의 노광 조건으로 노광되는 G화소(220)(2, 3), B화소(220)(2, 4), G화소(220)(2, 7) B화소(220)(2, 8)가 배치되어 있다.
이 경우, 2행째에는, G화소와 B화소가, 교대로 배치되고, G화소와 B화소의 각각은, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되어 있다.
3행째는, 제2의 노광 조건으로 노광되는 R화소(220)(3, 1), G화소(220)(3, 2)로 배치되어 있는 점이 1행째와 다르지만, 1행째와 같이 R화소와 G화소는, 교대로 배치되고, 배치되어 있는 R화소와 G화소의 각각은, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되어 있다.
4행째는, 제2의 노광 조건으로 노광되는 G화소(220)(4, 1), B화소(220)(4, 2)로 배치되어 있는 점이 2행째와 다르지만, 2행째와 같이 배치되어 있는 G화소와 B화소는, 교대로 배치되고, G화소와 B화소의 각각은, 제1의 노광 조건으로 노광되는 화소와 제2의 노광 조건으로 노광되는 화소가 교대로 배치되어 있다.
5행째는, 1행째와 같이, 6행째는, 2행째와 같이, 7행째는, 3행째와 같이, 8행째는 4행째와 같이, R화소, G화소, B화소가, 각각 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
도 8은, 화소 배치의 다른 예를 도시하는 도면이다. 도 8에 도시한 화소 배치는, 세로×가로의 2×2의 4화소가, 각각 동일한 색으로 되고, 체크무늬 배열로 제1의 노광 조건의 화소와 제2의 노광 조건의 화소가 배치되어 있다.
1행째와 2행째에 배치되어 있는 2×2의 4화소 중, R화소(230)(1, 1), R화소(230)(1, 2), R화소(230)(2, 1), R화소(230)(2, 2)의 4화소는, R(적)화소이고, R화소(230)(1, 1)와 R화소(230)(2, 2)는, 제2의 노광 조건으로 노광되는 화소가 되고, R화소(230)(1, 2)와 R화소(230)(2, 1)는, 제1의 노광 조건으로 노광되는 화소로 되어 있다. 이와 같은 배치를 갖는 적색의 4화소를 R화소 블록이라고 기술한다.
이와 같은 R화소 블록에 인접하여, 1행째와 2행째에 배치되어 있는 2×2의 4화소 중, G화소(230)(1, 3), G화소(230)(1, 4), G화소(230)(2, 3), G화소(230)(2, 4)의 4화소는, G(녹)화소이고, G화소(230)(1, 3)와 G화소(230)(2, 4)는, 제2의 노광 조건으로 노광되는 화소가 되고, G화소(230)(1, 4)와 G화소(230)(2, 3)는, 제1의 노광 조건으로 노광되는 화소로 되어 있다. 이와 같은 배치를 갖는 녹색의 4화소를 G화소 블록이라고 기술한다.
1행째와 2행째에는, R화소 블록과 G화소 블록이 교대로 배치되어 있다.
3행째와 4행째에는, G화소(230)(3, 1), G화소(230)(3, 2), G화소(230)(4, 1), G화소(230)(4, 2)로 구성되는 G화소 블록이 배치되어 있다.
G화소 블록에 인접하여, 3행째와 4행째에 배치되어 있는 2×2의 4화소 중, B화소(230)(3, 3), B화소(230)(3, 4), B화소(230)(4, 3), B화소(230)(4, 4)의 4화소는, B(녹)화소이고, B화소(230)(3, 3)와 B화소(230)(4, 4)는, 제2의 노광 조건으로 노광되는 화소가 되고, B화소(230)(3, 4)와 B화소(230)(4, 3)는, 제1의 노광 조건으로 노광되는 화소로 되어 있다. 이와 같은 배치를 갖는 청색의 4화소를 B화소 블록이라고 기술한다.
3행째와 4행째는, G화소 블록과 B화소 블록이 교대로 배치되어 있다.
5행째와 6행째는, 1행째와 2행째와 같이, R화소 블록과 G화소 블록이 교대로 배치되어 있다. 7행째와 8행째는, 3행째와 4행째와 같이, G화소 블록과 B화소 블록이 교대로 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
도 9는, 화소 배치의 다른 예를 도시하는 도면이다. 도 9에 도시한 화소 배치는, 도 8에 도시한 화소 배치와 같은 색 배치이지만, 다른 노광 조건을 갖는 화소의 배치가 도 8에 도시한 화소 배치와 다르다.
1행째와 2행째에 배치되어 있는 2×2의 4화소 중, R화소(240)(1, 1), R화소(240)(1, 2), R화소(240)(2, 1), R화소(240)(2, 2)로 구성되는 R'화소 블록의 4화소는, R화소(240)(1, 1)와 R화소(240)(1, 2)가, 제1의 노광 조건으로 노광되는 화소가 되고, R화소(240)(2, 1)와 R화소(240)(2, 2)가, 제2의 노광 조건으로 노광되는 화소로 되어 있다.
이와 같은 R'화소 블록에 인접하여, 1행째와 2행째에 배치되어 있는 2×2의 4화소 중, G화소(240)(1, 3), G화소(240)(1, 4), G화소(240)(2, 3), G화소(240)(2, 4)로 구성되는 G'화소 블록의 4화소는, G화소(240)(1, 3)와 G화소(240)(1, 4)가, 제1의 노광 조건으로 노광되는 화소가 되고, G화소(240)(2, 3)와 G화소(240)(2, 4)가, 제2의 노광 조건으로 노광되는 화소로 되어 있다.
3행째와 4행째에는, G화소(240)(3, 1), G화소(240)(3, 2), G화소(240)(4, 1), G화소(240)(4, 2)로 구성되는 G'화소 블록이 배치되어 있다.
G'화소 블록에 인접하여, 3행째와 4행째에 배치되어 있는 2×2의 4화소 중, B화소(240)(3, 3), B화소(240)(3, 4), B화소(240)(4, 3), B화소(240)(4, 4)로 구성되는 B'화소 블록의 4화소는, B화소(240)(3, 3)와 B화소(240)(3, 4)가, 제1의 노광 조건으로 노광되는 화소가 되고, B화소(240)(4, 3)와 B화소(240)(4, 4)가, 제2의 노광 조건으로 노광되는 화소로 되어 있다.
5행째와 6행째는, 1행째와 2행째와 같이, R'화소 블록과 G'화소 블록이 교대로 배치되어 있다. 7행째와 8행째는, 3행째와 4행째와 같이, G'화소 블록과 B'화소 블록이 교대로 배치되어 있다.
도 9에 도시한 화소 배치는, 홀수행에는 제1의 노광 조건으로 노광하는 화소가 배치되고, 짝수행에는 제2의 노광 조건으로 노광되는 화소가 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
도 10은, 화소 배치의 다른 예를 도시하는 도면이다. 도 10에 도시한 화소 배치는, 도 8에 도시한 화소 배치와 같은 색 배치이지만, 다른 노광 조건을 갖는 화소의 배치가 도 8에 도시한 화소 배치와 다르다.
1행째와 2행째에 배치되어 있는 2×2의 4화소 중, R화소(250)(1, 1), R화소(250)(1, 2), R화소(250)(2, 1), R화소(250)(2, 2)로 구성되는 R"화소 블록의 4화소는, R화소(250)(1, 1)와 R화소(250)(2, 1)가, 제1의 노광 조건으로 노광되는 화소가 되고, R화소(250)(1, 2)와 R화소(250)(2, 2)가, 제2의 노광 조건으로 노광되는 화소로 되어 있다.
이와 같은 R"화소 블록에 인접하여, 1행째와 2행째에 배치되어 있는 2×2의 4화소 중, G화소(250)(1, 3), G화소(250)(1, 4), G화소(250)(2, 3), G화소(250)(2, 4)로 구성되는 G"화소 블록의 4화소는, G화소(250)(1, 3)와 G화소(250)(2, 3)가, 제1의 노광 조건으로 노광되는 화소가 되고, G화소(250)(1, 4)와 G화소(250)(2, 4)가, 제2의 노광 조건으로 노광되는 화소로 되어 있다.
3행째와 4행째에는, G화소(250)(3, 1), G화소(250)(3, 2), G화소(250)(4, 1), G화소(250)(4, 2)로 구성되는 G"화소 블록이 배치되어 있다.
G"화소 블록에 인접하여, 3행째와 4행째에 배치되어 있는 2×2의 4화소 중, B화소(250)(3, 3), B화소(250)(3, 4), B화소(250)(4, 3), B화소(250)(4, 4)로 구성되는 B"화소 블록의 4화소는, B화소(250)(3, 3)와 B화소(250)(4, 3)가, 제1의 노광 조건으로 노광되는 화소가 되고, B화소(250)(3, 4)와 B화소(250)(4, 4)가, 제2의 노광 조건으로 노광되는 화소로 되어 있다.
5행째와 6행째는, 1행째와 2행째와 같이, R"화소 블록과 G"화소 블록이 교대로 배치되어 있다. 7행째와 8행째는, 3행째와 4행째와 같이, G"화소 블록과 B"화소 블록이 교대로 배치되어 있다.
도 10에 도시한 화소 배치는, 홀수열에는 제1의 노광 조건으로 노광하는 화소가 배치되고, 짝수열에는 제2의 노광 조건으로 노광되는 화소가 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
도 11은, 화소 배치의 다른 예를 도시하는 도면이다. 도 11에 도시한 화소 배치 중의 1행째에는, 제1의 노광 조건으로 노광되는 G화소(260)(1, 1), R화소(260)(1, 2), G화소(260)(1, 3), B화소(260)(1, 4), G화소(260)(1, 5), R화소(260)(1, 6), G화소(260)(1, 7) B화소(260)(1, 8)가 배치되어 있다.
이 경우, 1행째에는, R화소, G화소, B화소가 배치되고, 모든 화소가, 제1의 노광 조건(단시간 노광)으로 노광되는 화소로 되어 있다.
2행째에는, 제2의 노광 조건으로 노광되는 B화소(260)(2, 1), G화소(260)(2, 2), R화소(260)(2, 3), G화소(260)(2, 4), B화소(260)(2, 5), G화소(260)(2, 6), R화소(260)(2, 7), G화소(260)(2, 8)가 배치되어 있다.
이 경우, 2행째에는, R화소, G화소, B화소가 배치되고, 모든 화소가 제2의 노광 조건(장시간 노광)으로 노광되는 화소로 되어 있다.
3행째에는, 제1의 노광 조건으로 노광되는 G화소(260)(3, 1), B화소(260)(3, 2), G화소(260)(3, 3), R화소(260)(3, 4), G화소(260)(3, 5), B화소(260)(3, 6), G화소(260)(3, 7) R화소(260)(3, 8)가 배치되어 있다.
이 경우, 3행째에는, R화소, G화소, B화소가 배치되고, 모든 화소가, 제1의 노광 조건(단시간 노광)으로 노광되는 화소로 되어 있다.
4행째에는, 제2의 노광 조건으로 노광되는 R화소(260)(4, 1), G화소(260)(4, 2), B화소(260)(4, 3), G화소(260)(4, 4), R화소(260)(4, 5), G화소(260)(4, 6), B화소(260)(4, 7), G화소(260)(4, 8)가 배치되어 있다.
이 경우, 4행째에는, R화소, G화소, B화소가 배치되고, 모든 화소가 제2의 노광 조건(장시간 노광)으로 노광되는 화소로 되어 있다.
5행째는, 1행째와 같이, 6행째는, 2행째와 같이, 7행째는, 3행째와 같이, 8행째는 4행째와 같이, R화소, G화소, B화소가, 각각 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
상기한 바와 같이, 본 기술은, 촬상 장치에 적용할 수 있고, 촬상 장치에 포함되는 촬상 소자로서, 예를 들면, CCD(Charge Coupled Device) 센서나, CMOS(Complementary Metal Oxide Semiconductor) 센서 등을 포함하는 촬상 장치에 적용할 수 있다. 그리고, R(적), G(녹), B(청)의 각 색광을 출력한 3개의 화소가 배열되어 있는 이미지 센서에 적용할 수 있다. 또한, 도 12에 도시하는 바와 같이, R(적), G(녹), B(청), W(백)의 각 색광을 출력하는 4개의 화소가 배열되어 있는 이미지 센서에도 적용할 수 있다.
R(적), G(녹), B(청), W(백)의 각 색광을 출력하는 4개의 화소는, 예를 들면, 도 12에 도시하는 바와 같이, 표시 영역에 매트릭스형상으로 배치된다. W화소는, 전정색성(全整色性)인 분광 감도의 화소로서 기능하고, R화소, G화소, B화소는, 각각의 색에 특성이 있는 분광 감도의 화소로서 기능한다.
도 12는, 화소 배치의 다른 예를 도시하는 도면이고, W화소를 포함하는 화소 배치의 예이다. 도 12에 도시한 화소 배치 중의 1행째에는, 제1의 노광 조건으로 노광되는 G화소(270)(1, 1), R화소(270)(1, 2), W화소(270)(1, 3), B화소(270)(1, 4), G화소(270)(1, 5), R화소(270)(1, 6), W화소(270)(1, 7) B화소(270)(1, 8)가 배치되어 있다.
이 경우, 1행째에는, R화소, G화소, B화소, W화소가 배치되고, 모든 화소가, 제1의 노광 조건(단시간 노광)으로 노광되는 화소로 되어 있다.
2행째에는, 제2의 노광 조건으로 노광되는 R화소(270)(2, 1), W화소(270)(2, 2), B화소(270)(2, 3), G화소(270)(2, 4), R화소(270)(2, 5), W화소(270)(2, 6), B화소(270)(2, 7), G화소(270)(2, 8)가 배치되어 있다.
이 경우, 2행째에는, R화소, G화소, B화소, W화소가 배치되고, 모든 화소가 제2의 노광 조건(장시간 노광)으로 노광되는 화소로 되어 있다.
3행째에는, 제1의 노광 조건으로 노광되는 W화소(270)(3, 1), B화소(270)(3, 2), G화소(270)(3, 3), R화소(270)(3, 4), W화소(270)(3, 5), B화소(270)(3, 6), G화소(270)(3, 7) R화소(270)(3, 8)가 배치되어 있다.
이 경우, 3행째에는, R화소, G화소, B화소, W화소가 배치되고, 모든 화소가, 제1의 노광 조건(단시간 노광)으로 노광되는 화소로 되어 있다.
4행째에는, 제2의 노광 조건으로 노광되는 B화소(270)(4, 1), G화소(270)(4, 2), R화소(270)(4, 3), W화소(270)(4, 4), B화소(270)(4, 5), G화소(270)(4, 6), R화소(270)(4, 7), W화소(270)(4, 8)가 배치되어 있다.
이 경우, 4행째에는, R화소, G화소, B화소, W화소가 배치되고, 모든 화소가 제2의 노광 조건(장시간 노광)으로 노광되는 화소로 되어 있다.
5행째는, 1행째와 같이, 6행째는, 2행째와 같이, 7행째는, 3행째와 같이, 8행째는 4행째와 같이, R화소, G화소, B화소, W화소가, 각각 배치되어 있다.
이와 같은 화소 배치에 대해서도, 본 기술을 적용할 수 있다.
도 5 내지 도 12를 참조하여 설명한 화소 배치는, 한 예이고, 설명하지 않은 화소 배치에 대해서도 본 기술을 적용할 수는 있다.
또한, 1장의 화상을 촬상할 때, 상기한 바와 같이, 단시간 노광(제1의 노광 조건)과, 장시간 노광(제2의 노광 조건)을 동시에 촬영하는 경우를 예로 들어 설명을 계속하지만, 단시간 노광용의 화소와, 장시간 노광용의 화소를 나누지 않고, 통상의 화소로 단시간 노광의 화상과 장시간 노광의 화상을 교대로 촬영하고, 단시간 노광시의 화상과 장시간 노광시의 화상을 취득하도록 하는 경우에도 본 기술을 적용할 수 있다.
이 경우, 촬영의 타이밍이 다르기 때문에, 이하에 설명하는 플리커 보정시의 연산에 이용되는 행렬은, 이 촬영의 타이밍을 고려한 행렬로 함으로써, 본 기술을 적용할 수 있다.
또한, 상기한 예에서는, 단시간 노광과 장시간 노광의 2종류의 노광 시간으로 촬영을 행하는 촬영 장치를 예로 들어 설명하였지만, 3종류 이상의 노광 시간의 촬영 화상이 조합되는 촬영 장치에 대해서도 본 기술을 적용할 수 있다.
3종류 이상의 노광 시간의 촬영 화상이 조합되는 경우, 제1의 노광 화상과 제2의 노광 화상으로부터 제1의 플리커 성분을 추정하고, 제1의 플리커 성분으로부터 제3의 플리커 성분을 변환하여 추정하여도 좋다. 또한 제1의 노광 화상, 제2의 노광 화상, 제3의 노광 화상 전부 합쳐서 행렬을 생성하여 풀 수도 있다. 플리커 성분의 구하는 방법에 관해서는, 후술한다.
또한 상기한 실시의 형태에서는, 촬상 소자의 화소의 분광 감도를 RGB 또는 RGB+W로 하는 경우에 있어서의 예에 관해 설명하였지만, 그 분광 감도(感度)가 어떠한지는 본 기술을 이용하는 있어서의 제약으로는 되지 않는다. 즉, RGB나 RGB+W 이외의 분광 감도를 갖는 화소를 이용하도록 하여 낌새. 예를 들면, Y(옐로), C(시안), M(마젠타) 등의 보색계에 G를 가한 4행의 조합이라도 좋다.
이하의 설명에서는, 도 5에 도시한 화소 배치를 예로 들어 설명한다.
도 13에 각 화소의 노광 시간의 설정례를 도시한다. 제1의 노광 조건(단시간 노광)이 설정된 화소는 단시간의 노광 처리가 이루어진다. 제2의 노광 조건(장시간 노광)이 설정된 화소는 장시간의 노광 처리가 이루어진다. 또한, 이 화소 단위의 노광 제어는, 예를 들면 도 4에 도시하는 촬상 장치(100)의 제어부(105)가, 제어 신호를 촬상 소자(102)에 출력함으로써 행하여진다.
<화상 처리부의 구성에 관해>
다음에, 도 4에 도시한 촬상 장치(100)의 화상 처리부(103)의 상세에 관해 설명한다. 우선, 도 14를 참조하여 화상 처리부(103)가 실행하는 처리에 관해 설명한다. 화상 처리부(103)는, 도 14에 도시하는 바와 같이, 감도별 보간부(311), 플리커 보정부(312), HDR 합성부(광다이내믹 레인지 화상 합성부)(313)를 갖는다.
감도별 보간부(311)에서는, 도 5에 도시한 바와 같은 하나의 촬상 소자 내에 단시간 노광 화소와 장시간 노광 화소를 갖는 SVE 배열의 화상을 입력하고, 화면 전체가 단시간 노광의 제1 노광 화상(141)과, 화면 전체가 장시간 노광의 제2 노광 화상(142)을 생성하여 출력한다. 출력하는 화상의 색 배열은, 입력하는 화상의 색 배열과 동등(본 예에서는 베이어 배열)이라도 좋고, 1화소 위치에 RGB 갖추어진 디모자이크 후의 화상이라도 좋다. 여기서는, 출력 화상의 색 배열은 입력 화상의 색 배열과 동등(본 예에서는 베이어 배열)하게 한 예를 설명한다.
도 15에, 감도별 보간부(311)의 상세 구성례를 도시한다. 감도별 보간부(311)는, 도 11에 도시하는 바와 같이, 단시간 노광 화소 또는 장시간 노광 화소, 어느 하나의 감도의 화소만을 추출하는 추출부(331, 332), 각 감도의 화소를 이용하여, 타 감도의 화소 부분의 화소치를 설정하여, 저감도 화소(단시간 노광 화소)만으로 이루어지는 제1 노광 화상(141)과, 고감도 화소(장시간 노광 화소)만으로 이루어지는 제2 노광 화상(142)을 생성하는 보간 처리부(333, 334)를 갖는다.
추출부(331, 332)로 주변 화소로부터, 보간하고 싶은 감도·색의 화소를 추출하고, 보간 처리부(333, 334)에서 보간 처리를 행한다. 또한, 보간은, 생성하는 화상에 응한 감도의 화소치에 대해 단순한 LPF를 이용하는 수법이나, 주위의 화소로부터 화상의 에지 방향을 추정하고 에지에 따른 방향의 화소치를 참조 화소치로 하여 보간하는 수법 등이 이용 가능하다.
감도별 보간부(311)에서는, 도 15의 구성을 적용하여, 도 4에 도시하는 바와 같은 촬상 소자 내에 장시간 노광 화소와 단시간 노광 화소를 갖는 SVE 배열의 화상을 입력하고, 화면 전체가 단시간 노광의 제1 노광 화상(141)과, 화면 전체가 장시간 노광의 제2 노광 화상(142)을 생성하여 출력한다.
도 14에 도시한 화상 처리부(103)의 설명으로 되돌아온다. 감도별 보간부(311)로부터 출력된 제1 노광 화상(141)과 제2 노광 화상(142)은, 플리커 보정부(312)에 공급된다. 플리커 보정부(312)는, 플리커의 성분을 억제한 플리커 보정 제1 노광 화상(143)과 플리커 보정 제2 노광 화상(144)을 생성하고, HDR 합성부(313)에 공급한다.
플리커 보정부(312)의 구성이나 동작에 관해서는, 제1 내지 제3의 실시의 형태로서 상세는 후술하고, 우선, 도 14에 도시한 화상 처리부(103)의 구성, 동작에 관한 설명을 계속한다.
HDR 합성부(광다이내믹 레인지 화상 합성부)(313)는, 도 16에 도시하는 바와 같은 구성을 가지며, HDR 합성을 행한다. 도 16에 도시한 HDR 합성부(313)는, 노출 보정부(351, 352), 블렌드 계수 산출부(353), 블렌드 처리부(354)를 갖는다.
노출 보정부(351, 352)는, 노광 시간에 응한 정수(定數)를 곱함으로써 플리커 보정 제1 노광 화상(143)과, 플리커 보정 제2 노광 화상(144)의 대응 화소의 밝기를 맞춘다. 예를 들면, 노광비가 1 : 2인 경우, 단시간 노광 화상인 플리커 보정 제1 노광 화상(143)의 화소치에 2를 곱하고, 장시간 노광 화상인 플리커 보정 제2 노광 화상(144)의 화소치에 1을 곱한다.
블렌드 계수 산출부(353)는, 단시간 노광 화상인 플리커 보정 제1 노광 화상(143)의 노출 보정 후의 화소치와 장시간 노광 화상인 플리커 보정 제2 노광 화상(144)의 노출 보정 후의 화소치를, 각 대응 화소 단위로 어느 정도의 비율로 블렌드하면 좋은지를 나타내는 블렌드 계수를 산출한다.
이 블렌드 계수 산출에서는, 예를 들면 고휘도 영역에서는 단시간 노광 화상의 화소치의 무게를 크게 설정하고, 저휘도 영역에서는 장시간 노광 화상의 화소치의 무게를 크게 설정하는 블렌드 계수를 설정한다. 이와 같은 계수 설정 처리에 의해, 저휘도 영역부터 고휘도 영역에 이르는 화소치를 보다 고정밀도로 표현하는 것이 가능해진다.
블렌드 처리부(354)는, 블렌드 계수 산출부(353)가 산출한 블렌드 계수에 응하여, 노출 보정된 플리커 보정 제1 노광 화상(143)과, 노출 보정된 플리커 보정 제2 노광 화상(144)의 대응 화소치와의 블렌드 처리를 실행하여 플리커 보정 HDR 화상(145)의 각 화소치를 설정한다.
또한, 노출 보정된 플리커 보정 제1 노광 화상(143)의 화소치를 S, 노출 보정된 플리커 보정 제2 노광 화상(144)의 화소치를 L, 블렌드 계수를 α, 단, 0≤α≤1로 하였을 때, 플리커 보정 HDR 화상(231)의 화소치(H)는 이하의 식에 의해 산출된다.
H=(1-α)×S+α×L
HDR 합성부(광다이내믹 레인지 화상 합성부313)는, 이들의 처리에 의해, 저휘도 영역부터 고휘도 영역에 이르는 화소치를 보다 고정밀도로 표현한 플리커 보정 HDR 화상(145)을 생성하여 출력한다.
이 HDR 합성부(광다이내믹 레인지 화상 합성부)(313)에서의 다른 노광 시간의 화상의 합성 처리에 의한 HDR 화상이 생성된다. 즉, 예를 들면 고휘도 영역에서는 단시간 노광 화상의 화소치의 무게를 크게 설정하고, 저휘도 영역에서는 장시간 노광 화상의 화소치의 무게를 크게 설정한 블렌드 처리가 실행되고, 저휘도 영역부터 고휘도 영역에 이르는 화소치를 보다 고정밀도로 표현한 HDR(광다이내믹 레인지) 화상이 생성되어 출력된다.
후술하는 바와 같이, 본 개시된 화상 처리 장치에서는, 복수의 다른 노광 시간의 화상을 입력하여 광다이내믹 레인지(HDR) 화상을 생성하는 구성에 있어서, 하나의 기준 노광 화상에 대응하는 플리커 성분만을 산출하고, 그 기준 노광 화상의 플리커 성분에 응하여 다른 노광 시간의 화상의 플리커 성분을 추정 산출하는 구성으로 하였기 때문에, 각 노광 시간에 응한 각 화상 개별로 플리커 성분의 산출 처리를 행할 필요가 없어지고, 효율적인 처리가 실현된다.
또한, 도 15에 도시한 감도별 보간부(311)가나, 도 16에 도시한 HDR 합성부(313)는, 한 예이고, 제1의 노광 조건의 화소와, 제2의 노광 조건의 화소의 배치, 예를 들면, 도 5에 도시한 바와 같은 화소의 배치에 의존하여, 다른 구성을 갖도록 하는 것도 가능하다. 또한, 이하에 설명하는 플리커 보정부(312)에서의 처리에 의존하여, 플리커 보정부(312)에서의 처리의 전후에서 처리를 행하는 감도별 보간부(311)나 HDR 합성부(313)의 구성이, 다른 구성으로 되도록 하여도, 본 기술을 적용할 수 있다.
<플리커 보정부의 구성에 관해>
도 17은, 플리커 보정부(312)의 내부 구성례를 도시하는 도면이다. 플리커 보정부(312)는, 보정에 관한 연산에 따라, 복수의 실시의 형태가 있고, 이하에 제1 내지 제3의 실시의 형태를 예로 들어 설명하는데, 제1 내지 제3의 실시의 형태에서 공통되는 구성에 관해, 도 17을 참조하여 설명한다.
또한 제1과 제2의 실시의 형태에서는, 플리커비(比)라는 비를 이용한 연산을 행하고, 제3의 실시의 형태에서는, 비를 이용하지 않는 연산을 행함으로써, 화상마다의 플리커 성분을 추정한다. 또한, 제1 내지 제3의 실시의 형태에서는, 다른 노광 조건에서 촬영된 화상에 포함되는 플리커 등의 주기성을 갖는 노이즈의 상호관계를 이용한 연산을 행함으로써, 화상마다의 노이즈의 성분을 추정하는 점은 공통되고 있다.
도 17에 도시한 플리커 보정부(312)는, 플리커 추정부(371), 제1 노광 화상 플리커 보정부(372), 및 제2 노광 화상 플리커 보정부(373)를 포함하는 구성으로 되어 있다. 플리커 추정부(371)는, 도 18에 도시하는 바와 같은 구성을 가지며, 입력된 제1 노광 화상(141)과 제2 노광 화상(142)으로부터, 제1 플리커 성분(381)과 제2 플리커 성분(382)을 생성한다.
플리커 추정부(371)에 의해 생성된 제1 플리커 성분(381)은, 제1 노광 화상 플리커 보정부(372)에 공급된다. 제1 노광 화상 플리커 보정부(372)에는, 제1 노광 화상(141)도 공급된다. 제1 노광 화상 플리커 보정부(372)는, 제1 노광 화상(141)에 대해, 행마다, 추정된 제1 플리커 성분(381)의 역수를 승산함으로써, 플리커 보정을 행하고, 플리커 보정 제1 노광 화상(143)을 출력한다.
마찬가지로, 플리커 추정부(371)에 의해 생성된 제2 플리커 성분(382)은, 제2 노광 화상 플리커 보정부(373)에 공급된다. 제2 노광 화상 플리커 보정부(373)에는, 제2 노광 화상(142)도 공급된다. 제2 노광 화상 플리커 보정부(373)는, 제2 노광 화상(142)에 대해, 행마다, 추정된 제2 플리커 성분(382)의 역수를 승산함으로써, 플리커 보정을 행하고, 플리커 보정 제2 노광 화상(144)을 출력한다.
이와 같이 하여 보정된 플리커 보정 제1 노광 화상(143)과 플리커 보정 제2 노광 화상(144)은, HDR 합성부(313)(도 14)에 출력된다.
도 18은, 도 17에 도시한 플리커 추정부(371)의 내부 구성례를 도시하는 도면이다. 도 18에 도시한 플리커 추정부(371)는, 적분치 산출부(401), 적분치 산출부(402), 제산부(403), 및 추정 연산부(404)를 구비한 구성으로 되어 있다.
적분치 산출부(401)에는, 제1 노광 화상(141)이 공급되고, 적분치 산출부(402)에는, 제2 노광 화상(142)이 공급된다. 적분치 산출부(401)는, 제1 노광 화상(141)을 수평 방향으로 적분하고, 그 적분치를 제산부(403)에 출력한다. 마찬가지로 적분치 산출부(402)는, 제2 노광 화상(142)을 수평 방향으로 적분하고, 그 적분치를 제산부(403)에 출력한다.
적분치 산출부(401)와 적분치 산출부(402)는, 각각 제1 노광 화상(141)과 제2 노광 화상의 적분치를 산출하는데, 전 화소를 대상으로 하여 처리를 행하여도 좋고, 소정의 영역 내의 화소를 대상으로 하여 처리를 행하여도 좋다.
또한, 제1 노광 화상(141)과 제2 노광 화상(142)의 어느 하나의 화소가 포화하고 있는 위치의 화소는, 적분 연산에 이용하지 않도록 하여도 좋다. 예를 들면, 적분을 행할 때에 이용되는 부분은, 화이드 아웃, 블랙 아웃, 피사체 부분 등을 포함하지 않는 부분으로 할 수 있다.
제산부(403)에는, 제1 노광 화상(141)으로부터 산출된 적분치(제1 적분치라고 한다)가, 적분치 산출부(401)로부터 공급되고, 제2 노광 화상(142)으로부터 산출된 적분치(제2 적분치라고 한다)가, 적분치 산출부(402)로부터 공급된다. 제산부(403)는, 공급된 제1 적분치를 제2 적분치로 제산함으로써, 플리커비를 구한다. 구하여진 플리커비(411)는, 추정 연산부(404)에 공급된다.
추정 연산부(404)는, 플리커비(411)로부터, 제1 플리커 성분(381)과 제2 플리커 성분(382)을, 각각 산출한다. 여기서, 플리커비(411)의 산출에 관해 설명한다.
또한 플리커비는, 각각의 화상의 플리커 성분의 비이고, 여기서는, 제1의 플리커 성분(381)과 제2의 플리커 성분(382)의 비인 것으로 하여 설명을 계속한다. 또한, 플리커와 같이, 소정의 주기를 갖는 노이즈의 제거를 목적으로 한 경우, 화상마다의 노이즈 성분의 비가, 이하에 설명하는 플리커비에 상당하고, 이하에 설명하는 플리커비와 마찬가지로 하여, 노이즈 성분의 비를 산출할 수 있다.
<플리커비의 산출에 관해>
여기서, 도 19를 참조하여, 플리커비에 관해 설명한다. 도 19의 A는, 제1 노광 화상(141)과 제2 노광 화상(142)을 도시하고, 플리커의 영향으로, 화상상에 줄무늬모양이 실려 있는 화상으로 되어 있는 예를 나타내고 있다.
제1 노광 화상(141)의 유효한 부분에 관해 수평 방향으로 적분을 행한 경우의 결과의 한 예를, 도 19의 B의 상측에 도시한다. 또한, 제2 노광 화상(142)의 유효한 부분에 관해 수평 방향으로 적분을 행한 경우의 결과의 한 예를, 도 19의 B의 하측에 도시한다. 적분을 행한 때의 유효한 부분이란, 화이트 아웃(헐레이션(halation)), 블랙 아웃(흑결함(black defect)), 피사체 부분 등을 포함하지 않는 부분이다.
적분한 수평 방향의 같은 위치마다 비를 취하면, 도 19의 C에 도시한 바와 같이 플리커비가 구하여진다.
노광 레벨이 정돈되도록, 편방(片方)의 적분치에 대해 게인을 곱함에 의해, 플리커 성분 이외의 피사체 성분이 2개의 화상으로 정돈되게 되어 캔슬된다. 이에 의해, 순수하게 2개의 화상 중의 플리커 성분만을 고려하면 좋아지기 때문에, 그 후의 플리커 성분의 추정의 정밀도를 향상시키는 것이 가능해진다.
또한, 도 19에서는, 한 예로서 화상의 세로좌표마다 플리커비를 산출하고 있지만, 예를 들면, 플리커의 주기를 이미 알고 있는 경우, 플리커의 주기분만큼 좌표를 마련하고, 동일 위상의 적분치는 같은 좌표에 적분하는 구성으로 할 수도 있다.
이와 같은 플리커비의 산출에 관해, 더욱 설명을 더한다. 노광 화상의 맨 위의 행의 노광 종료 시각을 t로 하여, 노광 시간(E)으로 하였을 때의 플리커의 영향을 받은 관측 화상은 이하와 같이 표시된다.
I(x, y, t, E)=I0(x, y)×E×gt(t+y, E) … (7)
식(7)에서, I0(x, y)는, 단위 노광 시간에서의 플리커의 영향이 없는 진정한 화상의 값이다.
상기하여 온 바와 같이, 단시간 노광을 제1의 노광 조건으로 하고, 장시간 노광을 제2의 노광 조건으로 하였을 때, 노광 시간과 노광 종료 시각은, 이하와 같이 정의한다.
제1의 노광 조건 : 노광 시간이 E1, 맨 위의 행의 노광 종료 시각을 t1
제2의 노광 조건 : 노광 시간이 E2, 맨 위의 행의 노광 종료 시각을 t2
로 한다. 또한 E1≤E2이다.
또한, 제1의 노광 조건으로 촬영된 화상과 제2의 노광 조건으로 촬영된 화상을, 각각 상기한 식(7)을 이용하여 간편하게 나타내면, 다음 식(8)과 같이 표기할 수 있다.
I1(x, y)=I(x, y, t1, E1)
I2(x, y)=I(x, y, t2, E2) … (8)
이와 같이 정의한 경우, 플리커비는, 이하와 같이 구할 수 있다.
플리커비는, 제1의 노광 조건의 플리커 성분과 제2의 노광 조건의 플리커 성분의 비라고 정의한다. 플리커비는, 다음 식(9)으로, 2개의 노광 화상으로부터 구할 수 있다.
[수식 6]
Figure 112016051245008-pct00006
단, 포화 화소의 영향을 피하기 위해, 적분하는 영역은, 제1의 노광 조건의 제1 노광 화상(141)과 제2 노광 조건의 제2 노광 화상(142)의 모두 포화하지 않는 영역(Ω)으로 하여, 적분이 실행된다.
도 18에 도시한 플리커 추정부(371)의 적분치 산출부(401), 적분치 산출부(402), 및 제산부(403)의 각 부분에서의 연산은, 식(9)에서의 연산에 의거하여 행하여진다. 이와 같이 하여 플리커비(411)가 산출된다.
식(9)에서, 다음의 식(10)의 관계식이 정하여진다.
r12(y)×gt(y+t2, E2)=g1(y+t1, E1) … (10)
식(10)에서, 식(9)에 의거하여 플리커비가 구하여지면, 일방의 플리커 성분(예를 들면, 제2 플리커 성분(382))으로부터, 타방의 플리커 성분(예를 들면, 제2 플리커 성분(381))을 구할 수 있음을 알 수 있다.
<플리커 억제의 제1의 실시의 형태>
제1의 실시의 형태로서, 실(實) 공간에서의 해법으로, 플리커 성분을 구하는 경우에 관해 설명한다. 도 20은, 제1의 실시의 형태에서의 플리커 보정부(312) 내의 플리커 추정부(371)의 추정 연산부(404)의 내부 구성례를 도시하는 도면이다.
도 20에 도시한 추정 연산부(404)는, 행렬 생성부(431), 행렬 연산부(432), 및 플리커 성분 변환부(433)를 포함하는 구성으로 되어 있다. 행렬 생성부(431)는, 입력된 플리커비(411)로부터, 이하에 설명하는 행렬을 생성하고, 행렬 연산부(432)는, 그 행렬을 연산한다. 행렬을 연산함으로써, 제1 플리커 성분(381)이 생성된다.
행렬 연산부(432)로부터의 제1 플리커 성분(381)은, 플리커 성분 변환부(433)에도 공급된다. 플리커 성분 변환부(433)는, 공급된 제1 플리커 성분(381)으로부터, 제2 플리커 성분(382)을 생성한다.
이 실시의 형태에서는, 일방의 플리커 성분으로부터 타방의 플리커 성분이 생성된다. 여기서는, 단시간 노광(제1의 노광 조건)시에 얻어지는 제1 노광 화상(141)으로부터 구하여지는 제1 플리커 성분(381)으로부터, 장시간 노광(제2의 노광 조건)시에 얻어지는 제2 노광 화상(142)에 포함되는 제2 플리커 성분(382)이 생성된다고 하여 설명을 계속하지만, 제2 플리커 성분(382)으로부터, 제1 플리커 성분(381)이 생성되도록 구성하는 것도 가능하다.
이와 같이, 일방의 플리커 성분으로부터 타방의 플리커 성분을 구하기 위한 연산 등은, 본 출원인이 앞서 출원한 일본 특원2012-90897호에 기재되어 있는 연산 등을 적용할 수 있다. 일본 특원2012-90897호에는, 장시간 노광(제2의 노광 조건)시의 플리커 성분 gt(y+t2, E2)은, 단시간 노광(제1의 노광 조건)시의 플리커 성분 gt(y+t2, E2)의 선형합으로 표기할 수 있는 것이 기재되어 있다.
즉, 플리커 성분을 벡터 표기하면 다음 식(11)으로 표시하게 된다.
[수식 7]
Figure 112016051245008-pct00007
식(11)에서, 행렬 t는, 일본 특원2012-90897호에서 표시한 연산을 행렬 표기한 것이다. 간단함을 위해 이하와 같이 표기한다. 식(12)에서, g1는, 제1 플리커 성분(381)을 나타내고, g2는, 제2 플리커 성분(382)을 나타낸다.
g2=tg1 … (12)
상기한 식(10)을, 식(11), 식(12)을 이용하여 나타내면, 이하와 같이 된다.
[수식 8]
Figure 112016051245008-pct00008
식(13)에서 행렬 r은, 화상으로부터 측정할 수 있고, 행렬 t는, 제1의 노광 조건과 제2의 노광 조건의 상호관계로부터 구할 수 있다. 그래서 이하의 2식으로부터 제1 플리커 성분(381)과 제2 플리커 성분(382)을 구한다. 다음 식(14)의 위에 표시한 식은, 식(12)이고, 아래에 표시한 식은, 식(13)이다.
g2=tg1
rg2=g1 … (14)
해법 1로서, 식(14)에서, 다음 식(15)이 도출되는 것을 이용하여 플리커 성분 g1, g2를 구한다.
rtg1=g1 … (15)
식(15)에서, 행렬 rt의 고유치 1의 고유 벡터가 구하여지면, 제1의 노광 조건(단시간 노광)의 플리커 성분(g1)(제1 플리커 성분(381))을 구할 수 있다. 일반적으로 고유 벡터는, 정수배의 임의성이 있지만, 플리커 성분은, 평균치가 약 1로 되기 때문에 제1 플리커 성분(381)은 일의적으로 구할 수 있다. 제1 플리커 성분(381)이 구하여지면, 그 제1 플리커 성분(381)으로부터 제2 플리커 성분(382)을 구할 수 있다(예를 들면, 일본 특원2012-90897호에 개시되어 있는 기술(技術)을 적용할 수 있다).
해법 2로서, 식(14)을, 다음 식(16)과 같이 하나의 행렬로서 표기한다.
[수식 9]
Figure 112016051245008-pct00009
식(16)을 충족시키는 제1 플리커 성분(381)과 제2 플리커 성분(382)을 최소제곱 추정으로 구하면 좋다. 식(16)에서, t는 단시간 노광시의 플리커 성분을 장시간 노광시의 플리커 성분으로 변환할 때의 계수이고, r은, 식(9)으로 표시한 플리커비이고, 화상으로부터 구할 수 있는 값이다.
I는, 화소치이고, 화상으로부터 구할 수 있는 값이다. 따라서, 식(16)에서의 제1항 내의 수치는, 화상 등으로부터 구할 수 있는 값이다. 이것으로부터 식(16)의 식으로부터, 제1 플리커 성분(381)과 제2 플리커 성분(382)을 최소제곱 추정으로 구할 수 있는 것이 밝혀진다.
해법 1, 해법 2의 어느 하나를 적용하면, 제1 플리커 성분(381)과 제2 플리커 성분(382)을 각각 구할 수 있다.
해법 1을 적용한 경우, 도 20에 도시한 추정 연산부(404)의 행렬 생성부(431)는, 식(15)으로 표시한 행렬 rt를 생성하고, 행렬 연산부(432)는, 생성된 행렬 rt를 이용한 행렬 연산을 행하여, 플리커 성분(g1)(제1 플리커 성분(381))을 생성한다.
구체적으로는, 행렬 연산부(432)는, 행렬 rt의 고유치 1의 고유 벡터를 구한다. 이 구하여진 고유 벡터는, 제1 플리커 성분(381)이 된다. 또한, 고유 벡터의 평균치는, 1이 되도록 제약이 붙여진다. 플리커 성분 변환부(433)는, 식(14)에서 표시한 g2=tg1라는 관계식에 의거하여, 제1 플리커 성분(381)으로부터 제2 플리커 성분(382)을 생성한다.
해법 2를 적용한 경우, 행렬 생성부(431)에서, 식(16)에 표시한 행렬이 생성되고, 그 행렬이, 행렬 연산부(432)에 의해 연산된다. 행렬 연산부(432)에 의한 연산으로, 제1 플리커 성분(381)이 생성되고, 플리커 성분 변환부(433)에 의해 제2 플리커 성분(382)이 생성된다. 예를 들면, 행렬 연산부(432)는, 최소 제곱법에 의해 소정의 함수를 구하고, 제1 플리커 성분(381)을 산출하고, 플리커 성분 변환부(433)는, 소정의 함수와 제1 플리커 성분(381)으로부터, 제2 플리커 성분(382)을 산출하도록 할 수 있다.
또한, 도 20에서는, 행렬 연산부(432)와 플리커 성분 변환부(433)를 다른 블록으로 나타냈지만, 동일한 블록으로 하여도 좋다. 환언하면, 일방이 산출된 후, 타방이 산출되는 것을 명확하게 나타내기 위해, 행렬 연산부(432)와 플리커 성분 변환부(433)를 나누어서 도시, 설명하였다.
그렇지만, 연산의 방법 등에 의해, 행렬 연산부(432)와 플리커 성분 변환부(433)를 하나의 블록으로 하고, 그 블록 내에서, 일방의 플리커 성분이 생성되고, 그 플리커 성분으로부터 타방의 플리커 성분이 생성되고, 최종적으로 그 블록으로부터 제1 플리커 성분(381)과 제2 플리커 성분(382)이 출력되는 구성으로 하는 것도 가능하다.
이와 같이, 실 공간에서의 해법을 적용하고, 노광 조건이 다른 2장의 화상의 각각의 플리커 성분을 산출할 수 있다. 따라서, 노광 조건이 다른 2장의 화상의 각각의 플리커 성분을 보정하고, 플리커 성분이 보정된 2장의 화상으로부터, 고다이내믹 레인지의 1장의 화상을 생성하는 것이 가능해진다.
<플리커 억제의 제2의 실시의 형태>
다음에 제2의 실시의 형태로서, 복소(複素) 공간에서의 해법으로, 플리커 성분을 구하는 경우에 관해 설명한다. 도 21은, 제2의 실시의 형태에서의 플리커 보정부(312) 내의 플리커 추정부(371)의 추정 연산부(404')의 내부 구성례를 도시하는 도면이다. 또한 여기서는, 도 20에 도시한 제1의 실시의 형태에서의 추정 연산부(404)와 구별을 붙이기 위해, 제2의 실시의 형태에서의 추정 연산부(404')에는, 대시를 붙여서 설명한다.
도 21에 도시한 추정 연산부(404')는, 푸리에 급수 변환부(461), 행렬 생성부(462), 행렬 연산부(463), 푸리에 급수 역변환부(464), 플리커 성분 변환부(465), 푸리에 급수 역변환부(466)를 구비한 구성으로 되어 있다.
추정 연산부(404')의 푸리에 급수 변환부(461)에는, 플리커비(411)가 공급된다. 푸리에 급수 변환부(461)는, 공급된 플리커비(411)를 푸리에 급수 전개한다. 푸리에 급수 변환부(461)의 푸리에 급수의 기준 주파수는, 플리커의 주파수와 같은 값으로 할 수 있다.
예를 들면, 형광등 등이 원인이 되는 플리커인 경우, 푸리에 급수 변환부(461)의 푸리에 급수의 기준 주파수는, 100Hz 또는 120Hz가 된다. 또한, 주기적인 노이즈의 제거를 목적으로 한 경우, 그 노이즈의 주기에 적합한 주파수가, 푸리에 급수의 기준 주파수가 된다.
행렬 생성부(462)는, 후술하는 행렬 RT를 구한다. 행렬 연산부(463)는, 행렬 생성부(462)에서 생성된 행렬 RT의 고유치 1의 고유 벡터를, g1(0)=1으로 하고, 또한,
[수식 10]
Figure 112016051245008-pct00010
가 복소공역(複素公役)이 되는 조건하에서 구한다.
행렬 연산부(463)에서 산출된 값은, 제1 플리커 성분(381)을 푸리에 급수 전개한 값으로 되어 있다. 이 값을, 푸리에 급수 역변환부(464)에서 푸리에 급수 역변환을 행함으로써, 제1 플리커 성분(381)이 구하여진다.
행렬 연산부(463)로부터의, 제1 플리커 성분(381)을 푸리에 급수 전개한 값은, 플리커 성분 변환부(465)에도 공급된다. 플리커 성분 변환부(465)는, 제1의 플리커 성분을 푸리에 급수 전개한 값에, 변환 계수(T12(ω))를 승산함에 의해, 제2 플리커 성분(382)을 푸리에 급수한 값을 생성한다.
플리커 성분 변환부(465)에서 변환된 값은, 푸리에 급수 역변환부(466)에 공급되고, 푸리에 급수 역변환이 행하여져, 제2 플리커 성분(382)이 된다.
이와 같이, 주파수 공간(복소 공간)에서 풀음으로써, 보다 적은 연산으로 플리커 성분을 구할 수 있다. 이 연산에 관해, 설명을 더한다.
플리커비와 플리커 성분에는, 이하의 관계식(10)이 성립되는 것은 상기 (上記)하였다.
r12(y)×gt(y+t2, E2)=g1(y+t1, E1) … (10)
이 식(10)의 양변을 푸리에 변환하면, 승산(乘算)이 컨볼루션 연산으로 되기 때문에, 다음 식(17)이 된다. 또한 여기서는 기본적으로, 실 공간에서의 표기는 소문자를 이용하여 행하고, 주파수 공간에서의 표기는, 대문자를 이용하여 행한다.
[수식 11]
Figure 112016051245008-pct00011
식(17)에서, G1(ω)는, 제1 플리커 성분(381)을 푸리에 변환한 값을 나타내고, G2(ω)는, 제2 플리커 성분(382)을 푸리에 변환한 값을 나타낸다. 또한, 후술하는 바와 같이, G1(ω)와 G2(ω)는, 다음 식(18)과 같이 , 제1의 노광 조건과 제2의 노광 조건으로부터 구하여진 값(T12(ω))을 이용하여 표시된다.
[수식 12]
Figure 112016051245008-pct00012
식(17)과 식(18)에서, 다음 식(19)이 구하여진다.
[수식 13]
Figure 112016051245008-pct00013
또한, 식(19)을 행렬로 표기하면, 컨볼루션 연산이 순회 행렬로 되기 때문에, 다음 식(20)으로 표시할 수 있다.
[수식 14]
Figure 112016051245008-pct00014
식(12)에서는, R12(ω)=Rω, T12(ω)=Tω로 약기(略記)하여 있다. 또한 부(負)의 주파수의 값은, 정의 주파수의 값의 복소공역으로 되기 때문에,
[수식 15]
Figure 112016051245008-pct00015
로 표기하고 있다.
식(19) 또는 식(20)을, 다음 식(21)과 같이 표기한다.
RTG1=G1 … (21)
식(21)으로부터, 행렬 RT의 고유치 1의 고유 벡터는,
[수식 16]
Figure 112016051245008-pct00016
이 복소공역이 되는 조건하에서 구하면 좋다.
단, 일반적으로 고유 벡터는, 임의의 정수배하여도 동일하게 고유 벡터가 될 수 있다. 그렇지만, 플리커 성분은, 평균치가 1로 되기 때문에,
G1(0)=1
로 되고, 기지(旣知)로 되기 때문에, 일의적으로 해를 구할 수 있다.
또한, 복소 공간에서 제1 플리커 성분(381)으로부터 제2 플리커 성분(382)을 추정하는 수법에 관해 설명을 더한다.
플리커 성분은, 다음 식(22)과 같이 표기할 수 있다.
[수식 17]
Figure 112016051245008-pct00017
식(22)은, 광원의 흔들림과 셔터 함수와의 컨볼루션 연산을 이용하여, 다음 식(23)과 같이 표기할 수 있다.
[수식 18]
Figure 112016051245008-pct00018
식(23)에서, f'(t)는, 도 22의 A에 도시하는 바와 같이, 광원의 흔들림(f(t))을 평균치가 1이 되도록 정규화한 것이다. 또한, 식(23)에서, 셔터 함수(s(t, E))는, 도 22의 B에 도시하는 바와 같은 함수라고 한다. 도 22의 B에 도시한 함수는, 시각이 0부터 E까지의 사이는, 1/E의 값을 가지며, 그 밖의 시각에서는, 0의 값을 갖는 함수이다.
플리커 성분을 주파수 공간에 변환하여 연산한다. gt(t, E)를 주파수 공간에서 표현하면, 컨볼루션 연산이 승산이 되기 때문에, 다음 식(24)과 같이 된다.
[수식 19]
Figure 112016051245008-pct00019
또한 제1의 노광 조건의 플리커 성분과 제2의 노광 조건의 플리커 성분을 주파수 공간에서 표현한 것을, 각각, G1(ω), G2(ω)라고 정의하면, G1(ω)와 G2(ω)는, 각각 다음 식(25)과 같이 된다.
[수식 20]
Figure 112016051245008-pct00020
식(25)으로부터, G2(ω)는, G1(ω)를 이용하여, 다음 식(26)과 같이 표시할 수 있다.
[수식 21]
Figure 112016051245008-pct00021
식(26)에서, s(ω, E)는, 셔터 함수(s(t, E))의 주파수 공간상에서의 표기이고, 다음 식(27)과 같이 된다.
[수식 22]
Figure 112016051245008-pct00022
식(26)으로 부터 알 수 있는 바와 같이, 제2 플리커 성분(382)의 푸리에 급수 전개한 값(G2(ω))은, 제1 플리커 성분(381)의 푸리에 급수 전개한 값(G1(ω))로부터 산출할 수 있다. 플리커 성분 변환부(465)(도 21)에서는, 식(26)에 의거한 연산이 행하여짐으로써, 제2 플리커 성분(382)의 푸리에 급수 전개한 값이 산출된다.
또한 행렬 생성부(462)는, 식(20), 식(21)에서의 행렬 RT를 생성하고, 행렬 연산부(462)는, 행렬 RT의 고유치 1의 고유 벡터를 산출한다. 이 산출된 고유 벡터는, 제1 플리커 성분(381)을 푸리에 급수 전개한 값이기 때문에, 푸리에 급수 역변환부(464)에서, 푸리에 급수 역변환이 행하여짐으로써, 제1 플리커 성분(381)이 산출된다.
한편으로, 상기한 바와 같이, 플리커 성분 변환부(465)는, 식(26)에 의거한 연산을 행함으로써, 제1 플리커 성분(381)을 제2 플리커 성분(382)으로 변환한다. 이 변환된 값은, 제2 플리커 성분(382)을 푸리에 급수 전개한 값이기 때문에, 푸리에 급수 역변환부(466)에서, 푸리에 급수 역변환이 행하여짐으로써, 제2 플리커 성분(382)이 산출된다.
이와 같이, 복소 공간에서의 해법을 적용하여, 노광 조건이 다른 2장의 화상의 각각의 플리커 성분을 산출할 수 있다. 따라서, 노광 조건이 다른 2장의 화상의 각각의 플리커 성분을 보정하여, 플리커 성분이 보정된 2장의 화상으로부터, 고다이내믹 레인지의 1장의 화상을 생성하는 것이 가능해진다.
<플리커 억제의 제3의 실시의 형태>
제1의 실시의 형태와 제2의 실시의 형태에서는, 제1의 노광 조건으로 노광되어 촬영된 화상의 플리커 성분과, 제2의 노광 조건으로 노광되어 촬영된 화상의 플리커 성분과의 플리커비를 이용하여, 제1 플리커 성분(381)과 제2 플리커 성분(382)을 산출하고, 플리커 성분을 억제하는 경우를 예로 들어 설명하였다.
다음에, 제3의 실시의 형태로서, 플리커비를 이용하지 않고서, 제1 플리커 성분(381)과 제2 플리커 성분(382)을 산출한 경우를 예로 들어 설명한다.
도 23은, 플리커 추정부(371')의 구성을 도시하는 도면이다. 도 23에 도시한 플리커 추정부(371')와, 도 18에 도시한 플리커 추정부(371)를 구별하기 위해, 도 23에 도시한 플리커 추정부(371')에는 대시를 붙여서 기재한다. 또한 도 23에 도시한 플리커 추정부(371')는, 도 17에 도시한 플리커 보정부(312)를 구성하는 플리커 추정부(371)이다.
도 23에 도시한 플리커 추정부(371')는, 적분치 산출부(501), 적분치 산출부(502), 푸리에 급수 변환부(503), 푸리에 급수 변환부(504), 추정 연산부(505), 푸리에 급수 역변환부(506), 및 푸리에 급수 역변환부(507)로 구성되어 있다.
적분치 산출부(501)에는, 제1 노광 화상(141)이 공급되고, 적분치 산출부(502)에는, 제2 노광 화상(142)이 공급된다. 적분치 산출부(501)는, 제1 노광 화상(141)을 수평 방향으로 적분하고, 그 적분치를 푸리에 급수 변환부(503)에 출력한다. 마찬가지로 적분치 산출부(502)는, 제2 노광 화상(142)을 수평 방향으로 적분하고, 그 적분치를 푸리에 급수 변환부(504)에 출력한다.
적분치 산출부(501)와 적분치 산출부(502)는, 각각 제1 노광 화상(141)과 제2 노광 화상의 적분치를 산출하지만, 전 화소를 대상으로 하여 처리를 행하여도 좋고, 소정의 영역 내의 화소를 대상으로 하여 처리를 행하여도 좋다.
또한, 제1 노광 화상(141)과 제2 노광 화상(142)의 어느 하나의 화소가 포화하고 있는 위치의 화소는, 적분 연산에 이용하지 않도록 하여도 좋다. 예를 들면, 적분을 행할 때에 이용되는 부분은, 화이트 아웃, 블랙 아웃, 피사체 부분 등을 포함하지 않는 부분으로 할 수 있다.
푸리에 급수 변환부(503)는, 제1 노광 화상(141)의 적분치에, 적절한 창 함수를 곱하여 푸리에 급수 전개하고, 제1 노광 화상(141)의 주파수 표기(J1(ω))(상세는 후술)를 구한다. 마찬가지로 푸리에 급수 변환부(504)는, 제2 노광 화상(142)의 적분치에, 적절한 창 함수를 곱하여 푸리에 급수 전개하고, 제2 노광 화상(142)의 주파수 표기(J2(ω))를 구한다. 또한 창 함수는, 푸리에 변환 등에서 일반적으로 사용되는 것으로, 예를 들면, 한창(hann window) 등을 사용할 수 있다.
추정 연산부(505)에는, 푸리에 급수 변환부(503)로부터, 제1 노광 화상(141)의 주파수 표기(J1(ω))가 공급되고, 푸리에 급수 변환부(504)로부터, 제2 노광 화상(142)의 주파수 표기(J2(ω))가 공급된다. 추정 연산부(505)는, 행렬 Q를 생성하고, 광원의 흔들림 성분(F')을 구한다. 또한 추정 연산부(505)는, 제1 플리커 성분(381)의 푸리에 급수 전개한 값과, 제2 플리커 성분(382)을 푸리에 급수 전개한 값을 구한다.
추정 연산부(505)에서 구하여진 제1 플리커 성분(381)의 푸리에 급수 전개한 값은, 푸리에 급수 역변환부(506)에 공급되고, 푸리에 급수 역변환이 행하여져서, 제1 플리커 성분(381)이 된다. 마찬가지로, 추정 연산부(505)에서 구하여진 제2 플리커 성분(382)의 푸리에 급수 전개한 값은, 푸리에 급수 역변환부(507)에 공급되고, 푸리에 급수 역변환이 행하여져서, 제2 플리커 성분(382)이 된다.
제3의 실시의 형태에서도, 제2의 실시의 형태와 같이, 주파수 공간(복소 공간)에서 풀음으로써, 보다 적은 연산으로 플리커 성분을 구할 수 있다. 이 연산에 관해, 설명을 더한다.
도 24는, 적분치 산출부(501, 502), 푸리에 급수 변환부(503, 504)의 처리 내용을 도시하고, 각 노광 조건의 화상의 주파수 공간에서의 표기, J1(ω), J2(ω)를 구하는 과정을 도시한다. 도 24의 A는, 제1 노광 화상(141)과 제2 노광 화상(142)을 도시하고, 플리커의 영향으로, 화상상에 줄무늬모양이 실려 있는 화상으로 되어 있는 예를 도시하고 있다.
제1 노광 화상(141)의 유효성의 부분에 관해 수평 방향으로 적분을 행한 경우의 결과의 한 예를, 도 24의 B의 상측에 도시한다. 또한, 제2 노광 화상(142)의 유효성의 부분에 관해 수평 방향으로 적분을 행한 경우의 결과의 한 예를, 도 24의 B의 하측에 도시한다. 적분을 행할 때의 유효한 부분이란, 화이트 아웃, 블랙 아웃, 피사체 부분 등을 포함하지 않는 부분이다.
산출된 적분치에 대해, 적절한 창 함수를 곱하여, 푸리에 급수 전개가 행하여진다. 푸리에 급수은, 0×ωk, …, 2M×ωk까지의 주파수의 값이 산출된다. 그 결과, 제1 노광 화상(141)의 주파수 표기(J1(ω))와, 제2 노광 화상(142)의 주파수 표기(J2(ω))가, 각각 얻어진다(도 24의 C).
이와 같은 연산에 관해, 더욱 설명을 더한다. 제1의 노광 조건으로 촬영된 제1 노광 화상(141)과, 제2의 노광 조건으로 촬영된 제2 노광 화상(142)은, 각각 이하와 같이 표시된다.
I1(x, y)=I0(x, y)×E1×gt(t1+y, E1)
I2(x, y)=I0(x, y)×E2×gt(t2+y, E2) … (28)
식(28)에서, 다음 식(29)이 성립된다.
I1(x, y)×E2×gt(t2+y, E2)
-I2(x, y)×E1×gt(t1 +y, E1)=0 … (29)
식(29)을 주파수 공간에서 표기하면, 다음 식(30)이 된다.
[수식 23]
Figure 112016051245008-pct00023
식(30)에서, J1(ω)는, I1(x, y)를 수평 방향으로 적분한 값, 즉, 제1 노광 화상(141)을 수평 방향으로 적분한 값을, 주파수 공간에서 표기한 것이다. 마찬가지로, J2(ω)는, I2(x, y)를 수평 방향으로 적분한 값, 즉, 제2 노광 화상(142)을 수평 방향으로 적분한 값을, 주파수 공간에서 표기한 것이다.
플리커 성분(G1(ω))과, 플리커 성분(G2(ω))을, 식(30)에 대입하면, 다음 식(31)이 된다.
[수식 24]
Figure 112016051245008-pct00024
식(31)은, 선형의 식이고, 행렬로서, 다음 식(32)과 같이 표기할 수 있다.
E2J1S2P2F'-E1J2S1P1F'=0
(E2J1S2P2-E1J2S1P1)F'=0 … (32)
식(32)에서의 J1, S1, P1, F'는, 각각 다음 식(33) 내지 (36)으로 표시되는 행렬이다. 또한, J2, S2, P2도 마찬가지로 표기할 수 있기 때문에, 여기서는 그 표기를 생략한다.
[수식 25]
Figure 112016051245008-pct00025
[수식 26]
Figure 112016051245008-pct00026
[수식 27]
Figure 112016051245008-pct00027
[수식 28]
Figure 112016051245008-pct00028
식(33) 내지 (36)에서, ωf는, 플리커의 기본 주파수이고, 통상은, 100Hz나 120Hz에 상당하는 값이 된다. 소정의 주기의 노이즈를 제거하는 경우에는, 그 주기적에 상당하는 주파수가 된다. 또한, 광원의 파형은, 기본 주파수(ωf)의 M배까지의 주파수를 포함한다고 상정하고 있다. 일반적인 광원이라면 M은 1이다. 또한 광원에 따라서는 고주파의 시간 변화의 성분도 갖기 때문에 M이 1보다 커지는 일도 있다.
여기서 식(32)을, 다음 식(33)과 같이 표기한다.
QF'=0
Q=E2J1S2P2-E1J2S1P1 … (37)
식(37)의 Q 중, E는, 노광 시간을 나타내고, J는, 노광 화상을 수평 방향으로 적분한 것을 주파수 공간에서 표기한 것을 나타내고 있다. 또 S는, 셔터 함수의 주파수 공간상에서의 표기이고, 도 22를 참조하여 설명한 셔터 함수의 주파수 공간상에서의 표기이다. 또 P는, exp(2πωt)이다. 이들의 값은, 노광 화상이나 노광 시간으로부터 구하여진 값이기 때문에, Q는 기지(旣知)로 된다.
Q는 기지로 되기 때문에, 식(37)에서의 F'가 구하여진다. F'가 구하여지면, 다음 식(38)으로, 플리커 성분을 구할 수 있다.
[수식 29]
Figure 112016051245008-pct00029
식(38)에서의 G1(ω)는, 제1의 노광 조건으로 촬영된 제1 노광 화상(141)의 제1 플리커 성분(381)의 주파수 공간에서의 표기이고, G2(ω)는, 제2의 노광 조건으로 촬영된 제2 노광 화상(142)의 제2 플리커 성분(382)의 주파수 공간에서의 표기이다.
식(38)으로 구하여진 주파수 공간에서의 제1 플리커 성분(381)과 제2 플리커 성분(382)의 각각을, 실 공간에서의 플리커 성분으로 변환함으로써, 제1 플리커 성분(381)과 제2 플리커 성분(382)을 각각 구할 수 있다.
플리커 추정부(371')의 추정 연산부(505)(도 23)는, 식(37)에서의 행렬 Q를 생성하고, 광원의 흔들림 성분(F')을 구한다. 그리고, 식(38)에 의거한 연산을 행하여, 주파수 공간에서의 플리커 성분을 생성한다.
이와 같이, 플리커비를 이용하지 않고서, 복소 공간에서의 해법을 적용하고, 노광 조건이 다른 2장의 화상의 각각의 플리커 성분을 산출할 수 있다. 따라서, 노광 조건이 다른 2장의 화상의 각각의 플리커 성분을 보정하고, 플리커 성분이 보정된 2장의 화상으로부터, 고다이내믹 레인지의 1장의 화상을 생성하는 것이 가능해진다.
상기한 실시의 형태에서는, 1장의 화상을 촬상할 때, 상기한 바와 같이, 단시간 노광(제1의 노광 조건)과, 장시간 노광(제2의 노광 조건)을 동시에 촬영하는 경우를 예로 들어 설명하였지만, 단시간 노광용의 화소와, 장시간 노광용의 화소를 나누지 않고, 통상의 화소로 단시간 노광의 화상과 장시간 노광의 화상을 교대로 촬영하고, 단시간 노광시의 화상과 장시간 노광시의 화상을 취득하도록 한 경우에도 본 기술을 적용할 수 있다.
이 경우, 촬영의 타이밍이 다르기 때문에, 상기한 플리커 보정시의 연산에 이용되는 행렬은, 이 촬영의 타이밍을 고려한 행렬로 함으로써, 본 기술을 적용할 수 있다.
또한, 상기한 예에서는, 단시간 노광과 장시간 노광의 2종류의 노광 시간으로 촬영을 행하는 촬영 장치를 예로 들어 설명하였지만, 3종류 이상의 노광 시간의 촬영 화상이 조합되는 촬영 장치에 대해서도 본 기술을 적용할 수 있다.
3종류 이상의 노광 시간의 촬영 화상이 조합되는 경우, 예를 들면, 제1의 노광 화상과 제2의 노광 화상으로부터 제1의 플리커 성분을 추정하고, 제1의 플리커 성분으로부터 제3의 플리커 성분을 변환하여 추정하여도 좋다. 또한 제1의 노광 화상, 제2의 노광 화상, 제3의 노광 화상 전부 합친 행렬을 생성하여 풀 수도 있다.
또한 상기한 실시의 형태에서는, 2종류의 다른 노광 시간에 각각 촬영된 노광 화상을 이용하여 플리커 성분을 구하는 경우를 예로 들어 설명하였지만, 1종류의 노광 시간으로 촬영된 노광 화상을 이용하여 플리커 성분을 구하는 경우에도, 본 기술은 적용할 수 있다.
1종류의 노광 시간으로 촬영된 노광 화상을 이용하여 플리커 성분을 구하는 경우, 제1프레임째의 화상을, 상기한 실시의 형태에서의 제1의 노광 조건으로 촬영된 노광 화상으로 하고, 제2프레임째의 화상을, 상기한 실시의 형태에서의 제2의 노광 조건으로 촬영된 노광 화상으로서 취급한다.
또한 이 경우는, 촬영의 속도 간격이 플리커의 주기의 정수배가 되는 조건에서는, 플리커 성분을 구할 수 없을 가능성이 있기 때문에, 예를 들면, 3프레임 촬영하고, 1프레임째와 2프레임의 촬영 간격과, 2프레임째와 3프레임째의 촬영 간격을 다른 간격으로 하여, 3프레임을 이용하여 플리커 성분을 구하도록 하여도 좋다.
<기록 매체에 관해>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 조립되어 있는 컴퓨터나, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등이 포함된다.
도 25는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성례를 도시하는 블록도다. 컴퓨터에서, CPU(Central ProcessingUnit)(1101), ROM(Read Only Memory)(1102), RAM(Random AccesSMemory)(1103)는, 버스(1104)에 의해 상호 접속되어 있다. 버스(1104)에는, 또한, 입출력 인터페이스(1105)가 접속되어 있다. 입출력 인터페이스(1105)에는, 입력부(1106), 출력부(1107), 기억부(1108), 통신부(1109), 및 드라이브(1110)가 접속되어 있다.
입력부(1106)는, 키보드, 마우스, 마이크로폰 등으로 이루어진다. 출력부(1107)는, 디스플레이, 스피커 등으로 이루어진다. 기억부(1108)는, 하드 디스크나 불휘발성의 메모리 등으로 이루어진다. 통신부(1109)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(1110)는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(1111)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(1101)가, 예를 들면, 기억부(1108)에 기억되어 있는 프로그램을, 입출력 인터페이스(1105) 및 버스(1104)를 통하여, RAM(1103)에 로드하여 실행함에 의해, 상술한 일련의 처리가 행하여진다.
컴퓨터(CPU(1101))가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 리무버블 미디어(1111)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 미디어(1111)를 드라이브(1110)에 장착함에 의해, 입출력 인터페이스(1105)를 통하여, 기억부(1108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(1109)에서 수신하고, 기억부(1108)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(1102)이나 기억부(1108)에, 미리 인스톨하여 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열에 처리가 행하여지는 프로그램이라도 좋고, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이라도 좋다.
또한, 본 명세서에서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것이 아니고, 또 다른 효과가 있어도 좋다.
또한, 본 기술의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부를 구비하고,
상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 화상 처리 장치.
(2)
상기 주기적인 노이즈란, 플리커인 상기 (1)에 기재된 화상 처리 장치.
(3)
상기 노이즈 성분의 상호관계는, 주파수 공간에서의 상기 노광 조건의 셔터 함수로 표시되는 상기 (1) 또는 상기 (2)에 기재된 화상 처리 장치.
(4)
상기 추정부는, 상기 화상을 적분하고, 소정의 창 함수를 곱하여, 푸리에 급수 전개함으로써 얻어지는 값을 이용하여, 상기 노이즈의 성분을 추정하는 상기 (1) 내지 (3)의 어느 하나에 기재된 화상 처리 장치.
(5)
상기 적분은, 상기 화상의 어느 것에서도 포화하지 않는 비포화부를 수평 방향으로 행하는 상기 (4)에 기재된 화상 처리 장치.
(6)
상기 추정부는, 광원의 흔들림 성분을 F로 하였을 때, QF=0이 되는 행렬 Q를 구하고, 상기 성분 F를 구함으로써, 주파수 공간에서의 상기 노이즈의 성분을 구하고,
상기 주파수 공간에서의 상기 노이즈의 성분을 푸리에 급수 역변환함으로써, 상기 화상마다 노이즈의 성분을 추정하는 상기 (1) 내지 (5)의 어느 하나에 기재된 화상 처리 장치.
(7)
상기 노이즈 성분의 상호관계는, 상기 화상을 적분하고, 상기 화상의 행마다 제산한 비로 표시되는 상기 (1)에 기재된 화상 처리 장치.
(8)
상기 적분은, 상기 화상의 어느 것에서도 포화하지 않는 비포화부를 수평 방향으로 행하는 상기 (7)에 기재된 화상 처리 장치.
(9)
상기 추정부는, 상기 비를 푸리에 급수 전개한 행렬을 R, 상기 노광 조건으로부터 구하여지는 행렬을 T로 하였을 때, 행렬 RT의 고유치 1의 고유 벡터를 구하고, 상기 고유 벡터를, 상기 화상의 상기 노이즈의 성분을 푸리에 급수 전개한 값으로 하는 상기 (7)에 기재된 화상 처리 장치.
(10)
상기 고유 벡터를, 푸리에 급수 역변환함으로써, 상기 화상의 상기 노이즈의 성분을 산출하는 상기 (9)에 기재된 화상 처리 장치.
(11)
상기 고유 벡터에, 상기 노광 조건으로부터 구하여지는 계수를 승산함으로써, 상기 노이즈의 성분이 산출된 화상과는 다른 화상의 상기 노이즈의 성분을 푸리에 급수 전개한 값을 산출하고,
상기 푸리에 급수 전개한 값을 푸리에 급수 역변환함으로써, 상기 화상의 상기 노이즈의 성분을 산출하는 상기 (10)에 기재된 화상 처리 장치.
(12)
상기 추정부는, 상기 비를 R, 상기 노광 조건으로부터 구하여지는 계수를 T, 상기 화상의 노이즈의 성분을 G로 하였을 때, 이하의 식에서의 행렬 RT를 생성하고, 상기 화상의 노이즈의 성분을 구하는 상기 (7)에 기재된 화상 처리 장치.
[수식 30]
Figure 112016051245008-pct00030
(13)
상기 추정부는, 상기 비를 행렬 r, 상기 노광 조건으로부터 구하여지는 행렬을 행렬 t로 하였을 때, 행렬 rt의 고유치 1의 고유 벡터를 구하고, 상기 고유치 벡터를, 상기 화상의 노이즈의 성분으로 추정하는 상기 (7)에 기재된 화상 처리 장치.
(14)
상기 추정된 노이즈 성분의 선형합에 의해, 상기 노이즈의 성분이 산출된 화상과는 다른 화상의 상기 노이즈의 성분을 산출하는 상기 (13)에 기재된 화상 처리 장치.
(15)
상기 추정부는, 상기 비를 r, 상기 노광 조건으로부터 구하여진 값을 t, 상기 화상의 화소치를 I, 및 상기 노이즈의 성분을 g로 하였을 때, 이하의 식을 충족시키는 g1, g2를 최소제곱 추정으로 구함으로써, 상기 화상마다의 노이즈의 성분을 구하는 상기 (7)에 기재된 화상 처리 장치.
[수식 31]
Figure 112016051245008-pct00031
(16)
다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정 스텝을 포함하고,
상기 추정 스텝은, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 처리를 포함하는 화상 처리 방법.
(17)
다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정 스텝을 포함하고,
상기 추정 스텝은, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 처리를 포함하는 처리를 컴퓨터에 실행시키기 위한 프로그램.
(18)
촬상 소자로부터 출력되는 화소 신호에 대해 신호 처리를 행하는 신호 처리부를 구비하고,
상기 신호 처리부는,
다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부와,
상기 추정부에서 추정된 노이즈의 성분을 이용하여, 상기 화상으로부터 노이즈를 제거하는 보정을 행하는 보정부를 구비하고,
상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 전자 기기.
100 : 촬상 장치
101 : 광학 렌즈
102 : 촬상 소자
103 : 화상 처리자
104 : 신호 처리부
105 : 제어부
311 : 감도별 보간부
312 : 플리커 보정부
313 : HDR 합성부
331, 332 : 추출부
333, 334 : 보간 처리부
351, 352 : 노출 보정부
353 : 블렌드 계수 산출부
354 : 블렌드 처리부
371 : 플리커 추정부
372 : 제1 노광 화상 플리커 보정부
373 : 제2 노광 화상 플리커 보정부
401, 402 : 적분치 산출부
403 : 제산부
404 : 추정 연산부
431 : 행렬 생성부
432 : 행렬 연산부
433 : 플리커 성분 변환부
461 : 푸리에 급수 변환부
462 : 행렬 생성부
463 : 행렬 연산부
464 : 푸리에 급수 역변환부
465 : 플리커 성분 변환부
466 : 푸리에 급수 역변환부
501, 502 : 적분치 산출부
503, 504 : 푸리에 급수 변환부
505 : 추정 연산부
506, 507 : 푸리에 급수 역변환부

Claims (18)

  1. 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부를 구비하고,
    상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하며,
    상기 추정부는, 상기 화상을 적분하고, 소정의 창 함수를 곱하여, 푸리에 급수 전개함으로써 얻어지는 값을 이용하여, 상기 노이즈의 성분을 추정하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 주기적인 노이즈란, 플리커인 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 노이즈 성분의 상호관계는, 주파수 공간에서의 상기 노광 조건의 셔터 함수로 표시되는 것을 특징으로 하는 화상 처리 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 적분은, 상기 화상의 어느 것에서도 포화하지 않는 비포화부를 수평 방향으로 행하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 추정부는, 광원의 흔들림 성분을 F로 하였을 때, QF=0이 되는 행렬 Q를 구하고, 상기 성분 F를 구함으로써, 주파수 공간에서의 상기 노이즈의 성분을 구하고,
    상기 주파수 공간에서의 상기 노이즈의 성분을 푸리에 급수 역변환함으로써, 상기 화상마다 노이즈의 성분을 추정하는 것을 특징으로 하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 노이즈 성분의 상호관계는, 상기 화상을 적분하고, 상기 화상의 행마다 제산한 비로 표시되는 것을 특징으로 하는 화상 처리 장치.
  8. 제7항에 있어서,
    상기 적분은, 상기 화상의 어느 것에서도 포화하지 않는 비포화부를 수평 방향으로 행하는 것을 특징으로 하는 화상 처리 장치.
  9. 제7항에 있어서,
    상기 추정부는, 상기 비를 푸리에 급수 전개한 행렬을 R, 상기 노광 조건으로부터 구하여지는 행렬을 T로 하였을 때, 행렬 RT의 고유치 1의 고유 벡터를 구하고, 상기 고유 벡터를, 상기 화상의 상기 노이즈의 성분을 푸리에 급수 전개한 값으로 하는 것을 특징으로 하는 화상 처리 장치.
  10. 제9항에 있어서,
    상기 고유 벡터를, 푸리에 급수 역변환함으로써, 상기 화상의 상기 노이즈의 성분을 산출하는 것을 특징으로 하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 고유 벡터에, 상기 노광 조건으로부터 구하여지는 계수를 승산함으로써, 상기 노이즈의 성분이 산출된 화상과는 다른 화상의 상기 노이즈의 성분을 푸리에 급수 전개한 값을 산출하고,
    상기 푸리에 급수 전개한 값을 푸리에 급수 역변환함으로써, 상기 화상의 상기 노이즈의 성분을 산출하는 것을 특징으로 하는 화상 처리 장치.
  12. 제7항에 있어서,
    상기 추정부는, 상기 비를 R, 상기 노광 조건으로부터 구하여지는 계수를 T, 상기 화상의 노이즈의 성분을 G로 하였을 때, 이하의 식에서의 행렬 RT를 생성하고, 상기 화상의 노이즈의 성분을 구하는 것을 특징으로 하는 화상 처리 장치.
    [수식 1]
    Figure 112016051245008-pct00032
  13. 제7항에 있어서,
    상기 추정부는, 상기 비를 행렬 r, 상기 노광 조건으로부터 구하여지는 행렬을 행렬 t로 하였을 때, 행렬 rt의 고유치 1의 고유 벡터를 구하고, 상기 고유 벡터를, 상기 화상의 노이즈의 성분으로 추정하는 것을 특징으로 하는 화상 처리 장치.
  14. 제13항에 있어서,
    상기 추정된 노이즈 성분의 선형합에 의해, 상기 노이즈의 성분이 산출된 화상과는 다른 화상의 상기 노이즈의 성분을 산출하는 것을 특징으로 하는 화상 처리 장치.
  15. 제7항에 있어서,
    상기 추정부는, 상기 비를 r, 상기 노광 조건으로부터 구하여진 값을 t, 상기 화상의 화소치를 I, 및 상기 노이즈의 성분을 g로 하였을 때, 이하의 식을 충족시키는 g1, g2를 최소제곱 추정으로 구함으로써, 상기 화상마다의 노이즈의 성분을 구하는 것을 특징으로 하는 화상 처리 장치.
    [수식 2]
    Figure 112016051245008-pct00033
  16. 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정 스텝을 포함하고,
    상기 추정 스텝은, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 처리 스텝과,
    상기 추정 스텝은, 상기 화상을 적분하고, 소정의 창 함수를 곱하여, 푸리에 급수 전개함으로써 얻어지는 값을 이용하여, 상기 노이즈의 성분을 추정하는 것을 특징으로 하는 화상 처리 방법.
  17. 다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정 스텝을 포함하고,
    상기 추정 스텝은, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하는 처리 스텝과,
    상기 추정 스텝은, 상기 화상을 적분하고, 소정의 창 함수를 곱하여, 푸리에 급수 전개함으로써 얻어지는 값을 이용하여, 상기 노이즈의 성분을 추정하는 것을 포함하는 처리를 컴퓨터에 실행시키기 위한 매체에 보존된 것을 특징으로 하는 프로그램.
  18. 촬상 소자로부터 출력되는 화소 신호에 대해 신호 처리를 행하는 신호 처리부를 구비하고,
    상기 신호 처리부는,
    다른 노광 조건으로 촬영된 화상에, 각각 포함되는 주기적인 노이즈의 성분을, 화상마다 추정하는 추정부와,
    상기 추정부에서 추정된 노이즈의 성분을 이용하여, 상기 화상으로부터 노이즈를 제거하는 보정을 행하는 보정부를 구비하고,
    상기 추정부는, 상기 노광 조건의 상기 노이즈 성분의 상호관계를 이용한 연산으로부터, 상기 화상마다의 주기적인 노이즈의 성분을 추정하며,
    상기 추정부는 상기 화상을 적분하고, 소정의 창 함수를 곱하여, 푸리에 급수 전개함으로써 얻어지는 값을 이용하여, 상기 노이즈의 성분을 추정하는 것을 특징으로 하는 전자 기기.
KR1020167014238A 2013-12-04 2014-11-21 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램 KR102254994B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2013-251164 2013-12-04
JP2013251164 2013-12-04
PCT/JP2014/080866 WO2015083562A1 (ja) 2013-12-04 2014-11-21 画像処理装置、画像処理方法、電子機器、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20160093004A KR20160093004A (ko) 2016-08-05
KR102254994B1 true KR102254994B1 (ko) 2021-05-24

Family

ID=53273329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167014238A KR102254994B1 (ko) 2013-12-04 2014-11-21 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램

Country Status (6)

Country Link
US (1) US9979896B2 (ko)
EP (1) EP3079353B1 (ko)
JP (1) JP6437450B2 (ko)
KR (1) KR102254994B1 (ko)
CN (1) CN105659583B (ko)
WO (1) WO2015083562A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150109177A (ko) * 2014-03-19 2015-10-01 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
EP3660782B1 (en) * 2015-03-06 2022-08-10 Teledyne Flir, LLC Anomalous pixel detection
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US20180324344A1 (en) * 2015-11-24 2018-11-08 Sony Corporation Image processor, image processing method, and program
JP2017112409A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
CN105472266A (zh) * 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
US10244182B2 (en) * 2016-06-23 2019-03-26 Semiconductor Components Industries, Llc Methods and apparatus for reducing spatial flicker artifacts
EP3554065B1 (en) * 2016-12-08 2021-12-29 Nuvoton Technology Corporation Japan Solid-state imaging apparatus and imaging apparatus
JP7157529B2 (ja) * 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
CN109218621B (zh) * 2018-10-23 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
CN111131718B (zh) * 2019-07-16 2021-05-14 深圳市艾为智能有限公司 一种具有led闪烁补偿功能的多重曝光图像融合方法和系统
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317028A1 (en) 2010-06-24 2011-12-29 Sony Corporation Image processing apparatus, image taking apparatus, image processing method and image processing program
US20120002074A1 (en) 2010-01-29 2012-01-05 Shigeyuki Baba Image processing apparatus, signal processing apparatus, and program
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3989615B2 (ja) * 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
JP3808248B2 (ja) * 1999-08-20 2006-08-09 松下電器産業株式会社 撮像装置
CN100473119C (zh) * 2006-11-07 2009-03-25 北京中星微电子有限公司 消除曝光闪烁的方法及装置
CN101567977B (zh) * 2009-06-09 2013-09-18 北京中星微电子有限公司 一种闪烁检测方法及其装置
JP2012090897A (ja) 2010-10-28 2012-05-17 Sophia Co Ltd 遊技機
JP2012098097A (ja) 2010-10-29 2012-05-24 L Haf Co Ltd 蛍光ｘ線分析による生体内金属元素検査方法
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
JP6045896B2 (ja) * 2012-12-04 2016-12-14 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 評価値算出装置および評価値算出方法
JP6116299B2 (ja) * 2013-03-15 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
FR3005543A1 (fr) * 2013-10-14 2014-11-14 St Microelectronics Grenoble 2 Procede de compensation de scintillement utilisant deux images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002074A1 (en) 2010-01-29 2012-01-05 Shigeyuki Baba Image processing apparatus, signal processing apparatus, and program
US20110317028A1 (en) 2010-06-24 2011-12-29 Sony Corporation Image processing apparatus, image taking apparatus, image processing method and image processing program
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
KR20160093004A (ko) 2016-08-05
JPWO2015083562A1 (ja) 2017-03-16
US20170013183A1 (en) 2017-01-12
WO2015083562A1 (ja) 2015-06-11
EP3079353A4 (en) 2017-08-16
CN105659583B (zh) 2019-11-19
EP3079353B1 (en) 2021-03-03
JP6437450B2 (ja) 2018-12-12
EP3079353A1 (en) 2016-10-12
US9979896B2 (en) 2018-05-22
CN105659583A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
KR102254994B1 (ko) 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램
JP6434963B2 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
US9036050B2 (en) Image processing device, image processing method, and program
US9560290B2 (en) Image processing including image correction
TWI644568B (zh) 攝像元件、攝像方法及攝像程式
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
JP4638361B2 (ja) 撮像装置
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP2013038504A (ja) 撮像装置、および画像処理方法、並びにプログラム
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP5128726B1 (ja) 固体撮像素子および当該素子を備える撮像装置
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2014039170A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2014086889A (ja) 固体撮像装置
JP2015142342A (ja) 撮像装置、画像生成方法及び画像生成プログラム
US10091442B2 (en) Image processing apparatus and image processing method
JP5980618B2 (ja) 画像処理装置及び画像処理方法
JPWO2016072018A1 (ja) 撮像装置
JP2012216957A (ja) 撮像処理装置
JP2013223211A (ja) 撮像処理装置、撮像処理方法、およびプログラム
JP6497822B2 (ja) 撮像装置
JP2013223208A (ja) 撮像処理装置
JP2014033258A (ja) 撮像装置
JP2013223210A (ja) 撮像処理装置、撮像処理方法、およびプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant