KR101932542B1 - 플리커-평가치를 산출하는 장치 및 방법 - Google Patents

플리커-평가치를 산출하는 장치 및 방법 Download PDF

Info

Publication number
KR101932542B1
KR101932542B1 KR1020130091587A KR20130091587A KR101932542B1 KR 101932542 B1 KR101932542 B1 KR 101932542B1 KR 1020130091587 A KR1020130091587 A KR 1020130091587A KR 20130091587 A KR20130091587 A KR 20130091587A KR 101932542 B1 KR101932542 B1 KR 101932542B1
Authority
KR
South Korea
Prior art keywords
flicker
exposure image
value
long
image
Prior art date
Application number
KR1020130091587A
Other languages
English (en)
Other versions
KR20140071871A (ko
Inventor
타케루 스즈키
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US14/080,894 priority Critical patent/US9462194B2/en
Priority to CN201310646258.4A priority patent/CN103856721B/zh
Publication of KR20140071871A publication Critical patent/KR20140071871A/ko
Application granted granted Critical
Publication of KR101932542B1 publication Critical patent/KR101932542B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

WDR(Wide Dynamic Range) 시스템으로서의 플리커-평가치 산출 장치가 개시된다. 이 장치는, 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 제1 차분치를 산출하는 제1 산출부(161); 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 평균치를 산출하는 평균치 산출부(163); 평균치와 현재 프레임의 단노광 화상의 화소치의 차이인 제2 차분치를 산출하는 제2 산출부; 및 제1 차분치와 제2 차분치에 의하여 플리커의 강도를 나타내는 플리커-평가치를 산출하는 플리커-평가치 산출부(164);를 구비한다.

Description

플리커-평가치를 산출하는 장치 및 방법{Apparatus and method of calculating flicker-evaluation value}
본 발명은, 플리커-평가치 산출 장치 및 플리커-평가치 산출 방법에 관한 것으로서, 보다 상세하게는, 장노광 화상 및 단노광 화상을 합성하는 WDR(Wide Dynamic Range) 처리에 유효한 플리커-평가치를 산출하는 장치 및 방법에 관한 것이다.
최근 단시간 노광의 화상(이하, 단순히 "단노광 화상"이라고 함)과 장시간 노광의 화상(이하, 단순히 "장노광 화상"이라고도 함)을 연속적으로 촬영하여 합성함으로써, 센서가 촬영 가능한 다이나믹 레인지를 초과한 다이나믹 레인지를 포착한 화상을 얻는 WDR(Wide Dynamic Range) 혹은 HDR(Dynamic Range)이라는 촬영 기능이 사용되고 있다. 상기 촬영 기능은, 역광의 구도 등 명암비가 매우 큰 조건에서 특히 큰 효과가 있다.
그러나 단노광 화상과 장노광 화상을 합성하는 구조에서 발생하는 문제가 두가지 있다. 한가지는, 피사체에 움직임이 있으면 합성시에 어긋남이 발생하여 윤곽이 이중이 되는 현상이 발생한다는 문제이다. 또 한가지는, 단노광 화상에 플리커가 촬영되는 경우가 있는데, 이 단노광 화상이 합성에 사용되면 플리커를 포함한 합성 화상이 출력되어 보기 어려운 화상이 된다는 문제이다. 본 명세서에서는, 주로 후자의 플리커에 대한 문제의 해결을 시도한다.
플리커를 일으키는 것으로서는 인버터가 없는 형광등이 유명한데, 최근 보급되기 시작한 LED(Light Emitting Diode) 조명 중에서도 명멸 주파수가 낮은 것이 있으며 이러한 낮은 주파수의 명멸은 플리커의 발생원이 되는 경우가 있다. 또 LCD(Liquid Crystal Display)를 구비한 텔레비젼 장치나 PC(Personal Computer)용 디스플레이 중에도 동영상 표시 성능의 향상을 목적으로 하여 백라이트를 명멸시키는 것이 증가하고 있는데, 백라이트의 명멸도 플리커의 발생원이 될 수 있다.
WDR의 플리커 저감 수법으로서는 이하와 같은 것이 있다. 예를 들어, 촬영 개시전에 여러 프레임에 걸쳐 플리커 검출 순서를 촬영하고, 그 촬영 결과에 의하여 플리커의 유무나 주파수를 판단하는 수법이 있다(예를 들어, 특허문헌 1 참조). 상기 수법에서는 그 판단 결과에 의하여 ISO(International Organization for Standardization) 감도나 EV(Exposure Value)를 제어하고 셔터 스피드를 플리커의 영향이 적도록 설정하여 촬영한다.
또 1/240초 및 1/60초 각각의 셔터 타임으로 촬영한 화상을 비교하여 플리커를 검출하는 수법이 있다(특허문헌 2 참조). 상기 수법에서는, 플리커 검출 결과에 의하여 여러 개의 WDR 합성 화상 및 단노광 화상 1장의 계조 보정 화상 각각에 대해 우선 순위를 설정하고, 해당 우선 순위에 의하여 여러 개의 WDR 합성 화상 및 단노광 화상 1장의 계조 보정 화상의 표시 제어 또는 기록 제어를 한다.
또 플래시가 있는 환경에서 촬영된 화상을 합성했을 때의 WB(White Balance)와 플래시가 없는 환경에서 촬영된 화상을 합성했을 때의 WB의 차이를 맞추는 것을 주된 목적으로 하는 수법이 있다(특허문헌 3 참조). 상기 수법에서는 여러 장의 화상을 가산 평균함으로써 플리커를 줄인다. 또한 상기 수법에 의하면, 여러 장의 화상을 가산 평균함으로써 WDR 효과도 얻을 수 있다.
하지만, 특허문헌 1에 개시된 수법은, 촬영전에 플리커의 유무나 주파수를 판단하는 것으로서, 그 판단을 위해 여러 프레임을 필요로 하기 때문에 동영상 촬영중에 플리커 광원이 점등 개시 또는 종료된 경우에 대응할 수 없다. 고휘도의 플리커 광원이 있는 경우, 고휘도측 정보를 충분히 포착하지 못할 우려도 있다.
또한, 특허문헌 2에 개시된 수법에 의하면, 플리커를 검출한 경우 WDR 합성 화상의 우선 순위가 저하된다. WDR 합성 화상의 우선 순위가 저하되면, 예를 들어, 플리커가 화면의 일부에만 존재하는 경우라도 화면 전체에서의 WDR 효과가 없어진다.
또한, 특허문헌 3에 개시된 수법에 의하면, 여러 장의 촬영 화상의 가산 평균에 의해 플리커를 줄이기 위해 플리커가 사라질 때까지 촬영 및 가산을 반복 실시할 필요가 있다. 또 WDR 효과도 복수 프레임을 가산함으로써 얻었으며 레인지 확대 효과는 적다.
일본 특허공개 2012-129972호 공보 일본 특허공개 2012-119761호 공보 일본 특허공개 2011-35894호 공보
본 발명은, 장노광 화상 및 단노광 화상을 합성하는 WDR 처리시에 플리커의 유무를 화소마다 동적으로 판정하기 위한 플리커-평가치를 산출 가능하게 하는 기술을 제공하고자 한다.
또한, 본 발명은 플리커를 검출한 경우에 장노광 화상을 선택함으로써 플리커를 회피 가능하게 하는 기술을 제공하고자 한다.
또한, 본 발명은 플리커 영역을 정확하게 검출하여 플리커가 없는 WDR 처리된 동영상을 얻을 수 있게 하는 기술을 제공하고자 한다.
본 발명의 일 실시예에 의하면, 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 제1 차분치를 산출하는 제1 산출부와, 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 평균치를 산출하는 평균치 산출부와, 상기 평균치와 현재 프레임의 단노광 화상의 화소치에 대응한 값과의 제2 차분치를 산출하는 제2 산출부와, 상기 제1 차분치와 상기 제2 차분치에 의하여 플리커의 강도를 나타내는 플리커-평가치를 산출하는 플리커-평가치 산출부를 구비한 플리커-평가치 산출 장치가 제공된다.
상기 구성에 의하면, 플리커의 유무를 화소마다 동적으로 판정하기 위한 플리커-평가치를 산출할 수 있다. 또한, 예를 들어, 상기 구성에 의하면 플리커를 검출한 경우에는 장노광 화상을 선택함으로써 플리커를 피할 수 있다. 또 예를 들어, 상기 구성에 의하면 플리커 영역을 정확하게 검출하여 플리커가 없는 WDR 처리된 동영상을 얻을 수 있게 된다.
상기 플리커-평가치 산출 장치는, 상기 플리커-평가치에 의하여 상기 현재 프레임의 장노광 화상과 상기 현재 프레임의 단노광 화상과의 혼합 비율을 제어하는 혼합 비율 제어부를 구비해도 좋다. 상기 구성에 의하면, 플리커-평가치 산출부에 의해 산출된 플리커-평가치에 의하여 현재 프레임의 장노광 화상과 현재 프레임의 단노광 화상과의 혼합 비율을 제어할 수 있다.
예를 들어, 혼합 비율 제어부는, 플리커-평가치가 제1 문턱값보다 적을 경우, 평가 대상의 화소가 플리커가 아니라고 하고 해당 화소에서의 장노광 화상의 혼합 비율을 "0"으로 해도 좋다. 한편, 혼합 비율 제어부는, 플리커-평가치가 제2 문턱값보다 클 경우, 평가 대상의 화소를 플리커 대상이라 하고, 해당 화소에서의 장노광 화상의 혼합 비율을 일정(clip) 값으로 제한해도 좋다.
상기 플리커-평가치 산출 장치는, 상기 혼합 비율 제어부에 의해 제어된 혼합 비율에 의하여 상기 현재 프레임의 장노광 화상과 상기 현재 프레임의 단노광 화상을 합성하는 합성부를 구비해도 좋다. 상기 구성에 의하면, 제어된 결과적으로의 혼합 비율에 의하여 현재 프레임의 장노광 화상과 현재 프레임의 단노광 화상을 합성할 수 있다.
바람직하게는, 상기 플리커-평가치 산출부는 상기 제1 차분치가 적을수록 상기 플리커-평가치를 크게 산출한다. 상기 구성에 의하면, 제1 차분치가 적을수록 플리커의 강도를 나타내는 플리커-평가치를 크게 산출할 수 있다. 제1 차분치가 적다는 것은 장노광 화상의 화소치가 안정되어 있다는 것이며, 이것은 플리커가 가진 성질 중 하나이기 때문이다.
상기 플리커-평가치 산출부는, 상기 제2 차분치가 클수록 상기 플리커-평가치를 크게 산출해도 좋다. 상기 구성에 의하면, 제2 차분치가 클수록 플리커의 강도를 나타내는 플리커-평가치를 크게 산출할 수 있다. 제2 차분치가 크다는 것은 장노광 화상이 단노광 화상과 다르다는 것이며, 이것은 플리커가 가진 성질 중 하나이기 때문이다.
상기 혼합 비율 제어부는, 상기 플리커-평가치가 클수록 상기 현재 프레임의 장노광 화상의 혼합 비율을 크게 하도록 제어해도 좋다. 상기 구성에 의하면, 플리커의 강도를 나타내는 플리커-평가치가 클수록 현재 프레임의 장노광 화상의 혼합 비율이 커지고 현재 프레임의 단노광 화상의 혼합 비율이 작아져 WDR 합성 화상에 플리커가 포함될 가능성을 낮출 수 있다.
또 본 발명의 다른 실시예에 의하면, 현재 프레임의 장노광 화상의 화소치 및 전(前)프레임의 장노광 화상의 화소치의 제1 차분치를 산출하는 단계와, 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 평균치를 산출하는 단계와, 상기 평균치와 현재 프레임의 단노광 화상의 화소치에 대응한 값과의 제2 차분치를 산출하는 단계와, 상기 제1 차분치와 상기 제2 차분치에 의하여 플리커의 강도를 나타내는 플리커-평가치를 산출하는 단계를 포함한 플리커-평가치 산출 방법이 제공된다.
상기 방법에 의하면, 플리커의 유무를 화소마다 동적으로 판정하기 위한 플리커-평가치를 산출할 수 있다. 또 예를 들어, 상기 방법에 의하면 플리커를 검출한 경우에는 장노광 화상을 선택함으로써 플리커를 피할 수 있다. 또 예를 들어, 상기 방법에 의하면 플리커 영역을 정확하게 검출하여 플리커가 없는 WDR 처리된 동영상을 얻을 수 있게 된다.
본 발명에 의하면, 장노광 화상 및 단노광 화상을 합성하는 WDR 처리시에 플리커의 유무를 화소마다 동적으로 판정하기 위한 플리커-평가치를 산출하는 기술을 제공한다.
이에 따라, 예를 들어, 플리커를 검출한 경우에 장노광 화상을 선택함으로써 플리커를 피할 수 있다. 또한, 플리커 영역을 정확하게 검출하여 플리커가 없는 WDR 처리된 동영상을 얻을 수 있게 된다.
도 1은 일반적인 WDR 시스템의 기능적 구성 예를 도시한 도면이다.
도 2a는 단노광 화상의 예를 도시한 도면이다.
도 2b는 장노광 화상의 예를 도시한 도면이다.
도 2c는 일반적인 WDR 시스템에 의한 WDR 합성 화상의 예를 도시한 도면이다.
도 3은 본 발명의 실시예에 관한 WDR 시스템의 기능 구성을 도시한 도면이다.
도 4는 플리커 검출부의 상세한 기능 구성을 도시한 도면이다.
도 5는 사용 화상 선택부의 상세한 기능 구성을 도시한 도면이다.
도 6a는 정지 영역의 화소치의 시간 변화의 예를 도시한 도면이다.
도 6b는 움직임 영역의 화소치의 시간 변화의 예를 도시한 도면이다.
도 6c는 플리커 영역의 화소치의 시간 변화의 예를 도시한 도면이다.
도 7은 플리커-평가치와 혼합 비율의 제어와의 관계의 예를 도시한 도면이다.
도 8a는 본 발명의 실시예에 관한 WDR 시스템에 의한 플리커 검출 결과의 예를 도시한 도면이다.
도 8b는 본 발명의 실시예에 관한 WDR 시스템에 의한 WDR 합성 화상의 예를 도시한 도면이다.
도 9는 본 발명의 실시예에 관한 WDR 시스템의 동작 흐름의 예를 도시한 도면이다.
이하 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.
또 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 여러 개의 구성요소를, 동일한 부호 뒤에 다른 알파벳을 붙여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 가진 여러 개의 구성요소 각각을 특별히 구별할 필요가 없는 경우 동일 부호만을 붙인다.
우선, 일반적인 WDR 시스템(90)의 기능 구성예에 대해 설명하기로 한다. 도 1은, 일반적인 WDR 시스템(90)의 기능 구성예를 도시한 도면이다. WDR 시스템(90)은 센서(910)의 노광 설정을 바꾸어 2장의 화상을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 하고 그 후에 장노광 촬영을 하는 것으로 한다. 단노광 촬영된 단노광 화상은 메모리(920)에 기입된다. WDR 시스템(90)은 단노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 한다.
여기에서 본 발명의 실시예에서는, 단노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이들 용어는, 촬영된 2개의 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서 노광 시간이 다른 2개의 화상이 촬영된 경우에 해당 2개의 화상 중 상대적으로 노광 시간이 짧은 화상이 단노광 화상에 상당하고, 상대적으로 노광 시간이 긴 화상이 장노광 화상에 상당한다.
사용 화상 선택부(930)는, 센서(910)에 의해 검출된 장노광 화상과 메모리(920)에서 독출한 단노광 화상을 참조하여 장노광 화상 및 단노광 화상 각각의 포화 상태나 움직임 등을 검출하고 단노광 화상과 장노광 화상 중 어느 한쪽을 사용 화상으로서 선택하기 위한 선택 정보를 생성한다. 단노광 화상과 장노광 화상 중 어느 한쪽을 선택하는 알고리즘으로서는 여러가지 알고리즘이 상정된다.
예를 들어, 장노광 화상에서 포화된 영역은 단노광 화상에서는 포화되지 않을 가능성이 높기 때문에, 해당 영역의 사용 화상으로서는 단노광 화상을 선택하면 된다. 그러나 이 처리만으로는, 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 결함이 발생할 수 있다. 따라서 움직임을 검출하여 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 상기 처리를 포함한, 단노광 화상과 장노광 화상 중 어느 한쪽을 선택하는 알고리즘은 특별히 한정되지 않는다.
합성부(940)는, 사용 화상 선택부(930)로부터의 선택 정보를 받아 해당 선택 정보에 의하여 단노광 화상과 장노광 화상을 합성함으로써 WDR 화상을 생성한다. 계조 변환부(950)는, 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지로 수렴하기 위한 압축 처리와 인간의 눈으로 본 정경에 접근하는 계조 보정을, 합성부(940)에 의해 생성된 WDR 화상에 대해 실시한다. 해당 압축 처리와 해당 계조 보정은 동시에 이루어져도 좋고 다른 타이밍으로 이루어져도 좋다.
도 2a는 단노광 화상의 예를 보여준다. 도 2b는 장노광 화상의 예를 보여준다. 도 2c는 일반적인 WDR 시스템(90)에 의한 WDR 합성 화상의 예를 보여준다.
도 2a, 도 2b 및 도 2c에 도시된 구도는, 맑은 날 대낮의 실내에서 창(W) 앞에 사람(U)이 서있는 역광의 구도로서, 창(W)의 오른쪽 아래에는 깜빡이는 디스플레이(D)가 있다. 도 2a에 도시한 단노광 화상(Im-s)에서는 창(W) 밖의 구름이 또렷이 보이지만, 앞의 사람(U)이나 실내는 어둡게 가라앉는다. 또 셔터 타임이 짧아 디스플레이(D)에는 수직 방향으로 줄무늬의 플리커가 보인다.
도 2b에 도시한 장노광 화상(Im-l)은 앞의 사람(U)이나 실내가 적정한 밝기로 보이고 셔터 타임이 길어 디스플레이(D)의 플리커도 없지만, 창(W) 밖은 너무 밝아 포화되어 구름이 전혀 안보이게 된다. 이것들을 WDR 합성하면, 도 2c에 도시한 WDR 합성 화상(Im-g)과 같이 되어 장노광 화상(Im-l)으로 포화된 영역에 대해 단노광 화상(Im-s)을 사용함으로써 창(W) 밖의 구름이 보이게 된다.
그러나 알고리즘에도 따르지만, 플리커가 존재하는 영역이 움직임 영역으로서 검출될 경우에는, 해당 플리커가 존재하는 영역의 사용 화상으로서 단노광 화상(Im-s)이 사용 화상 선택부(930)에 의해 선택된다. 따라서, 단노광 화상(Im-s)에 포함되는 디스플레이(D)가 합성부(940)에 의해 합성되어 디스플레이(D)의 플리커도 보이게 된다.
계속해서 본 발명의 실시예에 관한 WDR 시스템(10)의 기능 구성에 대해 설명하기로 한다. 도 3은 본 발명의 실시예에 관한 WDR 시스템(10)의 기능 구성을 보여준다. 도 3에 도시한 바와 같이 WDR 시스템(10)은 센서(110), 제1 메모리(121), 제2 메모리(122), 사용 화상 선택부(130), 합성부(140), 계조 변환부(150) 및 플리커 검출부(160)를 구비한다.
이하, WDR 시스템(10)이 구비한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다. 여기에서, WDR 시스템(10)은 본 발명의 실시예의 플리커-평가치 산출 장치이다.
센서(110)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시켜 결상된 광을 전하량으로 광전 변환하고 해당 전하량을 전기 신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않으며, 예를 들어, CCD(Charge Coupled Deｖice)여도 좋고, CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.
구체적으로는, 센서(110)는 노광 설정을 바꾸어 장노광 화상과 단노광 화상을 교대로 연속 촬영한다. 장노광 촬영된 이전 프레임의 장노광 화상은 제1 메모리(121)에 기입된다. 한편 단노광 촬영된 현재 프레임의 단노광 화상은 제2 메모리(122)에 기입된다. 계속해서 WDR 시스템(10)은, 현재 프레임의 단노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 함으로써 현재 프레임의 장노광 화상을 취득한다. 이전 프레임은 현재 프레임보다 1 프레임 전의 프레임을 의미한다.
플리커 검출부(160)는, 제1 메모리(121)에서 출력된 이전 프레임의 장노광 화상과 제2 메모리(122)에서 출력된 현재 프레임의 단노광 화상과 센서(110)에서 출력된 현재 프레임의 장노광 화상의 3장의 화상을 이용하여 화소마다 플리커 검출을 한다. 플리커 검출부(160)에 의한 플리커 검출 결과는, 사용 화상 선택부(130)에 의해 사용된다.
도 4는 플리커 검출부(160)의 상세한 기능 구성을 보여준다. 도 5는 사용 화상 선택부(130)의 상세한 기능 구성을 보여준다. 여기에서 본 발명의 실시예에 관한 플리커 검출의 배경이 되는 사상에 대해 설명하기로 한다. 본 발명의 실시예에서의 전제 조건으로서, 단노광 화상 및 장노광 화상의 2장의 화상 중 장노광 화상에는 플리커는 거의 포함되지 않고 항상 안정적인 것이 있다.
장노광 화상에 플리커가 거의 포함되지 않는 상황으로 하기 위해서는, 예를 들어, 장노광 화상의 셔터 타임을 1/60초(혹은 1/50초) 이하로 해야 한다. 단노광 화상의 촬영 조건에 대해서는 다이나믹 레인지 확대 성능의 사양에 의해 자유롭게 결정하면 되고, 장노광 촬영의 셔터 타임의 몇분의 1 내지 수십분의 1의 범위에서 설정하게 된다.
이러한 전제하에 정지 영역과 움직임 영역과 플리커 영역의 차이에 대해 설명하기로 한다.
도 6a는 정지 영역의 화소치의 시간 변화의 예를 보여준다. 도 6b는 움직임 영역의 화소치의 시간 변화의 예를 보여준다. 도 6c는 플리커 영역의 화소치의 시간 변화의 예를 보여준다.
도 6a, 도 6b 및 도 6c에서 S는 단노광 화상의 화소치에 대응한 값, L은 장노광 화상의 화소치를 나타낸다. 아울러 단노광 화상의 화소치에 대응한 값은, 예를 들어, 단노광 화상의 화소치에 대해 단노광 화상에 대한 장노광 화상의 노출 시간의 비를 곱하여 정규화한 결과여도 좋다. 예를 들어, 장노광 화상에 대해 "1/10"의 노출 시간으로 단노광 화상을 촬영한 경우에는 단노광 화상의 화소치에 "10"을 곱함으로써 단노광 화상의 화소치에 대응한 값이 산출될 수 있다.
도 6a에 도시한 바와 같이, 촬영 영역이 정지 영역이고 또한 조명 환경이 일정하면, 단노광 화상 및 장노광 화상 모두 화소치에 거의 변동이 없는 상태가 계속된다. 한편, 도 6b에 도시한 바와 같이, 촬영 영역이 움직임 영역인 경우이고 또한 그 촬영 영역이 어두운 텍스쳐에서 밝은 텍스쳐로 변화된 경우, 단노광 화상의 화소치와 장노광 화상의 화소치가 거의 동일한 정상 상태에서 과도 상태를 거쳐 화소치가 상승하여 다시 정상 상태가 된다.
또한, 도 6c에 도시한 바와 같이 촬영 영역이 플리커 영역인 경우, 단노광 화상에는 플리커가 포함되므로 화소치가 크게 변동하지만, 장노광 화상에는 플리커가 거의 포함되지 않기 때문에 화소치가 거의 변동하지 않는다는 특징이 있다. 단노광 화상은 플리커 광원의 명멸의 점등시를 포착하는 경우도 있고 소등시를 포착하는 경우도 있다. 하지만 장노광 화상은 그것들을 평균한 휘도를 포착한다.
따라서, 단노광 화상의 화소치는 장노광 화상의 화소치보다 큰 경우도 있고 작은 경우도 있다. 도 6b 및 도 6c를 참조하면, 1쌍의 단노광 화상 및 장노광 화상 각각의 화소치를 비교한 것만으로는 촬영 영역이 움직임 영역인지 플리커 영역인지 구별이 되지 않지만, 이전 프레임의 장노광 화상을 더 추가하여 3개의 화소치를 비교함으로써 플리커를 정확하게 판정할 수 있게 된다. 이러한 플리커의 특징을 감안하여 플리커-평가치는 아래의 수학식 1에 의하여 구해진다.
Figure 112013069989616-pat00001
Vfe : 플리커-평가치
C : 상수
Lt-1 : 이전 프레임의 장노광 화상의 화소치
St : 현재 프레임의 단노광 화상의 화소치
Lt : 현재 프레임의 장노광 화상의 화소치
상기 수학식 1에서 제1항은 장노광 화상의 안정도를 의미한다.
제1 산출부(161)는 이전 프레임의 장노광 화상의 화소치(Lt-1)와 현재 프레임의 장노광 화상의 화소치(Lt)와의 차분치(제1 차분치)를 산출한다. 이 차분치가 적을수록 장노광 화상의 화소치는 안정적이다.
여기에서, 상수(C)에서 제1 차분치가 감산된 결과(상기 수학식 1의 제1항)를 구함에 따라, 장노광 화상의 화소치가 안정적일수록 플리커-평가치(Vfe)가 커짐을 나타낼 수 있다. 상기 수학식 1의 제1항이 음의 값을 취한 경우, 제1 산출부(161)에 의해 해당 제1항의 값이 "0"으로 대체되어도 좋다.
상기 수학식 1에서 제2항은, 단노광 화상의 장노광 화상에 대한 차이를 의미한다.
평균치 산출부(163)는 이전 프레임의 장노광 화상의 화소치(Lt-1)와 현재 프레임의 장노광 화상의 화소치(Lt)의 평균치를 산출한다.
제2 산출부(162)는 해당 평균치와 현재 프레임의 단노광 화상의 화소치(St)에 대응한 값과의 차분치(제2 차분치)를 산출한다. 이 차분치가 클수록 단노광 화상이 장노광 화상과 다르다는 것을 나타낸다. 현재 프레임의 단노광 화상의 화소치(St)는 위에서 자세히 설명되었다.
플리커-평가치 산출부(164)는 제1 산출부(161)에 의해 산출된 제1 차분치와 제2 산출부(162)에 의해 산출된 제2 차분치에 따라 플리커-평가치(Vfe)를 산출한다. 플리커-평가치(Vfe)는 플리커의 강도를 나타낸다.
상기한 바와 같이, 제1 산출부(161)에 의해 산출된 제1 차분치가 적을수록 장노광 화상의 화소치가 안정되게 된다. 따라서, 플리커-평가치 산출부(164)는 제1 차분치가 적을수록 플리커-평가치(Vfe)를 크게 산출한다.
또한 제2 산출부(162)에 의해 산출된 차분치가 클수록 단노광 화상이 장노광 화상과 다르다는 것을 나타낸다. 따라서, 플리커-평가치 산출부(164)는, 제2 차분치가 클수록 플리커-평가치(Vfe)를 크게 산출한다.
플리커-평가치(Vfe)는 상기 수학식 1과 같은 플리커 평가 함수에 의하여 산출된다. 상기 수학식 1의 플리커-평가치(Vfe)에 의하면, 상기 2항을 곱한 결과로서, "장노광 화상이 안정된" 그리고 "단노광 화상이 장노광 화상과 차이를 가진" 조건을 충족할 경우에 평가 대상의 화소를 플리커라고 평가할 수 있다.
플리커-평가치가 클수록 평가 대상의 화소가 플리커일 가능성이 높아 강한 플리커임을 나타내고, 플리커-평가치가 적을수록 평가 대상의 화소가 플리커일 가능성이 낮아 약한 플리커임을 나타낸다.
한편, 혼합 비율 산출부(131)에서는 단노광 화상과 장노광 화상과의 혼합 비율이 산출된다. 예를 들어, 혼합 비율 산출부(131)는 촬영 화상의 포화 상태나 움직임 등에 의하여 단노광 화상과 장노광 화상과의 혼합 비율을 산출한다. 예를 들어,
혼합 비율 산출부(131)는 장노광 화상의 포화 정도가 강할수록 단노광 화상의 혼합 비율을 크게 한다. 또 혼합 비율 산출부(131)는 단노광 화상 또는 장노광 화상의 움직임이 클수록 단노광 화상의 혼합 비율을 크게 한다.
혼합 비율 제어부(132)는, 플리커-평가치 산출부(164)에 의해 산출된 플리커-평가치에 의하여 현재 프레임의 장노광 화상과 현재 프레임의 단노광 화상과의 혼합 비율을 제어한다.
본 실시예의 경우, 혼합 비율 제어부(132)의 제어 대상은, 혼합 비율 산출부(131)로부터의 혼합 비율이다. 하지만, 그렇지 않을 수도 있음은 물론이다.
혼합 비율 제어부(132)에 의한 혼합 비율의 제어 수법으로서는 다양한 수법이 상정된다. 예를 들어, 혼합 비율 제어부(132)는, 플리커-평가치 산출부(164)에 의해 산출된 플리커-평가치가 클수록 현재 프레임의 장노광 화상의 혼합 비율을 크게 하도록 제어해도 좋다.
도 7은, 플리커-평가치와 혼합 비율의 제어와의 관계의 예를 도시한 도면이다. 예를 들어, 혼합 비율 제어부(132)는, 도 7에 도시한 것 같은 입출력 특성에 의해 혼합 비율을 조정할 수 있다.
보다 상세하게는, 도 7에 도시한 바와 같이, 플리커-평가치가 제1 문턱값(TH1)보다 적을 경우, 혼합 비율 제어부(132)는 평가 대상의 화소가 플리커가 아니라고 검출하여 해당 화소에서의 장노광 화상의 혼합 비율을 "0"으로 설정할 수 있다. 한편, 도 7에 도시한 바와 같이, 플리커-평가치가 제2 문턱값(TH2)보다 클 경우, 혼합 비율 제어부(132)는 평가 대상의 화소가 플리커라고 검출하여 해당 화소에서의 장노광 화상의 혼합 비율을 일정 값(Rc)으로 제한할 수 있다. 일정 값(Rc)은 "1"이어도 좋고 다른 값이어도 좋다.
제1 문턱값(TH1)와 제2 문턱값(TH2) 사이는 과도 영역에 상당한다. 도 7에 도시한 바와 같이, 예를 들어, 혼합 비율 제어부(132)는 해당 과도 영역에 상당하는 화소에 대해서는 플리커-평가치 산출부(164)에 의해 산출된 플리커-평가치가 클수록 현재 프레임의 장노광 화상의 혼합 비율을 크게 하도록 제어하면 된다.
플리커는 휘도의 시간 방향 및/또는 공간 방향의 변동으로서, Y신호를 사용하여 비교하면 많은 플리커를 검출할 수 있다. 그러나 RGB 성분 중 어느 한쪽으로 치우쳐 강한 플리커를 포함한 경우에는, Y 신호에서는 플리커 강도가 약해지는 경우가 있다. 이러한 경우에도 플리커-평가치 산출부(164)가 RGB신호 각각에 대해 플리커-평가치를 산출하고, 그 산출 결과를 이용하여 고정밀도의 플리커 검출을 실시할 수 있다.
보다 상세하게는, 예를 들어, 플리커-평가치 산출부(164)는, RGB신호 각각에 대해 플리커-평가치를 산출한 경우 RGB신호 각각의 플리커-평가치 중 최대의 플리커-평가치를 사용한다. 최대의 플리커-평가치를 사용하면 플리커를 줄일 수 있는 가능성이 더욱 높기 때문이다.
합성부(140)는, 혼합 비율 제어부(132)에 의해 제어된 혼합 비율에 의하여 현재 프레임의 장노광 화상과 현재 프레임의 단노광 화상을 합성한다. 예를 들어, 장노광 화상의 혼합 비율이 α인 경우, 합성부(140)는 현재 프레임의 장노광 화상과 현재 프레임의 단노광 화상에서 대응하는 각 화소에 대해 아래의 수학식 2의 합성 화소치 Vcc를 적용한다.
Figure 112013069989616-pat00002
상기 수학식 2에서, Vcl은 현재 프레임의 장노광 화상의 화소치를 가리킨다. Vcs는 현재 프레임의 단노광 화상의 화소치를 가리킨다.
상기 수학식 2의 합성 화소치 Vcc에 의한 화상은 WDR 화상이 된다.
계조 변환부(150)가 가진 기능은 상기 계조 변환부(950)가 가진 기능과 같다.
도 8a는, 본 발명의 실시예에 관한 WDR 시스템(10)에 의한 플리커 검출 결과의 예를 도시한 도면이다. 도 8b는, 본 발명의 실시예에 관한 WDR 시스템(10)에 의한 WDR 합성 화상의 예를 도시한 도면이다. 도 8a에 도시한 바와 같이 플리커 검출 결과(Im-f)에는, 혼합 비율 제어부(132)에 의해 플리커라고 판정된 화소군이 디스플레이(D)로서 포함되어 있다. 이와 같이 본 발명의 실시예에 관한 WDR 시스템(10)에 의하면 플리커 영역을 정확하게 검출할 수 있다.
또한, 도 8b에 도시한 바와 같이, WDR 합성 화상(Im-g＇)을 참조하면, 도 2c에 도시한 WDR 합성 화상(Im-g)과 동일하게 창(W)에 대해서는 단노광 화상이 WDR 합성 화상으로서 출력되어 있다고 파악된다. 또한, WDR 합성 화상(Im-g＇)을 참조하면, 플리커라고 판정된 화소군에 상당하는 디스플레이(D)에 대해서는 장노광 화상이 WDR 합성 화상으로서 출력되어 있다고 파악된다. 한편, 다른 화소군(예를 들어, 사람(U) 등)에 대해서는 장노광 화상이 WDR 합성 화상으로서 출력되어 있다고 파악된다. 이와 같이 본 발명의 실시예에 관한 WDR 시스템(10)에 의하면, 디스플레이(D) 이외의 영역에는 아무런 영향을 주지 않고 WDR 처리의 성능을 유지한 상태에서 디스플레이(D)에 나타나 있던 플리커를 제거할 수 있다.
도 9는, 본 발명의 실시예에 관한 WDR 시스템(10)의 동작의 흐름의 예를 도시한 도면이다.
도 9에 도시한 바와 같이 제1 산출부(161)는, 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 제1 차분치를 산출한다(단계 S1).
계속해서 평균치 산출부(163)는, 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 평균치를 산출한다(단계 S2).
제2 산출부(162)는, 평균치와 현재 프레임의 단노광 화상의 화소치의 차이인 제2 차분치를 산출한다(단계 S3).
계속해서, 플리커-평가치 산출부(164)는, 제1 산출부(161)로부터의 제1 차분치와 제2 산출부(162)로부터의 제2 차분치에 의하여 플리커-평가치를 산출한다(단계 S4).
혼합 비율 제어부(132)가 플리커-평가치에 의하여 혼합 비율을 제어하면(단계 S5), 합성부(140)는 혼합 비율 제어부(132)에 의해 제어된 혼합 비율에 의하여 현재 프레임의 장노광 화상과 현재 프레임의 단노광 화상을 합성한다(단계 S6).
단계 S1 내지 단계 S6의 동작이 이루어지지 않은 화소가 있는 경우에는(단계 S7에서 "아니오"), 단계 S1로 되돌아와 그 화소에 대해 단계 S1 내지 단계 S6의 동작을 반복하는데, 모든 화소들에 대해 단계 S1 내지 단계 S6의 동작이 종료된 경우에는(단계 S7에서의 "예"), 단계 S1 내지 단계 S6의 동작을 종료한다.
본 발명의 실시예에 의하면, 장노광 화상 및 단노광 화상을 합성하는 WDR 처리시에 플리커 유무를 화소마다 동적으로 판정하기 위한 플리커-평가치를 산출할 수 있다. 상기와 같이 본 발명의 실시예에서는, 예를 들어, 플리커가 검출된 경우에는 합성 화상으로서 장노광 화상을 선택함으로써 플리커를 포함한 화상이 합성되는 것을 피할 수 있다.
또한, 본 발명의 실시예에 의하면, 플리커를 검출한 경우, 합성 화상으로서 장노광 화상을 선택함으로써 플리커를 포함한 화상이 합성되는 것을 피할 수 있다. 또한, 본 발명의 실시예에 의하면, 플리커 영역을 정확하게 검출하여 플리커가 없는 WDR 처리된 동영상을 얻을 수 있다.
이하, 본 발명의 실시예에 의해 발휘되는 효과들을 더욱 상세히 설명하기로 한다.
첫째, 단노광 화상과 장노광 화상을 교대로 촬영하여 합성하는 WDR 처리시에, 플리커를 포함한 단노광 화상 1장과 플리커를 포함하지 않은 앞뒤 2장의 장노광 화상을 이용한 플리커 검출의 구성 및 평가 함수에 의해, 플리커를 정확하게 판정할 수 있다.
둘째, 플리커 판정을 화소별로 실시하기 위해, 촬영 화상내에 플리커를 포함한 영역과 플리커를 포함하지 않는 영역이 혼재되어 있어도 플리커 영역으로만 한정하여 처리할 수 있으므로, 화면 전체에서 WDR 효과를 제거할 필요 없이 WDR 합성 처리를 유지할 수 있다.
셋째, 동영상 촬영중에 플리커 광원이 점등 또는 소등되어도 대응할 수 있다.
넷째, 본 발명의 실시예에서는, 장노광 화상에는 플리커를 포함하지 않는다는 조건은 필요하며 장노광 화상의 셔터 타임을 1/60초 혹은 1/50초 이하로 설정할 필요는 있지만 단노광 화상측에는 아무런 제한이 없다. 따라서, 플리커 저감을 실현할 때의 WDR의 성능 저하가 적다.
이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해 낼 수 있는 것은 분명하며 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
아울러 본 발명의 실시예에 관한 플리커 판정에는 1 프레임 전의 장노광 화상을 보관하기 위한 메모리가 추가되며, 이것은 비용 상승의 요인이 될 수 있다. 그러나 1 프레임 전의 장노광 화상은 플리커 판정에만 사용되므로 정밀도를 떨어뜨리는 것은 가능하다. 예를 들어, 센서로부터의 출력 데이터가 12 비트인 경우, 데이터량을 8 비트 정도로 떨어뜨려 메모리에 기입해도 플리커 판정의 정밀도에 영향은 거의 없다. 또한, 1 화소만의 플리커는 존재할 수 없으며, 플리커 영역은 통상 어느 정도의 면적을 가지고 있다. 따라서 해상도를 떨어뜨려 메모리에 기입하고 저해상도 화상으로 플리커 판정을 해도 좋다. 이러한 수단에 의해 추가 메모리의 사이즈를 크게 줄일 수 있다.
본 발명의 실시예에 관한 수법에 의한 처리 대상의 신호로서는 Bayer 데이터를 이용하는 경우가 가장 적합하지만, 해당 처리 대상의 신호로서 이용되는 신호는 Bayer 데이터로 한정되지 않으며 RGB 데이터여도 좋고 YUV 데이터여도 좋다.
또한, 본 발명의 실시예에서는, WDR 촬영의 예로서 단노광 화상을 먼저 촬영하고 장노광 화상을 나중에 촬영한다고 설명하였으나, 단노광 화상과 장노광 화상의 촬영 순서는 특별히 한정되지 않기 때문에 장노광 화상을 먼저 촬영하고 단노광 화상을 나중에 촬영해도 좋다.
또한, 본 발명의 실시예에서는, 플리커를 검출한 영역에는 장노광 화상을 사용한다고 하였으나, 장노광 화상이 포화된 경우 등에는 WDR 효과를 얻을 수 없게 된다. 따라서 플리커를 포함한 영역이어도 단노광 화상을 사용하고자 하는 경우가 있다는 것도 생각할 수 있다. 그 경우에는 플리커 영역으로 판정하기 위한 조건을 약화시켜도 좋고, 해당 조건을 없애고 무조건 단노광 화상을 사용해도 좋다. 이것들은 사용자에 의한 선택에 따라 설정되어도 좋다.
또한, 상기 특허문헌 1 내지 특허문헌 3에 기재된 기법과 본 발명의 실시예에 관한 기법의 비교 결과를 더욱 상세히 설명하기로 한다.
특허문헌 1에 기재된 수법은, 플리커 검출을 촬영전에 실시하는 것이다. 또 특허문헌 1에 기재된 기법에서는, 플리커 검출을 위해 여러 프레임을 필요로 하기 때문에 해당 수법을 동영상 촬영에 적용하면 촬영중에 플리커 광원이 점등 개시 또는 종료된 경우에는 대응할 수 없다. 또 플리커의 영향이 적은 셔터 스피드로 하는 것은, 1/50초 이하의 셔터 스피드로 하거나 플리커원의 주파수에 동기시키는 것 중 하나이다. 그러나 단노광 화상을 촬영할 때에 셔터 스피드를 1/50초 이하로 하면서 ISO를 낮춰도 통상은 ISO 100 정도가 상한이며, 금방 포화되어 고휘도부를 충분히 파악할 수 없는 경우가 많아진다.
본 발명의 실시예는, 상기 특허문헌 1에 개시된 기법과는 달리 실시간으로 처리할 수 있기 때문에 동영상을 대상으로 할 경우에도 적용 가능하다. 또 본 발명의 실시예에서 촬영 조건은 전혀 영향을 받지 않기 때문에 WDR 성능 저하가 없는 점이 우수하다.
특허문헌 2에 기재된 기법은, 촬영 화상으로부터 플리커 혹은 큰 움직임을 검출하면 여러 장의 WDR 합성 화상의 우선 순위를 낮춰 단노광 화상 1장에 계조 보정을 한 화상을 채용하게 되어 WDR 효과를 얻을 수 없다. 플리커가 화면의 일부여도 화면 전체에서의 WDR 효과가 없어지는 것은 비합리적이다.
본 발명의 실시예는, 상기 특허문헌 2에 개시된 수법과는 달리 촬영 화상에 플리커가 존재하는 경우와 촬영 화상에 플리커가 존재하지 않는 경우에 출력 화상이 바뀌는 것은 플리커가 검출된 영역뿐이며, 나머지 영역에서는 WDR 효과가 없어지지 않는 점이 우수하다.
특허문헌 3에 기재된 기법에서는, 플리커가 검출되지 않을 때까지 촬영을 반복하여 실시할 필요가 있다. 또한 특허문헌 3에 기재된 수법에서는, WDR 효과도 복수 프레임 가산에 의해 얻어지며 다이나믹 레인지 확대의 효과는 적다.
본 발명의 실시예는, 특허문헌 3에 개시된 기법과 비교하여 다이나믹 레인지 확대의 효과가 큰 점, 플리커를 지우기 위해서 몇장이고 촬영할 필요가 없는 점 등이 우수하다.
WDR(Wide Dynamic Range) 처리 외의 영상 처리에도 이용될 가능성이 있다.
10 : WDR 시스템(플리커-평가치 산출 장치),
110 : 센서, 121 : 제1 메모리, 122 : 제2 메모리, 130 : 사용 화상 선택부, 131 : 혼합 비율 산출부, 132 : 혼합 비율 제어부, 140 : 합성부, 150 : 계조 변환부, 160 : 플리커 검출부, 161 : 제1 산출부, 163 : 평균치 산출부, 162 : 제2 산출부, 164 플리커-평가치 산출부.

Claims (7)

  1. 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 제1 차분치를 산출하는 제1 산출부;
    현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 평균치를 산출하는 평균치 산출부;
    현재 프레임의 단노광 화상의 화소치와 상기 평균치의 차이인 제2 차분치를 산출하는 제2 산출부; 및
    상기 제1 차분치와 상기 제2 차분치에 의하여 플리커의 강도를 나타내는 플리커-평가치를 산출하는 플리커-평가치 산출부;를 포함한, 플리커-평가치 산출 장치.
  2. 제1항에 있어서,
    상기 플리커-평가치에 의하여 상기 현재 프레임의 장노광 화상과 상기 현재 프레임의 단노광 화상과의 혼합 비율을 제어하는 혼합 비율 제어부를 더 포함한, 플리커-평가치 산출 장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제2항에 있어서,
    상기 혼합 비율 제어부에 의해 제어된 혼합 비율에 의하여 상기 현재 프레임의 장노광 화상과 상기 현재 프레임의 단노광 화상을 합성하는 합성부를 더 포함한, 플리커-평가치 산출 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 플리커-평가치 산출부는,
    상기 제1 차분치가 적을수록 상기 플리커-평가치를 크게 산출하는, 플리커-평가치 산출 장치.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 플리커-평가치 산출부는,
    상기 제2 차분치가 클수록 상기 플리커-평가치를 크게 산출하는, 플리커-평가치 산출 장치.
  6. 제2항에 있어서, 상기 혼합 비율 제어부는,
    상기 플리커-평가치가 클수록 상기 현재 프레임의 장노광 화상의 혼합 비율이 커지도록 제어하는, 플리커-평가치 산출 장치.
  7. 현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 제1 차분치를 산출하는 단계;
    현재 프레임의 장노광 화상의 화소치 및 이전 프레임의 장노광 화상의 화소치의 평균치를 산출하는 단계;
    현재 프레임의 단노광 화상의 화소치와 상기 평균치의 차이인 제2 차분치를 산출하는 단계; 및
    상기 제1 차분치와 상기 제2 차분치에 의하여 플리커의 강도를 나타내는 플리커-평가치를 산출하는 단계;를 포함한, 플리커-평가치 산출 방법.
KR1020130091587A 2012-12-04 2013-08-01 플리커-평가치를 산출하는 장치 및 방법 KR101932542B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/080,894 US9462194B2 (en) 2012-12-04 2013-11-15 Apparatus and method for calculating flicker-evaluation value
CN201310646258.4A CN103856721B (zh) 2012-12-04 2013-12-04 用于计算闪烁评估值的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-265770 2012-12-04
JP2012265770A JP6045896B2 (ja) 2012-12-04 2012-12-04 評価値算出装置および評価値算出方法

Publications (2)

Publication Number Publication Date
KR20140071871A KR20140071871A (ko) 2014-06-12
KR101932542B1 true KR101932542B1 (ko) 2018-12-27

Family

ID=51030989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130091587A KR101932542B1 (ko) 2012-12-04 2013-08-01 플리커-평가치를 산출하는 장치 및 방법

Country Status (2)

Country Link
JP (1) JP6045896B2 (ko)
KR (1) KR101932542B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254994B1 (ko) * 2013-12-04 2021-05-24 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램
JP2015142201A (ja) * 2014-01-28 2015-08-03 株式会社富士通ゼネラル 撮像装置
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
US10298843B2 (en) 2014-04-22 2019-05-21 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and electronic apparatus for motion detection in image
WO2016139846A1 (ja) * 2015-03-02 2016-09-09 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
CN107431769B (zh) 2015-03-02 2018-07-10 富士胶片株式会社 摄像装置、闪烁检测方法及闪烁检测程序
US10721415B2 (en) 2018-09-13 2020-07-21 Futurewei Technologies, Inc. Image processing system with LED flicker mitigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007402A (ja) 2002-03-25 2004-01-08 Seiko Epson Corp フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP2006254470A (ja) 2006-03-23 2006-09-21 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2008109253A (ja) 2006-10-24 2008-05-08 Sanyo Electric Co Ltd 光源状態検出装置及び方法並びに撮像装置
KR100867595B1 (ko) 2007-05-25 2008-11-10 엘지전자 주식회사 카메라의 와이드 다이나믹 레인지 제어방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3808248B2 (ja) * 1999-08-20 2006-08-09 松下電器産業株式会社 撮像装置
JP2003274278A (ja) * 2002-03-15 2003-09-26 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
JP2012119761A (ja) * 2010-11-29 2012-06-21 Sanyo Electric Co Ltd 電子機器、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007402A (ja) 2002-03-25 2004-01-08 Seiko Epson Corp フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム
JP2006254470A (ja) 2006-03-23 2006-09-21 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2008109253A (ja) 2006-10-24 2008-05-08 Sanyo Electric Co Ltd 光源状態検出装置及び方法並びに撮像装置
KR100867595B1 (ko) 2007-05-25 2008-11-10 엘지전자 주식회사 카메라의 와이드 다이나믹 레인지 제어방법

Also Published As

Publication number Publication date
JP2014110621A (ja) 2014-06-12
JP6045896B2 (ja) 2016-12-14
KR20140071871A (ko) 2014-06-12

Similar Documents

Publication Publication Date Title
KR101932542B1 (ko) 플리커-평가치를 산출하는 장치 및 방법
US9462194B2 (en) Apparatus and method for calculating flicker-evaluation value
JP6911202B2 (ja) 撮像制御方法および撮像装置
US11503219B2 (en) Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject
WO2020038069A1 (zh) 曝光控制方法、装置和电子设备
CN109788207B (zh) 图像合成方法、装置、电子设备及可读存储介质
US9936141B2 (en) Image processing apparatus for performing correction processing for effecting virtual light source and method executed by image processing apparatus
WO2020038072A1 (zh) 曝光控制方法、装置和电子设备
JP5719418B2 (ja) ハイダイナミックレンジ画像の露光時間制御方法
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
JP4835593B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP5787648B2 (ja) 画像処理装置及び画像処理装置の制御方法
TW201212644A (en) Image processing apparatus, image taking apparatus, image processing method and image processing program
US8059187B2 (en) Image capturing apparatus
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN108024057B (zh) 背景虚化处理方法、装置及设备
US8989510B2 (en) Contrast enhancement using gradation conversion processing
JP2014155005A (ja) 表示装置及びその制御方法
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
US10977777B2 (en) Image processing apparatus, method for controlling the same, and recording medium
JP5970871B2 (ja) 電子カメラ
KR102247597B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP5202245B2 (ja) 撮像装置およびその制御方法
JP2002268116A (ja) 自動露出制御装置およびそのプログラムを組み込んだ外部記憶媒体
JP5351663B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant