KR20120135382A - 촬상장치 및 촬상방법 - Google Patents

촬상장치 및 촬상방법 Download PDF

Info

Publication number
KR20120135382A
KR20120135382A KR1020110138678A KR20110138678A KR20120135382A KR 20120135382 A KR20120135382 A KR 20120135382A KR 1020110138678 A KR1020110138678 A KR 1020110138678A KR 20110138678 A KR20110138678 A KR 20110138678A KR 20120135382 A KR20120135382 A KR 20120135382A
Authority
KR
South Korea
Prior art keywords
flicker
luminance difference
frame rate
frequency
luminance
Prior art date
Application number
KR1020110138678A
Other languages
English (en)
Other versions
KR101950396B1 (ko
Inventor
사토시 호리우치
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120135382A publication Critical patent/KR20120135382A/ko
Application granted granted Critical
Publication of KR101950396B1 publication Critical patent/KR101950396B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

촬상장치는 촬상소자(101)가 취득하는 화상 프레임 레이트를, 상이한 제1 또는 제2의 프레임 레이트로 설정하는 프레임 레이트 제어부 (105); 촬상소자(101)에 의해 제1 프레임 레이트로 연속해서 취득된 제1 화상군 중 2개의 화상 간 휘도차인 제1 휘도차와, 촬상소자에 의해 제2 프레임 레이트로 연속해서 취득된 제2 화상군 중 2개의 화상간 휘도차인 제2 휘도차를 산출하는 휘도차 산출부(108); 및 제1 휘도차 및 제2 휘도차를 제1 역치 및 제2 역치와 각각 비교함으로써, 상이한 제1 주파수 및 제2 주파수의 플리커 중 어느 쪽이 발생하고 있는지, 또는 어느 쪽도 발생하지 않는지를 판정하는 플리커 검출부(109)를 포함한다.

Description

촬상장치 및 촬상방법{IMAGING DEVICE AND IMAGING METHOD}
본 발명은 촬상장치 및 촬상방법에 관한 것이며, 특히 자동 노광 기능을 갖는 촬상장치 및 촬상방법에 관한 것이다.
형광등 조명의 실내 같은 곳에서 디지털 카메라 등의 전자적 촬상장치를 사용하여 화상을 촬영한 경우, 피사체의 조도가 주기적으로 변화함으로써, 촬영된 화상에 휘도 노이즈가 생기는 경우가 있다. 여기서는 피사체 조도의 주기적인 변화를 플리커(flicker, 반짝거림)라 하며, 플리커에 의해 화상에 생기는 휘도 노이즈를 플리커 노이즈라 한다. 플리커 노이즈의 예는 동화상의 연속된 프레임 간에 생기는 휘도차일 수 있다. 또한, 플리커 노이즈의 다른 예는 화상에 발생하는 줄무늬일 수 있다.
그래서, 플리커를 검출하기 위한 기술이 제안되었다. 예를 들면, 일본특허공개공보 제2006-121605호 에서는 소정 기간에 촬영된 복수의 프레임 화상에 대해서 각 화상의 휘도 평균치에 대한 차분(differential)에서 이끌어낸 지표를 사용하여 플리커를 검출하는 기술이 개시되어 있다. 일본특허공개공보 제2009-130531호 에서는 광원의 전원 주파수에는 동기하지 않는 프레임 레이트(frame rate)로 촬영된 2개의 프레임에서 생성된 미분 화상으로부터 추출된 플리커 성분을 주파수 해석하여 플리커 주파수를 특정하는 기술이 개시되었다. 일본특허공개공보 제2010-520673호 에서는 CMOS(Complementary Metal Oxide Semiconductor) 센서에서, 플리커의 주기에 동기하는 노광 시간과 그 외의 노광 시간 각각에서 촬영된 화상의 휘도에 따른 차이를 바탕으로 플리커 성분을 추출하는 기술이 개시되어 있다.
그러나 일본특허공개공보 제2006-121605호 에 기재되어있는 바와 같이, 복수의 프레임 간 화상의 휘도 평균치를 이용하여 플리커를 검출할 경우, 많은 프레임 화상이 필요해져 연산량이 증가한다. 또한, 일본특허공개공보 제2009-130531호 에 기재되어있는 바와 같이, 플리커 주파수의 특정에 주파수 해석을 사용하는 경우도 주파수 해석을 함으로써 연산량이 증가한다. 또한, 일본특허공개공보 제2010-520673호 에 기재되어있는 바와 같이, 노광 시간을 변화시켜 플리커 성분을 추출할 경우, 노광 시간 변화에 의한 화질 열화를 피할 수 없다.
따라서, 본 발명은 상기 문제점을 감안하여 이루어진 것으로, 본 발명은 연산량 증가와 화질 열화를 억제하면서, 정도 양호하게 플리커를 검출 가능한 신규의 개량된 촬상장치 및 촬상방법을 제공할 수 있다.
그리고, 본 발명의 한 관점에 따르면, 촬상소자가 얻는 화상 프레임 레이트를 상이한 제1 또는 제2 프레임 레이트로 설정하는 프레임 레이트 제어부; 상기 촬상소자에 의해 상기 제1 프레임 레이트로 연속해서 얻어진 제1 화상군 중 2개의 화상 간의 휘도차인 제1휘도차와, 상기 촬상소자에 의해 상기 제2 프레임 레이트로 연속해서 얻어진 제2 화상군 중 2개의 화상 간의 휘도차인 제2 휘도차를 산출하는 휘도차 산출부; 및 상기 제1 및 제2 휘도차를 제2 및 제2 역치와 각각 비교함으로써 상이한 제1 및 제2 주파수의 플리커 중 어느 쪽이 발생하는지, 또는 어느 쪽도 발생하지 않는지를 판정하는 플리커 검출부를 포함하는 것을 특징으로 하는 촬상장치가 제공된다.
이러한 구성에 의하면, 역치와 비교함으로써 플리커의 유무와 플리커 주파수를 특정할 수 있고, 플리커 검출을 위한 연산량을 억제할 수 있다. 또한, 각 프레임에서의 전하 축적 시간은 변화하지 않기 때문에 화질 열화를 억제할 수 있다.
상기 제1 프레임 레이트는 상기 제1 주파수의 1/n(n은 자연수)이고, 상기 제2 프레임 레이트는 상기 제2 주파수의 1/m(m은 자연수)이며, 상기 플리커 검출부는 상기 제1 휘도차가 상기 제1 역치 이상인 경우에, 제1 주파수의 플리커가 발생하고 있다고 판정하고, 상기 제2 휘도차가 제2 역치 이상인 경우에, 제2 주파수의 플리커가 발생하고 있다고 판정할 수도 있다. 따라서, 복수의 다른 주파수를 갖는 플리커 중 어느 플리커가 발생하고 있는지를 정도 좋게 판정할 수 있다.
상기 촬상장치는 상기 제1 화상군 및 상기 제2 화상군에 대해서 각 화상을 분할한 복수의 블럭 각각에서의 휘도 적산치를 취득하는 블럭 휘도 적산부를 추가로 포함하고, 상기 휘도차 산출부는 상기 각 블럭을 단위로 하여 상기 제1 휘도차 및 상기 제2 휘도차를 산출할 수도 있다. 이렇게 하여 휘도차를 얻기 위한 연산량이 억제된다.
상기 블럭 휘도 산출부는 상기 복수의 블럭 중 일부인 복수의 추출 블럭에 대해서 상기 휘도 적산치를 얻고, 상기 플리커 검출부는 상기 추출 블럭 중 적어도 2개의 블럭에 대해서 상기 제1 휘도차가 상기 제1 역치 이상인 경우에, 상기 제1 주파수의 플리커가 발생하고 있다고 판정하고, 상기 추출 블럭 중 적어도 2개의 블럭에 대해서 상기 제2 휘도차가 상기 제2 역치 이상인 경우에, 상기 제2 주파수의 플리커가 발생하고 있다고 판정할 수도 있다. 이렇게 하여, 블럭 하나의 휘도 적산치가 특이값을 나타냄으로 인한 플리커의 잘못된 검출을 방지할 수 있다.
또한, 본 발명의 다른 관점에 따르면, 촬상소자가 취득하는 화상 프레임 레이트를 상이한 제1 또는 제2 프레임 레이트로 설정하는 스텝; 상기 촬상소자에 의해 상기 제1 프레임 레이트로 연속해서 얻어진 제1 화상군 중 2개의 화상 간의 휘도차인 제1 휘도차와 상기 촬상소자에 의해 상기 제2 프레임 레이트로 연속해서 얻어진 제2 화상군 중 2개의 화상 간의 휘도차인 제2 휘도차를 산출하는 스텝; 및 상기 제1 휘도차 및 상기 제2 휘도차를 제1 역치 및 제2 역치와 각각 비교함으로써 상이한 제1 및 제2 주파수의 플리커 중 어느 쪽이 발생하는지, 또는 어느 쪽도 발생하지 않는지를 판정하는 스텝을 포함하는 것을 특징으로 하는 촬상방법이 제공된다.
이상 설명한 바와 같이 본 발명에 의하면, 연산량의 증가와 화질 열화를 억제하면서, 정도 좋게 플리커를 검출할 수 있다.
도1은 교류 전원의 전압 변화 예를 나타내는 도면이다.
도 2는 광원의 조도 변화 예를 나타내는 도면이다.
도 3은 면 플리커의 예를 나타내는 도면이다.
도 4는 라인 플리커의 예를 나타내는 도면이다.
도 5는 면 플리커의 발생 원인에 대해서 설명하기 위한 도면이다.
도 6은 라인 플리커의 발생 원인에 대해서 설명하기 위한 도면이다.
도 7은 면 플리커가 발생하지 않는 경우에 대해서 설명하기 위한 도면이다.
도 8은 라인 플리커가 발생하지 않는 경우에 대해서 설명하기 위한 도면이다.
도 9는 면 플리커를 검출하는 관련 기술의 예를 나타내는 도면이다.
도 10은 라인 플리커를 검출하는 관련 기술의 예를 나타내는 도면이다.
도 11은 도 10의 예에서 라인 플리커가 발생하고 있는 두 경우와 라인 플리커가 발생하지 않는 경우를 나타내는 도면이다.
도 12는 본 발명의 일 실시 형태에 관한 촬상장치의 기능 구성을 나타내는 블럭도면이다.
도 13은 본 발명의 일 실시 형태에 관한 촬상장치의 동작을 나타내는 도면이다.
도 14는 본 발명의 일 실시 형태에서의 블럭 분할과 추출 블럭의 예를 나타내는 도면이다.
이하에서는 첨부한 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일 부호를 사용함으로써 중복 설명을 생략한다.
(1. 플리커의 발생 원리)
우선, 플리커의 발생 원리에 대해 설명한다. 전술한 바와 같이, 플리커란, 피사체 조도의 주기적인 변화를 말한다. 피사체의 조도 변화는 광원의 조도 변화에 의해 초래되며, 광원의 조도 변화는 전원의 전압 변화에 의해 초래된다.
도 1은 교류 전원의 전압 변화 예를 나타내는 도면이다. 도시되어 있는 바와 같이, 교류 전원의 전원 전압 변화는 정현파(sine wave)가 된다. 일반적인 교류 전원의 주파수는 50Hz 또는 60Hz이므로, 교류 전원의 전압 변화는 주파수 f=50Hz의 정현파, 또는 주파수 f=60Hz의 정현파가 된다. 또한, 도시된 예는 주파수 f=50Hz의 경우이다.
도 2는 광원의 조도 변화 예를 나타낸 도면이다. 교류 전원이 공급되는 광원의 조도는 교류 전원의 주파수의 2배가 되는 주파수로 주기적으로 변화한다. 전술한 바와 같이, 일반적인 교류 전원의 주파수는 50Hz 또는 60Hz이므로, 광원의 조도 주파수는 그의 2배로, 주파수 f=100Hz, 또는 주파수 f=120Hz가 된다. 또한, 도시된 예는 주파수 f=100Hz에서 광원의 조도가 변화하는 경우이다.
플리커의 원인은 도2의 예처럼, 조도가 주기적으로 변화하는 광원에 있다. 이하에서는 이러한 광원을 플리커 광원이라 한다. 피사체의 조도는 플리커 광원의 조도와 함께 주기적으로 변화하기 때문에, 플리커 주파수는 플리커 광원의 조도 변화의 주파수와 동일해지므로, 광원의 전원에 일반적인 교류 전원이 사용되는 경우, 플리커 주파수는 100Hz 또는 120Hz가 된다. 이하에서는 주파수가 100Hz인 플리커를 100Hz 플리커, 주파수가 120Hz인 플리커를 120Hz 플리커라고도 한다.
여기서, 표1을 참조하여 플리커에 의해 화상에 발생하는 플리커 노이즈의 종류에 대해서 설명한다. 표1은 플리커 노이즈의 종류마다 플리커 노이즈가 발생할 수 있는 촬상소자의 종류(CCD(Charge Coupled Device)) 또는 CMOS), 및 플리커 노이즈의 개요를 나타내는 표이다.
플리커 노이즈의 종류 촬상소자의 종류 개요
면 플리커 CCD/CMOS CCD의 경우, 동화상 촬영 시에 프레임마다의 평균 휘도가 주기적으로 변화한다. CMOS의 경우, 동화상 촬영 시에 라인 플리커가 상하방향으로 이동하도록 변화한다.
라인 플리커 CMOS 롤링 셔터 방식을 사용한 정지화상 촬영 시에, 수평방향의 줄무늬가 발생한다.
도 3은 면플리커의 예를 나타내는 도면이다. 도시되어 있는 바와 같이, 촬상소자가 CCD인 경우에 면 플리커가 발생하면 시계열로 연속된 프레임의 평균 휘도가 주기적으로 변화한다.
도 4는 라인 플리커의 예를 나타내는 도면이다. 도시되어 있는 바와 같이. 촬상소자가 CMOS인 경우에 라인 플리커가 발생하면, 화상의 휘도가 수직 방향으로 변화하기 때문에 수평 방향의 줄무늬가 나타난다.
계속해서, 각 종류의 플리커 노이즈에 대해서 발생 원인을 설명한다.
도 5는 면 플리커의 발생 원인에 대해서 설명하기 위한 도면이다. 면 플리커는 각 프레임의 촬영 시에 피사체의 조도 위상이 다른 것이 원인이 되어 발생한다. 피사체의 조도가 주기적으로 변화하는 경우, 화살 표시로 되어 있는 각 프레임의 노광 시간 범위에서 조도의 위상 변화는 각각 다르다. 따라서, 후술하는 특수한 케이스를 제외하고, 노광량, 즉 노광 시간 중의 조도 적분치는 각 프레임에서 다르다. 결과로서, 각 프레임의 평균 휘도가 주기적으로 변화하여 면 플리커가 발생한다.
도 6은 라인 플리커의 발생 원인에 대해서 설명하기 위한 도면이다. 라인 플리커는 촬상소자가 롤링 셔터 방식의 CMOS인 경우에 주사 라인마다 노광 타이밍이 다른 점이 원인이 되어 발생한다. 피사체의 조도가 주기적으로 변화하는 경우, 롤링 셔터 방식으로 순차 노광되는 각 주사 라인의 노광 시간 범위에서 조도의 위상 변화는 각각 다르다. 따라서, 후술하는 특수한 케이스를 제외하고, 노광 시간 중의 조도 적분치는 각 주사 라인에서 다르다. 결과로서, 각 주사 라인의 휘도가 주기적으로 변화하여 화상에 라인 플리커가 발생한다. 도시된 예에서는 라인 0과 라인 n사이에서 노광 시간 중의 조도 적분치가 다른 경우를 보여준다.
계속해서, 각 종류의 플리커 노이즈가 발생하지 않는 경우에 대해서 설명한다.
도 7은 면 플리커가 발생하지 않는 경우에 대해서 설명하기 위한 도면이다. 도시된 예 1 내지 예 3과 같이, 동화상 촬영의 프레임 간격이 피사체의 조도 변화 주기의 자연 배수인 경우, 면 플리커는 발생하지 않는다. 이 경우, 각 프레임의 노광 시간 범위에서 조도의 위상 변화는 어느 프레임이라도 같아진다. 따라서, 노광 시간 중의 조도 적분치는 각 프레임에서 일치한다. 결과로서, 면 플리커는 발생하지 않는다. 그러나 이 경우에서도 라인 플리커는 발생할 수 있다. 또한, 프레임 간격이 피사체의 조도 변화 주기의 자연 배수인 경우, 프레임 간격의 역수인 프레임 레이트는 피사체의 조도 변화 주기의 역수인 주파수의 1/n(n은 자연수)이 된다. 이하, 이러한 경우를 “프레임 레이트가 플리커 주파수에 동기하고 있는 경우”라고도 한다.
도 8은 라인 플리커가 발생하지 않는 경우에 대해서 설명하기 위한 도면이다. 도시된 예와 같이, 노광 시간이 피사체의 조도 변화 주기의 자연 배수인 경우, 라인 플리커는 발생하지 않는다. 이 경우, 각 주사 라인의 노광 시간 범위에서 조도의 위상 변화는 각각 다르지만, 노광 시간 중의 조도 적분치는 각 주사 라인에서 일치한다. 결과로서, 라인 플리커는 발생하지 않는다. 또한, 이 경우, 복수의 프레임 사이에서도 마찬가지로 노광 시간 범위에서 조도 적분치가 일치하기 때문에, 면 플리커도 발생하지 않는다. 또한, 노광 시간이 피사체의 조도 변화 주기의 자연 배수인 경우를 ‘노광 시간이 플리커 주기에 동기하고 있는 경우’라고도 한다.
(2. 관련 기술의 설명)
다음에, 플리커를 검출하기 위한 관련 기술에 대해서 설명한다. 여기서 설명하는 관련 기술에서는 복수의 프레임 화상을 사용하여 플리커의 발생을 검출할 수 있다.
도 9는 면 플리커를 검출하는 관련 기술의 예를 나타내는 도면이다. 면 플리커를 검출하는 관련 기술에서는 복수의 프레임에서의 화상 전체, 또는 특징 부분의 평균 휘도를 주파수 해석함으로써 플리커 주파수가 추정된다. 도시된 예에서는 우선, 각 프레임의 화상이 소정 크기의 통계 블럭으로 분할된다. 다음에, 각 프레임의 통계 블럭 중에서 복수의 특정 블럭(특징 부분)이 설정된다. 이어서, 각 특정 블럭에 대해서 시계열로 연속한 복수 프레임에서의 휘도 데이터가 얻어진다. 얻어진 각 특정 블럭에서의 복수 프레임 사이에서의 휘도 변화는 예를 들면, 고속 푸리에 변환(FFT: Fast Fourier Transform)에 의해 주파수 해석된다. 이렇게 함으로써, 플리커 주파수를 나타내는 파워 스펙트럼이 얻어지고, 면 플리커의 유무와 플리커 주파수가 특정된다.
그러나 복수 프레임 사이에서의 휘도 변화를 주파수 해석하기 위해서는 비교적 많은 프레임을 해석해야 한다. 예를 들면, 도시된 예와 같이, FFT에 의해 해석할 경우, 16 프레임 이상의 해석이 필요해진다.
또한, 상기와 같은 방법에서는 주파수 해석 자체가 복잡한 연산 처리이기 때문에, 처리에 걸리는 연산량이 커진다. 주파수 해석 대신에, 휘도의 피크 카운트를 사용하는 방법도 있지만, 이 경우 플리커 검출 정도는 낮아진다.
도 10은 라인 플리커를 검출하는 관련 기술의 예를 나타내는 도면이다. 라인 플리커를 검출하는 관련 기술에서는 노광 시간이 다른 복수의 프레임 화상 간의 휘도 차분으로부터 라인 플리커의 유무가 추정된다. 도시된 예에서는 노광 시간이 1/100 초인 프레임 1과 노광 시간이 1/90 초인 프레임 2 간의 휘도 차분이 얻어진다.
여기서 광원의 조도는 도 2를 참조하여 설명한 바와 같이, 주파수 f=100Hz에서 주기적으로 변화하는 것으로 한다. 이 경우, 노광 시간이 1/100 초인 프레임 1에서는 도 8을 참조하여 설명한 바와 같이, 노광 시간이 플리커 주기와 동기하기 때문에, 각 주사 라인에서 노광 시간 중의 조도 적분치가 일치하여, 라인 플리커가 발생하지 않는다.
한편, 노광 시간이 1/90 초인 프레임 2에서는 노광 시간이 플리커 주기와는 동기하지 않는다. 또한, 프레임 2의 노광 시간은 광원의 조도가 주파수 f=120Hz에서 주기적으로 변화하는 경우에도 플리커의 주기와는 동기하지 않는다. 이 경우, 프레임 2에서는 각 주사 라인의 휘도가 주기적으로 변화함으로써, 화상에 라인 플리커가 발생한다. 이러한 프레임 1 및 프레임 2 사이에서 수직 방향으로 연속한 블럭에 대해서 휘도 차분을 얻으면, 주기적인 휘도 변화가 플리커 성분으로서 추출된다.
　　도 11은 도 10의 예에서, 라인 플리커가 발생하고 있는 2개의 경우와, 라인 플리커가 발생하지 않는 경우를 나타내는 도면이다. 100Hz 플리커가 발생하고 있는 경우, 노광 시간이 1/100초인 프레임 1에는 라인 플리커가 생기지 않지만, 노광 시간이 1/90초인 프레임 2에는 라인 플리커가 생긴다. 한편, 120Hz 플리커가 발생하고 있는 경우, 프레임 1 및 프레임 2의 양쪽에 라인 플리커가 생긴다.
상기 예에 있어서, 100Hz 플리커가 발생하고 있는 경우, 수직 방향으로 연속한 블럭의 휘도가 프레임 2에서는 주기적으로 변화하고, 프레임 1에서는 거의 변화하지 않는다. 그런 이유로, 프레임 1과 프레임 2 간의 휘도 차분은 프레임 2에 발생하고 있는 플리커 성분의 진폭에 대응하여 변동하는, 편차가 비교적 큰 값이 된다. 한편, 플리커가 발생하지 않는 경우, 수직 방향으로 연속한 블럭의 휘도가 프레임 1에서도 프레임 2에서도 거의 변화하지 않는다. 그런 이유로, 프레임 1과 프레임 2 간의 휘도 차분은 거의 변동하지 않고, 편차가 0에 가까운 값이 된다. 이 두 경우에 대해서 플리커의 유무는 프레임 간의 휘도 차분의 편차를 예를 들면, 0보다도 약간 큰 값과 같이 소정의 역치와 비교함으로써 쉽게 판정될 수 있다.
그러나 120Hz 플리커가 발생하고 있는 경우, 수직 방향으로 연속한 블럭의 휘도가 프레임 1 및 프레임 2의 양쪽에서 각각 다른 주파수로 변화한다. 그런 이유로, 프레임 1과 프레임 2 간의 휘도 차분은 각각의 프레임에서 휘도 차분의 변화가 중첩된 진폭이 작은 플리커 성분에 대응하여 변동하는, 편차가 비교적 작은 값이 된다. 이 경우, 플리커의 유무를 프레임 간의 휘도 차분 편차를 소정의 역치와 비교함으로써 판정하려고 하면, 예를 들면 120Hz 플리커가 발생하고 있는 경우의 비교적 작은 편차와 0 사이에 역치를 설정할 필요가 있으며, 100Hz 플리커밖에 발생하지 않는 경우에 비하여 적절한 역치 설정이 곤란하다.
이에 대하여, 플리커 주파수가 100Hz인 경우와 120Hz인 경우의 양쪽에 동기할 수 있는 노광 시간, 예를 들면 1/20초를 사용하는 프레임을 설정하는 것도 생각할 수 있다. 그러나 이러한 노광 시간은 일반적인 프레임 레이트, 예를 들면 30fps에서는 적용되지 않는다. 그런 이유로, 상기 예에서, 조도 변화의 주파수가 100Hz인 경우와 120Hz인 경우의 양쪽에 대응하기 위해서는 상기 두 프레임에 의한 처리를 2개 조합하여, 예를 들면 노광 시간이 1/100초, 1/90초, 1/120초, 1/90초와 같이 변화하는 4개의 프레임을 사용하여 플리커를 검출하게 된다.
복수 프레임 간에서 노광 시간을 변화시키는 경우, 노광 시간의 변화를 보상하기 위해서 감도를 변화시킨다. 그러나 감도 변화는 화질을 열화시키는 경우가 있다. 그리하여, 플리커 검출을 위해서 노광 시간을 변화시킨 프레임을 표시에 사용하지 않음으로써, 이 화질의 열화를 방지하는 것도 생각할 수 있다. 그러나 예를 들어, 전술한 바와 같이 2개의 조도변화 주파수에 대응하여 4개의 프레임에서 플리커를 검출하는 경우, 4 프레임마다 1 프레임밖에 표시되지 않게 되어, 프레임 레이트가 30fps이면 1/30초 x 4 프레임 ≒ 133밀리초 시간의 프레임 누락이 발생한다.
(3. 촬상장치의 구성)
다음에, 본 발명의 일 실시 형태에 관한 촬상장치의 구성에 대해서 설명한다. 본 실시 형태에 관한 촬상장치는 예를 들면, 비디오 카메라이다. 또한, 촬상장치는 동화상을 촬영 가능한 컴팩트 디지털 카메라 등, 촬상 기능을 갖는 다른 장치일 수 있다. 본 실시 형태에 관한 촬상장치는 촬상장치가 취득하는 화상 프레임 레이트를 플리커 주파수에 동기하는 제1 또는 제2 프레임 레이트로 설정함으로써 상기 관련 기술에 보여지는 플리커 검출을 위한 연산량 증가 및 화질 열화를 억제한다.
도 12는 본 발명의 일 실시 형태에 관한 촬상장치(100)의 기능 구성을 나타내는 블럭도이다. 촬상장치(100)는 촬상소자(101), 아날로그 처리부 (102), 신호 처리부(103), 타이밍 제너레이터(104), 프레임 레이트 제어부(105), 블럭 휘도 적산부(106), 기억 메모리(107), 휘도차 산출부(108), 및 플리커 검출부(109)를 포함한다. 촬상소자(101) 이외의 각 구성 요소는 예를 들면, DSP(Digital Signal Processor)를 사용하여 실현되는 외에, 전용 하드웨어를 사용하여 실현될 수도 있고, 또한 CPU(Central Processing Unit)가 기억 장치에 격납된 프로그램에 기초하여 동작함으로써 소프트웨어로서 실현될 수도 있다.
촬상소자(이미지센서)(101)는 도시하지 않은 렌즈 등의 광학계에서 입사된 광학상(피사체상)을 광전 변환하여 생긴 화상 신호를 아날로그 처리부(102)에 출력함으로써 화상을 얻는다. 촬상소자(101)는 예를 들면, CMOS 또는 CCD일 수 있다.
아날로그 처리부(102)는 촬상소자(101)에서 입력된 화상 신호를 처리하여 RAW 데이터를 신호 처리부(103) 및 블럭 휘도 적산부(106)에 출력한다. 아날로그 처리부(102)는 예를 들면, 상관 2중 샘플링 (CDS: Correlated Double Sampling) 회로에 의해 전기 신호에 포함되는 저주파 노이즈를 제거하고, 증폭기(amplifier)에 의해 전기 신호를 임의의 레벨까지 증폭시킨다.
신호 처리부(103)는 아날로그 처리부(102)에서 입력된 RAW 데이터를 아날로그/디지털 변환하여, R, G, B의 화상 신호를 포함하는 디지털 화상 신호를 얻는다. 신호 처리부(103)는 얻어진 화상 신호를 촬상장치 (100)에서의 촬상 화상의 보존 또는 표시를 위해 출력한다.
타이밍 제너레이터(104)는 프레임 레이트 제어부(105)에 의해 제어되고, 촬상소자(101)를 구동하기 위한 각종 펄스를 생성하여 촬상소자(101)에 공급한다. 예를 들면, 촬상소자(101)의 촬영 감각, 즉 촬상소자(101)가 출력하는 화상 신호의 프레임 레이트는 타이밍 제너레이터(104)로부터 공급되는 펄스에 의해 결정된다.
프레임 레이트 제어부(105)는 타이밍 제너레이터(104)를 제어함으로써 촬상소자(101)가 취득하는 화상 프레임 레이트를 설정한다. 프레임 레이트 제어부(105)는 프레임마다 다른 프레임 레이트를 설정할 수 있다. 프레임 레이트 제어부(105)는 촬상소자(101)가 취득하는 화상 프레임 레이트를 제1 프레임 레이트 또는 제2 프레임 레이트로 설정한다.
블럭 휘도 적산부(106)는 아날로그 처리부(102)에서 입력된 RAW 데이터를 사용하여 화상을 분할한 복수의 블럭 각각에서의 휘도 적산치를 취득하여 기억 메모리(107)에 출력한다.
기억 메모리(107)는 블럭 휘도 적산부(106)에서 입력된 화상의 각 블럭의 휘도 적산치를 보존한다.
휘도차 산출부(108)는 기억 메모리(107)에 보존되어 있는 두 화상의 각 블럭의 휘도차 적산치에서 휘도차를 산출하여 플리커 검출부(109)에 출력한다. 휘도차 산출부(108)는 촬상소자(101)에 의해 제1 프레임 레이트로 연속해서 취득된 제1 화상군과, 촬상소자(101)에 의해 제2 프레임 레이트로 연속해서 취득된 제2 화상군에 대해서, 그중 2개의 화상 간의 휘도차를 각각 제1 휘도차 및 제2 휘도차로서 산출하여 플리커 검출부 (109)에 출력한다.
플리커 검출부(109)는 휘도차 산출부(108)에서 입력된 휘도차를 바탕으로 플리커가 발생하고 있는지의 여부를 판정한다. 플리커 검출부(109)는 제1 휘도차 및 제2 휘도차를 제1 역치 및 제2 역치와 각각 비교함으로써, 상이한 제1 주파수 및 제2 주파수의 플리커 중 어느 쪽이 발생하고 있는지, 또는 양쪽 다 발생하지 않는지를 판정한다. 본 실시 형태에 있어서, 제1 주파수는 100Hz이고, 제2 주파수는 120Hz이다. 또한, 플리커 검출부(109)는 플리커 재검출을 할 경우 등으로, 프레임 레이트 제어부(105)에 프레임 레이트의 지시를 출력할 수도 있다.
(4. 촬상장치의 동작)
다음에, 본 발명의 일 실시 형태에 관한 촬상장치의 동작에 대해서 설명한다.
도 13은 본 발명의 일 실시 형태에 관한 촬상장치(100)의 동작을 나타내는 플로 챠트이다. 도 13에서는 촬상장치(100)가 4 프레임의 화상을 촬영하고, 촬영된 화상에서 플리커를 검출하는 처리가 도시되어 있다. 또한, 통상 촬영 시에 촬상장치(100)의 프레임 레이트는 30fps이다.
우선, 2 프레임의 화상을 촬영하고, 촬영된 화상에서 100Hz 플리커를 검출하기 위한 처리가 실행된다. 프레임 레이트 제어부(105)가 프레임 레이트를 30fps로 설정한다(스텝S101). 30fps는 120Hz 플리커의 주파수에 동기하는 프레임 레이트이다. 또한, 플리커 주파수를 f(Hz), n을 자연수라 하면, 플리커 주파수에 동기하는 프레임 레이트 FR(fps)은 수학식1과 같이 구해진다.
Figure pat00001
여기서, 전술한 바와 같이 촬상장치(100)의 통상 촬영 시의 프레임 레이트는 30fps이다. 120Hz 플리커의 주기에 동기하는 프레임 레이트 중, 통상 촬영 시의 프레임 레이트에 가장 가까운 프레임 레이트를 구하면, 수학식1에서 주파수 f=120Hz, n=4의 경우로, FR=30fps가 된다. 또한, 촬상장치(100)가 통상 촬영에서 스텝S101의 처리로 이행하는 경우, 통상 촬영 시의 프레임 레이트가 이미 30fps이므로, 스텝S101로는 처리를 실행하지 않을 수도 있다.
상기와 같이, 프레임 레이트를 30fps로 설정함으로써, 플리커 주파수가 프레임 레이트에 동기하지 않는 100Hz 플리커 발생이 검출된다. 또한, 도 8을 참조하여 설명한 바와 같이, 전하 축적 시간이 플리커 주기의 정수배인 경우, 주파수에 관계없이 플리커 노이즈가 발생하지 않고, 플리커 발생이 검출되지 않는다. 그런 연유로, 이 경우의 전하 축적 시간 te(초)는 플리커 주파수f(Hz), n을 자연수로 하여, 수학식2를 만족하도록 설정된다. 여기서는 주파수 f=100Hz이다.
Figure pat00002
다음에, 블럭 휘도 적산부(106)가 블럭 휘도 적산치를 취득하여, 기억 메모리(107)에 보존한다(스텝S103). 여기서, 도 14를 참조하여 스텝S103에서의 블럭 휘도 적산치의 취득에 대해서 추가 설명한다.
도 14는 본 발명의 일 실시 형태에서의 블럭 분할과 추출 블럭의 예를 나타내는 도면이다. 도 14를 참조하면, 블럭 휘도 적산부(106)는 예를 들어, 화상을 세로 16 x 가로 16의 합계 256의 블럭으로 분할하고, 각 블럭에서의 블럭 휘도 적산치를 얻는다. 여기서, 블럭 휘도 적산부(106)는 기억 메모리의 용량 및 연산량을 삭감하기 위해서, 256의 블럭 중 일부 블럭을 추출하여 추출된 블럭(추출 블럭)에서의 휘도 적산치를 블럭 휘도 적산치로서 취득하여 기억 메모리(107)에 격납할 수도 있다. 도시된 예에서는 1~5의 번호가 매겨진 5개의 블럭이 추출 블럭이다. 또한, 블럭 휘도 적산부(106)는 추출 블럭을 설정하지 않고, 모든 블럭에 대해서 블럭 휘도 적산치를 취득하여 기억 메모리(107)에 격납할 수도 있다. 또한, 블럭 휘도 적산부(106)는 도시된 예와 같이, 고정된 위치에 추출 블럭을 설정하는 것이 아니라, 화상 처리 상의 특징점이 되는 블럭을 추출 블럭으로 설정할 수도 있다.
다시 도 13을 참조하여, 블럭 휘도 적산부(106)에 의해 2 프레임분의 블럭 휘도 적산치가 얻어져 기억 메모리(107)에 보존된 경우(스텝S105), 휘도차 산출부(108)가 프레임 간의 휘도차를 산출한다(스텝S107). 한편, 스텝S105에서, 취득 및 보존된 블럭 휘도 적산치가 2 프레임분을 만족시키지 못하는 경우, 다음 프레임에서 다시 블럭 휘도 적산치의 취득 및 보존이 실행된다(스텝S103).
여기서, 휘도차 산출부(108)는 2개의 프레임의 블럭 휘도 적산치S1, S2에서 수학식3에 따라 블럭 마다의 프레임 간 휘도차 지표값(Db)을 산출한다. 또한, b는 추출 블럭의 인덱스이며, 예를 들면, 도 14의 예에서는 각 추출 블럭에 매겨진 번호 1~5에 대응한다. 프레임 간 휘도차 지표값(Db)은 값이 클수록 플리커의 영향에 기인하는 프레임 간의 휘도 변화가 크다는 것을 말한다.
Figure pat00003
다음에, 나머지 2 프레임의 화상을 촬영하고, 촬영된 화상에서 120Hz 플리커를 검출하기 위한 처리가 실행된다. 프레임 레이트 제어부(105)가 프레임 레이트를 25fps로 설정한다(스텝 S109). 25fps란, 100Hz 플리커의 주파수에 동기하는 프레임 레이트이다. 전술한 바와 같이, 촬상장치 (100)의 통상 촬영 시의 프레임 레이트는 30fps이다. 100Hz 플리커의 주파수에 동기하는 프레임 레이트 중, 통상 촬영 시의 프레임 레이트에 가장 가까운 프레임 레이트를 구하면, 수학식1에서 주파수f=100Hz, n=4의 경우에서, FR=25fps가 된다.
상기와 같이 프레임 레이트를 25fps로 설정함으로써, 플리커 주파수가 프레임 레이트에 동기하지 않는 120Hz 플리커의 발생이 검출된다. 100Hz 플리커를 검출하는 경우와 마찬가지로, 전하 축적 시간 te(초)는 수학식2를 만족시키도록 설정된다. 여기서는 수학식2의 주파수f=120Hz이다.
이하, 100Hz 플리커를 검출하는 경우와 마찬가지로, 블럭 휘도 적산부 (106)가 블럭 휘도 적산치를 취득하여 기억 메모리(107)에 격납하고 (스텝S111), 2 프레임분의 블럭 휘도 적산치가 얻어져 기억 메모리(107)에 격납된 경우(스텝S113), 휘도차 산출부(108)가 프레임 간의 휘도차를 산출한다(스텝S115).
계속해서, 플리커 검출부(109)가 프레임 간 휘도차 지표값(Db)을 역치와 비교함으로써, 플리커의 유무를 판정한다(스텝S117). 플리커가 발생하고 있는 경우에 프레임 간 휘도차 지표값(Db)이 만족하는 조건은 역치 (Threshold)를 사용하여 수학식4와 같이 표시된다. 역치(Threshold)는 밝기 등에 따라 조정된 설계값이다.
Figure pat00004
상기 수학식4를 사용하여, 스텝S107에서 산출된, 100Hz 플리커를 검출하기 위한 프레임 간 휘도차 지표값(Db)과, 스텝S115에서 산출된, 120Hz 플리커를 검출하기 위한 프레임 간 휘도차 지표값(Db)의 각각에 대해서 플리커의 유무를 판정한다. 역치(Threshold)는 100Hz 플리커를 검출하기 위한 프레임 간 휘도차 지표값(Db)과 비교되는 제1 역치와, 120Hz 플리커를 검출하기 위한 프레임 간 휘도차 지표값(Db)과 비교되는 제2 역치일 수 있다. 제1 역치와 제2 역치는 서로 다른 값일 수도 있고, 동일한 값일 수도 있다.
수학식4가 만족되는, 즉 프레임 간 휘도차가 유의한 경우, 화상에 플리커 노이즈가 발생하고 있다고 판정된다. 여기서, 프레임 레이트가 플리커 주파수에 동기하고 있을 경우, 플리커 노이즈는 검출되지 않는다. 따라서, 스텝S107에서, 120Hz 플리커 주파수에 동기하는 30fps의 프레임 레이트로 산출된 프레임 간 휘도차 지표값(Db)에 의해 플리커 노이즈 발생이 보여지는 경우, 발생하고 있는 플리커는 100Hz 플리커이다. 마찬가지로, 스텝S115에서, 100Hz 플리커 주파수에 동기하는 25fps의 프레임 레이트로 산출된 프레임 간 휘도차 지표값(Db)에 의해 플리커 노이즈 발생이 보여지는 경우, 발생하고 있는 플리커는 120Hz이다.
플리커 검출부(109)는 오검출을 방지하기 위해, 추출 블럭 중 적어도 2개의 블럭에서의 프레임 간 휘도차 지표값(Db)이 수학식4를 만족시키는 경우에, 플리커 노이즈가 발생하고 있다고 판정할 수도 있다. 또한, 플리커 검출부 (109)는 추출 블럭 모두에서의 프레임 간 휘도차 지표값(Db)이 수학식4를 만족시키는 경우에 플리커 노이즈가 발생하고 있다고 판정할 수도 있다. 예를 들면, 도 14의 예에서는 1~5의 번호가 매겨진 추출 블럭 모두에서 수학식4가 만족되는 경우에 플리커 노이즈가 발생하고 있다고 판정될 수도 있다.
표2에서, 종합적인 플리커 판정 조건의 예가 제시되어 있다. 여기서, D≥Threshold 라는 표기는 모든 추출 블럭에서 수학식4가 만족되는 것을 나타낸다. 그 이외의 경우는 D<Threshold라는 표기에 의해 표시된다. 또한, 각각의 플리커 주파수의 플리커를 검출할 때의 프레임 간 휘도차 지표값(D b )이 각각 D100Hz, D120Hz으로서 표시된다.
　 D120Hz<Threshold D120Hz≥Threshold
D100Hz<Threshold 플리커 없음 100Hz
D100Hz<Threshold 120Hz 검출 에러
다음에, 프레임 레이트 제어부(105)가 프레임 레이트를 스텝S101 처리 전의 프레임 레이트로 돌아간다(스텝S119). 촬상장치(100)가 통상 촬영에서 스텝S101 처리로 이행한 경우, 프레임 레이트 제어부(105)는 프레임 레이트를 30fps로 되돌린다.
(5. 보족)
또한, 본 실시 형태에서는 플리커 주파수가 100Hz 또는 120Hz인 것을 전제로 한다. 그러나, 도 2를 참조하여 설명한 바와 같이, 플리커 주파수는 광원에 공급되는 교류 전원의 주파수에 의존한다. 따라서, 공급되는 교류 전원의 주파수가 50Hz 또는 60Hz에서 벗어나는 지역에서는 플리커 주파수가 100Hz 및 120Hz과는 다른 값이 된다.
예를 들면, 교류 전원의 주파수가 벗어남에 따라, 본래 100Hz의 플리커 주파수가 1% 벗어나 101Hz가 된 경우를 생각한다. 이 경우, 100Hz 플리커의 주기에 동기하는 프레임 레이트로 촬영한 화상에는 최대로 3.14%의 휘도 변동이 일어날 수 있다(또한, 기대값은 0이다). 그러나 120Hz 플리커의 주기에 동기하는 프레임 레이트로 촬영한 경우에 101Hz 플리커에 의해 생기는 프레임 간 휘도 변동(플리커 노이즈)의 최저값은 13.4%이다. 그런 이유로, 101Hz 플리커가 발생하고 있는 경우, 예를 들면 25fps로 촬영한 화상에 일어날 수 있는 휘도 변동은 최대 3.14%인 데 대해서, 30fps로 촬영한 화상에는 적어도 13.4%의 휘도 변동이 일어나게 된다. 따라서, 교류 전원의 주파수가 1% 정도 벗어나 있다고 해도, 본 실시 형태에 관한 촬상장치(100)를 사용한 플리커 노이즈 검출은 가능하다.
또한, 상기 예에서 검출되는 플리커 주파수는 실제로 101Hz이더라도 100Hz로서 검출된다. 그런 이유로, 이 검출 결과에 따라서 플리커 억제 처리를 실행하면, 최대 3.14%의 휘도 변동이 남아버린다. 그러나 3.14%의 휘도 변동은 노출값(Ev)으로 환산하면 약 0.045Ev이며, 인간의 눈으로는 거의 인식되지 않는다.
상기에서 설명한 본 실시 형태에 관한 촬상장치(100)에서는 주파수 해석 등의 복잡한 연산을 하지 않고도 간단한 구성으로 고 정도의 플리커 주파수를 검출할 수 있다. 또한, 전하 축적 시간을 변화시키지 않아도 되므로, 화질을 열화시키지 않고 플리커를 검출할 수 있다. 프레임 레이트를 30fps에서 25fps로 변화시킴으로 인한 프레임 지연은 1 프레임당 1/25 - 1/30 ≒ 6.67(밀리초)의 지연이 되며, 2 프레임에서는 13.3(밀리초)의 지연이 된다. 이런 지연은 관련 기술로서 설명한, 플리커 검출을 위해 프레임마다 노광 시간을 변화시키는 예에서 프레임 레이트 30fps에서 4 프레임마다 1 프레임을 표시한 경우의 프레임 누락 시간 133밀리초의 1/10이다. 이 정도의 시간 지연은 인간의 눈으로는 거의 인식되지 않는다.
이상, 첨부한 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해 상세히 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경 예 또는 수정 예를 생각할 수 있음은 명백하며, 이들 예도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기 실시 형태에서는 제1 프레임 레이트로 연속해서 촬영되는 제1 화상군과 제2 프레임 레이트로 촬영되는 제2 화상군은 각기 2 프레임의 화상으로 했으나, 본 발명은 이러한 예에 한정되지 않는다. 예를 들면, 각각의 화상군은 3 프레임 이상의 화상으로 이루어지며, 그 중에서 2 프레임의 화상을 추출할 수도 있다.

Claims (5)

  1. 촬상소자가 취득하는 화상 프레임 레이트를 상이한 제1 또는 제2 프레임 레이트로 설정하는 프레임 레이트 제어부,
    상기 촬상소자에 의해 상기 제1 프레임 레이트로 연속해서 취득된 제1 화상군 중 2개의 화상 간의 휘도차인 제1 휘도차와 상기 촬상소자에 의해 상기 제2 프레임 레이트로 연속해서 취득된 제2 화상군 중 2개의 화상 간의 휘도차인 제2 휘도차를 산출하는 휘도차 산출부, 및
    상기 제1 휘도차 및 상기 제2 휘도차를 제1 역치 및 제2 역치와 각각 비교함으로써, 상이한 제1 주파수 및 제2 주파수의 플리커 중 어느 쪽이 발생하고 있는지, 아니면 양쪽 모두 발생하지 않는지를 판정하는 플리커 검출부를 구바하는 것을 특징으로 하는 촬상장치.
  2. 제 1항에 있어서, 상기 제1 프레임 레이트가 상기 제1 주파수의 1/n(n은 자연수)이며, 상기 제2 프레임 레이트가 상기 제2 주파수의 1/m(m은 자연수)이고, 상기 플리커 검출부는 상기 제1 휘도차가 상기 제1 역치 이상인 경우에, 제1 주파수의 플리커가 발생하고 있다고 판정하고, 상기 제2 휘도차가 제2 역치 이상인 경우에, 제2 주파수의 플리커가 발생하고 있다고 판정하는 것을 특징으로 하는 촬상장치.
  3. 제 1항에 있어서, 상기 제1 화상군 및 상기 제2 화상군에 대해서 각 화상을 분할한 복수의 블럭 중 적어도 일부의 블럭에서의 휘도 적산치를 취득하는 블럭 휘도 적산부를 추가로 구비하며, 상기 휘도차 산출부는 상기 각 블럭을 단위로 하여 상기 제1 휘도차 및 상기 제2 휘도차를 산출하는 것을 특징으로 하는 촬상장치.
  4. 제 3항에 있어서, 상기 블럭 휘도 산출부는 상기 복수의 블럭 중 일부인 복수의 추출 블럭에 대해서 상기 휘도 적산치를 취득하고,
    상기 프리커 검출부는 상기 추출 블럭 중 적어도 2개의 블럭에 대해서 상기 제1 휘도차가 상기 제1 역치 이상인 경우에, 상기 제1 주파수의 플리커가 발생하고 있다고 판정하고, 상기 추출 블럭 중 적어도 2개의 블럭에 대해서 상기 제2 휘도차가 상기 제2 역치 이상인 경우에, 상기 제2 주파수의 플리커가 발생하고 있다고 판정하는 것을 특징으로 하는 촬상장치.
  5. 촬상장치의 촬상방법에 있어서,
    촬상소자가 취득하는 화상 프레임 레이트를 상이한 제1 프레임 레이트 또는 제2 프레임 레이트로 설정하는 과정과,,
    상기 촬상소자에 의해 상기 제1 프레임 레이트로 연속해서 취득된 제1 화상군 중 2개의 화상 간 휘도차인 제1 휘도차와, 상기 촬상소자에 의해　 상기 제2 프레임 레이트로 연속해서 취득된 제2 화상군 중 2개의 화상 간 휘도차인 제2 휘도차를 산출하는 과정과,
    상기 제1 휘도차 및 상기 제2 휘도차를 제1 역치 및 제2 역치와 각각 비교함으로써, 상이한 제1 주파수 및 제2 주파수의 플리커 중 어느 쪽이 발생하고 있는지, 또는 어느 쪽도 발생하지 않는다고 판정하는 과정을 포함하는 것을 특징으로 하는 촬상방법.
KR1020110138678A 2010-12-20 2011-12-20 촬상장치 및 촬상방법 KR101950396B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-283671 2010-12-20
JP2010283671A JP2012134663A (ja) 2010-12-20 2010-12-20 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
KR20120135382A true KR20120135382A (ko) 2012-12-13
KR101950396B1 KR101950396B1 (ko) 2019-02-21

Family

ID=46233912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110138678A KR101950396B1 (ko) 2010-12-20 2011-12-20 촬상장치 및 촬상방법

Country Status (3)

Country Link
US (1) US8743240B2 (ko)
JP (1) JP2012134663A (ko)
KR (1) KR101950396B1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441551B2 (en) * 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters
US8462229B2 (en) * 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
JP5633578B2 (ja) * 2010-11-30 2014-12-03 富士通株式会社 画像表示装置、表示制御装置および表示制御方法
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
US8736711B2 (en) * 2012-03-19 2014-05-27 Htc Corporation Camera with anti-flicker capability and image capturing method with anti-flicker capability
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
JP5800288B2 (ja) * 2012-10-30 2015-10-28 株式会社デンソー 車両用画像処理装置
KR20140109668A (ko) 2013-03-06 2014-09-16 삼성전자주식회사 플리커를 검출하기 위한 방법 및 시스템
US9106839B2 (en) 2013-04-05 2015-08-11 Google Inc. Automatic location-based camera frame rate settings
US20140354859A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Automatic banding correction in an image capture device
JP5784845B2 (ja) * 2013-07-09 2015-09-24 オリンパス株式会社 撮像システム
KR102174236B1 (ko) * 2014-02-11 2020-11-05 삼성디스플레이 주식회사 표시 패널의 구동 방법 및 이를 수행하기 위한 표시 장치
CN104702850B (zh) * 2014-03-20 2018-03-30 杭州海康威视数字技术股份有限公司 一种互补金属氧化物半导体摄像机及其补光方法
JP6456038B2 (ja) * 2014-04-23 2019-01-23 キヤノン株式会社 電子機器、光量変化特性の算出方法、プログラム及び記憶媒体
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
WO2016132615A1 (ja) * 2015-02-16 2016-08-25 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
WO2016139846A1 (ja) * 2015-03-02 2016-09-09 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
WO2016139847A1 (ja) * 2015-03-02 2016-09-09 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
CN106572345B (zh) * 2015-10-13 2018-09-25 富士通株式会社 闪烁检测装置及方法
JP6597960B2 (ja) * 2015-10-30 2019-10-30 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
JPWO2017217137A1 (ja) 2016-06-15 2019-04-11 ソニー株式会社 撮像制御装置、撮像制御方法およびプログラム
WO2019050516A1 (en) * 2017-09-07 2019-03-14 Bae Systems Information And Elecronic Systems Integration Inc. BROADBAND CAMERA CORE
CN107835336B (zh) * 2017-11-10 2020-11-06 奇酷互联网络科技（深圳）有限公司 双摄像头帧同步方法、装置、用户终端及存储介质
CN110580882A (zh) * 2018-06-07 2019-12-17 宏碁股份有限公司 光学无线通信系统
CN112771847A (zh) 2018-09-27 2021-05-07 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
JP2020072392A (ja) * 2018-10-31 2020-05-07 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US11039081B2 (en) * 2019-07-17 2021-06-15 Pixart Imaging Inc. Image sensor capable of eliminating rolling flicker and adjusting frame rate
US11422025B2 (en) * 2020-12-16 2022-08-23 Pixart Imaging Inc. Optical sensor capable of synchronizing to ambient light flicker
US11946800B2 (en) * 2020-12-16 2024-04-02 Pixart Imaging Inc. Optical sensor capable of recognizing light flicker frequency and synchronizing thereto

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084466A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 撮像装置および自動レベル調整方法
JP2002330350A (ja) * 2001-04-26 2002-11-15 Fujitsu Ltd Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
US20050157203A1 (en) * 2003-12-19 2005-07-21 Sanyo Electric Co., Ltd. Flicker detecting device and image pickup apparatus
US8743240B2 (en) * 2010-12-20 2014-06-03 Samsung Electronics Co., Ltd Imaging apparatus and imaging method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3823314B2 (ja) * 2001-12-18 2006-09-20 ソニー株式会社 撮像信号処理装置及びフリッカ検出方法
JP4106554B2 (ja) * 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
JP4173457B2 (ja) * 2004-03-12 2008-10-29 富士フイルム株式会社 撮影装置及びその制御方法
JP4591037B2 (ja) 2004-10-25 2010-12-01 ソニー株式会社 フリッカ成分検出装置及びフリッカ成分検出方法
JP2006310974A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp 撮像装置
JP4802742B2 (ja) * 2006-02-06 2011-10-26 ソニー株式会社 合焦制御装置、撮像装置、及び合焦制御方法
US7667740B2 (en) * 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
WO2008108025A1 (en) * 2007-03-05 2008-09-12 Nec Electronics Corporation Imaging apparatus and flicker detection method
JP5276308B2 (ja) 2007-11-21 2013-08-28 キヤノン株式会社 撮像装置およびその制御方法
US8441551B2 (en) * 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084466A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 撮像装置および自動レベル調整方法
JP2002330350A (ja) * 2001-04-26 2002-11-15 Fujitsu Ltd Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
US20050157203A1 (en) * 2003-12-19 2005-07-21 Sanyo Electric Co., Ltd. Flicker detecting device and image pickup apparatus
US8743240B2 (en) * 2010-12-20 2014-06-03 Samsung Electronics Co., Ltd Imaging apparatus and imaging method

Also Published As

Publication number Publication date
JP2012134663A (ja) 2012-07-12
US8743240B2 (en) 2014-06-03
KR101950396B1 (ko) 2019-02-21
US20120154629A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
KR101950396B1 (ko) 촬상장치 및 촬상방법
JP4856765B2 (ja) 撮像装置及びフリッカ検出方法
US7034870B2 (en) Image pickup apparatus with reduced flicker and automatic level adjusting method of the same
KR100709543B1 (ko) 플리커 검출 가능한 촬상 장치
US8004578B2 (en) Automatic flicker detection and correction apparatus and method in a video capture device
US20140063294A1 (en) Image processing device, image processing method, and solid-state imaging device
US20150116537A1 (en) Image capturing apparatus, image capturing method, and control method
JP2008011226A (ja) 撮像装置のフリッカ検出方法と装置
JP5331766B2 (ja) 撮像装置
JP3522674B2 (ja) 撮像装置および自動レベル調整方法
JP4323343B2 (ja) 撮像装置及びフリッカ検出方法
JP2008113237A (ja) 撮像装置におけるフリッカ検出方法と装置
JP5274403B2 (ja) 動き検出装置及び動き検出方法
KR100968377B1 (ko) 플리커 노이즈 제거장치와 제거방법, 및 그 제거장치를 포함한 영상처리장치
CN111131667B (zh) 进行闪烁检测的摄像设备及其控制方法和存储介质
JP2007329604A (ja) 蛍光灯フリッカ検出回路
KR20120069564A (ko) 촬상 장치 및 촬상 방법
JP2011097204A (ja) 撮像装置
JP2012204872A (ja) 撮像装置及び撮像方法
US20220244103A1 (en) Detection of light source distortion in an imaging system
JP2023042367A (ja) 画像処理装置、プログラム及びフリッカ検出方法
JP5770123B2 (ja) 検知システムおよびその信号処理方法、プログラム
JP2015169961A (ja) 検知システム、検知システムの信号処理方法、および、煙感知器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right