KR20120036961A - 영상 시퀀스에서 플리커의 검출 및 억제 - Google Patents

Abstract

본 발명은 영상 프레임 시퀀스에서 바람직하지 않은 일시적 변동(플리커)을 검출하는 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것이다. 일 실시예에 있어서, 프레임 방식 휘도 평균은 기준 레벨과 비교되고, 교차 주파수는 앨리어싱을 통한 조명 주파수와 관련된 주파수와 같은 예상된 변동 주파수와 비교된다. 교차 카운트는 기준 레벨 주변에 잠재 구역을 도입함으로써 정제될 수 있다. 바람직하지 않은 일시적 변동을 확실하게 검출한 경우에, 누적 분포 함수를 이용한 보정 방법, 장치 및 컴퓨터 프로그램 제품이 또한 제공된다. 픽셀의 플리커 유도 포화의 시각적 손상은 비포화 픽셀을 밝게 함으로써 또는 포화 픽셀을 기준 누적 분포 함수에 따라서 무작위로 샘플링된 값으로 교체함으로써 완화된다. 본 발명은 스트림된 영상 시퀀스의 실시간 처리에 적합한 실시예를 제공한다.

Description

영상 시퀀스에서 플리커의 검출 및 억제{DETECTION AND SUPPRESSION OF FLICKER IN A SEQUENCE OF IMAGES}

본 발명은 일반적으로 영상 처리에 관한 것이고, 더 구체적으로 영상 프레임 시퀀스에서 바람직하지 않은 일시적 변동의 연속적인 검출에 관한 것이다. 특히, 본 발명은 통신 네트워크를 통해 스트림되는 영상 프레임 시퀀스에서 앨리어싱 관련 아티팩트를 검출하는 것에 적합하다. 유리하게, 본 발명은 바람직하지 않은 일시적 변동의 결합 검출 및 억제를 위한 방법 및 장치를 또한 제공한다.

동영상의 재생 중에, 즉 정지 화상(프레임) 시퀀스의 적당한 시점에서 순차적 프리젠테이션 중에, 뷰어는 묘사된 장면에 없었던 바람직하지 않은 명도 변동인 '플리커'(flicker)를 종종 관측한다. 여기에서 사용하는 용어 장면(scene)은 동영상을 녹화하기 위한 촬상 장치의 시야에서 가시적인 또는 부분적으로 가시적인 공간 영역을 말한다. 비록 어떤 주어진 순간에 전체 장면을 볼 수 없다 하더라도, 전체 장면은 패닝(panning)에 의한 샷(shot) 중에 연속적으로 커버될 수 있다. 플리커는 인간의 눈으로 인식할 수 없을 정도로 충분히 빠른 강도 진동(intensity oscillation)을 가진 광원에 의해 야기될 수 있다. 그러나, 녹화는 샘플링 처리를 통하여 더 낮은 가시적으로 인식가능한 주파수로의 상승을 제공하는 상기 진동 주파수의, 촬상 장치의 프레임률(frame rate)로의 샘플링을 포함한다. 도 1은 고주파수 신호의 샘플들(원으로 표시됨)이 저주파수 신호로부터 올 때 또는 저주파수 신호의 샘플들이 고주파수 신호로부터 올 때 상기 샘플들이 어떻게 해석될 수 있는지를 보인 것이며, 이 현상은 앨리어싱(aliasing)이라고 부른다.

인간은 상이한 종류의 플리커를 구별할 수 있다. 그레이 스케일 영상 시퀀스에 있어서, 플리커는 화상 신호의 단일 채널의 비의도적 및 일반적으로 주기적인 변동(variation)이다. 이러한 변동은 전체 프레임에 영향을 줄 수도 있고, 또는 특수 조명을 가진 공간 영역에 대응하는 부영역(sub-region)에만 영향을 줄 수도 있다. 컬러 영상 기술이 사용될 때, 진동하는 백색 광원(white light source)은 진동하는 컬러 광원(coloured light source)과는 다른 방식으로 녹화 영상 시퀀스에 영향을 준다. 이하의 몇 개의 단락에서 설명하는 것처럼, 화상 성분과 관련한 플리커의 정확한 해석은 사용되는 정확한 컬러 영상 포맷(format)에 의존한다.

첫째로, 만일 영상 시퀀스가 RGB와 같은 선형 원색(primary colour) 성분과 관련하여 인코드되면, 백색 광원의 경우에 모든 성분에서 바람직하지 않은 진동이 존재할 것이다. 만일 진동하는 광원이 컬러 광원이면, 이 광원은 광원의 컬러 구성에 비례하여 각 컬러 성분에 진동 기간(oscillating term)을 제공할 것이다. 예를 들면, 진동하는 적색 광원은 RGB 신호의 R 성분에 우세적으로 기여하고 G 성분 및 B 성분에는 덜 기여할 것이다.

둘째로, 몇 가지 널리 알려진 컬러 영상 포맷은 3차원 YCbCr 컬러 공간에 기초를 둔다. 이러한 영상 포맷은 하나의 루마 채널(Y)(픽셀의 휘도 성분 또는 명도를 인코딩함) 및 2개의 크로마 채널(Cb, Cr)(백색으로부터의 변동과 관련하여 픽셀의 색차 성분을 인코딩함)을 포함한다. 루마 성분은 그레이 스케일 영상의 단일 화상 채널에 대응하고, 따라서 만일 YCbCr 컬러 영상 신호가 그레이 스케일 수상기에 의해 재생되면, 채널 Cb 및 Cr은 단순히 무시될 수 있다. 화상 성분의 정확한 정의(상수, 스케일링, 옵셋 등에 관해서)는 상이한 특수 영상 포맷들 간에 다를 수 있지만, 일반적으로 원색 포맷과 YCbCr 포맷 사이에는 명확한 변환(가끔은 선형 변환이라고 부름)이 존재한다. 특히, 3개의 원색 성분은 모두 예를 들면 선형 관계 Y=ρR+γG+βB를 통해서 휘도에 대한 긍정적 기여(positive contribution)를 하고, 여기에서, 계수의 상대값(ρ>0, γ>0, β>0)은 표준 백색에 따라서 결정되었다. 그러므로, 플리커를 야기하는 광원이 백색 광원인지 컬러 광원인지에 따라서, 플리커는 그 자신을 휘도 성분의 변동으로서 나타낼 것이다. 반면에, 컬러 광원은 Cb 및/또는 Cr 성분의 진동을 또한 야기할 수 있다.

셋째로, 색조, 포화 및 밝기(lightness)의 3 부분에 기초를 둔 다른 컬러 영상 포맷, 특히 HSL, HSV, HLS, HIS 및 HSB 포맷이 있다. 일반적으로, RGB 포맷으로 또는 RGB 포맷으로부터의 변환은 이러한 종류의 각 영상 포맷을 수반한다. 플리커(적어도 백색 플리커)는 밝기/명암도(value)/명도/강도 채널(L 또는 V)에서 검출가능하고, 이것들은 이 명세서의 나머지 부분에서 휘도와 구별되지 않을 것이다.

앞의 단락들에서의 설명은 아날로그 포맷과 디지털 포맷을 구분하고 있지 않은데, 그 이유는, 본 발명의 목적상, 후자는 전자의 양자화 버전으로 간주될 수 있기 때문이다. 마찬가지로, 일부 영상 포맷은 선형 버전 외에 R'G'B' 및 Y'CbCr 포맷과 같이 감마 압축 버전 또는 부분적 감마 압축 버전으로 존재할 수 있다. 그러나, 영상 포맷이 그러한 압축을 포함하고 있는지 여부는 본 발명의 이해에 중요한 것이 아니다.

뷰어는 플리커에서 혼란스러움 또는 불쾌함을 느낄 수 있기 때문에, 영상 처리 분야에서 플리커를 검출하고 보정하는 것에 관심이 있었다. 검출과 관련해서, 많은 최신의 방법들은 신호를 제로를 비롯해서 상이한 주파수를 가진 성분들의 선형 조합으로 분해하는 퓨리에 변환에 기초를 둔다. 상이한 주파수의 상대적 중요도(퓨리에 계수로 표현됨)에 기초해서 플리커가 존재하는지 아닌지를 확립할 수 있다. 이 원리에 따른 검출 방법은 EP 1 324 598호에 개시되어 있고, 이 방법은 화상 신호 평균의 이산 퓨리에 변환을 포함한다. 신호 처리 기술에 숙련된 사람이라면 알고 있는 바와 같이, 퓨리에 변환을 수반하는 알고리즘은 하기와 같은 단점을 갖는다.

ㆍ 이 알고리즘은 비 등거리 샘플링에 기인하여 프레임률이 시간에 따라 변할 수 있는 영상 신호와 같은 비정지 신호에 적용될 수 없다.

ㆍ 이 알고리즘은 기본 주파수의 에너지가 더 높은 고조파에 대하여 부분적으로 손실되기 때문에 신호의 비 사인파(non-sinusoidal) 플리커를 잘 해결하지 못한다.

ㆍ 이 알고리즘은 계산적으로 복잡하다.

다른 검출 방법은 통계적 변동을 계산하는 것에 기초를 둔다. 예를 들면, US 2007/036213호에 개시된 방법은 변동에 낮은 임계 조건을 적용하여 플리커 감소가 언제 필요한지를 결정한다. 부분적으로, 변동의 증가는 플리커 외의 다른 소스를 가질 수 있기 때문에, 이러한 검출 방법은 다량의 오류 경보(false alarm)를 생성하는 것으로 알려져 있다.

플리커를 억제 또는 제거하기 위한 몇 가지 이용가능한 방법은 플리커링 시퀀스의 각 프레임을 기준 프레임과 관련하여 보정하는 것에 기초를 둔다. 더 정확하게 말하면, 보정 대상 프레임에 대하여 누적 분포 함수(CDF) 또는 다른 이름으로 누적 히스토그램이 발생되고, 기준 프레임에 대하여 기준 CDF가 발생된다. 그 다음에, 보정된 프레임에 대한 CDF가 기준 프레임의 CDF와 대략 동일하게 되도록 픽셀 값이 조정된다. 일반적으로, 기준 프레임은 보정 대상 프레임과 동일하게 될 필요는 없지만(플리커에 의해 야기되는 밝기 또는 어둡기는 별문제로 하고), 배경, 조명 등과 관련하여 유사한 장면을 묘사하는 것이 좋다. US 5,793,886호에 개시된 발명은 대표적인 예를 제공한다. 기준 CDFF를 발생하기 위해, 이 방법은 시퀀스의 이전 프레임과 나중 프레임에 대한 CDF를 계산하고, 그 다음에 보정 대상 프레임의 위치에 따라서 상기 계산된 CDF를 보간한다.

광대역 인터넷 접속에 대한 소비자의 증가된 액세스에 따라서, IP를 통한 음성(voice-over-IP) 기술뿐만 아니라 영상 통화 및 화상 회의가 최근 수년간 급격히 증가하였다. 오디오 데이터와 영상 데이터는 여기에서 패킷 스트림으로서 전송되기 때문에, 송신측 및 수신측은 둘 다 유한 일괄처리(finite batch)로서가 아닌 실시간 기반으로 데이터를 취급해야 한다. 성가신 화상 플리커는 임의 종류의 동영상에서처럼 영상 통화에서 발생할 수 있지만, 플리커를 검출하고 해결하기 위한 이용가능한 방법(위의 설명 참조)은 가끔 적합하지 않다. 가장 중요한 것은 많은 기존의 방법들(위에서 인용한 하나는 제외함)이 스트림의 이전 프레임과 후속 프레임에 대한 지식을 필요로 한다는 것이다. 이러한 비인과성 처리 방법은 프레임을 버퍼링하지 않고 실시간 케이스에 적용될 수 없고, 이것은 데이터 스트림의 전송을 지연시킨다. 최소 버퍼 길이는 영상 시퀀스의 플리커링 부분 더하기 프레임당 처리(보정) 시간 더하기 플리커링 부분의 끝에서의 하나의 기준 프레임의 최대 예상 지속기간이다. 네트워크 지터를 숨기기 위한 특정의 지연이 이미 존재하는 최신의 인터넷 통신의 경우에, 대부분의 사용자는 수용할 수 없는 추가의 지연을 발견할 것이다. 그러므로, 버퍼링은 중요한 단점을 암시한다.

생방송에서 화상 플리커를 검출 및/또는 억제하는 수단이 공지되어 있지만, 이러한 장치의 대부분은 그들의 복잡도가 높기 때문에 소비자 제품에 통합될 수 없다. 유사하게, 녹화중에 플리커를 감소시키도록 하는 방법은 조절이 가능한 적응성 화상 센서 및 셔터 구조와 같은 진보된 광학적 하드웨어에 대한 액세스를 전제로 한다. 예를 들어서 영상 통화 서비스의 공급자는 그러한 하드웨어 특징이 이용가능한 것을 추정하지 못하고, 서비스의 사용자가 운용하는 어떤 장치로부터 화상 데이터를 수용할 것이 강요된다. 마지막으로, 특정 방법의 순수한 복잡성은 그러한 방법이 영상 통화에 적용할 수 없게 한다. 정상 부하 상태에 있는 퍼스널 컴퓨터에서, 합리적으로 정확한 퓨리에 기반 검출 방법은 CPU 용량의 불편하게 큰 부분과 결합하고, 적어도 계산적으로 복잡한 방법은 프레임률의 저하, 화상 크기의 감소 등과 같이 영상 통화 시스템을 특별한 품질 감소로 강요하는 위험성을 내포한다.

바람직하지 않은 일시적 변동을 검출 및 억제하는 이용가능한 기술의 단점에 비추어서, 본 발명은, 특히 실시간으로 실행될 때, 상기 단점들의 영향을 덜 받는, 상기 변동의 검출(및 바람직하게는 억제)를 위한 대안적인 기술을 제공하는 것을 목적으로 한다.

따라서, 제1 태양에 따르면, 본 발명은 영상 프레임 시퀀스에서 바람직하지 않은 일시적 변동을 검출하기 위해 청구항 제1항의 방법을 제공한다. 청구항 제3항에 기재되어 있는 제2 태양에 따르면, 바람직하지 않은 일시적 변동의 검출을 위한 장치(영상 프레임 수상기)가 제공된다. 청구항 제16항에 기재된 것처럼, 본 발명의 제3 태양에 따르면, 바람직하지 않은 일시적 변동의 검출을 위한 컴퓨터 프로그램 제품이 제공된다.

이 기술에 숙련된 사람이 독립 청구항을 읽음으로써 알 수 있는 것처럼, 발명 아이디어 및 그 실시예에 따른 검출은 하기의 것을 포함한다.

ㆍ 프레임 내에서 한번에 픽셀의 휘도에 의존하는 변수는 규칙적인 시간 간격으로 평가된다. 그 값들은 변수들의 타임 시퀀스를 형성한다. 적당하게, 평가는 각 프레임에서 픽셀들의 부분집합에 기초하여 실행되고, 이것은 일반적으로 충분한 검출 정확성을 제공한다. 변수의 평가에 사용되는 픽셀들의 집합은 프레임들 간에 불변일 수 있다. 그러나, 이 집합에 속하는 픽셀들을 선택함에 있어서의 자유는 아웃라이어(outlier)(데이터의 나머지로부터 수치적으로 이격된 값을 가진 픽셀)가 변수에 기여하는 것을 금지하기 위해 유리하게 또한 사용될 수 있고, 이것이 오류 검출을 야기할 수 있다.

ㆍ 전체 휘도의 변동 주파수는 변수의 타임 시퀀스에 기초하여 추정(estimate)된다. 예를 들어서, 만일 변수가 프레임의 전체 휘도에 비례하면, 변수의 타임 시퀀스의 진동은 연속적인 프레임의 전체 휘도와 동일한 주파수를 가질 것이다.

ㆍ 전체 휘도의 변동 주파수의 추정치가 임의의 예상된 변동 주파수에 근접하는지, 즉, 상기 추정치가 미리 정해진 공차(tolerance)보다 작게 임의의 예상된 변동 주파수와 차이를 보이는지가 평가된다.

만일 최종의 조건이 충족되는 것으로 나타나면, 영상 시퀀스의 바람직하지 않은 일시적 휘도 변동이 검출된다.

발명의 아이디어는, 검출 알고리즘, 검출기 등으로 구체화될 때, 그 민감도가 공차를 변경함으로써 정확히 조정될 수 있는 한 강력함(robustness)을 제공하고, 그래서 검출은 과도하게 관용적이지도 않고 너무 엄격하지도 않다. 본 발명에 따른 검출은 계산적으로 경제적이고, 특히 스트림된 영상 데이터를 취급하는 인터넷 기반 영상 통화 시스템과 관련하여 실시간 영상 처리 컴포넌트로서 구현되기에 적합하다. 만일 구현예가 방법의 연속적인 특성을 이용하면 메모리 공간과 같은 복잡성 및 하드웨어 필요조건이 더욱 감소될 수 있고, 이것은 타임 시퀀스에서 예전에 계산된 값들의 복구 등을 수반할 수 있다.

위에서 언급한 변수는 모든 픽셀의 휘도에 동일한 가중치를 제공하는 프레임 평균(frame mean)일 수 있고, 또는 가중 평균일 수도 있다. 바람직하지 않은 일시적 휘도 변동을 검출하는 장치로서의 본 발명의 실시예에 있어서, 변수를 평가하는 기능부는 변수가 (가중된) 평균인지 아닌지에 따라서 프레임 평균화기(averager)로서 인용된다.

위에서 인용한 변수는 전체 휘도 변동 주파수를 추정하는데 적합하고 국소 휘도 변동을 추정하는 데는 적합하지 않다. 전체 휘도 변동은 프레임 시퀀스에서 시간에 따른 전반적인 명도 변화로서 자신을 나타낸다. 이것에 대조적으로, 국소 휘도 변동은 선형 변동(라인 플리커)과 같이 프레임에서 공간 명도 변화로서 보여질 수 있다. 전체 휘도 변동의 변동 주파수를 추정하기 위해, 이 명세서의 다른 부분에서 설명하는 바와 같이, 전체 프레임에 대하여 또는 프레임의 대표적인 부분에 대하여 명도 평균을 계산하는 것이 적당할 수 있다.

본 발명의 선택적 특징으로서, 변동 주파수는 변수의 타임 시퀀스가 단위 시간당 얼마나 자주 기준 레벨을 교차하는지를 카운트함으로써 추정된다. 즉 교차 횟수를 시퀀스의 지속기간으로 나누면 전체 휘도의 변동 주파수의 추정치가 얻어진다. 기준 레벨의 정확한 값은 만일 교차 카운트가 프레임 평균의 가능한 진동 행동을 취하면 그다지 중요하지 않다. 예를 들면, 기준 레벨은 전체 평균, 즉 타임 시퀀스에서 가장 늦은 몇 개의 값에 대하여 취해진 평균으로서 선정될 수 있다. 유리하게도, 타임 시퀀스와 기준 레벨의 교차의 카운트(대안적으로, 타임 시퀀스의 제로 교차의 카운트로부터 기준 레벨을 뺀 값)는 전체 평균 주변(각각 제로 주변)에 잠복 구역(latency zone)을 규정함으로써 더욱 신뢰성있게 될 수 있다. 제2 공차보다 기준 레벨에 더 근접한 타임 시퀀스의 값은 신뢰성이 없는 것으로 고려되고 카운트에 대한 그 가능한 기여는 무시된다. 그 대신에, 타임 시퀀스에서의 다음 엔트리는 고려된다. 이 방법으로, 본 발명의 방법 또는 장치는 부정확한 측정치의 영향에 덜 민감하고, 이것은 그렇지 않으면 부정확한 검출 결과를 유도할 수 있다.

단독으로 또는 다른 선택적 특징과 함께 사용될 수 있는 본 발명의 다른 선택적 특징으로서, 프레임률의 값 -화상이 획득되는 주파수- 및 조명 주파수의 값이 결정된다. 예상되는 변동 주파수는 2개의 주파수에 기초하여 결정된다. 여기에서, 조명 주파수는 영상 시퀀스에서 볼 수 있는 객체(object) 또는 표면의 휘도와 관련이 있다. 만일 이 휘도가 가변적이고 (외견상) 주기적이면, 조명 주파수는 제로가 아니다. 주기적으로 변화하는 휘도를 가진 객체의 예로는 형광 광원 및 이것에 의해 조명되는 물품이 있다. 이러한 아이디어의 일반화로서, 복수의 조명 주파수가 사용될 수 있다. 청구된 발명은 가변 프레임률을 가진 영상 시퀀스에도 또한 적용될 수 있음이 강조된다. 그러므로, 이 방법은 예상되는 변동 주파수를 제로 교차가 카운트되는 간격에 대한 국소 평균 프레임률과 같은 프레임률의 실제 값에 기초하여 결정하여야 한다. 더욱이, 이 방법은 측정된 변동 주파수를 그 시작점으로서 등가적으로 취하고, 이것에 따라서 어떤 가능한 조명 주파수가 그것을 발생하였는지를 결정할 수 있다. 그 다음에 실제 조명 주파수가 이들 중 임의의 것으로부터 공차보다 작게 차이가 있는지 평가된다. 앞의 섹션에서 이미 지적한 바와 같이, HSL 및 유사한 화상 포맷에서 밝기(또는 명도 또는 명암도 또는 강도) 채널은 본 발명의 목적상 루마 채널과 등가이다.

예상되는 변동 주파수는 프레임률(f_s)에 대한 조명 주파수(f_i)의 앨리어싱으로부터 야기되는 주파수 성분으로서 계산될 수 있다. 이때, 모든 앨리어스된 주파수 성분은 정수 N에 대하여 |f_i-Nf_s|로 주어진다. 앨리어스된 주파수 성분이 프레임률로 재생중에 가시적이어야 한다는 점을 고려하면(즉, 나이퀴스트 기준에 의해 주파수 성분은 프레임률의 절반 미만이어야 한다), N은 하기의 조건을 충족하여야 한다.

(1)

전기 메인즈 주파수(electric mains frequency)의 정수 배수가 조명 주파수로서 사용될 수 있다. 게다가, 가장 이용가능한 AC 구동형 형광 조명 장치의 강도는 그 구동 전류의 주파수 또는 이 주파수의 2배인 주파수로 진동한다. 이것은 조명 주파수의 전용 측정이 필요없다는 것을 암시한다. 발명의 방법을 수행하는 장치는 사실 동일한 전기 메인즈 주파수로 전력이 공급될 수 있고, 그 다음에 조명 주파수(또는 메인즈 주파수의 몇 배수가 사용되는 경우에는 주파수들)의 결정을 매우 간단하게 행한다.

발명자들은 이용가능한 CDF 기반 플리커 억제 방법 및 장치의 몇 가지 결함을 확인하였다. 특히;

ㆍ 기준 CDF를 발생하기 위한 단일 프레임의 사용은 에러 감응성 방법일 수 있다. 예를 들면, 기준 프레임의 휘도 분포는 블랙으로의 페이드(fade)와 같은 의도적 변동 때문에 정상적 휘도 분포로부터의 편차일 수 있다.

ㆍ 화상 플리커의 동작하에 밝아지는 프레임에 있어서, 픽셀의 수는 포화되고, 따라서 코딩 포맷의 최대 허용가능한 값으로 줄여질 수 있다. 포화된 픽셀의 진정한 값은 줄임(truncation)에 의해 손실되었기 때문에, 직접의 CDF 기반 보정은 예전에 포화된 픽셀과 보정후의 다음의 가장 밝은 레벨 사이에 가시적인 휘도 엣지를 유도할 수 있다.

ㆍ 픽셀 값 보정 과정에서의 반올림 오차는 가끔 보정 화상의 품질에 결정적일 수 있다.

그러므로, 이들 단점들 중 적어도 일부를 개선하기 위해서, 본 발명의 특정 실시예는 영상 프레임 시퀀스에서 바람직하지 않은 일시적 변동의 결합 검출 및 억제를 제공한다. 바람직하지 않은 일시적 화상 변동을 확실하게 검출한 경우에는 하기의 동작이 뒤따른다.

ㆍ 보정 대상 프레임의 집합이 선택된다.

ㆍ 선택된 프레임 집합 내의 각 프레임에 대하여, 하기의 동작이 수행된다.

ο 집합의 각 프레임에서 적어도 하나의 화상 성분(예를 들면, 선형으로 또는 감마 압축을 통해 인코드된 휘도 또는 원색의 픽셀들의 집합(휘도 평균을 계산하기 위해 사용된 픽셀들의 집합)의 실제 값에 대하여 CDF가 발생된다.

ο 기준 CDF가 이전 프레임에서 동일한 화상 성분의 값에 대한 CDF에 기초하여 발생된다.

ο 각 픽셀 및 상기 적어도 하나의 화상 성분 각각에 대하여, 실제 값에 대한 CDF 판독(실제 값과 같거나 더 적은 값을 가진 보정되지 않은 프레임의 픽셀을 무작위로 잡을 확률)과 보정된 값에 대한 기준 CDF 판독(보정된 값, 즉 지금의 실제 값과 같거나 더 적은 값을 가진 보정된 프레임의 픽셀을 무작위로 잡을 확률) 간의 차를 최소로하는 보정된 값을 결정한다.

상기의 CDF를 발생하는 단계, 기준 CDF를 발생하는 단계 및 교체하는 단계는 예를 들면 각각의 원색 화상 포맷에 대하여 검출이 필요한 각 화상 성분에 대하여 수행될 것이다. (임의의 화상 포맷의 임의의 화상 성분은 본 발명의 방법에 의해 보정되기에 적합하지 않다는 것에 주목한다. 예를 들면, HSL 포맷의 색조 성분(H)은 CDF가 어떻게 규정되어야 하는지가 명확하지 않은 각도 측정이다. 비록 본 발명에 따른 검출이 밝기 채널과 관련하여 수행될 수 있지만, 보정이 실행되기 전에 각 프레임을 예를 들면 YCbCr 포맷으로 변환하는 것이 바람직하다. 그 다음에, 보정된 프레임은 다시 HSL 포맷으로 변환될 수 있다.) 위에서 설명한 검출 및 보정은 영상 시퀀스의 각 프레임을 고정된 부영역으로 한정함으로써 형성된 한정된 프레임 시퀀스에 적용될 수 있다. 보정 대상 프레임의 집합은 플리커가 검출에 따라서 존재하는 영상 프레임의 일부일 수 있다. 기준 CDF에 기초하는 값들은 가중된 또는 가중되지 않은 이동 평균(moving average; MA) 또는 자기회귀(autoregreessive; AR) 필터와 같은 저역 통과 필터에 의해 제공되는 것이 유리하다.

수학적 형식에 있어서, 값들의 교체는 다음과 같이 표현될 수 있다. 픽셀의 화상 성분의 실제값(x_curr)은 |F(x_curr)-F_ref(x_corr)|를 최소화하는 (허용가능한) 값인 보정값(x_corr)으로 교체된다. 여기에서 F는 프레임의 CDF이고 F_ref는 기준 CDF이다. 이 공식은 일부 디지털 포맷에 있어서 단지 정수만이 픽셀 값으로서 허용가능하기 때문에 아날로그 및 디지털 인코딩 둘 다에 적합하다. 만일 임의의 픽셀 값이 허용되면, 보정된 값은 다음과 같이 정의될 수 있다.

(2)

본 발명의 이 실시예에 따른 검출 및 억제는 전술한 것처럼 이용가능한 기술의 단점으로부터 덜 영향을 받는다. 특히, 선행 프레임의 CDF의 저역 통과 필터링에 의해 얻어진 값에 대한 기준 CDF에 기초하는 것은 영상 시퀀스의 의도적 휘도 변동에 기인하는 부적당한 보정의 위험성을 감소시킨다. 후속 프레임이 아직 알려져 있지 않더라고 프레임이 처리될 수 있기 때문에, 발명에 의해 제공되는 결합 검출 및 억제는 실시간으로 녹화되는 영상 시퀀스의 인터넷을 통한 전송과 같이, 스트림형 매체에 대한 적용성을 위해 필요한 인과관계 필요성을 충족시킨다.

본 발명의 선택적 특징으로서, 보정기(corrector)는 보간된 값에 의해 기준 CDF의 값들을 보충하도록 적응될 수 있다. 예로서, 기준 CDF가 값 (150, 0.60) 및 (152, 0.68)를 포함하고, CDF 값 (170, 0,62)에 대응하는 픽셀 값 170이 보정되어야 한다고 가정하자. 이 선택적 특징을 가진 보정기는 170을 보간된 기준 CDF 값 (150.5, 0.62)에 대응하는 150.5로 교체한다. 아마도 2개 이상의 지점을 포함하는 2차 또는 3차 보간과 같은 더욱 진보된 보간 절차가 또한 유리하게 사용될 수 있다.

바람직하게, 반올림 오차를 줄이기 위해 및 오차 민감성이 더 적은 플리커 억제를 하기 위해, 기준 CDF는 보정 대상 프레임의 픽셀들에 대한 보정된 값을 결정하기 위해 사용되기 전에 업샘플링 및 평활화될 수 있다.

본 발명의 다른 선택적 특징으로서, 기준 CDF는 영상 시퀀스의 플리커링 부분에 선행하는 프레임, 즉, 선택된 보정 대상 프레임 집합에서 가장 빠른 프레임에 선행하는 프레임에 대한 평균에 기초를 둘 수 있다. 그러므로, 플리커링 프레임은 기준 CDF에 기여하지 않고, 이것은 따라서 더 신뢰성있는 것으로 기대할 수 있다.

마지막의 선택적 특징은 포화 픽셀, 즉 허용가능한 최대값을 가진 픽셀을 포함한 밝은 프레임의 CDF 기반 플리커 억제와 관련된 가능한 불편함을 완화한다. 그러한 픽셀에 있어서, 플리커에 의한 밝아짐(brightening)은 원칙적으로 최대값보다 더 큰 값으로 유도되었지만, 줄임(화상 센서 한계 및 화상 포맷에 대한 적응성 둘 다에 기인한 것)에 의해 그 값들이 최대치로 낮아지고, 이것은 정보 손실을 야기한다. 이 조건에서, 상기 최대치(CDF 판독이 1인 경우)와 CDF에 의해 달성된 다음 최고 누적 확률의 기준 CDF 하의 반대값(inverse value) 사이에 숨겨진 간격이 있다. 이 간격은 그 안에 보정된 값들이 없을 것이라는 감(sense)으로 숨겨진다. 허용가능한 최대치에 근접한 실제 픽셀 값들(CDF가 1보다 훨씬 작은 경우)은 그 다음에 허용가능한 최대치보다 훨씬 더 작은 보정된 값들로 교체되어 보정 프레임에서 잠재적 가시성인 엣지를 야기한다. 그러한 엣지를 덜 가시적으로 만들기 위해, 보정 값들은 증가하는 밝기 인수(brightening factor)에 의해 스케일업된다.

밝기 인수는 특히 휘도의 프레임 평균에 대한 변수의 타임 시퀀스의 변동 진폭에 따라서 결정될 수 있다. 변동 진폭은 예를 들면 변동 주파수의 추정치와 관련하여 결정될 수 있다. 모든 프레임에 대한 밝기 인수의 값을 갱신할 필요는 없다. 변동 진폭이 더 크면 클수록 밝기 인수가 더 커질 것이다. 밝아진 값들은 인코딩 포맷의 허용가능한 최대치를 초과하지 않고, 따라서 필요한 경우에 허용가능한 최대치까지 줄여지며, 이것은 이미 최대로 되어서 밝아질 수 없는 그러한 픽셀 값들을 명백히 제외하고 밝기 인수의 값이 적절히 선택되면 드물게 필요하다. 완전성을 위해, 밝아진 값들은 인코딩 포맷에서 사용되는 값의 집합, 예를 들면 정수로 반올림될 필요가 있다는 점에 주목한다. 밝게 하는 것의 결과로서, 포화된 픽셀(허용가능한 최대치를 갖는 것)과 가장 밝은 비 포화 픽셀 간의 차이는 감소된다.

이제 첨부 도면을 참조하여 본 발명을 더 구체적으로 설명한다.
도 1은 주파수 앨리어싱을 보인 도이다.
도 2는 프레임 휘도 평균의 진동 시퀀스를 그래프로 나타낸 도이다.
도 3은 본 발명에 따른 보정 방법으로 픽셀 값을 교체하는 단계를 보인 도이다.
도 4는 본 발명의 실시예에 따른, 영상 이미지의 시퀀스에서 바람직하지 않은 일시적 변동을 검출 및 보정하는 장치를 보인 개략도이다.
도 5는 3개의 누적 분포 함수를 보인 도이다.
도 6은 2개의 역 누적 분포 함수를 보인 도이다.

이제 본 발명의 특정 실시예를 설명한다. 본 발명은 그러나 많은 다른 형태로 구체화될 수 있고, 여기에서 설명하는 실시예들로 제한되는 것으로 해석되어서는 안되며, 이 실시예들은 본 발명을 완벽하고 완전하게 하며 본 발명의 범위를 이 기술의 관련자들에게 완전하게 전달하기 위한 예로서 제공된다.

본 발명은 검출 능력이 있는 영상 프레임 수상기로서 구체화될 수 있다. 수상기는 휘도에 기초를 둔 변수를 평가하는 제1 섹션(프레임 평균화기)을 포함한다. 바람직하게, 변수는 각 프레임의 픽셀 집합의 휘도 값들의 합이다. 평가는 규칙적인 시간 간격으로 발생하고, 그래서 변수의 타임 시퀀스가 얻어진다. 수상기는 또한 변수의 타임 시퀀스를 수신하고 수신된 타임 시퀀스에 기초하여 전체 휘도의 변동 주파수를 추정하도록 적응된 주파수 추정기(frequency estimator)를 포함한다. 마지막으로, 수상기는 전체 휘도의 변동 주파수의 추정치가 공차보다 작게 임의의 예상된 변동 주파수와 차이를 보이는지를 결정하기 위한 비교기를 포함한다. 이 단순한 수상기는 이하에서 설명하는 것 또는 그 변형예로부터 선택된 다른 기능부에 의해 확대될 수 있다.

도 4는 본 발명의 다른 실시예에 따른, 영상 프레임 시퀀스에서 바람직하지 않은 일시적 변동의 검출 및 보정을 위한 장치를 개략적으로 보인 도이다. 일반적으로, 기능부들(도 4에서 사각형 내의 굵은 문자로 표시됨)은 반드시 물리적으로 분리된 엔티티를 인용할 필요는 없고, 기능부들의 적어도 일부는 다기능부로 결합되거나, 컴퓨터 실행가능 명령어로 구체화될 수도 있다. 도면에서 회로 선들의 교차는 점에 의해 그렇게 표시되지 않는 한 전기적 접속 또는 통신 접속을 나타낸 것이 아님에 주목하여야 한다. 수평으로 그어진 일점 쇄선으로 나타낸 바와 같이, 장치는 일점 쇄선의 위와 아래에 각각 표시된 서로 협력하는 검출부와 보정부를 포함한다. 도 4에서 사용된 기호들은 아래의 표 1에 나타내었다.

표 1. 도 4에서 사용된 기호들
기능부
CDFG	CDF 및 기준 CDF 발생기
Comp	비교기
Corr	보정기
Ctr	카운터
FrAv	프레임 평균화기
FrRS	프레임 영역 선택기
FrS	프레임 선택기
GlAv	전체 평균화기
LumF	휘도 필터
PixS	픽셀 선택기
Pred	예측기
SatC	포화 보상기
신호의 의미
i1	선택적으로 타임 스탬프된 프레임
i2	조명 주파수
s1	검출(및 보정) 영역으로 한정된 프레임
s2	검출(및 보정) 영역으로 한정되고 검출을 위한 픽셀들의 집합으로 또한 한정된 프레임
s3	s2의 휘도 성분
s4	s3의 프레임 평균
s5	s4의 전체 평균
s6	단위 시간당 s4와 s5의 교차수
s7	예상된 변동 주파수
s8	검출 결과
s9	s4의 변동 진폭
s10	실제 CDF
s11	기준 CDF
s12	검출 및 보정 영역으로 한정된 보정 대상 프레임의 집합
s13	검출 및 보정 영역으로 한정된 보정되지 않을 프레임
s14	보정후에, 검출 및 보정 영역으로 한정된 보정 대상 프레임의 집합
s15	보정 및 포화 보상 후에, 검출 및 보정 영역으로 한정된 보정 대상 프레임의 집합
s16	검출(및 보정) 영역으로 한정된, 검출 및 보정후의 모든 프레임
s17	검출(및 보정) 영역의 보충으로 한정된 프레임
o1	검출 및 보정후의 프레임

장치에의 입력 신호(i1, i2)는 각각 (타임 스탬프된) 영상 프레임 및 조명 주파수를 나타낸다. 출력 신호(o1)는 검출 및 만일 필요하다면 보정 후의 영상 프레임 시퀀스를 인코드한다. 장치에의 입력과 장치로부터의 출력은 네트워크 인터페이스 또는 패킷 전환형 게이트웨이를 통하여 발생할 수 있다. 예를 들면, 장치는 통신 네트워크를 통한 전송 링크의 일부로서 구성될 수 있고, 그래서 영상 시퀀스는 스트리밍에 의해 전송되는 동안 실시간으로 처리될 수 있다.

프레임의 시퀀스(i1)는 프레임 영역 선택기(FrRS)에서 수신되고, 프레임 영역 선택기는 검출(및 아마도 보정)을 위해 선택된 영역으로 한정된 하나의 프레임 시퀀스(s1)와 선택된 영역의 보충으로 한정된 하나의 프레임 시퀀스(s17)를 형성한다. 장치가 동작하는 프레임 영역을 한정함으로써, 장치에서의 연산 부하가 가끔 임의의 불편함이 없이 감소될 수 있다. 예를 들면, 레터박싱(letterboxing)(즉, 블랙 스트립에 의한 화상의 상부와 하부의 스크리닝)은 와이드스크린 종횡비를 덜 긴 종횡비로 전송하기 위해 일반적으로 실시되고 있고, 확실히, 플리커는 블랙 스트립에서 발생할 가능성이 낮다. 이러한 프레임 영역 한정이 없으면, s1은 전체 프레임의 시퀀스이고 s17은 없다.

신호 s1은 픽셀 선택기(PixS)에 공급되고, 픽셀 선택기에서 각 프레임은 검출을 위한 픽셀들의 집합으로 추가로 한정되고, 픽셀 집합은 (이 실시예에서) 프레임들 간에 불변이고 신호 s2로서 인코드된다. 이 단계는 신호의 서브샘플링으로서 보여질 수 있다. 이것의 장점은 일반적으로 바람직하지 않은 일시적 변동의 신뢰성있는 검출의 충분한 정보가 픽셀의 부분집합에 포함되어 있기 때문에 처리될 데이터의 양이 감소하는 것이다. 2개의 예를 들자면, 픽셀들의 집합은 무작위로 선택된 단일 픽셀들의 집합일 수도 있고, 또는 프레임 영역의 픽셀들의 일부 목록(enumeration)에서 매 n번째 픽셀일 수도 있다. 여기에서 n은 적당한 값들이 다른 목적의 실시예들 간에서 변할 수 있는 정수이다. 이 명세서를 읽고 이해함으로써, 이 기술에 숙련된 사람이라면 일상 실험에 의해 적당한 n값을 결정할 수 있을 것이다.

신호 s2는 휘도 필터(LumF)로 진행하고, 휘도 필터는 신호 s2 중의 휘도 성분 s3를 통과시킨다. 프레임 평균화기(FrAv)는 신호 s3의 평균값 시퀀스를 계산한다. 이 명세서에서, 하나의 프레임에 대한 이러한 평균은 프레임 평균(frame mean)이라고 부르고, 프레임 평균들의 타임 시퀀스는 신호 s4로서 인코드된다. 다시 말하면, 이 실시예에서 그 값들이 타임 시퀀스를 형성하는 변수는 하나의 프레임 내의 픽셀들의 휘도 평균이다. 그 후 전체 평균화기(GlAv)는 이동 평균으로서 또는 자기회귀 필터에 의해 프레임 평균(s4) 시퀀스의 전체 평균(s5)을 계산한다. (여기에서, 용어 '전체'(global)는 그 평균이 모든 이용가능한 프레임에 대하여 취해지는 것을 의미하는 것이 아니고, 단지 1개 이상의 프레임에 대하여 취해지는 것을 의미한다.) 신호 s4와 s5는 카운터(Ctr)에 제공되고, 카운터는 단위 시간당 신호 s4가 신호 s5와 관련하여 교차하는 횟수를 계산한다. 따라서, 카운터(Ctr)는 전체 평균 s5를 기준 레벨로서 사용한다. 이 실시예에서, 카운터(Ctr)는 이동 평균에 기초하여 기능하고, 따라서 단위 시간당 교차 횟수는 소정 시간 간격 동안의 단위 시간당 더 정밀한 교차 횟수이다. 이 양(quantity)은 추정 변동 주파수(s6)로서 카운터(Ctr)로부터 출력된다. 만일 프레임률이 영상 시퀀스에서 일정하면, 시간 간격의 크기는 단순히 프레임의 수(잠재 구역에서 값들이 생략되기 전의 수; 다음 단락 참조)를 프레임률로 나눈 것과 같다. 가변 프레임률의 경우에, 시간 크기는 만일 타임 스탬프가 영상 포맷에 포함되어 있으면 시간 간격의 최초 프레임과 최종 프레임의 타임 스탬프를 검색함으로써 결정될 수 있다. 시간 간격은 프레임 평균의 전체 평균을 계산할 때 사용된 것과 일치할 수 있다.

도 2는 31개 프레임 평균의 시퀀스(원이 있는 굵은 곡선)와 이들의 전체 평균(약 139의 세로좌표에 표시된 수평 점선)을 보인 도이다. 번호 1~20의 샘플들은 진동 행동을 갖지 않지만, 감소하는 경향을 보이고, 이들은 블랙으로의 페이드 또는 더 어두운 영역으로의 팬(pan)과 같이, 평균 휘도의 의도적 감소의 결과일 수 있다. 프레임 평균 시퀀스는 전체 평균을 확실히 1회 교차하지만, 신호는 명백히 주기적인 것이 아니다. 번호 20~31의 샘플들의 시퀀스는 전체 평균을 6회 교차한다. 이러한 교차는 대략 동일한 간격(약 2 샘플 떨어져서, 이것은 주파수가 4 샘플의 시간 크기의 역(inverse)임을 의미한다)에서 및 적절히 안정된 진폭(약 40 유닛)으로 발생한다는 점에 주목한다. 2개의 샘플 집합과 대조적으로, 휘도 변동은 나중의 집합에서 존재하고 이전의 집합에서는 존재하지 않는 것으로 보인다. 프레임 평균/전체 평균 교차의 카운트는 전체 평균 주변에 잠재 구역을 도입함으로써 측정 잡음에 대하여 더 강하게 된다. 도 2에 2개의 수평 점선으로 도시한 것처럼, 이러한 잠재 구역은 예를 들면 10 유닛과 같은 제2 공차에 대응하는 129~149의 세로좌표 값과 일치한다. 이것의 장점은 교차가 전체 평균 자체에 대하여 카운트되지 않고 잠재 구역에 대하여 카운트된다는 것이다. 다르게 말하면, 잠재 구역에 놓인 값들은 교차 카운트에 기여하지 못한다. 이와 같이, 잠재 구역의 크기에 따라서, 잘못된 프레임 평균 -측정 오차만큼 전체 평균의 부정확한 측으로 이동한 것, 이것에 의해 교차 카운트에 ±2의 오차를 야기할 수 있다- 이 카운터(Ctr)의 출력을 불순화할 가능성은 적어진다.

다시 도 4를 참조하면, 픽셀 선택기(PixS)와 병렬로 제공된 예측기(Pred)는 신호 s1을 수신하고, 예측기(Pred)는 이 신호로부터 프레임률(f_s)의 실제 값을 유도한다. 프레임률은 예를 들면, 만일 타임 스탬프가 제공되어 있으면 연속적인 타임 스탬프의 차를 연구함으로써 유도될 수 있다. 예측기(Pred)는 조명 주파수(f_i)(w)를 나타내는 신호 i2를 또한 수신한다. 조명 주파수는 이 명세서의 앞의 섹션에서 설명하였고, 특히, 조명 주파수는 전기 메인즈 주파수의 배수일 수 있다. 공식 |f_i-Nf_s|(여기에서 N은 상기 조건(1)을 만족시키는 정수이다)를 이용해서, 예측기는 예상되는 변동 주파수(s7)를 계산하고, 그 변동 주파수를 출력으로 배출한다.

비교기(Comp)는 예상되는 변동 주파수(s7)와 (실제) 추정된 변동 주파수(s6)를 수신한다. 비교기(Comp)는 이것이 미리 정해진 공차 내에 있는지를 평가한다. 공차는 민감도에 대한 신뢰도(더 적은 오류 경보)의 가중치에 기초하여 선택된다. 만일 미리정해진 공차 내에 있으면, 양(positive)의 부울련 신호가 검출 결과(s8)로서 제공되고, 그렇지 않으면 음의 부울련 신호가 결과(s8)로서 제공된다. 검출은 종료된다.

이제 도 4에서 수평 일점 쇄선 아래에 도시된 장치의 보정부에 대하여 설명한다. 양의 검출 결과(s8)에 응답하여, 프레임 선택기(FrS)는 프레임 선택기(FrS)에 제공되는 신호 s1으로 표시된 프레임(여전히 검출 및 보정을 위한 프레임 영역으로 한정됨)을 보정 대상 프레임의 하나의 시퀀스(s12)와 보정되지 않는 프레임의 하나의 시퀀스(s13)로 분리하도록 적응된다. 후자의 프레임(s13)은 어떤 추가의 처리를 받지 않지만, 전자의 프레임(s12)은 보정기(Corr)에 제공된다. 보정이 필요한 것으로 간주되는 프레임의 중단되지 않은 시퀀스는 이하에서 플리커 에피소드(flicker episode)라고 부른다. 보정기(Corr)에 의해 실행되는 처리의 일부 양적 특성은 예전 CDF의 (예를 들면, 저역 통과된, 특히 평균화된) 값에 따르는 기준 CDF(s11), 및 보정 대상의 각 프레임의 실제 CDF(s10)에 의해 결정된다. 모든 CDF는 신호 s2(검출 및 보정을 위한 영역으로 한정되고, 또한 검출을 위한 픽셀들의 집합으로 한정된 프레임)를 수신하는 CDF 발생기(CDFG)에 의해 계산된다. 그러므로, 만일 검출을 위한 픽셀들의 집합이 전체 프레임 또는 프레임 영역이 아니면, 양쪽의 CDF는 비록 보정 단계가 각각의 전체 프레임 또는 프레임 영역에 적용된다 하더라도 서브샘플링된 데이터에 따를 수 있으며, 이것은 계산적으로 경제적이다. 보정기(Corr)에 의해 실행되는 보정 처리는 위의 '발명의 내용' 섹션에서 자세하게 설명하였고, 픽셀에서 화상 성분의 실제값(x_curr)은 |F(x_curr)-F_ref(x_corr)|를 최소화하는 (허용가능한) 값인 보정된 값(x_corr)으로 교체된다. 여기에서, F는 프레임의 CDF이고, F_ref는 이전 프레임의 CDF에 기초하여 발생된 기준 CDF이다. 이 처리는 도 3에 나타내었고, 예시적인 실제 픽셀 값 139에 대하여 연속적인 화살표로 표시한 부단계들은 다음과 같다.

1. 실제 CDF(F)는 픽셀 값 139에서 판독한 것이고, 그 누적 확률(139와 같거나 더 적은 값을 가진 픽셀을 집을 확률)은 0.50으로 나타난다;

2. 상기 누적 확률을 가진 기준 CDF(F_ref) 상의 지점이 검색된다;

3. 대응하는 픽셀 값 113이 보정된 값이고, 이 값으로 실제 픽셀 값이 교체된다.

이 예시적인 실시예와 관련하여, 단일 영상 프레임에 대한 CDF를 버퍼링하는 것이 편리할 수 있다. 따라서, 만일 바람직하지 않은 일시적 변동이 검출되면, 아마도 최종 프레임 이상의 프레임이 프레임 선택기(FrS)에 의한 보정을 위해 선택될 것이고, 다수의 이러한 CDF가 CDF 발생기(CDFG)의 메모리에 버퍼링되면 다음의 최종, 제3의 최종, 제4의 최종 등의 프레임 각각에 대한 실제 CDF의 재계산 필요성이 회피된다.

보정기(Corr)에 의해 복귀되는 보정된 프레임(s14)은 보정되지 않은 프레임(s13)과 직접 합체되고 신호 s16으로서 인코드된다. 이어서, 신호 s16으로서 인코드된 프레임은 보정을 위한 프레임 영역의 보충으로 한정된 프레임(s17)과 프레임 방식(frame-wise)으로 합체되어 장치의 출력 신호(o1)를 형성한다.

그러나, 대안적인 실시예에서, 보정된 프레임(s14)은 보정되지 않은 프레임(s13)과 직접 합체되지 않고 포화 보상기(SatC)에 의해 추가로 처리되어 픽셀들의 가능한 포화를 보상한다. 보상 후에, 포화 보상기(SatC)의 출력(s15)은 신호 s13과 결합되어 신호 s16을 형성한다.

포화를 야기하는 것뿐만 아니라 그 관련 불편함에 대해서는 위에서 개략적으로 설명하였다. 포화는 보정된 값들을 밝게함으로써 본 발명에 따라 교정된다. 도 5를 참조하면, 더 구체적으로, 밝아진 기준 CDF(F*_ref로 표시되어 있음)가 기준 CDF(F_ref로 표시되어 있음) 대신에 사용된다는 점에서 밝기(brightening)가 표시될 수 있다. 도 5의 예시적인 상황에서, 이것은 픽셀들의 반이 113보다 더 큰 값을 갖는 기준 CDF로부터 추론될 수 있고, 한편, 밝아진 기준 CDF에 의해서, 픽셀들의 반은 139보다 더 큰 값을 갖는다. 따라서, 실제 CDF(F)에 따라서, 픽셀 값 173은 113에 의해 교체되지 않고, α=23% 더 밝은 139에 의해 교체된다. 이것의 장점은 기준 CDF에 대한 잠복 간격(concealed interval)과 밝아진 기준 CDF에 대한 잠복 간격을 비교함으로써 알 수 있고, 다음의 가장 큰 휘도 값(8-비트 코딩에서) 254에 대하여 F(254)=0.87이다. 이것은 205=1.23×167이기 때문에 F_ref(167) 및 F*_ref(205)와 같다. 그러므로, 잠복 간격은 [168, 254]로부터 [206, 254]로 축소되고, 엣지 높이는 86으로부터 48로 감소한다. 위의 수학식 2를 참조하면, 픽셀 값을 교체하기 위한 처리는 다음과 같이 묘사될 수 있다.

(2')

여기에서 F*_ref)^-1=min{(1+α)F^-1 _ref,ICMAX}이고 ICMAX는 허용가능한 최대 휘도값이다. 8-비트 이진수 코딩의 이 예시적인 경우에, ICMAX=255이다. 도 6은 역 기준 CDF와 밝아진 CDF의 역을 비교하여 나타낸 그래프이다. 후자 곡선의 최우측 부분은 ICMAX에 대한 줄임(truncation) 때문에 평평하다.

밝기 인수(α)는 대표적인 샘플 화상에 대한 일상적 실험에 의해 발견되는 고정소숫점수(fixed number)일 수 있다. 이것은 보정 대상의 각 프레임에 대하여 -또는 바람직하게 보정 대상의 각 플리커 에피소드에 대하여- 원색 성분과 같은 현재 보정을 받고 있는 화상 성분의 변동 진폭에 기초하여 동적으로 또한 결정될 수 있다. 적당한 값이 만족되는 것으로 고려되는 실시예에 있어서, 휘도는 밝기 인수를 결정하기 위한 실제 화상 성분 대신에 사용될 수 있다. 예를 들면, 밝기 인수(α)는 다음과 같이 계산될 수 있다.

(3)

여기에서, y(t)는 시간 t에서 보정하의 화상 성분의 버퍼링된 프레임 평균이고, B는 화상 성분의 버퍼링된 프레임 평균이 존재하는 시간상의 지점들의 집합이며, ζ는 동조 파라미터이고 y(t_ref)는 버퍼의 기준 값이다. 기준 값은, 예를 들면, 가장 오래된 값 또는 중간값이다. 도 2에서, B=[0, 31]이고, min_{t ∈ B}y(t)=103이며, max_{t∈ B}y(t)=184이다. t_ref=0 및 ζ=1.03을 이용하면, 하기의 값이 구해진다.

(4)

이 α값은 플리커 에피소드의 끝까지, 즉 픽셀 값의 보정이 발생하는 한 프레임들을 밝게 하기 위해 사용된다. 명백하게, 수학식 3은 플리커 중에 가장 밝은 프레임과 가장 어두운 프레임 간의 차이에 따라서 밝기 인수(α)를 결정한다. 이 차이의 영향은 동조 파라미터(ζ)의 값에 비례한다.

위에서 언급한 것처럼, 밝기 인수는 휘도와 같이 현재 보정하에 있는 것이 아닌 다른 화상 성분의 프레임 평균의 변동에 기초하여 결정될 수 있다. 도 4에 도시한 장치에서, 카운터(Ctr)는 휘도 필터링 신호(s3)에 기초한 변동 진폭(s9)을 포화 보상기(SatC)에 제공한다. 만일 휘도가 아닌 화상 성분의 변동 진폭에 따라서 밝기 인수를 결정하는 것이 더 적당하다고 생각되면, 신호 s2가 포화 보상기(SatC)에 공급될 수 있다.

포화 보상은 수학식 2'에 의한 것처럼 픽셀 값을 교체할 때 통합될 수도 있지만, 나중에 별도의 단계로서 수행하는 것도 또한 가능하다. 후자의 경우에, 보정 처리는 수학식 5와 같이 규정되는 단계(포화 보상기(SatC)에 의해 실행됨)에 의해 보충되는 수학식 2(보정기(Corr)에 의해 실행됨)에 의해 묘사될 수 있다.

(5)

포화 보상은 위에서 설명한 것과는 다른 방법으로 실현될 수 있다. 이 명세서의 앞부분에서 언급한 것처럼, 포화는 영향을 받은 영상 프레임에 기초하여 재구성할 수 없는 정보의 손실을 야기한다. 손실된 정보는 만일 플리커가 없다면 포화 픽셀이 갖게 되는 잠복 간격에 더욱 정밀하게 관계한다. 보정된 화상에 일부 잡음을 도입하는 대가로서, 포화 픽셀들은 잠복 간격 내에서 새로운 값들이 무작위로 지정될 수 있다. 가장 간단한 방법으로, 값들은 잠복 간격 내에 균일하게 샘플링되고, 이것은 도 5에 도시된 예에서 [168, 254]이다. 더욱 정제된 변형예는 기준 CDF와 동일한 분포를 가진 값들을 발생하는 것이다. 예로 되돌아가서, 이것은 간격 F_ref([168,254])=[0.87,1]에서 균일하게 포화 픽셀이 있는 것만큼의 많은 무작위 값들의 샘플링 및 이들이 실제 포화된 픽셀 값들을 교체하기 위해 사용되기 전에 F^-1 _ref에 의해 이들을 맵핑하는 것을 의미한다. 통계적 기대에 따르면, 이것은 보정된 화상의 CDF가 기준 CDF와 일치하는 것을 보장한다.

지금까지 본 발명을 첨부 도면 및 그 관련 설명을 따라 상세히 도시하고 설명하였지만, 그러한 도시 및 설명은 단지 예시한 것일 뿐 제한하는 것이 아니며, 본 발명은 예시된 실시예로 제한되는 것이 아니다. 예시된 실시예에 포함되는 일부 컴포넌트들은 선택적인 것으로 이해하여야 한다. 예를 들면, 도 4에 도시한 장치는 프레임의 부영역, 합성 신호 등의 컴포넌트, 즉 프레임 영역 선택기(FrRS), 픽셀 선택기(PixS), 휘도 필터(LumF) 및 프레임 선택기(FrS)를 추출하는 일부 수단을 포함한다. 계산적 효율성에 비하여 구조적 간단성이 선호되는 실시예에서는 상기 컴포넌트들 중 하나 이상이 생략될 수 있다(필요한 재배선 후에). 마찬가지로, 휘도 필터(LumF)는 단색 영상 데이터를 처리하도록 적응된 장치에서 불필요할 수 있다.

예시된 실시예에 대한 다른 변형예는 첨부 도면, 상세한 설명 및 청구범위를 읽고 본 발명을 실시할 때 이 기술에 숙련된 사람에 의해 이해되고 실현될 수 있다. 특정의 방책들이 서로 다른 종속 청구항에서 인용된다는 단순한 사실은 이들 방책들이 유리하게 사용될 수 없다는 것을 나타내지 않는다. 청구범위에서의 임의의 참조 부호들은 발명의 범위를 제한하는 것으로 해석되어서는 안된다.

Claims (16)

1. 영상 프레임 시퀀스에서 바람직하지 않은 일시적 휘도 변동을 검출하는 방법에 있어서,
   규칙적인 시간 간격으로 휘도에 기초한 변수를 평가하여 변수의 타임 시퀀스를 생성하는 단계와;
   변수의 타임 시퀀스에 기초하여 전체 휘도의 변동 주파수의 추정치를 계산하는 단계와;
   전체 휘도의 변동 주파수의 추정치가 미리정해진 공차보다 작게 임의의 예상된 변동 주파수로부터 차이가 있는지를 판정하는 단계를 포함한 일시적 휘도 변동 검출 방법.
2. 제1항에 있어서, 변동 주파수의 추정치가 미리정해진 공차보다 작게 예상된 변동 주파수로부터 차이가 있다고 하는 확실한 결정의 경우에, 영상 프레임의 시퀀스에서 바람직하지 않은 일시적 휘도 변동을 억제하는 단계를 포함한 방법으로서,
   보정 대상의 프레임 집합을 선택하는 단계와;
   상기 선택된 프레임 집합의 각 프레임에 대하여, 적어도 하나의 화상 성분의 실제 값에 대한 누적 분포 함수(CDF)를 발생하는 단계와;
   각 픽셀 및 상기 적어도 하나의 화상 성분의 각각에 대하여, 실제 값에 대하여 판독한 CDF와 보정된 값에 대하여 판독한 기준 CDF 간의 차이를 최소로하는 보정된 값을 결정하고, 실제 값을 보정 값으로 교체하는 단계를 더 포함하고,
   각각의 기준 CDF는 이전 프레임에서 대응하는 화상 성분의 값들에 대한 CDF에 기초한 것이고,
   상기 적어도 하나의 화상 성분은 선형 휘도, 선형 원색, 감마 압축 휘도, 감마 압축 원색 및 이들의 2개 이상으로 된 선형 조합 중 적어도 하나를 포함한 것인 일시적 휘도 변동 검출 방법.
3. 영상 프레임 시퀀스에서 바람직하지 않은 일시적 휘도 변동을 검출하도록 적응된 장치에 있어서,
   규칙적인 시간 간격으로 휘도에 기초한 변수를 평가하여 변수의 타임 시퀀스를 생성하는 프레임 평균화기와;
   변수의 타임 시퀀스를 수신하여 전체 휘도의 변동 주파수의 추정치를 계산하는 주파수 추정기와;
   전체 휘도의 변동 주파수의 추정치가 미리정해진 공차보다 작게 임의의 예상된 변동 주파수로부터 차이가 있는지를 판정하는 비교기를 포함한 일시적 휘도 변동 검출 장치.
4. 제3항에 있어서, 주파수 추정기는 기준 레벨에 대하여 변수의 타임 시퀀스의 단위 시간당 교차 수를 카운트하도록 적응된 카운터를 포함한 것인 일시적 휘도 변동 검출 장치.
5. 제4항에 있어서, 변수의 타임 시퀀스를 수신하여 전체 평균을 계산하는 전체 평균화기를 더 포함하고, 기준 레벨은 전체 평균인 일시적 휘도 변동 검출 장치.
6. 제4항 또는 제5항에 있어서, 카운터는 변수의 상기 타임 시퀀스에서의 임의의 값이 기준 레벨로부터 미리정해진 제2 공차보다 작게 차이가 있으면 상기 임의의 값을 무시하도록 적응된 것인 일시적 휘도 변동 검출 장치.
7. 제3항 내지 제6항 중 어느 한 항에 있어서, 상기 변수는 휘도의 프레임 평균인 일시적 휘도 변동 검출 장치.
8. 제3항 내지 제7항 중 어느 한 항에 있어서, 프레임은 프레임률로 획득된 것이고, 상기 장치가 적어도 하나의 예상된 변동 주파수를 프레임률의 실제 값 및 영상 프레임 시퀀스에서 나타나는 적어도 하나의 가시성 엔티티의 조명 주파수에 기초하여 계산하는 예측기를 더 포함한 일시적 휘도 변동 검출 장치.
9. 제8항에 있어서, 조명 주파수는 전기 메인즈 주파수의 배수인 일시적 휘도 변동 검출 장치.
10. 제8항 또는 제9항에 있어서, 예측기는 공식 |f_i-Nf_s|를 이용하여 상기 적어도 하나의 예상된 변동 주파수를 계산하도록 적응된 것이고, 상기 식에서, f_i는 조명 주파수이고, f_s는 프레임률이며, N은 수학식
    

    

    
    을 만족시키는 정수인 일시적 휘도 변동 검출 장치.
11. 제3항 내지 제10항 중 어느 한 항에 있어서, 변동 주파수의 추정치가 미리정해진 공차보다 작게 예상된 변동 주파수로부터 차이가 있다고 비교기에 의해 판정된 경우에, 영상 프레임의 시퀀스에서 바람직하지 않은 일시적 휘도 변동을 억제하도록 또한 적응되고, 상기 장치가,
    보정 대상의 프레임 집합을 선택하는 프레임 선택기와;
    보정 대상 프레임을 수신하고 적어도 하나의 화상 성분의 실제 값에 대한 누적 분포 함수(CDF)를 발생하는 CDF 발생기와;
    CDF 발생기로부터 복수의 보정 대상 CDF를 수신하고 각각의 화상 성분에 대하여, 보정 대상 프레임에 선행하는 프레임에서 상기 화상 성분의 값에 대한 CDF에 기초하여 기준 CDF를 발생하는 기준 CDF 발생기와;
    보정 대상 프레임 집합의 각 프레임을 수신하고 각 픽셀의 실제 값을 보정된 값으로 교체하여 보정된 프레임을 출력하는 보정기를 더 포함하고,
    상기 보정된 값은 실제 값에 대하여 판독한 CDF와 보정된 값에 대하여 판독한 기준 CDF의 차이를 최소로 하는 것이고,
    상기 적어도 하나의 화상 성분은 선형 휘도, 선형 원색, 감마 압축 휘도, 감마 압축 원색 및 이들의 2개 이상으로 된 선형 조합 중 적어도 하나를 포함한 것인일시적 휘도 변동 검출 장치.
12. 제11항에 있어서, 보정 대상 프레임에 선행하는 프레임에서 상기 화상 성분의 값들에 관한 CDF를 필터링함으로써 화상 성분에 대한 기준 CDF를 발생하는 필터를 더 포함하고, 상기 필터는 저역 통과 특성을 갖는 것인 일시적 휘도 변동 검출 장치.
13. 제11항 또는 제12항에 있어서, 화상 성분에 대한 기준 CDF는 보정 대상 프레임의 상기 선택된 집합에서 가장 빠른 프레임에 선행하는 프레임의 상기 화상 성분의 값들에 대한 CDF의 평균인 일시적 휘도 변동 검출 장치.
14. 제11항 내지 제13항 중 어느 한 항에 있어서, 보정된 프레임을 수신하고 보정된 프레임 내의 상기 화상 성분의 각 보정된 값을 밝아진 값으로 교체하도록 적응된 포화 보상기를 더 포함하고, 상기 밝아진 값은,
    min{(1+α)x_corr,IMMAX}
    이고, 여기에서 x_corr은 보정된 값이고 α는 양의 수인 일시적 휘도 변동 검출 장치.
15. 제3항 내지 제14항 중 어느 한 항에 있어서, 영상 프레임의 시퀀스는 통신 네트워크를 통해 스트림된 것인 일시적 휘도 변동 검출 장치.
16. 범용 프로세서에서 실행될 때 청구항 1의 단계들을 수행하는 컴퓨터 실행가능 명령어를 저장한 컴퓨터 판독가능 매체.

Images