KR20160061251A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20160061251A
KR20160061251A KR1020150153810A KR20150153810A KR20160061251A KR 20160061251 A KR20160061251 A KR 20160061251A KR 1020150153810 A KR1020150153810 A KR 1020150153810A KR 20150153810 A KR20150153810 A KR 20150153810A KR 20160061251 A KR20160061251 A KR 20160061251A
Authority
KR
South Korea
Prior art keywords
block
group
shading estimation
evaluation value
determining
Prior art date
Application number
KR1020150153810A
Other languages
English (en)
Other versions
KR102366254B1 (ko
Inventor
츠요시 모리야
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/948,922 priority Critical patent/US9661290B2/en
Publication of KR20160061251A publication Critical patent/KR20160061251A/ko
Application granted granted Critical
Publication of KR102366254B1 publication Critical patent/KR102366254B1/ko

Links

Images

Classifications

    • H04N5/3658—
    • H04N5/235—
    • H04N5/3572—
    • H04N5/361—

Landscapes

  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

촬상 영상을 입력 받는 단계, 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 블록의 영상 특성을 나타내는 블록 통계를 결정하는 단계, 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계, 및 결정된 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정하는 단계를 포함하는 영상 처리 방법이 개시된다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
다양한 실시예들은 영상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 다양한 쉐이딩 추정을 이용한 촬상 영상의 색상 쉐이딩(color shading)을 보정시키는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
영상 처리 장치는 촬상 영상을 복수의 블록으로 분할하고 블록의 다양한 통계값을 이용하여 촬상 영상의 색상 쉐이딩을 보정할 수 있다.
다양한 실시예들은, 다양한 쉐이딩 추정을 이용하여, 촬상 영상의 색상 쉐이딩을 보정하는 영상 처리 장치 및 방법을 제공하고자 하는 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 촬상 영상을 입력 받는 입력부; 및 상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 복수의 블록 각각의 영상 특성을 나타내는 블록 통계를 결정하고, 상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 데이터 처리부;를 포함하는, 영상 처리 장치를 제공할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 촬상 영상의 휘도, 상기 광원의 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하고, 상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하고, 상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하고, 상기 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 복수의 블록을 복수의 그룹으로 분류하고, 상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하고, 상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하고, 상기 결정된 유효 그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 추정된 근사 직선의 기울기가 음수이면 상기 음수의 기울기 중 0에 가장 가까운 값을 가지도록 하는 쉐이딩 추정 계수를 결정하고, 상기 추정된 근사 직선의 기울기가 음수가 아니면 상기 음수가 아닌 기울기 중 가장 작은 값을 가지도록 하는 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.
또한, 본 개시의 다른 실시예는, 촬상 영상을 입력 받는 단계; 상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 블록의 영상 특성을 나타내는 블록 통계를 결정하는 단계; 상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및 상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 단계;를 포함하는 영상 처리 방법을 제공할 수 있다.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 촬상 영상의 휘도, 광원 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 촬상 영상의 평탄도는, 상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정할 수 있다.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하는 단계; 상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하는 단계; 상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하는 단계; 및 상기 결정된 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 블록 무게를 결정하는 단계는, 상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 복수의 블록을 복수의 그룹으로 분류하는 단계; 상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하는 단계; 상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하는 단계; 및 상기 결정된 유효그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 그룹 평가값을 결정하는 단계는, 상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정할 수 있다.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 쉐이딩 추정 계수를 결정하는 단계를 더 포함할 수 있다.
또한, 본 개시의 다른 실시예에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 다른 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 영상 처리 장치의 동작방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.
도 6은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 화소값의 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 쉐이딩 추정 계수 결정부의 동작방법을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.
도 11은 다른 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.
도 12는 일 실시예에 따른 2개 이상의 다른 색상이 혼재된 평탄한 피사체를 포함하는 영상의 예를 나타내는 도면이다.
도 13은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 14는 일 실시예에 따른 블록색 평가값 결정부의 동작방법을 나타내는 흐름도이다.
도 15A 및 도 15B는 일 실시예에 따른 블록색 평가값 결정부, 블록 무게 계수 결정부 및 블록 평가값 결정부의 동작방법을 나타내는 흐름도이다.
도 16은 일 실시예에 따른 블록 무게 계수 결정부(212)가 처리하는 영상의 예를 나타내는 도면이다.
도 17은 일 실시예에 따른 블록 무게 계수 결정부가 생성하는 히스토그램의 예를 나타내는 도면이다.
도 18은 일 실시예에 따른 블록 무게 계수 결정부가 처리하는 영상의 예를 나타내는 도면이다.
도 19는 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 20은 일 실시예에 따른 그룹 분류부 및 그룹 평가값 결정부의 동작방법을 나타내는 흐름도이다.
도 21은 일 실시예에 따른 그룹 분류부가 분류하는 그룹의 예를 나타내는 도면이다.
도 22는 일 실시예에 따른 유효 그룹 결정부 및 근사 추정부의 동작방법을 나타내는 흐름도이다.
도 23은 일 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다.
도 24는 다른 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다.
도 25는 일 실시예에 따른 유효 그룹 결정부의 동작방법을 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 근사 추정부가 처리하는 근사 직선을 나타내는 그래프이다.
도 27은 일 실시예에 따른 분산 추정부의 동작방법을 나타내는 흐름도이다.
도 28은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 29는 다른 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.
도 30은 일 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.
도 31은 다른 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 촬상 영상을 입력 받는 입력부(300) 및 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 복수의 블록 각각의 영상 특성을 나타내는 블록 통계를 결정하고, 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 결정된 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정하는 데이터 처리부(310)를 포함할 수 있다.
일 실시예에 따른 데이터 처리부(310)는, 촬상 영상의 평탄도를 결정하고, 촬상 영상의 휘도, 광원의 색온도 및 결정된 평탄도 중 적어도 하나를 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.
다른 실시예에 따른 데이터 처리부(310)는, 결정된 블록 통계를 이용하여 블록색 평가값을 결정하고, 결정된 블록색 평가값을 이용하여 블록 무게를 결정하고, 결정된 블록 통계 및 결정된 블록 무게를 이용하여 블록 평가값을 결정하고, 블록 평가값을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.
다른 실시예에 따른 데이터 처리부(310)는, 복수의 블록을 복수의 그룹으로 분류하고, 결정된 블록 통계 및 분류된 그룹을 이용하여 그룹 평가값을 결정하고, 결정된 블록 통계 및 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하고, 결정된 유효 그룹을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.
다른 실시예에 따른 데이터 처리부(310)는, 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 추정된 근사 직선을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 추정된 표본 분산을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.
다른 실시예에 따른 데이터 처리부(310)는, 결정된 그룹 평가값을 이용하여 분산을 추정하고, 추정된 분산을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 추정된 표본 분산을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.
도 2는 다른 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 렌즈 광학계(102), 촬상 소자(104), 아날로그 프론트 엔드(analog front end, AFE) 회로(106), 영상 신호 처리 회로(108), 영상 표시부(110), 영상 기록부(112), 드라이버(114), 타이밍 제너레이터(TG)(200), 블록 통계부(118), 제어부(120), 계수 저장부(122) 등으로 구성될 수 있다. 영상 처리 장치(100)는 디지털 카메라뿐만 아니라 PC 등의 외부 장치에 의해 구성될 수 있고, 외부 장치에서 영상의 쉐이딩 추정 및 쉐이딩 보정을 실시할 수도 있다.
일 실시예에 따른 렌즈 광학계(102)는 렌즈, 조리개, 셔터 등을 가지며, 피사체상을 촬상 소자(104)의 촬상면에 결상한다. 촬상 소자(104)는 CCD나 CMOS 등의 이미지 센서이고, 촬상 소자(104)의 렌즈 광학계(102) 측에는 적외 커트 필터(미도시)가 장착되어 있다. 촬상 소자(104)는 피사체상을 광전 변환하여 영상 신호(RGB 색신호)를 취득한다. AFE 회로(106)는 촬상 소자(104)가 취득하고, CDS 회로(미도시)가 신호 처리를 실시한 영상 신호를 디지털 신호로 A/D 변환한다.
영상 신호 처리 회로(108)는 AFE 회로(106)가 출력한 영상 신호에, 디모자이킹 처리, 에지 강조 처리, 화이트 밸런스(WB) 보정 처리, 쉐이딩 보정 처리, 감마 보정 처리 등을 실시한다. 영상 표시부(110)는 액정 표시 디스플레이(LCD) 등이고, 영상 신호 처리 회로(108)에서 다양한 처리를 거친 영상 신호를 표시한다. 영상 기록부(112)는 메모리이고, 영상 신호 처리 회로(108)에서 다양한 처리를 거친 영상 신호를 기록한다.
드라이버(114)는 렌즈 광학계(102)의 렌즈, 조리개, 셔터를 구동한다. 타이밍 제너레이터(TG)(116)는 촬상 소자(104)를 구동하기 위한 타이밍을 생성한다. 블록 통계부(118)는 AFE 회로(106)에서 디지털 신호가 된 영상 신호의 촬상 영상 또는 촬상 영상의 일부 영역을 복수의 블록으로 분할하고, 블록마다 블록 통계값을 결정한다. 일 실시예에 따른 블록 통계부(118)는 블록 분할부와 통계치 결정부를 포함할 수 있다. 블록 통계부(118)는 블록 통계값으로서 각 블록에서의 RGB별 화소 합산값이나 RGB별 화소 평균값 등의 각 블록의 영상 특성을 나타내는 값을 결정할 수 있다. 또한, 블록 통계부(118)는 통계치 이외의 각 블록의 영상 특성을 나타내는 값을 결정할 수도 있다. 일 실시예에 따를 때, 블록의 특성값(블록의 R값, G값 및 B값)은 각각 블록 내 화소의 R, G 및 B값의 합산값 내지 평균값일 수 있으나, 이에 한정되지 않는다.
제어부(120)는 블록 통계부(118)가 산출한 블록 통계값에 따라, 영상 신호 처리 회로(108)의 화이트 밸런스 보정 처리를 제어할 수 있다. 일 실시예에 따른 제어부(120)는 쉐이딩 추정부(124), 쉐이딩 보정부(126)를 포함할 수 있다.
쉐이딩 추정부(124)는 블록 통계부(118)가 결정한 블록 통계값과 계수 저장부(122)가 저장한 쉐이딩 추정 계수에 따라 쉐이딩을 추정하고, 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다. 일 실시예에 따를 때, 쉐이딩 추정 계수는 광원에 따라, R값, G값 및 B값에 따라, 또한 블록에 따라 각각 계수를 가질 수 있다. 쉐이딩 추정 계수군은 광원 별로 설정된 복수의 쉐이딩 추정 계수의 집합을 의미할 수 있다.
쉐이딩 보정부(126)는 쉐이딩 추정부(124)가 결정한 쉐이딩 추정 계수에 대응하는 쉐이딩 보정 계수를 계수 저장부(122)로부터 결정하고, 촬상 영상의 쉐이딩을 보정할 수 있다. 일 실시예에 따를 때, 영상 신호 처리 회로(108)에서 쉐이딩 보정부(126)에서 결정한 쉐이딩 보정 계수를 이용하여 촬상 영상의 쉐이딩을 보정할 수 있다. 쉐이딩 보정부(126)는 광원에 따라, R값, G값, B값에 따라, 또한 블록에 따라 각각 쉐이딩 보정 계수를 결정할 수 있다.
계수 저장부(122)는 쉐이딩 추정 계수와 쉐이딩 보정 계수와의 쌍을 태양광, 전구, 형광등 등의 광원 별로 저장할 수 있다. 일 실시예에 따른 계수 저장부(122)는, 추정 계수 저장부 및 보정 계수 저장부를 포함할 수 있다. 쉐이딩 추정 계수 및 쉐이딩 보정 계수는 1 대 1의 쌍으로 되어 있으나, 이에 한정되는 것은 아니다. 쉐이딩 추정 계수 및 쉐이딩 보정 계수는 PC 등의 외부 장치에 대해 산출할 수 있다. 계수 저장부(122)는 각 광원 별 각각 대응되는 복수의 쉐이딩 추정 계수를 포함하는 쉐이딩 추정 계수군을 저장할 수 있고, 또한 보정 강도가 다른 복수의 쉐이딩 추정 계수를 포함하는 쉐이딩 추정 계수군을 저장할 수 있다.
쉐이딩 추정 계수는 각 광원 하에서 촬영한 백색 차트의 영상을 이용하여 획득될 수 있다. 백색 차트는 분광 반사율이 대상 파장 영역 전반에 걸쳐 일정하고 또한 90% 이상인, 표준 백색 반사판 등의 균등 확산 반사면이 이용될 수 있다. 예를 들어, 적외선광이 많이 포함되는 전구 등의 광원에 대해서는 영상 주변부의 R신호를 강하게 보정하는 쉐이딩 추정 계수가 결정될 수 있다. 적외선광이 따로 포함되지 않는 형광등 등의 광원에 대해서는 영상 주변부의 R 신호를 약하게 보정하는 쉐이딩 추정 계수가 결정될 수 있다. 일 실시예에 따른 쉐이딩 추정 초기 계수는 영상 주변부의 R신호를 가장 약하게 보정하는 초기 설정(디폴트)의 쉐이딩 추정 계수일 수 있다.
또한, 일 실시예에 따른 영상 처리 장치(100)는, 영상 신호 처리 회로(108), 블록 통계부(118), 제어부(120) 및 계수 저장부(122) 등을 포함하여 구성되나, 이 구성에 한정되는 것은 아니다.
또한, 제어부(120)가 포함하는 각 구성 요소는, 예를 들어, 컴퓨터인 제어부(120)가 구비하는 연산 장치(미도시)의 제어에 의해, 프로그램을 실행시킴으로써 실현 가능할 수 있다. 구체적으로 제어부(120)는 기억부(미도시)에 저장된 프로그램을 주기억 장치(미도시)에 로드하고, 연산 장치의 제어에 의해 프로그램을 실행하여 실현 가능할 수 있다. 또한, 각 구성 요소는 프로그램에 의한 소프트웨어로 실현하는 것에 한정되지 않고, 하드웨어, 펌웨어 및 소프트웨어 중 몇 개의 조합 등에 의해 실현할 수도 있다.
상술한 프로그램은 여러 타입의 비일시적인 컴퓨터 가독 매체(non-transitory computer readable medium)를 이용하여 저장되어 컴퓨터에 공급될 수 있다. 비일시적인 컴퓨터 가독 매체는 여러 타입의 실체가 있는 기록 매체(tangible storage medium)를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는 자기 기록 매체(예를 들어, flexible disk, 자기테이프, 하드 디스크 드라이브 등), 광자기 기록 매체(예를 들어, 광학 자기 디스크 등), CD－ROM(Read Only Memory), CD－R, CDR/W, 반도체 메모리(예를 들어, 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(random access memory)) 등을 포함할 수 있다.
또한, 프로그램은 다양한 타입의 일시적인 컴퓨터 가독 매체(transitory computer readable medium)에 의해 컴퓨터에 공급될 수 있다. 일시적인 컴퓨터 가독 매체의 예는 전기 신호, 광신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는 전선 및 광섬유 등의 유선 통신로, 또는 무선 통신로를 통해 프로그램을 컴퓨터에 공급할 수 있다.
도 3은 일 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 3을 참조하면, 쉐이딩 추정부(124)는 플랫 결정부(201), 쉐이딩 추정 계수 결정부(202) 등을 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 쉐이딩 추정부(124)는 피사체의 휘도(또는 명도, 밝기 등)를 구하는 수단 내지 피사체의 색온도를 구하는 수단을 포함할 수 있다.
쉐이딩 추정부(124)는 촬영된 피사체가 평탄한지 여부를 결정할 수 있다. 일 실시예에 따를 때, 플랫 결정부(201)는 촬영된 피사체가 평탄한지 여부를 결정할 수 있다. 쉐이딩 추정부(124)는 피사체가 평탄한지 여부에 따라, 또는 피사체의 휘도(Bv)나 광원 색온도(R Color Gain) 등의 촬상 조건에 따라, 쉐이딩 추정 계수군 중에서 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다. 일 실시예에 따를 ?, 쉐이딩 추정 계수 결정부(202)는 피사체가 평탄한지 여부에 따라, 또는 피사체의 휘도(Bv)나 광원 색온도(R Color Gain) 등의 촬상 조건에 따라, 쉐이딩 추정 계수군 중에서 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다.
도 4는 일 실시예에 따른 영상 처리 장치의 동작방법을 나타내는 흐름도이다.
S500에서 영상 처리 장치는 촬상 영상을 수신한다.
S510에서 영상 처리 장치는 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 블록 통계를 결정한다. 일 실시예에 따를 때, 쉐이딩 추정부(124)는 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 블록 통계를 결정할 수 있다.
S520에서 영상 처리 장치는 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 쉐이딩 추정 계수를 결정한다. 일 실시예에 따를 때, 쉐이딩 추정부(124)는 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 쉐이딩 추정 계수를 결정할 수 있다.
S530에서 영상 처리 장치는 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정한다. 일 실시예에 따를 때, 쉐이딩 추정부(124)는 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정할 수 있다.
도 5는 일 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 5에서의 플랫 결정부(201)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 5에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.
단계 S1에서 플랫 결정부(201)는 촬영된 피사체가 평탄한지를 결정한다. 플랫 결정부(201)는 영상에 기발생한 쉐이딩에 의한 화소값의 변화를 제외하고 일부 영역 내의 피사체에 의한 화소값의 변화 정도를 구함으로써, 촬영된 피사체가 평탄한지 여부를 결정한다. 또한, 플랫 결정부(201)는 피사체의 휘도나 피사체의 색온도를 결정할 수도 있다.
단계 S1에서의 판단 결과, 촬영된 피사체가 평탄하면, 단계 S2에서 쉐이딩 추정 계수 결정부(202)는 제1 쉐이딩 추정 계수군으로부터 평가값(Ed)이 가장 작은 쉐이딩 추정 계수를 결정한다. 일 실시예에 따를 때, 평가값(Ed)은 후술할 수학식 13에 의해 구해질 수 있다.
이하 표 1은, 일 실시예에 따른 6종류의 광원에 각각 대응하는 6종류의 쉐이딩 추정 계수(또는 쉐이딩 추정 테이블)를 포함하는 제1 쉐이딩 추정 계수군의 일례를 나타낸다.
Figure pat00001
표 1을 참조하면, 표 번호가 커질수록 적외선광이 많은 광원에 대응하여 R의 보정 강도가 강한 쉐이딩 추정 계수가 된다.
단계 S1에서의 판단 결과, 촬영된 피사체가 평탄하지 않으면, 단계 S3에서 쉐이딩 추정 계수 결정부(202)는 제1 쉐이딩 추정 계수군으로부터 제2 쉐이딩 추정 계수군을 선택한다. 구체적으로, 쉐이딩 추정 계수 결정부(202)는 제1 쉐이딩 추정 계수군 중 쉐이딩 추정 계수를 적어도 하나 선택하여 제2 쉐이딩 추정 계수군으로 할 수 있다.
단계 S4에서 쉐이딩 추정 계수 결정부(202)는 제2 쉐이딩 추정 계수군으로부터 평가값(Ed)이 가장 작은 쉐이딩 추정 계수를 선택한다.
또한, 쉐이딩 추정 계수 결정부(202)는 제2 쉐이딩 추정 계수군을 선택하는 경우, 피사체의 휘도(Bv)나 광원 색온도(R Color Gain) 등의 촬상 조건에 따라, 쉐이딩 추정 계수군 중에서 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다.
이하 표 2는, 일 실시예에 따른 피사체의 휘도(Bv)나 광원 색온도(R Color Gain)에 따라 제2 쉐이딩 추정 계수군을 선택하는 일례를 나타낸다.
Figure pat00002
표 2를 참조하면, 제2 쉐이딩 추정 계수군은 기설정된 전구색 임계값(R Gain Limit Threshold), 실내 임계값(Indoor Bv Threshold) 및 실외 임계값(Outdoor Bv Threshold)에 대해 조건 1 및 조건 2를 적용하여 선택된다. 일 실시예에 따를 때, 촬상 영상이 평탄하다고 결정된 경우(즉, 플랫한 피사체) 내지 피사체 휘도(Bv)에 따라 촬상 영상이 실내 영상(즉, Bv＜실내 임계값)이라고 결정된 경우, 광원의 색온도(R Color Gain)에 따라 제1 쉐이딩 추정 계수군 중에서 제2 쉐이딩 추정 계수군이 선택된다. 반면, 촬상 영상이 평탄하지 않다고 결정된 경우(즉, 플랫하지 않은 피사체), 피사체의 휘도(Bv)에 따라 제1 쉐이딩 추정 계수군 중에서 제2 쉐이딩 추정 계수군이 선택된다.
구체적으로, 조건 1에서 플랫한 피사체 내지 피사체 휘도＜실내 임계값이고, 또한 조건 2에서 광원 색온도＜전구색 임계값인 경우, 표 1의 제1 쉐이딩 추정 계수군 중에서 전체 광원의 쉐이딩 추정 계수(즉, 표 번호 0 내지 5)가 제2 쉐이딩 추정 계수군으로 선택된다. 또한, 조건 1에서 플랫한 피사체 내지 피사체 휘도＜실내 임계값이고, 또한 조건 2에서 광원 색온도≥전구색 임계값인 경우, 표 1의 전구색계 광원 이외의 쉐이딩 추정 계수(즉, 표 번호 0 내지 3)가 제2 쉐이딩 추정 계수군으로 선택된다.
또한, 조건 1에서 플랫하지 않은 피사체이고, 또한 조건 2에서 실내 임계값≤피사체 휘도≤실외 임계값인 경우, 표 1의 실외측 광원의 쉐이딩 추정 계수(즉, 표 번호 1 내지 3)가 제2 쉐이딩 추정 계수군으로 선택된다. 또한, 조건 1에서 플랫하지 않은 피사체이고, 또한 조건 2에서 피사체 휘도＞실외 임계값인 경우, 표 1의 실외 광원의 쉐이딩 추정 계수(즉, 표 번호 1 내지 2)가 제2 쉐이딩 추정 계수군으로 선택된다.
도 6은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 6에서의 플랫 결정부(201)의 동작을 포함할 수 있다.
도 6을 참조하면, 일 실시예에 따른 플랫 결정부(201)는 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 영상 평탄도를 결정할 수 있다.
일 실시예에 따른 플랫 결정부(201)는 영상의 대각선 상에 위치하는 블록의 G값을 이용하여 피사체가 플랫한지를 결정할 수 있다. 도 6을 참조하면, 영상의 대각선 상의 블록이 판단 대상의 블록이 되도록, 영상을 4라인으로 분할한다. 예를 들어, 영상의 좌상으로부터 중앙으로 연장되는 L2C 라인 상의 좌측 상방 블록(301)으로부터 중앙 블록(302)까지, 영상의 중앙으로부터 우측 하방으로 연장되는 C2R 라인 상의 중앙 블록(303)으로부터 우측 하방 블록(304)까지, 영상의 우측 상방으로부터 중앙으로 연장되는 R2C 라인 상의 우측 상방 블록(305)으로부터 중앙 블록(306)까지, 영상의 중앙으로부터 좌측 하방으로 연장되는 C2L 라인 상의 중앙 블록(307)으로부터 좌측 하방 블록(308)까지를 판단 대상 블록으로 할 수 있다. 따라서, 도 6에서 영상을 분할하는 라인은 영상의 모서리로부터 중앙으로 연장되는 라인과 중앙으로부터 대각으로 연장되는 라인이나, 이에 한정되지 않는다.
일 실시예에 따른 플랫 결정부(201)는 수학식 1 내지 수학식 3을 이용하여, 해당 피사체가 플랫한지를 결정할 수 있다.
일 실시예에 따른 upG 및 dwG는 수학식 1과 같이 나타낼 수 있다.
Figure pat00003
수학식 1에서, deltaG는 i+1번째 블록의 G값인 Gi+1과 i번째 블록의 G값인 Gi의 차이값이다. upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다.
한편, 우측 상방 블록(305)으로부터 중앙 블록(306)까지, 중앙 블록(307)으로부터 좌측 하방 블록(308)까지에 대해서도 수학식 1을 이용할 수 있다.
또한, 플랫 결정부(201)는 수학식 1의 결과를 이용하여, L2C 라인과 C2R 라인간의 라인 평가값(El1), R2C 라인과 C2L 라인간의 라인 평가값(El2)을 결정할 수 있다.
일 실시예에 따른 E11 및 E12는 수학식 2와 같이 나타낼 수 있다.
Figure pat00004
수학식 2에서, L2C는 좌측 상방 블록(301)부터 중앙 블록(302)까지의 라인, L2C_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, L2C_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다. 또한, C2R는 중앙 블록(303)부터 우측 하방 블록(304)까지의 라인, C2R_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, C2R_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다. 또한, R2C는 우측 상방 블록(305)부터 중앙 블록(306)까지의 라인, R2C_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, R2C_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다. 또한, C2L는 중앙 블록(307)부터 좌측 하방 블록(308)까지의 라인, C2L_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, C2L_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다.
또한, 플랫 결정부(201)는 수학식 2의 결과를 이용하여, 플랫 평가값(Ef)을 결정할 수 있다.
일 실시예에 따른 플랫 평가값(Ef)은 수학식 3과 같이 나타낼 수 있다.
Figure pat00005
플랫 결정부(201)는 수학식 3의 결과를 이용하여, 플랫 평가값(Ef)이 소정의 임계값(즉, 플랫 임계값) 미만인 경우 해당 피사체를 플랫한 피사체로 판단하고, 플랫 평가값(Ef)이 소정의 임계값(즉, 플랫 임계값) 이상인 경우 해당 피사체를 플랫하지 않은 피사체로 판단한다.
도 7은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 화소값의 예를 나타내는 도면이다.
도 7을 참조하면, 영상의 대각선 상의 블록의 G값에 대하여, 좌측 상방 블록(301)부터 중앙 블록(302)까지의 경우 deltaG는 0보다 크고, 한편 중앙 블록(303)부터 우측 하방 블록(304)까지의 경우 deltaG는 0보다 작다. 도 7 및 수학식 1을 참조하면, upG와 dwG의 합은 0에 가까워질 것이다. 즉, 피사체가 플랫하다면, upG와 dwG의 합은 0에 가까워질 것이다.
도 8은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 8에서의 플랫 결정부(201)의 동작을 포함할 수 있다.
도 8을 참조하면, 도 8A의 경우, 플랫 평가값(Ef)이 플랫 임계값 미만이기 때문에, 플랫 결정부(201)는 피사체가 플랫하다고 판단하고, 도 8B의 경우, 플랫 평가값(Ef)이 플랫 임계값 이상이기 때문에, 플랫 결정부(201)는 피사체가 플랫하지 않다고 판단한다.
도 9는 일 실시예에 따른 쉐이딩 추정 계수 결정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 9에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.
일 실시예에 따른 쉐이딩 추정 계수 결정부(202)는 제1 내지 제2 쉐이딩 추정 계수군으로부터 쉐이딩 추정 계수를 선택하나, 이에 한정되지 않는다.
단계 S010에서 쉐이딩 추정 계수 결정부(202)는 블록 통계부(118)가 쉐이딩 보정의 대상이 되는 영상으로부터 얻은 블록 통계값을 이용하여, 모든 블록에 대해 블록의 R값, G값 및 B값의 평균값(Rav, Gav 및 Bav)을 각각 결정한다.
단계 S020에서 쉐이딩 추정 계수 결정부(202)는 R값, G값 및 B값의 규격화 계수(Rg, Bg 및 Gg)를 각각 결정한다.
일 실시예에 따른 R값, G값 및 B값의 규격화 계수(Rg, Bg 및 Gg)는 수학식 4와 같이 나타낼 수 있다.
Figure pat00006
수학식 4에서, R값, G값 및 B값의 규격화 계수(Rg, Bg 및 Gg)는 영상 전체의 RGB 밸런스를 일치시키기 위한 계수로서, 영상을 규격화하는 게인(gain)이다.
단계 S030에서 쉐이딩 추정 계수 결정부(202)는 Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)를 계산한다.
일 실시예에 따른 Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)는 수학식 5와 같이 나타낼 수 있다.
Figure pat00007
수학식 5에서, Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)는 R값, G값 및 B값의 블록 통계값 R(x,y), G(x,y) 및 B(x,y)에 대해 R값, G값 및 B값의 쉐이딩 추정 계수(Cr[t](x,y), Cg[t](x,y) 및 Cb[t](x,y)) 및 R값, G값 및 B값의 규격화 계수(Rg, Gg 및 Bg)를 각각 곱하여 얻을 수 있다.
일 실시예에 따를 때, S030에서 쉐이딩 추정 계수는 쉐이딩 추정 초기 계수를 이용할 수 있다. 일 실시예에 따른 쉐이딩 추정 초기 계수는 영상 주변부의 R신호를 가장 약하게 보정하는 초기 설정(디폴트)의 쉐이딩 추정 계수일 수 있다. 쉐이딩 추정 계수가 영상에 적합할수록 Rc[t](x,y), Gc[t](x,y), Bc[t](x,y)는 동일하고 1.0에 가까워지고, 한편 Rc[t](x,y), Gc[t](x,y), Bc[t](x,y)를 영상으로 표시하면, 영상은 회색 일색이 될 수 있다.
단계 S040에서 쉐이딩 추정 계수 결정부(202)는 블록 특성치를 나타내는 R 신호비(Rr[t](x,y))를 계산한다.
일 실시예에 따른 R 신호비(Rr[t](x,y))는 수학식 6과 같이 나타낼 수 있다.
Figure pat00008
한편, 일 실시예에 따를 때 수학식 6에서 분모는 Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)의 합일 수도 있다. 또한, Rr[t](x,y)는 R 신호비를 부가하거나 또는 R 신호비 대신 B 신호비를 이용할 수도 있다.
수학식 6을 참조하면, 규격화 계수를 적용한 RGB 영상에 대해 R 신호비를 구하고 있기 때문에, 쉐이딩 추정 계수가 영상에 적합할수록, 유채색의 피사체, 예를 들어, 영상 전면이 빨강이 되는 피사체라 하더라도 R 신호비는 1.0에 가까운 값이 된다. 반면, 쉐이딩 추정 계수가 영상에 적합하지 않을수록, R 신호비는 1.0으로부터 멀어진 값이 될 수 있다.
단계 S060에서 쉐이딩 추정 계수 결정부(202)는 공간 필터(m)를 이용하여 현재 블록과 그 주변 블록의 R 신호비의 차이 Rd(x, y)를 계산하고, 이를 이용하여 블록 무게(Wb(x, y))를 계산한다.
일 실시예에 따른 공간 필터(m)는 수학식 7과 같이 나타낼 수 있다.
Figure pat00009
일 실시예에 따른 Rd(x, y)는 수학식 8과 같이 나타낼 수 있다.
Figure pat00010
일 실시예에 따른 블록 무게(Wb(x, y))는 수학식 9와 같이 계산될 수 있다.
Figure pat00011
수학식 9에서, Rdmax는 R 신호비의 차이(Rd(x, y))의 최대값이다. 수학식 9를 참조하면, 촬영한 피사체의 복잡도, 영상의 일부 영역의 복잡도를 블록 무게에 반영시켜 영상의 변화가 작고 매끄러울 때, 즉 블록간의 유사도가 클 경우 블록 무게가 커지고, 영상의 변화가 클 때, 즉 블록간의 유사도가 작을 경우 블록 무게가 작아질 수 있다. 또한, Wb(x, y)는 R 신호비에 부가하거나 또는 R 신호비 대신 B 신호비를 이용할 수도 있다.
단계 S080에서 쉐이딩 추정 계수 결정부(202)는 그룹 특성치를 나타내는 R 신호비(GpRr[j])를 계산한다.
일 실시예에 따른 그룹 특성치를 나타내는 R 신호비(GpRr[j])는 수학식 10과 같이 나타낼 수 있다.
Figure pat00012
그룹 특성치를 나타내는 R 신호비(GpRr[j])는 Wb(x, y)를 이용하여 그룹에 포함되는 블록의 R 신호비(Rr(i))를 가중 평균하여 결정할 수 있다. 수학식 10을 참조하면, 현재 블록과 주변 블록과의 유사도에 따른 블록 무게(Wb(x, y))를 이용함으로써, 영상의 변화가 작은 블록이나 그 블록이 구성하는 영역의 특성치를 보다 중시하여 그룹 특성치를 계산할 수 있다. 예를 들어, 초록색 잎, 붉은 꽃, 하늘 또는 건물 등이 찍힌 영상에서는 초록색 잎과 붉은 꽃이 인접한 블록이나 영역의 특성치보다 하늘이나 건물이 있는 블록이나 영역의 특성치를 중시할 수 있다.
단계 S100에서 쉐이딩 추정 계수 결정부(202)는 기준 그룹을 선택한다. 영상 중앙부의 그룹으로부터 차례로 외측 그룹을 향해 탐색하고, 기준 그룹으로서 하나의 그룹을 결정한다.
일 실시예에 따른 기준 그룹은 수학식 11과 같이 나타낼 수 있다.
Figure pat00013
일 실시예에 따를 때, 그룹 특성치를 나타내는 R 신호비(GpRr[j]) 중 최초로 수학식 11을 만족하는 그룹이 기준 그룹으로서 선택될 수 있다. 기준 그룹 임계값(Th1, Th2)은 그 사이에 1.0이 포함되도록, 예를 들어, 0.9, 1.1로 설정할 수 있다. 규격화 계수를 적용한 후에 기준 그룹을 선택하고 있으므로, 무채색 피사체인 경우에 한정하지 않고, 유채색 피사체인 경우라도 기준 그룹이 선택될 수 있다.
단계 S110에서 쉐이딩 추정 계수 결정부(202)는 기준 그룹이 존재하는지 결정한다.
단계 S110에서의 판단 결과, 기준 그룹이 존재하면, 단계 S120에서 쉐이딩 추정 계수 결정부(202)는 그룹 평가값(Dg[j＋k])을 계산한다. 일 실시예에 따를 때, 그룹 평가값은 단계 S100에서 선택한 기준 그룹보다 외측의 각 그룹에 대해 계산할 수 있다. 예를 들어, 도 10에서 기준 그룹으로서 그룹 1이 선택된 경우 쉐이딩 추정 계수 결정부(202)는 그룹 1의 외측의 그룹인 그룹 2 내지 그룹 5의 각 그룹에 대해 그룹 평가값을 계산한다.
일 실시예에 따른 그룹 평가값(Dg[j＋k])은 수학식 12와 같이 계산될 수 있다.
Figure pat00014
수학식 12를 참조하면, 각 그룹 평가값(Dg[j＋k])은 기준 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j])와 외측 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j＋k])와의 차이에 기설정된 외측 그룹의 무게(Wg[j＋k])를 곱하여 결정될 수 있다.
또한, 일 실시예에 따를 때, 각 그룹 평가값(Dg[j＋k])은 기설정된 외측 그룹의 무게(Wg[j＋k])를 곱하지 않고, 기준 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j])와 외측 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j＋k])와의 차이만으로 결정될 수도 있다.
이하 표 3은, 일 실시예에 따른 그룹의 무게(Wg)의 일례를 나타낸다.
Figure pat00015
영상 주변부의 그룹이 무게(Wg)는 크다. 따라서, 쉐이딩 추정 계수의 영상 주변부의 쉐이딩 보정의 적합성 여부를 더 높은 정밀도로 평가할 수 있다.
단계 S140에서 쉐이딩 추정 계수 결정부(202)는 그룹 평가값(Dg[j＋k])의 절대값의 총합을 취하여 단계 S030에서 이용한 쉐이딩 추정 계수가 적합한지 여부를 결정하기 위한 쉐이딩 추정 계수의 평가값(Ed)을 계산한다.
일 실시예에 따른 쉐이딩 추정 계수의 평가값(Ed)은 수학식 13과 같이 나타낼 수 있다.
Figure pat00016
쉐이딩 추정 계수의 평가값(Ed)은 영상 중심부로부터 주변부에 걸쳐 감쇠하는 R 신호비의 특징을 추출하는 것으로서 쉐이딩 보정의 대상이 되는 영상에 대해 단계 S030에서 이용한 쉐이딩 추정 계수의 적합성 여부를 판단하는 지표가 될 수 있다.
또한, 일 실시예에 따를 때, 쉐이딩 추정 계수의 평가값(Ed)은 그룹 평가값의 분산 등 수학식 13과 다른 그룹 평가값의 통계치로도 구할 수 있다.
단계 S150에서 쉐이딩 추정 계수 결정부(202)는 모든 쉐이딩 추정 계수(즉, 제1 쉐이딩 추정 계수군 또는 제2 쉐이딩 추정 계수군에 포함되는 쉐이딩 추정 계수)에 대한 쉐이딩 추정 계수의 평가값(Ed)을 산출하였는지를 판단한다.
단계 S150에서의 판단 결과, 모든 쉐이딩 추정 계수에 대한 쉐이딩 추정 계수의 평가값(Ed)을 산출하지 않은 경우, 단계 S030으로 되돌아 가서, 쉐이딩 추정 계수의 평가값(Ed)을 산출하지 않은 쉐이딩 추정 계수에 대해 단계 S030으로부터 단계 S150까지의 처리를 반복한다.
일 실시예에 따를 때, 쉐이딩 추정 초기 계수 이외의 쉐이딩 추정 계수의 평가값(Ed)을 산출하는 경우에는, 단계 S100의 기준 그룹의 선택 및 단계 S110의 기준 그룹이 존재하는지 여부를 실시하지 않는다. 그리고, 쉐이딩 추정 초기 계수의 평가값(Ed)을 산출하는 경우에 선택한 기준 그룹을, 쉐이딩 추정 초기 계수 이외의 쉐이딩 추정 계수의 평가값(Ed)을 산출할 때의 기준 그룹으로서 선택할 수 있다.
단계 S160에서 쉐이딩 추정 계수 결정부(202)는 쉐이딩 추정 초기 계수를 포함하는 모든 쉐이딩 추정 계수 중에서 쉐이딩 추정 계수의 평가값(Ed)을 가장 작게 하는 쉐이딩 추정 계수를 선택한다.
또한, 단계 S110에서의 판단 결과, 기준 그룹이 없는 경우, 쉐이딩 추정 계수 결정부(202)는 쉐이딩 추정 초기 계수를 쉐이딩 추정 계수로 선택할 수 있다.
일 실시예에 따를 때, 쉐이딩 보정 계수는 쉐이딩 추정 계수와 동일한 값뿐만 아니라 다른 값이 이용될 수도 있다.
또한, 일 실시예에 따를 때, 쉐이딩 추정 계수를 평가하기 위해, RGB 색공간(color space)뿐만 아니라 HSV 등의 다른 색공간을 이용하여 쉐이딩 추정 계수를 평가할 수도 있다. 구체적으로, 블록간의 유사도인 블록 무게를 산출할 때, RGB값을 HSV 변환하고, 블록간 휘도 내지 채도 변화에 따라 블록 무게를 산출할 수도 있다.
또한, 일 실시예에 따를 때, 쉐이딩 추정 계수 결정부(202)는 기준 그룹 선택 처리부터 쉐이딩 추정 계수의 평가값 결정까지(단계 S100 내지 단계 S150) 실시하고 있지만, 쉐이딩 추정 계수 결정부(202)는 쉐이딩 보정의 대상이 되는 영상을 복수의 영역으로 나누고, 각각의 영역에 대해 기준 그룹 선택 처리부터 쉐이딩 추정 계수의 평가값 결정까지 실시할 수도 있다.
도 10은 일 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 10에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.
쉐이딩 추정 계수 결정부(202)는 블록 통계부(118)가 영상 영역을 격자상으로 분할하여 취득한 각 블록을 영상 중앙부로부터의 거리에 따라 복수의 그룹으로 분류한다. 도 10을 참조하면, 영상(400) 중앙부로부터 영상 주변부를 따라, 영상의 각 블록을 그룹 0부터 그룹 5까지 6개의 그룹으로 분류하고 있다. 그리고, 기준 그룹을 선택하기 위해서 도 10에 도시한 그룹 0으로부터 탐색을 개시하고, 쉐이딩의 영향을 받지 않는 것으로 생각되는 그룹 3까지를 탐색할 수 있다.
도 11은 다른 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 11에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.
쉐이딩 추정 계수 결정부(202)는 영상(401)을 4개의 영역(I 내지 IV)으로 나누고, 또한 영역(I 내지 IV) 내의 각 블록을 영상 중앙부로부터의 거리에 따라 복수의 그룹으로 분류한다. 도 11을 참조하면, 영역 I에서 각 블록을 그룹 I－1부터 그룹 I－5까지 5개의 그룹으로 분류한다. 그리고, 쉐이딩 추정 계수 결정부(202)는 영역(I 내지 IV)의 각각의 영역에서 기준 그룹 선택 처리부터 쉐이딩 추정 계수의 평가값 결정까지 실시한다. 이에 따라, 각 영역(I 내지 IV)마다 각 쉐이딩 추정 계수의 평가값을 결정하고, 각 영역(I 내지 IV)마다 피사체에 적절한 쉐이딩 추정 계수를 선택할 수 있다.
도 12는 일 실시예에 따른 2개 이상의 다른 색상이 혼재된 평탄한 피사체를 포함하는 영상의 예를 나타내는 도면이다.
도 12를 참조하면, 영상(410)은 회색(gray) 배경에 파란 평탄한 피사체를 포함하고 있다. 이 경우 도 3의 쉐이딩 추정부는 도 12의 영상(410)에 대해 적합한 쉐이딩 추정 계수를 선택하지 못할 수 있다. 예를 들어, 파란색 및 빨간색 등 다른 색상의 평탄한 피사체가 혼재하는, 복잡하지 않은 단조로운 장면에서는 근방 블록의 블록 특성 유사도가 높아지기 때문에, 복잡한 피사체로 결정되지는 않는다. 그러나, 이 경우 다른 색상의 평탄부는 동일한 무게가 되므로, 피사체 색의 영향을 받아 쉐이딩 추정 에러가 발생할 수 있다.
도 13은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
다른 실시예에 따를 때, 쉐이딩 추정부는 국소적으로는 복잡하지 않고 단조로운 복수의 색상이 혼재하는 영상에서의 쉐이딩 추정 계수 선택의 에러를 감소시킬 수 있다. 구체적으로, 쉐이딩 추정부는 영상에서 대면적을 차지하는 색상의 블록을 추출하여 평가함으로써, 영상에 적합한 쉐이딩 보정 계수를 추정할 수 있다.
도 13을 참조하면, 쉐이딩 추정부(124)는 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213) 및 쉐이딩 추정 계수 결정부(214) 등을 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 쉐이딩 추정부(124)는 블록색 평가값 결정부(211) 및 블록 무게 계수 결정부(212)를 하나의 블록으로 할 수도 있다.
쉐이딩 추정부(124)는 블록색 평가값 결정부(211)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 블록 평가값 결정부(213)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 쉐이딩 추정 계수 결정부(214)의 동작을 포함할 수 있다.
블록색 평가값 결정부(211)는 블록 통계값과 정규화 게인(average gain)을 이용하여 블록색 평가값(Hb)을 결정한다. 블록 무게 계수 결정부(212)는 블록색 평가값(Hb)으로부터 히스토그램 무게를 계산하고, 히스토그램 무게와 G레벨 무게를 이용하여 블록 무게(Wb)를 결정한다. 블록 평가값 결정부(213)는 블록 통계값과 블록 무게(Wb)를 이용하여 블록 평가값(Eb)을 결정한다. 쉐이딩 추정 계수 결정부(214)는 블록 평가값(Eb)을 이용하여 그룹 평가값을 결정하고, 그룹 평가값의 변화량에 따라, 쉐이딩 추정 계수를 결정한다.
도 14는 일 실시예에 따른 블록색 평가값 결정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 14에서의 블록색 평가값 결정부(211)의 동작을 포함할 수 있다.
일 실시예에 따른 블록색 평가값 결정부(211)는 영상에서 대면적을 차지하는 색상의 블록을 결정할 수 있다.
단계 S201에서 블록색 평가값 결정부(211)는 쉐이딩 보정 전의 R값, G값 및 B값의 블록 통계값(Ri, Gi 및 Bi)에 쉐이딩 추정 초기 계수를 곱하여, R값, G값 및 B값의 블록 통계값(Rn(N, M), Gn(N, M) 및 Bn(N, M))을 결정한다. 단계 S201에 의해, 블록색 평가값 결정부(211)는 쉐이딩 보정 전의 블록 통계값에 가장 보정 강도가 약한 디폴트의 쉐이딩 추정 계수(즉, 쉐이딩 추정 초기 계수)를 곱하여 쉐이딩을 경감할 수 있다.
일 실시예에 따른 R값, G값 및 B값의 블록 통계값(Rn(N, M), Gn(N, M), Bn(N, M))은 수학식 14와 같이 나타낼 수 있다.
Figure pat00017
수학식 14에서, Nr, Ng 및 Nb는 각각 R값, G값 및 B값의 쉐이딩 추정 초기 계수이다.
단계 S202에서 블록색 평가값 결정부(211)는 모든 블록의 블록 통계값(Rn(N, M), Gn(N, M), Bn(N, M))을 R, G 및 B 각각에 대해서 더한다.
단계 S204 내지 단계 S206에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 결정하고, 또한 단계 S207 내지 단계 S209에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainB)을 결정한다. 일 실시예에 따를 때, 블록색 평가값 결정부(211)는 G값의 정규화 게인은 1.0으로 하고, R값의 정규화 게인(AverageGainR) 및 B값의 정규화 게인(AverageGainB)을 구할 수 있다.
단계 S204 내지 단계 S206에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 결정한다.
단계 S204에서 블록색 평가값 결정부(211)는 R값의 블록 통계값(Rn(N, M))의 합이 0인지를 판단한다.
단계 S204에서의 판단 결과, R값의 블록 통계값(Rn(N, M))의 합이 0이 아니라면, 단계 S205에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 G합산값/R합산값으로 결정한다. 한편, 오버플로우 방지를 위해 R값의 정규화 게인(AverageGainR)은 R값의 정규화 게인 상한(AverageGainLimitR)을 한계로 한다.
단계 S204에서의 판단 결과, R값의 블록 통계값(Rn(N, M))의 합이 0이라면, 단계 S206에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 1.0으로 결정한다.
단계 S207 내지 단계 S209에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainB)을 결정한다.
단계 S207에서 블록색 평가값 결정부(211)는 B값의 블록 통계값(Bn(N, M))의 합이 0인지를 판단한다.
단계 S207에서의 판단 결과, B값의 블록 통계값(Bn(N, M))의 합이 0이 아니라면, 단계 S208에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainb)을 G합산값/B합산값으로 결정한다. 한편, 오버플로우 방지를 위해 B값의 정규화 게인(AverageGainB)은 B값의 정규화 게인 상한(AverageGainLimitB)을 한계로 한다.
단계 S207에서의 판단 결과, B값의 블록 통계값(Bn(N, M))의 합이 0이라면, 단계 S209에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainB)을 1.0으로 결정한다.
일 실시예에 따른 R값의 정규화 게인(AverageGainR) 및 B값의 정규화 게인(AverageGainB)은 수학식 15와 같이 나타낼 수 있다.
Figure pat00018
도 15A 및 도 15B는 일 실시예에 따른 블록색 평가값 결정부, 블록 무게 계수 결정부 및 블록 평가값 결정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 15A 및 도 15B에서의 블록색 평가값 결정부(211)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 15A 및 도 15B에서의 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 15A 및 도 15B에서의 블록 평가값 결정부(213)의 동작을 포함할 수 있다.
단계 S210에서 블록 무게 계수 결정부(212)는 G레벨 무게를 결정한다. 일 실시예에 따른 G레벨 무게는, G값의 블록 통계값(Gn(N, M))을 이용할 수 있다. 블록 무게 계수 결정부(212)는 G값의 블록 통계값(Gn(N, M))이 기설정된 상한과 하한의 범위 내의 값이라면, 해당 블록의 G레벨 무게를 1로 결정하고, 그 범위 이외의 값이라면, 해당 블록의 G레벨 무게를 0으로 결정할 수 있다.
도 16은 일 실시예에 따른 블록 무게 계수 결정부(212)가 처리하는 영상의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 16에서의 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다.
도 16을 참조하면, 블록 무게 계수 결정부(212)는 암부나 포화 부근의 블록을 평가 대상으로부터 제외할 수 있다. 또한, 블록 무게 계수 결정부(212)는 임의의 블록의 R값, G값 및 B값 중 하나가 기설정된 범위 이외인 경우 해당 블록을 평가 대상 블록으로부터 제외시킬 수 있다.
단계 S211에서 블록색 평가값 결정부(211)는 블록색 평가값(Hb(N, M))을 결정한다.
일 실시예에 따른 블록색 평가값(Hb(N, M))은 수학식 16과 같이 나타낼 수 있다. 전체 블록에 대해서 블록색 평가값(Hb(N, M))을 구할 수 있다.
Figure pat00019
수학식 16을 참조하면, 수학식 14에서 구한 B값의 블록 통계값(Bn(N, M))에 수학식 15에서 구한 B값의 정규화 게인(AverageGainB)을 곱하여 블록색 평가값(Hb(N, M))을 결정할 수 있다. R값 이외에 G값 및 B값에 대해서도 블록색 평가값(Hb(N, M))을 결정할 수 있다. 일 실시예에 따를 때, 수학식 14에서 구한 블록 통계값(Bn(N, M))을 제1 블록 통계값이라 하고, 제1 블록 통계값에 B값의 정규화 게인(AverageGainB)을 곱한 값을 제2 블록 통계값(Bng(N,M))이라 한다면, 제1 블록 통계값 및 제2 블록 통계값을 이용하여 블록색 평가값(Hb(N, M))을 결정할 수 있다. 일 실시예에 따를 때, 블록색 평가값 결정부(211)는 제2 블록 통계값의 R값에 대한 비율, 제2 블록 통계값의 G값에 대한 비율 및 제2 블록 통계값의 B값에 대한 비율 중 적어도 하나를 이용하여 블록색 평가값(Hb(N, M))을 결정할 수 있다. R값에 대한 비율은 모든 RGB에 대한 R의 비율의 3배(3 R/(R＋G＋B))일 수 있고, 모든 RGB에 대한 R의 비율(R/(R＋G＋B))일 수도 있다.
단계 S212에서 블록 무게 계수 결정부(212)는 블록색 평가값(Hb)의 히스토그램을 결정한다.
단계 S213 내지 단계 S218에서 블록 무게 계수 결정부(212)는 히스토그램 무게를 결정하여 최빈값으로부터 떨어져 있는 블록을 제외할 수 있다.
단계 S213에서 블록 무게 계수 결정부(212)는 Hb의 히스토그램의 최빈값을 결정한다.
단계 S214에서 블록 무게 계수 결정부(212)는 각 블록에 대해 블록색 평가값(Hb)이 Hb의 히스토그램 최빈값의 범위 내인지를 결정한다.
단계 S214에서의 판단 결과, 블록색 평가값(Hb)이 Hb의 히스토그램 최빈값의 범위 내라면, 단계 S215에서 블록 무게 계수 결정부(212)는 Hb의 히스토그램 무게를 1로 결정한다.
단계 S216에서 블록 무게 계수 결정부(212)는 G레벨 무게와 Hb의 히스토그램 무게를 곱하여 블록 무게(Bw)를 결정한다.
단계 S214에서의 판단 결과, 블록색 평가값(Hb)이 Hb의 히스토그램 최빈값의 범위 밖이라면, 단계 S217에서 블록 무게 계수 결정부(212)는 Hb의 히스토그램 무게를 0으로 결정한다.
도 17은 일 실시예에 따른 블록 무게 계수 결정부가 생성하는 히스토그램의 예를 나타내는 도면이다.
도 17A는 블록 무게 계수 결정부가 생성하는 히스토그램의 예를 나타내는 도면이다. 도 17A를 참조하면, 0.65 내지 1.35를 0.05 간격으로 구분하였다. 도 17B는 단계 S215 및 단계 S217의 동작을 영상에 도시한 예를 나타내는 도면이다.
도 18은 일 실시예에 따른 블록 무게 계수 결정부가 처리하는 영상의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 18에서의 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다.
도 18 및 단계 216을 참조하면, 블록 무게 계수 결정부(212)는 G레벨 무게와 Hb의 히스토그램 무게를 곱하여 블록 무게(Bw)를 결정한다.
단계 S219에서 블록 평가값 결정부(213)는 쉐이딩 보정 전의 R값, G값 및 B값의 블록 통계값(Ri, Gi 및 Bi)에 쉐이딩 추정 후보 중 하나인 쉐이딩 추정 계수를 곱하여 R값, G값 및 B값의 블록 통계값(Rc, Gc 및 Bc)을 결정한다.
일 실시예에 따른 블록 통계값(Rc, Gc 및 Bc)은 수학식 17과 같이 나타낼 수 있다.
Figure pat00020
수학식 17에서, Cr[t], Cg[t]는 쉐이딩 추정 후보 중 하나인 쉐이딩 추정 계수이고, t는 표 번호이다.
단계 S221에서 블록 평가값 결정부(213)는 블록 통계값(Rc, Gc 및 Bc)에 블록 무게(Bw(N,M))를 곱하여 블록 평가값(Eb(N, M))을 결정한다.
일 실시예에 따른 블록 평가값(Eb(N, M))은 수학식 18과 같이 나타낼 수 있다.
Figure pat00021
쉐이딩 추정 계수 결정부(214)는 모든 블록의 블록 평가값(Eb)을 결정한 후, 영상 영역을 영상 중심으로부터의 거리에 따라 구분한 그룹에 대해, 그룹 내의 블록 평가값(Eb)이 0인 것을 제외하고 평균하여 해당 그룹의 그룹 평가값으로 결정한다. 그리고, 중심부의 그룹으로부터 주변부의 그룹에 걸쳐 그룹 평가값의 변화량을 쉐이딩 추정 계수의 평가값으로 결정할 수 있다.
도 19는 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
다른 실시예에 따를 때, 쉐이딩 추정부는 소정의 광원별 쉐이딩 추정 계수를 적용한 블록 통계값에 대해 블록의 유효성을 판정하고, 블록의 집합으로 구성되는 그룹의 유효성을 판정하며, 영상 중앙의 그룹으로부터 주변 그룹으로 향하는 유효 그룹의 연속성을 판정하는 판정부를 포함하고, 그룹 연속성 판정 결과에 따라 무효 그룹을 보간하여 유효화하며, 동계색(similar color)의 피사체 영역의 그룹을 추출하고, 유효 그룹의 영상 중앙부로부터 주변부에 걸친 R비의 근사 직선의 기울기 따라 촬상 영상의 보정에 적절한 쉐이딩 보정 계수를 선택함으로써 피사체에 의한 오판정을 저감시킬 수 있다.
도 19를 참조하면, 쉐이딩 추정부(124)는 도 13의 쉐이딩 추정부(124)에 포함되어 있는 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213) 및 쉐이딩 추정 계수 결정부(214) 이외에, 그룹 분류부(221), 그룹 평가값 결정부(222), 유효 그룹 결정부(223), 근사 추정부(또는, 근사 직선 추정부, 직선 근사부(224) 및 분산 추정부(225)를 더 포함하고 있으나, 이에 한정되지 않는다. 예를 들어, 근사 추정부(224)의 근사에 따라 쉐이딩 추정 계수 결정부(214)가 쉐이딩 추정 계수를 선택할 수도 있다.
쉐이딩 추정부(124)는 그룹 분류부(221)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 그룹 평가값 결정부(222)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 유효 그룹 결정부(223)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 근사 추정부(224)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 분산 추정부(225)의 동작을 포함할 수 있다.
그룹 분류부(221)는 영상의 중앙부로부터의 거리에 따라, 촬상 영상을 분할한 복수의 블록을 복수의 그룹으로 분류한다. 그룹 평가값 결정부(222)는 블록 통계값에 따라 그룹 평가값을 결정한다. 또한, 그룹 평가값 결정부(222)는 블록 통계값에 따라 블록의 유효 내지 무효를 판정하는 유효 블록 결정부를 포함할 수 있고, 그룹 내의 유효 블록에 대해 통계치의 색상 별 총합에 따라 그룹 평가값을 결정할 수 있다. 유효 그룹 결정부(223)는 그룹 평가값 또는 그룹 내의 유효 블록수에 따라 그룹의 유효 내지 무효를 결정한다. 근사 추정부(224)는 그룹 평가값에 따라, 쉐이딩 추정 계수에 의한 보정을 근사하는 근사식을 결정하고, 근사식에 따라 쉐이딩 추정 계수를 선택한다. 또한, 근사 추정부(224)는 촬상 영상의 중앙부로부터 주변부로의 유효 그룹에 대해, 색(R) 비율을 직선 근사할 수 있다. 분산 추정부(225)는 블록 평가값의 표본 분산을 결정하고, 분산값이 최소가 되는 쉐이딩 추정 계수를 선택한다.
일 실시예에 따를 때, 도 19의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212) 및 블록 평가값 결정부(213)는 각각 도 13의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212) 및 블록 평가값 결정부(213)와 동일하게 동작할 수 있다.
도 20은 일 실시예에 따른 그룹 분류부 및 그룹 평가값 결정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 20에서의 그룹 분류부(221)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 20에서의 그룹 평가값 결정부(222)의 동작을 포함할 수 있다.
단계 S301에서 그룹 분류부(221)는 촬상 영상을 분할한 복수의 블록을 사분면(Q[0] 내지 Q[3])으로 4분할하고, 또한 중앙으로부터의 거리에 따라 그룹 G[0] 내지 G[g]로 분류한다.
도 21은 일 실시예에 따른 그룹 분류부가 분류하는 그룹의 예를 나타내는 도면이다. 쉐이딩 추정부(124)는 도 21에서의 그룹 분류부(221)의 동작을 포함할 수 있다.
단계 S302에서 그룹 평가값 결정부(222)는 블록 검파 데이터에 추정 후보의 쉐이딩 추정 계수(Small Table)를 곱한다. 일 실시예에 따를 때, 그룹 평가값 결정부(222)는 쉐이딩 보정 전의 R값, G값 및 B값의 블록 통계값(Ri, Gi 및 Bi)에 쉐이딩 추정 후보 중 하나인 쉐이딩 추정 계수를 곱하여 R값, G값 및 B값의 블록 통계값(Rc, Gc 및 Bc)을 결정할 수 있다.
단계 S303에서 그룹 평가값 결정부(222)는 블록 평가값(Eb)을 결정한다. 그룹 평가값 결정부(222)는 수학식 17 및 수학식 18을 이용하여 블록 평가값(Eb)을 결정할 수 있다.
단계 S304에서 그룹 평가값 결정부(222)는 그룹 합산값(Eg[g])을 결정한다.
일 실시예에 따른 그룹 합산값(Eg[g])은 수학식 19와 같이 나타낼 수 있다.
Figure pat00022
일 실시예에 따를 때, 그룹 평가값 결정부(222)는 그룹 내에 포함되는, 쉐이딩 추정 계수를 차례로 적용한 블록 통계값 중 유효 블록의 블록 통계값의 총합을 그룹 합산값(Eg)으로 할 수 있다.
단계 S305에서 그룹 평가값 결정부(222)는 유효 블록수(Nb[g])를 결정한다.
일 실시예에 따른 유효 블록수(Nb[g])는 수학식 20과 같이 나타낼 수 있다.
Figure pat00023
수학식 20을 참조하면, 그룹 평가값 결정부(222)는 각각의 그룹(G[0] 내지 G[g])마다 블록 무게(Bw(N, M))를 합산하여 유효 블록수(Nb[g])를 결정할 수 있다.
쉐이딩 추정 계수의 모든 후보에 대해서 그룹 평가값 결정부(222)는 단계 S301 내지 단계 S305를 실시한다.
도 22A 및 도 22B는 일 실시예에 따른 유효 그룹 결정부 및 근사 추정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 22A 및 도 22B에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 22A 및 도 22B에서의 근사 추정부(224)의 동작을 포함할 수 있다.
단계 S310에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 유효 블록수(Nb[g])를 결정한다. 한편, 유효 그룹 결정부(223)는 유효 블록수(Nb[g])가 소정의 임계값(즉, 유효 블록수 임계값)보다 작은 경우, 유효 블록수(Nb[g])를 0으로 한다.
단계 S311에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 블록 평가값(Eb)의 평균값(Ag[g])을 결정한다.
일 실시예에 따른 블록 평가값(Eb)의 평균값(Ag[g])은 수학식 21과 같이 나타낼 수 있다.
Figure pat00024
유효 그룹 결정부(223)는 유효 블록수(Nb[g])가 그룹 내 유효 블록수 임계값보다 작은 경우, 블록 평가값(Eb)의 평균값(Ag[g])을 0으로 한다. 일 실시예에 따를 때, 유효 블록수(Nb[g])가 유효 블록수 임계값 미만인 그룹의 경우, 쉐이딩 추정부는 해당 그룹을 쉐이딩 추정 계수의 추정에서 제외시킬 수 있다.
단계 S312에서 유효 그룹 결정부(223)는 블록 평가값(Eb)의 평균값(Ag[g])을 영상 중앙으로부터의 거리(D[0] 내지 D[d])마다 평균하여 그룹 평가값(Ad[d])을 결정한다.
일 실시예에 따른 그룹 평가값(Ad[d])은 수학식 22와 같이 나타낼 수 있다.
Figure pat00025
도 23은 일 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다.
쉐이딩 추정부(124)는 도 23에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.
도 23을 참조하면, 거리 D[0] 내지 D[6]인 그룹의 예를 나타내고 있다.
단계 S313에서 유효 그룹 결정부(223)는 각 거리 그룹에 대해, 인접 거리 그룹과의 그룹 평가값(Ad)의 차분값(Diff)을 계산한다.
쉐이딩 추정 계수의 모든 후보에 대해서 유효 그룹 결정부(223)는 단계 S310 내지 단계 S313을 실시한다.
단계 S314에서 유효 그룹 결정부(223)는 단계 S310 내지 단계 S313에서 이용된 쉐이딩 추정 계수가 쉐이딩 추정 초기 계수인지를 판단한다.
단계 S314에서의 판단 결과, 쉐이딩 추정 초기 계수이면, 단계 S315에서 유효 그룹 결정부(223)는 그룹 평가값((Ad)[d])의 값을 이용하여 각각의 거리(D[0] 내지 D[d])마다 그룹의 유효 또는 무효를 결정(유효인 경우 Ed=1, 무효인 경우 Ed=0)한다.
일 실시예에 따를 때, 그룹 평가값((Ad)[d])이 0이거나 또는 인접 거리 그룹과의 그룹 평가값(Ad)의 차분값(Diff)이 소정의 상한치보다 크거나 소정의 하한치보다 작은 경우의 그룹은 무효로 결정할 수 있다.
도 24는 다른 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다. 쉐이딩 추정부(124)는 도 24A 및 도 24B에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다. 도 24A를 참조하면, D[2] 내지 D[6]이 유효이고, D[0] 내지 D[1]이 무효인 경우의 예이다. 도 24B를 참조하면, D[0] 내지 D[3], D[6]이 유효이고, D[4] 및 D[5]이 무효인 경우의 예이다.
일 실시예에 따를 때, 유효 그룹 결정부(223)는 촬상 영상의 중앙부에서 주변부로 향하는 그룹 중 유효 그룹의 연속성을 결정하는 그룹 연속성 결정부 및 그룹 연속성 결정 결과에 따라 무효로 결정된 그룹을 유효화하는 무효 그룹 유효화부를 포함할 수 있다.
단계 S316에서 유효 그룹 결정부(223)는 단독의 무효 그룹(즉, Ed=0)의 양측에 각각 2개 이상이 연속된 유효 그룹(즉, Ed=1)이 있고, 또한 단독의 무효 그룹과 양측의 유효 그룹과의 그룹 평가값(Ad)의 차분값(Diff)이 각각 소정의 임계값(즉, 무효 거리 그룹 보간 임계값) 이하인 경우, 단독의 무효 그룹을 유효 그룹으로 변경할 수 있다(즉, Ed=0을 1로 보간).
도 25는 일 실시예에 따른 유효 그룹 결정부의 동작방법을 설명하기 위한 도면이다.
쉐이딩 추정부(124)는 도 25에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.
도 25A 내지 24C를 참조하면, 도 25A는 D[2]의 양측 그룹 평가값(Ad)의 차분값이 소정의 임계값 이하이므로 보간 대상이 되는 예이고, 도 25B는 D[1]의 양측이 연속되지 않으므로 보간 대상이 아닌 예이며, 도 25C는 D[2] 내지 D[3]이 단독의 Ed=0이 아니므로 보간 대상이 아닌 예이다.
단계 S317에서 유효 그룹 결정부(223)는 유효 그룹의 연속수(즉, 유효 거리)(Ne)가 소정의 임계값(즉, 유효 그룹 연속수 임계값) 이상인지를 계산한다.
단계 S317에서의 판단 결과, 유효 그룹의 연속수(Ne)가 소정의 임계값보다 작으면, 단계 S318에서 유효 그룹 결정부(223)는 쉐이딩 추정 계수 결정 방식을 분산 추정으로 한다. 일 실시예에 따를 때, 유효 그룹의 연속수(Ne)가 적은 경우, 추정 곤란한 복잡한 피사체일 가능성이 높기 때문에 유효 그룹 결정부(223)는 쉐이딩 추정 계수 결정 방식을 분산 추정으로 결정할 수 있다.
한편, 단계 S317에서의 판단 결과, 유효 그룹의 연속수(Ne)가 소정의 임계값 이상이면, 또는 단계 S314에서의 판단 결과, 쉐이딩 추정 초기 계수가 아니면, 유효 그룹 결정부(223)는 쉐이딩 추정 계수 결정 방식을 근사 직선 추정으로 한다.
쉐이딩 추정 계수의 모든 후보에 대해서 그룹 평가값 결정부(222)는 단계 S314 내지 단계 S319를 실시한다.
단계 S320에서 근사 추정부(224)는 쉐이딩 추정 계수의 모든 후보에 대해서 최소제곱법을 이용하여 유효 그룹의 그룹 평가값(Ad)에 대한 근사 직선을 추정한다. 일 실시예에 따른 유효 거리는 단계 S315 및 단계 S316에서 쉐이딩 추정 초기 계수를 이용하여 구한 유효 거리를 쉐이딩 추정 계수의 모든 후보에 적용할 수 있다. 예를 들어, 쉐이딩 추정 초기 계수의 유효 거리가 D[2] 내지 D[4]인 경우, 모든 쉐이딩 추정 계수의 유효 거리를 D[2] 내지 D[4]로 할 수 있다.
단계 S321에서 근사 추정부(224)는 단계 S320에서 추정한 근사 직선의 기울기가 음수가 되는 쉐이딩 추정 계수의 표 번호가 있는지를 판단한다.
단계 S321에서의 판단 결과, 근사 직선의 기울기가 음수가 되는 쉐이딩 추정 계수의 표 번호가 있으면, 단계 S322에서 근사 추정부(224)는 음수의 기울기 중에서 0에 가장 가까운 값을 가지도록 하는 표 번호를 쉐이딩 추정 계수의 표 번호로 결정한다.
단계 S321에서의 판단 결과, 근사 직선의 기울기가 음수가 되는 쉐이딩 추정 계수의 표 번호가 없으면, 단계 S323에서 근사 추정부(224)는 가장 작은 값을 가지도록 하는 표 번호를 쉐이딩 추정 계수의 표 번호로 결정한다.
일 실시예에 따를 때, 근사 추정부(224)는 근사한 직선이 수평에 가까워지거나 또는 미리 설정한 기준의 기울기에 가장 가까워지는 쉐이딩 추정 계수를 선택할 수도 있다. 또한, 근사 추정부(224)는 R값의 비율을 근사하는 경우, 모든 RGB에 대한 R값의 비율(R/(R＋G＋B))을 이용할 수도 있고, 모든 RGB에 대한 R값의 비율의 3배(3R/(R＋G＋B))를 이용할 수도 있다.
단계 S324에서 근사 추정부(224)는 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀다. 일 실시예에 따를 때, 근사 추정부(224)는 추정 결과가 안정되도록 히스테리시스(hysteresis)를 이용하여 추정 결과의 갱신 여부를 결정한다.
단계 S324에서의 차이를 구한 결과, 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀 값이 1이면, 단계 S325에서 근사 추정부(224)는 Slope(기울기)＞SlopeHys(히스테리시스의 기울기)x(-1)인지를 판단한다.
단계 S324에서의 차이를 구한 결과, 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀 값이 (-1)이면, 단계 S326에서 근사 추정부(224)는 Slope(기울기)<SlopeHys(히스테리시스의 기울기)인지를 판단한다.
단계 S325의 판단 결과, Slope(기울기)＞SlopeHys(히스테리시스의 기울기)x(-1)이면, 단계 S327에서 근사 추정부(224)는 추정 결과를 이전 추정된 표 번호로 유지한다.
단계 S324에서의 차이를 구한 결과 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀 값이 ±1이 아니면, 단계 S325의 판단 결과 Slope(기울기)＞SlopeHys(히스테리시스의 기울기)x(-1)이 아니면, 또는 단계 S326의 판단 결과 Slope(기울기)<SlopeHys(히스테리시스의 기울기)이 아니면, 단계 S328에서 근사 추정부(224)는 추정 결과를 현재 추정된 표 번호로 갱신한다.
단계 S326의 판단 결과, Slope(기울기)<SlopeHys(히스테리시스의 기울기)이면, 단계 S329에서 근사 추정부(224)는 추정 결과를 이전 추정된 표 번호로 유지한다.
도 26은 일 실시예에 따른 근사 추정부가 처리하는 근사 직선을 나타내는 그래프이다.
쉐이딩 추정부(124)는 도 26에서의 근사 추정부(224)의 동작을 포함할 수 있다.
도 26을 참조하면, 쉐이딩 추정 계수의 모든 후보에 대해 근사 직선이 있으며, 해당 근사 직선 중 과보정이 아니고 또한 보정 결과가 수평에 가깝게 만드는 쉐이딩 추정 계수(도 26(a))를 추정 결과로 한다. 한편, 모든 근사 직선이 과보정인 경우, 보정 정도를 가장 약하게 하는 쉐이딩 추정 계수를 추정 결과로 할 수 있다.
도 27은 일 실시예에 따른 분산 추정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 27에서의 분산 추정부(225)의 동작을 포함할 수 있다.
일 실시예에 따른 분산 추정부(225)는, 근사 직선 추정이 곤란한 복잡한 피사체의 경우 영상 전체의 블록 평가값(Eb)의 평균값인 블록 평가 평균값(Ab) 및 각 블록 평가값(Eb)으로부터 표본 분산을 구하고, 분산값을 최소가 되게 하는 표 번호(t)를 추정 결과로 할 수 있다.
단계 S331에서 분산 추정부(225)는 유효 블록의 블록 평가 평균값(Ab)을 결정한다.
일 실시예에 따른 유효 블록의 블록 평가 평균값(Ab)은 수학식 23과 같이 나타낼 수 있다.
Figure pat00026
수학식 23에서, Nb는 유효 블록(블록 무게(Bw)=1)의 수이다.
단계 S332에서 유효 블록의 표본 분산(Varp)을 결정한다.
단계 S333에서 유효 블록의 표본 분산(Varp)의 최소치와 그에 대응되는 표 번호(t)를 저장한다.
일 실시예에 따른 유효 블록의 표본 분산(Varp)은 수학식 24와 같이 나타낼 수 있다.
Figure pat00027
단계 S334에서 쉐이딩 추정 계수의 모든 후보에 대해서 분산 추정부(225)는 단계 S331 내지 단계 S333을 실시했는지를 판단한다.
단계 S335에서 분산 추정부(225)는 유효 블록의 표본 분산(Varp)이 최소가 되게 하는 표 번호(t)를 추정 결과로 할 수 있다.
일 실시예에 따른 단계 S335에 대한 추정 결과(result)는 수학식 25와 같이 나타낼 수 있다.
Figure pat00028
다른 실시예에 따를 때, 쉐이딩 추정부는 쉐이딩 추정 계수의 후보를 적용한 블록 영상에 대해, 영상 중앙의 블록으로부터의 거리에 따라 블록을 그룹별 분류하고, 추정에 이용할 그룹인지를 판정한다. 영상 중앙의 그룹으로부터 영상 주변의 그룹의 색상(R) 비를 직선 근사할 수 있다. 복수의 광원에 각각 대응하는 쉐이딩 추정 테이블에 대한 근사 직선의 기울기에 따라 쉐이딩 추정 계수에 일 대 일로 대응한 쉐이딩 보정 테이블을 선택할 수 있다. 다른 실시예에 따른 쉐이딩 추정부는 영상 중앙 영역에서 주변 영역으로의 색상(R) 비 변화의 연속성을 평가하여 테이블 평가값을 결정하기 때문에, 피사체색에 의한 색상(R) 비의 변화를 배제함으로써 쉐이딩 추정 오차를 줄일 수 있다.
도 28은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
다른 실시예에 따를 때, 쉐이딩 추정부는 유효 그룹의 판정 방법을 변경하여 유효 그룹의 수, 즉 평가 대상 그룹의 수를 늘리고, 또한 연속되는 유효 그룹마다 분산을 구하고, 구한 분산을 가산한 것을 쉐이딩 추정 계수의 평가값으로 할 수 있다.
도 28을 참조하면, 쉐이딩 추정부(124)는 도 19의 쉐이딩 추정부(124)에 포함되어 있는 근사 추정부(224) 및 분산 추정부(225) 대신, 그룹 분산 추정부(226) 및 블록 분산 추정부(227)를 포함하고 있으나, 이에 한정되지 않는다. 쉐이딩 추정부(124)는 그룹 분산 또는 블록 분산 중 어느 하나에 따라 쉐이딩을 추정할 수 있다.
쉐이딩 추정부(124)는 그룹 분산 추정부(226)의 동작을 포함할 수 있다.
일 실시예에 따른 그룹 분산 추정부(226)는 연속되는 유효 그룹(즉, 그룹 연속 영역)마다 그룹 평가값(Ad[d])의 분산값을 구하고, 분산값을 합산한 것을 쉐이딩 추정 계수의 평가값으로 하고, 평가값을 가장 작게 하는 쉐이딩 추정 계수를 결정할 수 있다.
쉐이딩 추정부(124)는 블록 분산 추정부(227)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 그룹 분산 추정부(226)의 동작을 포함할 수 있다.
일 실시예에 따른 블록 분산 추정부(227)는 그룹 연속 영역의 수가 소정의 임계값보다 작을 때, 그룹 분산 추정부(226)의 처리 대신에 유효 블록 분산 추정 처리를 실시할 수 있다.
도 29는 다른 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.
쉐이딩 추정부(124)는 도 29에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.
일 실시예에 따를 때, 도 29의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213), 그룹 분류부(221), 그룹 평가값 결정부(222) 및 유효 그룹 결정부(223)는 각각 도 19의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213), 그룹 분류부(221), 그룹 평가값 결정부(222) 및 유효 그룹 결정부(223)와 동일하게 동작할 수 있다.
단계 S401에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 유효 블록수(Nb[g])를 결정한다. 한편, 유효 그룹 결정부(223)는 유효 블록수(Nb[g])가 소정의 임계값(즉, 유효 블록수 임계값)보다 작은 경우, 유효 블록수(Nb[g])를 0으로 한다. 일 실시예에 따를 때, 단계 S401의 동작은 단계 S310의 동작과 동일할 수 있다.
단계 S402에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 블록 평가값(Eb)의 평균값(Ag[g])을 결정한다. 일 실시예에 따를 때, 단계 S402의 동작은 단계 S311의 동작과 동일할 수 있다.
일 실시예에 따른 블록 평가값(Eb)의 평균값(Ag[g])은 단계 S311의 수학식 21을 이용하여 구할 수 있다. 이 때, 유효 블록수(Nb[g])가 0인 경우, 유효 그룹 결정부(223)는 블록 평가값(Eb)의 평균값(Ag[g])을 0으로 한다. 즉, 유효 그룹 결정부(223)는 그룹 내의 유효 블록수가 적은 경우 그 그룹을 무효로 할 수 있다.
단계 S403에서 유효 그룹 결정부(223)는 블록 평가값(Eb)의 평균값(Ag[g])을 영상 중앙으로부터의 거리(D[0] 내지 D[d])마다 평균하여 그룹 평가값(Ad[d])을 결정한다. 일 실시예에 따를 때, 단계 S403의 동작은 단계 S312의 동작과 동일할 수 있다.
일 실시예에 따른 그룹 평가값(Ad[d])은 단계 S312의 수학식 22을 이용하여 구할 수 있다.
쉐이딩 추정 계수의 모든 후보에 대해서 유효 그룹 결정부(223)는 단계 S401 내지 단계 S403을 실시한다.
단계 S404에서 유효 그룹 결정부(223)는 단계 S401 내지 단계 S403에서 이용된 쉐이딩 추정 계수가 쉐이딩 추정 초기 계수인지를 판단한다.
단계 S404에서의 판단 결과, 쉐이딩 추정 초기 계수이면, 단계 S405에서 유효 그룹 결정부(223)는 각 거리 그룹에 대해, 인접 거리 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)을 계산한다.
단계 S406에서 유효 그룹 결정부(223)는 유효 그룹 및 그룹 연속 영역을 결정한다.
도 30은 일 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.
쉐이딩 추정부(124)는 도 30에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.
도 30A 및 도 30B를 참조하면, 도 30A 및 도 30B의 가로 방향은 영상을 거리 D[0] 내지 D[6]의 7개의 그룹으로 나눈 경우를 나타내고, 또한 도 30A 및 도 30B의 세로 방향은 각 거리(D[0] 내지 D[6])마다의 그룹 평가값(Ad[d])을 나타낸다.
일 실시예에 따를 때, 현재 그룹의 그룹 평가값(Ad[d])과 현재 그룹의 양측 그룹에 대한 그룹 평가값(Ad[d])의 차분값(Diff)이 모두 소정의 임계값(즉, 인접 그룹차 판단 임계값)보다 큰 경우, 유효 그룹 결정부(223)는 현재 그룹을 무효 그룹으로 판단한다.
도 30A를 참조하면, D[0] 내지 D[2]의 그룹 평가값(Ad[d]) 및 D[3] 내지 D[6]의 그룹 평가값(Ad[d])은 각각 거의 일정하고, 이들 거리 사이의 차분값은 거의 0이다. 또한, D[2]와 D[3]간 차분값은 인접 그룹차 판단 임계값보다 크다. 이 경우, 유효 그룹 결정부(223)는 D[0] 내지 D[6]의 각 그룹을 모두 유효 그룹으로 판단한다.
도 30B를 참조하면, D[0] 내지 D[2]의 그룹 평가값(Ad[d]) 및 D[4] 내지 D[6]의 그룹 평가값(Ad[d])은 각각 거의 일정하고, 이들 거리 사이의 차분값은 거의 0이다. 또한, D[2]와 D[3]간 차분값 및 D[3]와 D[4]간 차분값은 각각 인접 그룹차 판단 임계값 보다 크다. 이 경우, 유효 그룹 결정부(223)는 D[0] 내지 D[2], D[4] 내지 D[6]의 각 그룹을 유효 그룹으로 판단하고, 한편 D[3]은 무효 그룹으로 판단한다.
일 실시예에 따를 때, D[0] 또는 D[6]와 같이 인접 그룹이 하나만 존재하는 그룹의 경우, 해당 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)을 인접 그룹차 판단 임계값과 비교하여 유효 그룹인지를 판단할 수 있다.
도 31은 다른 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.
쉐이딩 추정부(124)는 도 31에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.
도 31을 참조하면, 도 30A 및 도 30B와 마찬가지로, 도 31의 가로 방향은 영상을 거리 D[0] 내지 D[6]의 7개의 그룹으로 나눈 경우를 나타내고, 도 31의 세로 방향은 각 거리(D[0] 내지 D[6])마다의 그룹 평가값(Ad[d])을 나타낸다.
Diff 배열은 현재 그룹의 그룹 평가값(Ad[d])과 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)에 따라 0 또는 1을 저장한다. 일 실시예에 따를 때, Diff 배열은 현재 그룹의 그룹 평가값(Ad[d])과 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)이 인접 그룹차 판단 임계값 이상인 구간은 0으로 하고, 현재 그룹의 그룹 평가값(Ad[d])과 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)이 인접 그룹차 판단 임계값 이내인 구간은 1로 하여 이 값을 저장한다. 이 때, Diff 배열은 (인접 그룹의 수)＋1만큼의 길이를 가지며, Diff 배열의 처음과 끝 성분은 0으로 한다.
그리고, Ed 배열은 각 그룹의 유효성 여부를 판단한다. 일 실시예에 따를 때, Ed 배열은 Diff 배열의 인접 성분 중 적어도 한 성분이 1인 경우 1을 저장한다. 그리고, 유효 그룹 결정부(223)는 Ed 배열 내에서 2개 이상 1이 연속되는 경우, 즉 유효 그룹이 2개 이상 연속되는 경우 그룹 연속 영역(Series)이라 판단한다.
도 31을 참조하면, Diff 배열은 (*­D0), (D1­D2), (D2­D3), (D7­*) 성분에 0을 저장한다. 그리고, Ed 배열은 D2 성분에 0을 저장한다. 따라서, 유효 그룹 결정부(223)는 D[2]를 무효 그룹이라 판단하고, 그 외의 D[0], D[1], D[3] 내지 D[6]를 유효 그룹이라 판단한다. 한편, 유효 그룹 결정부(223)는 D[0] 및 D[1], 또한 D[3] 내지 D[6]을 각각 그룹 연속 영역으로 판단한다.
단계 S407에서 유효 그룹 결정부(223)는 그룹 연속 영역의 수(Ns)가 소정의 임계값(즉, 연속 영역 임계값) 이상인지를 판단한다.
도 31을 참조하면, 그룹 연속 영역의 수(Ns)는 2개이다.
단계 S407에서의 판단 결과 그룹 연속 영역의 수(Ns)가 연속 영역 임계값 이상이면, 또는 단계 S404에서의 판단 결과 쉐이딩 추정 초기 계수가 아니면, 단계 S408에서 그룹 분산 추정부(226)는 그룹 평가값(Ad[d])의 평균값(AveAd)을 결정한다.
일 실시예에 따른 그룹 평가값(Ad[d])의 평균값(AveAd)은 수학식 26과 같이 나타낼 수 있다.
Figure pat00029
수학식 26에서, Ne는 그룹 연속 영역 내의 그룹수이다. 일 실시예에 따를 때, 쉐이딩 추정 초기 계수에 따른 분산값 내지 쉐이딩 추정 초기 계수 이외의 쉐이딩 추정 계수에 따른 분산값을 구할 때 단계 S405 및 단계 S406에서 구한 그룹 연속 영역이 공통적으로 이용될 수 있다.
단계 S409에서 그룹 분산 추정부(226)는 그룹 평가값(Ad[d])의 분산값(SeriesVarp[n])을 결정한다.
일 실시예에 따른 그룹 평가값(Ad)의 분산값(SeriesVarp[n])은 수학식 27과 같이 나타낼 수 있다.
Figure pat00030
단계 S410에서 그룹 분산 추정부(226)는 테이블 평가값(Et[t])을 결정한다.
일 실시예에 따른 테이블 평가값(Et[t])은 수학식 28과 같이 나타낼 수 있다.
Figure pat00031
쉐이딩 추정 계수의 모든 후보에 대해서 그룹 분산 추정부(226)는 단계 S408 내지 단계 S410을 실시한다.
단계 S411에서 그룹 분산 추정부(226)는 모든 쉐이딩 추정 계수 중에서 테이블 평가값(Et[t])을 가장 작게 하는 쉐이딩 추정 계수를 결정한다.
일 실시예에 따른 단계 S411에 대한 쉐이딩 추정 계수는 수학식 29와 같이 나타낼 수 있다.
Figure pat00032
한편, 단계 S407에서의 판단 결과 그룹 연속 영역의 수(Ns)가 연속 영역 임계값보다 작으면, 단계 S412에서 블록 분산 추정부(227)는 추정 방식을 분산 추정으로 한다. 일 실시예에 따를 때, 블록 분산 추정부(227)의 동작은 도 27의 분산 추정부(225)의 동작과 동일할 수 있다.
일 실시예에 따른 영상 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100 : 영상 처리 장치
300 : 입력부
310 : 데이터 처리부

Claims (20)

  1. 촬상 영상을 입력 받는 입력부; 및
    상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 복수의 블록 각각의 영상 특성을 나타내는 블록 통계를 결정하고, 상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 데이터 처리부;
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 촬상 영상의 휘도, 상기 광원의 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 데이터 처리부는,
    상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하고, 상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하고, 상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하고, 상기 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.
  5. 제4항에 있어서,
    상기 데이터 처리부는,
    상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는, 영상 처리 장치.
  6. 제4항에 있어서,
    상기 데이터 처리부는,
    상기 복수의 블록을 복수의 그룹으로 분류하고, 상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하고, 상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하고, 상기 결정된 유효 그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 데이터 처리부는,
    상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정하는, 영상 처리 장치.
  8. 제6항에 있어서,
    상기 데이터 처리부는,
    상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 데이터 처리부는,
    상기 추정된 근사 직선의 기울기가 음수이면 상기 음수의 기울기 중 0에 가장 가까운 값을 가지도록 하는 쉐이딩 추정 계수를 결정하고, 상기 추정된 근사 직선의 기울기가 음수가 아니면 상기 기울기 중 가장 작은 값을 가지도록 하는 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.
  10. 제6항에 있어서,
    상기 데이터 처리부는,
    상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.
  11. 촬상 영상을 입력 받는 단계;
    상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 블록의 영상 특성을 나타내는 블록 통계를 결정하는 단계;
    상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및
    상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 단계;
    를 포함하는, 영상 처리 방법.
  12. 제11항에 있어서,
    상기 쉐이딩 추정 계수를 결정하는 단계는,
    상기 촬상 영상의 휘도, 광원 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함하는, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 촬상 영상의 평탄도는,
    상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정하는, 영상 처리 방법.
  14. 제11항에 있어서,
    상기 쉐이딩 추정 계수를 결정하는 단계는,
    상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하는 단계;
    상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하는 단계;
    상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하는 단계; 및
    상기 결정된 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 블록 무게를 결정하는 단계는,
    상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는 단계를 포함하는, 영상 처리 방법.
  16. 제14항에 있어서,
    상기 쉐이딩 추정 계수를 결정하는 단계는,
    상기 복수의 블록을 복수의 그룹으로 분류하는 단계;
    상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하는 단계;
    상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하는 단계; 및
    상기 결정된 유효그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 그룹 평가값을 결정하는 단계는,
    상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정하는, 영상 처리 방법.
  18. 제16항에 있어서,
    상기 쉐이딩 추정 계수를 결정하는 단계는,
    상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및
    상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 더 포함하는, 영상 처리 방법.
  19. 제16항에 있어서,
    상기 쉐이딩 추정 계수를 결정하는 단계는,
    상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및
    상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 쉐이딩 추정 계수를 결정하는 단계를 더 포함하는, 영상 처리 방법.
  20. 제11항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020150153810A 2014-11-21 2015-11-03 영상 처리 장치 및 방법 KR102366254B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/948,922 US9661290B2 (en) 2014-11-21 2015-11-23 Image processing apparatus and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2014-236433 2014-11-21
JP2014236433 2014-11-21
JPJP-P-2015-155685 2015-08-06
JP2015155685A JP6573798B2 (ja) 2014-11-21 2015-08-06 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20160061251A true KR20160061251A (ko) 2016-05-31
KR102366254B1 KR102366254B1 (ko) 2022-02-22

Family

ID=56102612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153810A KR102366254B1 (ko) 2014-11-21 2015-11-03 영상 처리 장치 및 방법

Country Status (2)

Country Link
JP (1) JP6573798B2 (ko)
KR (1) KR102366254B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021256504A1 (ko) * 2020-06-17 2021-12-23
CN112819838B (zh) * 2021-04-19 2021-07-06 浙江华创视讯科技有限公司 图像增强方法、电子装置和存储介质
CN113259556B (zh) * 2021-05-06 2023-04-18 深圳市中诺通讯有限公司 分区域消除亮度差与色差的方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327497A (ja) * 1998-05-14 1999-11-26 Hitachi Ltd 映像信号処理装置および表示装置
US20050270425A1 (en) * 2004-06-08 2005-12-08 Min Kyung-Sun Video signal processing apparatus and method to enhance image sharpness and remove noise
KR20110016812A (ko) * 2009-08-12 2011-02-18 삼성테크윈 주식회사 촬상장치 및 촬상방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137015B2 (ja) * 2004-06-30 2008-08-20 キヤノン株式会社 画像処理装置及び方法
JP4603319B2 (ja) * 2004-09-01 2010-12-22 パナソニック株式会社 画像入力装置
JP2008053931A (ja) * 2006-08-23 2008-03-06 Fujifilm Corp 撮像装置
JP2008277926A (ja) * 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
JP6004221B2 (ja) * 2012-03-22 2016-10-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327497A (ja) * 1998-05-14 1999-11-26 Hitachi Ltd 映像信号処理装置および表示装置
US20050270425A1 (en) * 2004-06-08 2005-12-08 Min Kyung-Sun Video signal processing apparatus and method to enhance image sharpness and remove noise
KR20110016812A (ko) * 2009-08-12 2011-02-18 삼성테크윈 주식회사 촬상장치 및 촬상방법

Also Published As

Publication number Publication date
JP6573798B2 (ja) 2019-09-11
JP2016105578A (ja) 2016-06-09
KR102366254B1 (ko) 2022-02-22

Similar Documents

Publication Publication Date Title
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
KR101678691B1 (ko) 광원의 특성을 이용한 이미지 처리 장치 및 방법
US8941755B2 (en) Image processing device with automatic white balance
KR100983037B1 (ko) 자동 화이트 밸런스 조정 방법
US20100245618A1 (en) White balance control apparatus and method
KR101030393B1 (ko) 디지털 영상의 화이트 밸런스 조정 장치 및 방법
JP6029954B2 (ja) 撮像装置
JP5847471B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
KR101685887B1 (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
KR20170030418A (ko) 화상 처리 장치 및 화상 처리 방법
KR20060118352A (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램
KR102366254B1 (ko) 영상 처리 장치 및 방법
KR101695246B1 (ko) 광원 추정 장치 및 광원 추정 방법
US9219896B1 (en) Method of color processing using a color and white filter array
US8026954B2 (en) System and computer-readable medium for automatic white balancing
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP6346431B2 (ja) 画像処理装置及び画像処理方法
JP6276564B2 (ja) 画像処理装置及び画像処理方法
US9661290B2 (en) Image processing apparatus and method
KR100839093B1 (ko) 입력 영상의 휘도 및 색상 측정 방법 및 장치
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
KR20150106775A (ko) 화이트 밸런스 보정 장치 및 방법
JP6188360B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに判別装置
US11488286B2 (en) Method for determining Moire pattern, method for suppressing Moire pattern and circuit system thereof
JP5963913B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant