KR20110130266A - 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체 - Google Patents

영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체 Download PDF

Info

Publication number
KR20110130266A
KR20110130266A KR1020100049828A KR20100049828A KR20110130266A KR 20110130266 A KR20110130266 A KR 20110130266A KR 1020100049828 A KR1020100049828 A KR 1020100049828A KR 20100049828 A KR20100049828 A KR 20100049828A KR 20110130266 A KR20110130266 A KR 20110130266A
Authority
KR
South Korea
Prior art keywords
color temperature
temperature value
value
matrix
candidate
Prior art date
Application number
KR1020100049828A
Other languages
English (en)
Other versions
KR101650842B1 (ko
Inventor
김덕수
일리아 볼
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100049828A priority Critical patent/KR101650842B1/ko
Priority to US13/113,403 priority patent/US8611656B2/en
Publication of KR20110130266A publication Critical patent/KR20110130266A/ko
Application granted granted Critical
Publication of KR101650842B1 publication Critical patent/KR101650842B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 영상 처리 방법 및 영상 처리 장치에 관한 것으로서, 특히, 서로 다른 상관 색온도를 가지는 다중 광원에 대한 컬러 프로세싱을 하는 영상 처리 방법 및 영상 처리 장치에 관한 것이다. 상기 영상 처리 방법은, 영상 화면에서 서브(sub) 단위로, 후보 색온도값과 위치값을 추정하는 단계, 상기 후보 색온도값과 위치값을 기초로, 색온도 매트릭스를 산출하는 단계, 및 상기 색온도 매트릭스를 사용하여 컬러 프로세싱을 수행하는 단계를 구비할 수 있다.

Description

영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체 {Image processing apparatus, image processing method and recording medium storing program to execute the method}
본 발명은 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체에 관한 것으로서, 특히, 서로 다른 상관 색온도를 가지는 다중 광원에 대한 컬러 프로세싱을 하는 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체에 관한 것이다.
일반적으로 카메라 ISP 프로세스에서는 영상 전체에 하나의 화이트 밸런스 게인을 적용한다. 하지만, 모든 영상에서 광원(illuminant)의 상관 색온도(CCT : correlated color temperature)가 한 가지만 존재하는 것은 아니다. 이때 일반적인 카메라 ISP는 존재하는 여러 광원의 상관 색온도의 가중평균을 사용하여 컬러 프로세싱을 한다. 그러나, 이와 같은 경우에, 하나의 상관 색온도로서 광원에 대해 구성된 화이트 밸런스 게인의 적용은 통상적으로 다른 광원의 상관 색온도에 대해 적정하지 않다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 서로 다른 상관 색온도를 가지는 다중 광원에 대한 컬러 프로세싱을 하는 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체를 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 영상 처리 방법은, 영상 화면에서 서브(sub) 단위로, 후보 색온도값과 위치값을 추정하는 단계, 상기 후보 색온도값과 위치값을 기초로, 색온도 매트릭스를 산출하는 단계, 및 상기 색온도 매트릭스를 사용하여 컬러 프로세싱을 수행하는 단계를 구비할 수 있다.
바람직하게는, 상기 영상 처리 방법은, 상기 영상 화면으로부터 기준 색온도 값을 추정하는 단계를 더 구비할 수 있다. 또한, 상기 색온도 매트릭스를 산출하는 단계는, 상기 기준 색온도 값을 이용하여, 필터링 프로세스 및 대표 색온도 값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하는(refine) 단계, 및 상기 리파인된 색온도값과 위치값으로 구성된 색온도 매트릭스를 산출하는 단계를 더 구비할 수 있다.
바람직하게는, 상기 후보 색온도값과 위치값을 추정하는 단계는, xy 좌표값을 가지고 상기 영상 화면을 서브 단위로 스캐닝하는 이동 썸네일 윈도우로 하여금, 상기 xy 좌표값, 상기 기준 색온도값, 및 조도(L) 정보 중 적어도 하나를 이용하여 상기 이동 썸네일 윈도우의 프레임 내에 들어온 서브 단위에 대한 후보 색온도 데이터를 추정하도록 하는 단계를 구비할 수 있다.
바람직하게는, 상기 리파인하는 단계는, 상기 후보 색온도값을 1차 필터링함으로써, 필터링된 후보 색온도값을 추정하는 단계, 및 상기 필터링된 후보 색온도값과 상기 기준 색온도값 사이의 절대 차에 기초하여, 가중 평균한 제1 리파인된 색온도값을 추출하는 단계를 구비할 수 있다.
바람직하게는, 상기 리파인하는 단계는, 상기 제1 리파인된 색온도값을 복수의 색온도값 범위에 기초하여 분류하고, 상기 복수의 색온도값 범위의 각 대표값에 수렴시킨 대표 색온도값을 추정하는 단계, 상기 대표 색온도값을 2차 필터링함으로써, 필터링된 대표 색온도값을 추정하는 단계, 및 상기 필터링된 대표 색온도값과 상기 기준 색온도값 사이의 절대 차에 기초하여, 가중 평균한 제2 리파인된 색온도값을 추출하는 단계를 더 구비할 수 있다.
바람직하게는, 상기 색온도 매트릭스를 산출하는 단계는, 상기 제2 리파인된 색온도값 및 그 위치값을 갖는 리파인된 색온도 데이터로 구성된 색온도 매트릭스를 산출하는 단계를 구비할 수 있다.
바람직하게는, 상기 컬러 프로세싱 단계는, 상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 서브 단위로 자동 화이트 밸런스(AWB : Automatic White Balance) 게인(gain)을 적용하는 단계를 더 구비할 수 있다.
바람직하게는, 상기 컬러 프로세싱 단계는, 상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 서브 단위로 색 보정 매트릭스(CCM : Color Correction Matrix)를 적용하는 단계를 더 구비할 수 있다.
바람직하게는, 상기 이동 썸네일 윈도우는 상기 서브 단위 이상일 수 있다.
바람직하게는, 각 대표값은 쉐도우(8000K), 일광(5500K), 형광등(3500K), 백열등(2800K), 호라이즌(horizon)(1800K)일 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 영상 처리 장치는, 영상 화면에서 서브 단위로, 후보 색온도값과 위치값을 추정하고, 그리고 상기 후보 색온도값과 위치값을 기초로, 색온도 매트릭스를 산출하도록 구성된 위치근거다중광원추정부, 및 상기 색온도 매트릭스를 사용하여 컬러 프로세싱을 수행하도록 구성된 컬러프로세싱부를 포함할 수 있다.
바람직하게는, 상기 영상 처리 장치는, 상기 영상 화면으로부터 기준 색온도 값을 추정하도록 구성된 기준광원추정부를 더 구비할 수 있다. 그리고, 상기 위치근거다중광원추정부는, 영상 화면에서 서브 단위로, 후보 색온도값과 위치값을 추정하도록 구성된 후보색온도데이터 추정부, 상기 기준 색온도 값을 이용하여, 필터링 프로세스 및 대표 색온도 값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하도록 구성된 리파인부, 및 상기 리파인된 색온도값과 위치값으로 구성된 색온도 매트릭스를 산출하도록 구성된 색온도매트릭스 산출부를 더 구비할 수 있다.
바람직하게는, 상기 후보색온도데이터추정부는, xy 좌표값을 가지고 상기 영상 화면을 서브 단위로 스캐닝하는 이동 썸네일 윈도우로 하여금, 상기 xy 좌표값, 상기 기준 색온도값, 및 조도(L) 정보 중 적어도 하나를 이용하여 상기 이동 썸네일 윈도우의 프레임 내에 들어온 픽셀에 대한 후보 색온도 데이터를 추정하도록 구성될 수 있다.
바람직하게는, 상기 리파인부는, 상기 후보 색온도값을 1차 필터링함으로써, 필터링된 후보 색온도값을 추정하고, 그리고, 상기 필터링된 후보 색온도값과 상기 기준 색온도값 사이의 절대 차에 기초하여, 가중 평균한 제1 리파인된 색온도값을 추출하도록 구성된 제1 리파인부를 구비할 수 있다.
바람직하게는, 상기 리파인부는, 상기 제1 리파인된 색온도값을 복수의 색온도값 범위에 기초하여 분류하고, 상기 복수의 색온도값 범위의 각 대표값에 수렴시킨 대표 색온도값을 추정하고, 상기 대표 색온도값을 2차 필터링함으로써, 필터링된 대표 색온도값을 추정하고, 그리고 상기 필터링된 대표 색온도값과 상기 기준 색온도값 사이의 절대 차에 종속하여, 가중 평균한 제2 리파인된 색온도값을 추출하도록 구성된 제2리파인부를 더 구비할 수 있다.
바람직하게는, 상기 색온도매트릭스부는, 상기 제2 리파인된 색온도값 및 그 위치값을 갖는 리파인된 색온도 데이터로 구성된 색온도 매트릭스를 산출하도록 구성될 수 있다.
바람직하게는, 상기 영상 처리 장치는, 상기 필터링 프로세스 및 상기 맵핑 프로세스 중 적어도 하나를 정의하는 룩업테이블을 저장하도록 구성된 저장부를 더 구비할 수 있다.
바람직하게는, 상기 이동 썸네일 윈도우는 상기 서브 단위 이상인 것을 특징으로 할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 영상 처리 장치는, 입력 영상을 촬상하는 촬상소자; 상기 입력 영상 화면으로부터 기준 색온도 값을 추정하는 기준색온도추정부; 상기 기준 색온도값을 이용하여, 상기 영상 화면에서 서브 단위로, 후보 색온도값과 위치값을 추정하도록 구성된 후보색온도데이터추정부, 및 상기 기준 색온도값을 이용하여, 필터링 프로세스 및 대표 색온도 값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하도록 구성된 리파인부를 구비한 위치근거다중광원추정부; 상기 필터링 프로세스 및 상기 맵핑 프로세스 중 적어도 하나를 정의하는 룩업테이블을 저장하도록 구성된 저장부; 상기 리파인된 색온도값과 위치값으로 구성된 색온도 매트릭스를 산출하는 색온도매트릭스산출부; 및 상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 서브 단위로 자동 화이트 밸런스(AWB : Automatic White Balance) 게인(gain) 및 색 보정 매트릭스(CCM : Color Correction Matrix) 적용하는 컬러 프로세싱부를 구비할 수 있다.
또한 본 발명의 다른 측면은 상기와 같은 영상 처리 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공할 수 있다.
본 발명에 따른 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체는, 모든 광원의 색온도를 고려하여 컬러 프로세싱을 해야할 필요가 있을 경우에 대해 상용 ISP에서 사용가능할 수 있는 장점이 있다. 결과적으로, 현존하는 CCD/CMOS 센서를 사용하는 디지털 카메라 시스템이 단일 상관 색온도 광원을 가정하여 컬러 프로세싱을 수행하여 두 가지 이상의 서로 다른 상관 색온도를 가진 광원이 존재하는 환경에서 색 재현성이 떨어지는 것을 극복할 수 있다. 즉, 다중 색온도 환경에서, 보다 더 정확한 색을 표현할 수 있다.
예컨대, CCD/CMOS 센서를 이용한 디지털 카메라 시스템에서 컬러 항상성(color constancy)을 위해 수행되는 자동 화이트 밸런스(AWB), 색 재현(CCM)의 정확도 향상을 제공할 수 있다.
또한, 영상 화면 내에 존재하는 여러 광원의 정보(CCT 매트릭스)를 찾아내는 방식을 개발, 적용하여 디지털 카메라 시스템에서 색 재현력을 높일 수 있다.
또한, 자동 화이트 밸런스(AWB), 색 재현(CCM)의 기준이 되는 색온도 정보를 단일 정보로 처리하는 것이 아니라, 영상 화면 내에 존재하는 여러 광원 정보를 모두 고려하여 처리하는 카메라를 개발할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은, 본 발명의 일실시예에 따른 영상 처리 장치를 개략적으로 나타내는 도면이다.
도 2는, 도 1의 영상 처리 장치를 보다 구체적으로 나타낸 도면이다.
도 3은 도 1의 위치 근거 다중 광원 추정부를 나타낸 도면이다.
도 4는 본 발명의 일실시 예에 따른 색온도가 다른 각각의 광원(illuminant)이 존재하는 영상 화면 내부의 위치를 표현한 맵(map)을 나타낸 도면이다.
도 5는 거리-가중치(distance-weight)의 제1 룩업테이블의 그래프를 나타낸 도면이다.
도 6은 색온도값 범위에 따라 대표값을 맵핑시킨 제2 룩업테이블을 나타낸 도면이다.
도 7은, 본 발명의 일실시 예에 따른 영상 처리 방법을 나타낸 순서도(Flowchart)이다.
도 8은 도 7의 영상 처리 방법에서, 리파인된 색온도 데이터를 추출하는 단계를 자세히 나타낸 순서도이다.
도 9는 도 7의 영상 처리 방법에서, 리파인된 색온도 데이터를 추출하는 단계를 또한 자세히 나타낸 순서도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은, 본 발명의 일실시 예에 따른 영상 처리 장치(100)를 개략적으로 나타내는 도면이다. 예를 들어, 영상 처리 장치(100)는 디지털 카메라, 디지털 비디오 레코더, 휴대폰 카메라, PDA(personal digital assistants), PMP(personal multimedia player) 등과 같은 영상 처리 장치를 포함할 수 있다.
도 1을 참조하면, 영상 처리 장치(100)는 위치 근거 다중 광원 추정부(110) 및 컬러 프로세싱부(120)를 구비할 수 있다. 영상 신호(DATAIN)가 입력되면, 위치 근거 다중 광원 추정부(110)는 영상 화면에서 서브 단위로, 후보 색온도값과 위치값을 추정하고, 그리고 상기 후보 색온도값과 위치값을 기초로, 색온도 매트릭스(CCT matrix)를 산출하도록 구성된다. 그리고, 컬러프로세싱부(120)는 색온도 매트릭스를 사용하여 컬러 프로세싱을 입력 영상(DATAIN)에 수행하도록 구성된다. 이하, 도 2를 참조하여, 도 1의 영상 처리 장치(100)의 데이터 흐름에 대해 더 구체적으로 살펴보기로 한다.
도 2는, 도 1의 영상 처리 장치(100)를 보다 구체적으로 나타낸 도면이다.
도 1을 참조하면, 영상 처리 장치(200)는, 촬상소자(210), 디모자이크블록(220), 컬러 프로세싱부(120), 광원추정부(230), 저장부(240)를 구비할 수 있다.
촬상소자(210)는 피사체(미도시)로부터 영상을 촬영하여 영상 신호를 생성할 수 있다. 촬상소자(210)로 CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이, CCD(Charge coupled device) 센서 어레이 등을 사용할 수 있다. 예컨대 촬상소자(210)는 빨강(R : Red), 초록(G : Green), 파랑(B : Blue)의 3 종류의 컬러 필터를 가지는 이미지 센서일 수 있고, 입력 영상에 대해 별개의 R, G, B 표현들을 생성할 수 있다. 다만, 이에 한정되는 것은 아니다.
아날로그/디지털(A/D) 변환부(미도시)는 촬상소자(210)로부터 공급된 아날로그 신호를 디지털 신호로 변환한다. 입력 영상의 각 픽셀에 대하여 예컨대 14 비트의 픽셀 데이터에 양자화된다. 물론 촬상소자(210)의 특성에 따라 아날로그/디지털 변환부가 필요 없는 경우도 있을 수 있다.
디모자이크블록(220)은, 한 픽셀에 대하여 한 색씩(즉 채널 1개의 정보)의 픽셀 데이터에 대하여, 인접 픽셀 데이터를 이용하여, 한 픽셀에 대하여, 3 색(RGB)(즉, 채널 3개의 정보)이 갖추어질 수 있게 하는 보간 처리(interpolation)를 한다. 이때 보간 처리를 디모자이크(demosaicking)라고 한다.
컬러 프로세싱부(120)는 디모자이크로 복원된 3개 채널의 R, G, B 상태를 인간의 인식치에 가깝게 가공하기 위한 컬러 프로세싱하고, 화이트 밸런스(WB) 처리부(122), 색 보정 매트릭스(CCM : Color Correction Matrix) 처리부(124), 감마 보정부(126)를 구비할 수 있다. 컬러 프로세싱은 주로 그레이를 맞추기 위한 화이트 밸런스(white balance)와 색 재현(color reproduction)을 위한 색 보정을 포함한다. 색 보정은, 보간된 R, G, B 이미지를 대상 출력 색공간(color space)로 변환하기 위한 색 보정 매트릭스(CCM : Color Correction Matrix) 연산 및 비 선형성을 보정하기 위한 감마 보정을 포함할 수 있다. 이런 컬러 프로세싱은 화이트 밸런스(WB) 처리부(122), 색 보정 매트릭스 처리부(124), 감마 보정부(126)가 수행한다.
이어서, 액정표시장치(LCD) 등의 디스플레이인, 표시부(미도시)가, 감마보정부(126)로부터 공급된 출력 영상 신호(DATAOUT)를 모니터에 표시할 수 있다.
특히, 화이트 밸런스(WB) 처리부(122) 및 색 보정 매트릭스(CCM : Color Correction Matrix) 처리부(124)는 광원추정부(230)로부터 출력된 색온도 매트릭스(CCT matrix)를 사용해서, 화이트 밸런스 게인을 적용하고 색 보정 매트릭스 연산에 의한 색 재현 보정 처리를 행한다. 이에 대한 구체적인 설명은 광원추정부(230)의 동작과 더불어 후술하기로 한다.
광원추정부(230)는 기준광원추정부(115), 위치 근거 다중 광원 추정부(110)를 구비할 수 있다. 예컨대 어떤 광원의 색좌표가 특정 온도의 흑체의 색좌표와 같을 경우 이 온도를 광원의 색온도로 정의하며, 대부분의 경우 정확히 일치하지 않기 때문에 근사 색좌표를 이용하여 상관색온도로 정의한다. 광원을 구별할 때 색온도라는 개념을 도입해서 수치로 표현한다. 본 명세서에서는 상관 색온도와 색온도를 혼용하기로 한다.
우선, 기준광원추정부(115)는 촬상 소자(210)로부터 출력된 영상 신호의 영상 화면으로부터 단일 광원이 존재한다는 가정하에, 기준 색온도값을 추정한다. 영상 화면으로부터 기준 색온도값을 추정하는 방법은 당업자에게 널리 알려져 있으므로 여기에서는 자세한 설명을 생략한다. 예컨대 GWA(grey world assumption)를 사용할 수 있다.
다음으로 위치 근거 다중 광원 추정부(110)는 영상 화면 전체가 아니라, 상기 영상 화면에서 서브 단위로 광원의 색온도값와 그 위치값을 추정하고, 그 광원의 색온도값와 그 위치값으로 구성된 색온도 매트릭스를 산출한다. 그 구체적인 구성은 도 2를 참조하여 후술한다.
그리고, 저장부(240)는 색온도값 추정에 필요한 룩업테이블, 색온도값을 리파인(refine)하는데 필요한 룩업 테이블과 같은 맵핑 정보를 저장할 수 있다.
결과적으로, 본 발명은, 상기 본 발명의 구성으로부터 하나의 영상 화면 내에 존재하는 여러 광원 정보(즉, 색온도 매트릭스(CCT matrix))를 찾아내는 방식을 개발, 적용하여 예컨대 디지털 카메라 시스템에서 색 재현력을 높일 수 있는 장점을 가진다.
환언하면, 자동 화이트 밸런스(AWB), 색 재생(CCM)의 기준이 되는 색온도 정보를 단일 정보(즉, 기준 색온도값)로 처리하는 것이 아니라, 한 영상 화면 내에 존재하는 여러 광원의 정보를 모두 고려하여 처리하는 예컨대 디지털 카메라 시스템을 개발할 수 있다.
예컨대, 화이트 밸런스(WB) 처리부(122)는, 자동 화이트 밸런스(AWB)를 영상 처리 장치에서 사용할 때, R,G,B를 레벨에 맞추기 위해 게인(gain)을 적용하는 역할을 한다. 이때, 종래에는 영상 화면 전체에 대하여, 화이트 밸런스 게인 컨트롤 하에 한 가지 게인을 주었다. 하지만, 본 발명은 색온도 매트릭스 개념을 도입하여, 2-차원 영상 화면에서 픽셀마다, 화이트 밸런스 게인을 다르게 적용할 수 있게 되었다는 장점을 지닌다. 즉, 이제 색온도 매트릭스를 사용해서, 픽셀 개수만큼 화이트 밸런스 게인을 다르게 할 수 있다. 예컨대 한 영상 화면에 다른 두 가지 빛이 공존하는 화면이 있을 수 있는데, 종래에는 중간 정도의 트레이드오프(trade -off)를 만족시키는 중간 정도의 광원을 모델링한 다음에, 그 광원으로 영상 화면 전체에 같은 화이트 밸런스 게인을 줬으나, 본 발명은 구분을 해줘서 두 가지 광원에 대한 화이트 밸런스를 전부 커버할 수 있게 되었다.
이에 상응하여, 다중 상관 색온도 환경에서, 색 보정 매트릭스(CCM : Color Correction Matrix) 처리부(124) 또한, 색온도 매트릭스를 이용하여, 화이트 밸런스(WB) 처리부(122)에 의해 화이트 밸런스 처리가 수행된 RGB 픽셀 데이터에 색 보정 매트릭스(CCM : Color Correction Matrix)를 곱하여 색재현 처리를 수행할 수 있다.
이하, 도 3을 참조하여, 위치근거다중광원추정부(110)에 대해 더 살펴 보기로 한다.
도 3은 도 1의 위치근거다중광원추정부(110)를 나타낸 도면이다.
도 3를 참조하면, 위치근거다중광원추정부(110)는, 후보 색온도값과 위치값을 추정하도록 구성된 후보 색온도 데이터 추정부(310), 및 기준 색온도값을 이용하여, 필터링 프로세스 및 대표 색온도 값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하는(refine) 리파인부(320), 및 리파인된 색온도 데이터로 구성된 색온도 매트릭스를 산출하도록 구성된 색온도 매트릭스 산출부(330)를 구비할 수 있다. 또한 리파인부(220)는 제1 리파인부(322) 및 제2 리파인부(324)를 구비할 수 있다.
후보 색온도 데이터 추정부(210), 제1 리파인부(322), 및 제2 리파인부(324)에 대해서는 도 4 내지 도 6을 참조하여 후술하기로 한다.
도 4는 본 발명의 일실시 예에 따른 색온도가 다른 각각의 광원(illuminant)이 존재하는 영상 화면(400) 내부의 위치를 표현한 맵(map)을 나타낸 도면이다.
도 4을 참조하면, 이동 썸네일 윈도우(MTW : Moving thumbnail window)(410)가 영상화면(400)을 서브 단위로 스캐닝하면서, 이동 썸네일 윈도우(410)의 프레임 내에 들어온 서브 단위에 대한 후보 색온도 데이터(후보 색온도값, 위치값)를 추정하는 것을 나타낸다. 이때, 이동 썸네일 윈도우(410) 서브 단위로 움직이고, 이동 썸네일 윈도우의 면적은 서브 이상일 수 있다. 서브 단위는 픽셀 단위일 수 있다 다만 이에 한정되는 것은 아니다. 또한, 도 4을 참조하면, W는 영상화면(400)의 폭이고, H는 영상 화면(400)의 높이를 나타낸다.
이때, 후보 색온도 데이터 추정부(210)에 의해 추정된 후보 색온도 데이터(후보 색온도값, 위치값)는 [수학식 1]과 같이 표시할 수 있다.
Figure pat00001
Figure pat00002
여기에서, CCT xy 는 후보 색온도 데이터(후보 색온도값, 위치값)를 나타내고, W xy 는 이동 썸네일 윈도우의 프레임에 들어온 영상화면의 xy 좌표값을 나타낸다. 또한, CCT global 은 기준 색온도값을 나타내고, L은 조도를 나타낸다. 또한 w는 이동 썸네일 윈도우의 폭이고, h는 이동 썸네일 윈도우의 높이이다. 함수 SubAWB()는 후보 색온도값 및 위치값을 구하는 함수이다. 또한, x, y는 자연수이고, x 좌표, y 좌표의 인덱스를 나타낸다.
도 4와 수학식 1을 참조하면, xy 좌표값을 가지고 영상 화면을 서브 단위로 스캐닝하는 이동 썸네일 윈도우(410)가, 상기 xy 좌표값, 기준 색온도값(CCT global ), 및 조도(L) 정보를 이용하여 상기 이동 썸네일 윈도우의 프레임 내에 들어온 서브 단위에 대한 후보 색온도 데이터(후보 색온도값, 위치값)를 추정할 수 있다.
참고로, 이동 썸네일 윈도우의 사이즈가 w,h 라고 하고, 영상 화면의 사이즈가 W,H라면 후보 색온도 데이터 (CCTxy)의 개수는 W-w, H-h가 될 수 있다.
예컨대, 영상화면(400)이 3 X 3 (W X H) 픽셀 어레이이고, 이동 썸네일 윈도우(MTW)가 1 X 1 (w X h) 픽셀 크기라고 가정한다. 그러면, 후보 색온도 데이터는 영상화면(400)의 픽셀 개수만큼 나올 수 있으므로, 총 9개이다.
먼저 이동 썸네일 윈도우(410)가 위치 값을 구하는 것부터 살펴본다. 상기와 같은 가정하에, 인덱스 x는 0 이상 2 (W-w = 3-1 =2) 이하이고, 인덱스 y는 0 이상 2 (H-h = 3-1 = 2) 이하이다. 그러므로, 후보 색온도 데이터 (CCTxy)는 모두 CCT00, CCT10, CCT12, CCT01, CCT11, CCT21, CCT02, CCT12, CCT22가 나온다. 그리고, 상응하는 xy 좌표값은 (0, 0), (1, 0), (1, 2), (0, 1), (1, 1), (2, 1), (0, 2), (1, 2), (2, 2)이다. 이와 같이, xy 좌표를 알았으므로, 각각의 후보 색온도의 위치 값을 추정할 수 있다. 다만, 이와 같은 방법은 하나의 예시에 불과할 뿐, 이에 한정되는 것은 아니다.
다음으로, 이동 썸네일 윈도우(410)가 후보 색온도값을 추정하는 방법에 대해 살펴본다. 이동 썸네일 윈도우의 프레임에 들어온 영상화면의 색온도값을 추정하는 방법은, 기준 색온도를 구할 때의 방법에 대응한다. 따라서, 색온도를 구하는 방법은 당업자에게 널리 알려져 있으므로 여기에서는 자세한 설명을 생략한다. 다만 기준 색온도를 구할 때는, 영상 화면 전체에 대해 구하였지만, 후보 색온도를 구할 때는 이동 썸네일 윈도우(410)의 프레임 내에 들어온 영상화면의 일부에 대해 각각 구하는 차이가 있다. 색온도를 추정할 때 일반적으로 조도(L)를 사용할 수 있고, 기준 색온도를 이용해서 색온도 추정의 정확도를 높일 수 있다.
여태까지 후보 색온도 데이터(후보 색온도값, 위치값)를 구하였다. 하지만, 후보 색온도값은, 노이즈(noise) 특성이 많이 때문에 색온도 변동(fluctuation)이 심하다. 따라서, 후보 색온도값을 실제 컬러 프로세싱에서 사용될 수 있도록 리파인먼트(refinement), 즉 개선하는 작업이 필요하다. 이와 관련하여 다시 도 3의 제1 리파인부(322)의 동작을 나타내는 [수학식 2]를 살펴본다.
Figure pat00003
수학식 (2-1)을 참조하면, 제1 리파인부(322)는 후보색온도값(CCT)를 저역 통과 필터(LPF)를 통과시켜 제1차 블러링(blurring)을 시킨다. 그 결과 평탄화된 후보 색온도값(CCTsmooth1)이 구해진다.
수학식 (2-2)를 참조하면, 제1 리파인부(322)는 평탄화된 후보 색온도값(CCTsmooth1)과 기준 색온도값(CCTglobal) 사이의 절대차, 즉 거리(Distance)를 구한다.
수학식 (2-3)을 참조하면, 제1 리파인부(322)는 상기 거리(Distance)를 이용해서, 제1 룩업테이블(LUT)을 통해 가중치(W1)을 구한다. 이런 제1 룩업테이블은 저장부(240)에 저장되어 있을 수 있고, 도 5와 같은 특성을 가질 수 있다.
도 5는 거리-가중치(distance-weight)의 제1 룩업테이블의 그래프(500)를 나타낸 도면이다. 도 5를 참조하면, 제1 룩업테이블의 그래프(500)는 거리(Distance)에 따라서, 가중치(W1)를 구분해줘서 거리(Distance)가 커지면 가중치(W1)는 1에 수렴되고, 작아지면 가중치(W1)는 0으로 수렴될 수 있다.
다시, 수학식 (2-4)를 참조하면, 제1 리파인부(322)는 상기 구해진 가중치(W1)에 따라서, 평탄화된 후보 색온도값(CCTsmooth1)과 기준 색온도값(CCTglobal) 간에 가중 평균한 제1 리파인된 색온도값(CCTrefine1)을 추출할 수 있다.
제1 리파인된 색온도값(CCTrefine1)을 한층 더 개선시키는 작업이 필요할 수 있다. 이와 관련하여, 도 3의 제2 리파인부(324)의 동작을 나타내는 [수학식 3]을 살펴본다.
Figure pat00004
수학식 (3-1)을 참조하면, 제2 리파인부(324)는, 제1 리파인된 색온도값(CCTrefine1)을 제2 룩업테이블(LUT2)을 통해 복수의 색온도값 범위에 기초하여 분류한다. 이어서, 제2 리파인부(324)는, 분류된 제1 리파인된 색온도값(CCTrefine1)을 제2 룩업테이블(LUT)을 통해 각 복수의 색온도값 범위의 대표값에 수렴시킨다. 그 결과 대표 색온도값(CCTsimple)이 구해진다. 이와 같은 과정을 통하여 복잡한 제1 리파인된 색온도값(CCTrefine1)을 단순화시킬 수 있다. 이런 제2 룩업테이블은 저장부(240)에 저장되어 있을 수 있고, 도 6과 같은 특성을 가진다.
도 6은 색온도값 범위에 따라 대표값을 맵핑시킨 제2 룩업테이블(LUT2)(600)을 나타낸 도면이다.
도 6을 참조하면, 제2 룩업테이블(LUT2)(600)에서, 지정된 대표값은 쉐도우(shadow)(8000K), 일광(Daylight)(5500K),형광등(Fluorescent)(3500K), 백열등(Incand)(2800K), 호라이즌(horizon)(1800K)일 수 있다.
수학식 (3-1) 이후의 절차는 수학식 2에 대응한다.
즉, 수학식 (3-2)을 참조하면, 제2 리파인부(324)는 대표 색온도값(CCTsimple)을 저역 통과 필터(LPF)를 통과시켜 제2차 블러링(blurring)을 시킨다. 그 결과, 평탄화된 대표 색온도값(CCTsmooth2)이 구해진다.
수학식 (3-3)를 참조하면, 제2 리파인부(324)는 평탄화된 대표 색온도값(CCTsmooth2)과 기준 색온도값(CCTglobal) 사이의 절대차, 즉 거리(Distance)를 구한다.
수학식 (3-4)을 참조하면, 제2 리파인부(324)는 상기 거리(Distance)를 이용해서, 제1 룩업테이블(LUT)을 통해 가중치(W2)을 구한다. 이런 제1 룩업테이블은 저장부(240)에 저장되어 있을 수 있고, 도 5와 같은 특성을 가질 수 있다. 상기 설명한 바와 같이, 거리(Distance)가 커지면 가중치(W2)는 1에 수렴되고, 작아지면 가중치(W2)는 0으로 수렴될 수 있다.
다시, 수학식 (3-5)를 참조하면, 제2 리파인부(324)는 상기 구해진 가중치(W2)에 따라서, 평탄화된 대표 색온도값(CCTsmooth2)과 기준 색온도값(CCTglobal) 간에 가중 평균한 제2 리파인된 색온도값(CCTrefine2)을 추출할 수 있다.
다시 도 3을 참조하면, 색온도 매트릭스 산출부(330)는, 상기 제2 리파인된 색온도값 및 그 위치값을 갖는 리파인된 색온도 데이터(제2 리파인된 색온도값, 위치값)로 구성된 색온도 매트릭스를 산출할 수 있다. 또한, 상기 설명된 것과 같이, 상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 자동 화이트 밸런스(AWB : Automatic White Balance) 게인(gain) 및 색 보정 매트릭스(CCM : Color Correction Matrix)를 적용할 수 있다. 만약에, 상기 색온도 매트릭스의 모든 컴포넌트의 제2 리파인된 색온도값 모두 동일하다면, 환언하면, 실제 프로세싱에서 사용되는 색온도값이 동일하다면, 그 동일한 색온도값은 기준광원추정부(115)에서 추정된 기준 색온도값이 될 수도 있다.
도 7은, 본 발명의 일실시예에 따른 영상 처리 방법(700)을 나타낸 순서도(Flowchart)이다.
도 7을 참조하면, 영상 처리 방법은 입력 영상을 촬상하는 단계(S710), 하나의 영상 화면으로부터 기준 색온도(CCT : correlated color temperature) 값을 추정하는 단계(S720), 상기 영상 화면에서 서브 단위로, 후보 색온도 데이터(후보 색온도값, 위치값)을 추정하는 단계(S730), 상기 기준 색온도값을 이용하여, 필터링 프로세스 및 대표값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하고, 리파인된 색온도 데이터(리파인된 색온도값, 위치값)을 추출하는 단계(S740), 및 상기 리파인된 색온도 데이터(리파인된 색온도값, 위치값)로 구성된 색온도 매트릭스(CCT matrix)를 산출하는 단계(S750), 상기 색온도 매트릭스(CCT matrix)를 사용해서, 상기 영상 화면에 자동 화이트 밸런스(AWB : Automatic White Balance) 게인(gain) 및 색 보정 매트릭스(CCM : Color Correction Matrix) 적용하는 단계(S780)를 더 포함할 수 있다.
또한, 후보 색온도 데이터(후보 색온도값, 위치값)을 추정하는 단계(S730)는, xy 좌표값을 가지고 상기 영상 화면을 서브 단위로 스캐닝하는 이동 썸네일 윈도우(410)로 하여금, 상기 xy 좌표값, 기준 색온도값, 및 조도(L) 정보 중 적어도 하나를 이용하여 상기 이동 썸네일 윈도우의 프레임 내에 들어온 서브 단위에 대한 후보 색온도 데이터(후보 색온도값, 위치값)를 추정하도록 하는 단계를 구비할 수 있다. 서브 단위는 상기 언급한 것과 같이 픽셀 단위일 수 있다.
도 8은 도 7의 영상 처리 방법(700)에서, 리파인된 색온도 데이터(리파인된 색온도값, 위치값)을 추출하는 단계(800)를 자세히 나타낸 순서도(Flowchart)이다.
도 8을 참조하면, 리파인된 색온도 데이터(리파인된 색온도값, 위치값)을 추출하는 단계(800)는, 상기 후보 색온도값을 1차 필터링함으로써, 필터링된 후보 색온도값을 추정하는 단계(S810), 및 상기 필터링된 후보 색온도값과 상기 기준 색온도값 사이의 절대 차를 구하는 단계(S820), 절대 차를 이용하여, 상기 필터링된 후보 색온도값과 상기 기준 색온도값 사이에서 가중 평균한 제1 리파인된 색온도값을 추출하는 단계(S830)를 포함할 수 있다. 필터링 프로세스는 저역 통과 필터를 통한 평탄화 프로세스 일 수 있다. 다만, 이에 한정되는 것은 아니다.
도 9는 도 7의 영상 처리 방법(700)에서, 리파인된 색온도 데이터(리파인된 색온도값, 위치값)을 추출하는 단계(800)를 또한 자세히 나타낸 순서도(Flowchart)이다.
도 9를 참조하면, 리파인된 색온도 데이터(리파인된 색온도값, 위치값)을 추출하는 단계(900)는, 상기 제1 리파인된 색온도값을 복수의 색온도값 범위에 기초하여 분류하고, 상기 복수의 색온도값 범위의 각 대표값에 수렴시킨 대표 색온도값을 추정하는 단계(S910), 상기 수렴된 대표 색온도값을 2차 필터링함으로써, 필터링된 대표 색온도값을 추정하는 단계(S920), 및 상기 필터링된 대표 색온도값과 상기 기준 색온도값 사이의 절대 차를 구하는 단계(S930), 및 상기 절대 차를 이용하여 상기 필터링된 대표 색온도값과 상기 기준 색온도값 사이에서 가중 평균한 제2 리파인된 색온도값을 추출하는 단계(S940)를 더 포함할 수 있다.
도 7 내지 도 9에 도시된 영상 처리 방법은, 도 1 내지 도 6을 참조하여 상술한 본 발명의 일실시예에 따른 영상 처리 장치에 관한 설명과 유사하므로 여기에서는 자세한 설명을 생략한다.
이상에서 언급된 본 실시예 및 그 변형예들에 따른 영상 처리 방법을 디지털 촬영장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 예컨대 메모리(미도시)일 수도 있고, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
110: 위치 근거 다중 광원 추정부 120: 컬러 프로세싱부

Claims (10)

  1. 영상 화면에서 서브(sub) 단위로, 후보 색온도값과 위치값을 추정하는 단계;
    상기 후보 색온도값과 위치값을 기초로, 색온도 매트릭스를 산출하는 단계; 및
    상기 색온도 매트릭스를 사용하여 컬러 프로세싱을 수행하는 단계를 구비하는, 영상 처리 방법.
  2. 제1항에 있어서, 상기 영상 처리 방법은,
    상기 영상 화면으로부터 기준 색온도 값을 추정하는 단계를 더 구비하고,
    상기 색온도 매트릭스를 산출하는 단계는,
    상기 기준 색온도 값을 이용하여, 필터링 프로세스 및 대표 색온도 값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하는(refine) 단계; 및
    상기 리파인된 색온도값과 위치값으로 구성된 색온도 매트릭스를 산출하는 단계를 더 구비하는, 영상 처리 방법.
  3. 제2항에 있어서, 상기 후보 색온도값과 위치값을 추정하는 단계는,
    xy 좌표값을 가지고 상기 영상 화면을 서브 단위로 스캐닝하는 이동 썸네일 윈도우로 하여금, 상기 xy 좌표값, 상기 기준 색온도값, 및 조도(L) 정보 중 적어도 하나를 이용하여 상기 이동 썸네일 윈도우의 프레임 내에 들어온 서브 단위에 대한 후보 색온도 데이터를 추정하도록 하는 단계를 구비하는 것을 특징으로 하는 영상 처리 방법.
  4. 제3항에 있어서, 상기 리파인하는 단계는,
    상기 후보 색온도값을 1차 필터링함으로써, 필터링된 후보 색온도값을 추정하는 단계; 및
    상기 필터링된 후보 색온도값과 상기 기준 색온도값 사이의 절대 차에 기초하여, 가중 평균한 제1 리파인된 색온도값을 추출하는 단계를 구비하는 것을 특징으로 하는 영상 처리 방법.
  5. 제4항에 있어서, 상기 리파인하는 단계는,
    상기 제1 리파인된 색온도값을 복수의 색온도값 범위에 기초하여 분류하고, 상기 복수의 색온도값 범위의 각 대표값에 수렴시킨 대표 색온도값을 추정하는 단계;
    상기 대표 색온도값을 2차 필터링함으로써, 필터링된 대표 색온도값을 추정하는 단계; 및
    상기 필터링된 대표 색온도값과 상기 기준 색온도값 사이의 절대 차에 기초하여, 가중 평균한 제2 리파인된 색온도값을 추출하는 단계를 더 구비하는 것을 특징으로 하는 영상 처리 방법.
  6. 제5항에 있어서, 상기 색온도 매트릭스를 산출하는 단계는,
    상기 제2 리파인된 색온도값 및 그 위치값을 갖는 리파인된 색온도 데이터로 구성된 색온도 매트릭스를 산출하는 단계를 구비하는 것을 특징으로 하는 영상 처리 방법.
  7. 제1항에 있어서, 상기 컬러 프로세싱 단계는,
    상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 서브 단위로 자동 화이트 밸런스(AWB : Automatic White Balance) 게인(gain)을 적용하는 단계를 더 구비하는 것을 특징으로 하는 영상 처리 방법.
  8. 제1항에 있어서, 상기 컬러 프로세싱 단계는,
    상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 서브 단위로 색 보정 매트릭스(CCM : Color Correction Matrix)를 적용하는 단계를 더 구비하는 것을 특징으로 하는 영상 처리 방법.
  9. 제3항에 있어서,
    상기 이동 썸네일 윈도우는 상기 서브 단위 이상인 것을 특징으로 하는 영상 처리 방법.
  10. 입력 영상을 촬상하는 촬상소자;
    상기 입력 영상 화면으로부터 기준 색온도 값을 추정하는 기준색온도추정부;
    상기 기준 색온도값을 이용하여, 상기 영상 화면에서 서브 단위로, 후보 색온도값과 위치값을 추정하도록 구성된 후보색온도데이터추정부, 및 상기 기준 색온도값을 이용하여, 필터링 프로세스 및 대표 색온도 값에 맵핑하는 맵핑 프로세스 중 적어도 하나를 통해, 상기 서브 단위에 대한 후보 색온도값을 리파인하도록 구성된 리파인부를 구비한 위치근거다중광원추정부;
    상기 필터링 프로세스 및 상기 맵핑 프로세스 중 적어도 하나를 정의하는 룩업테이블을 저장하도록 구성된 저장부;
    상기 리파인된 색온도값과 위치값으로 구성된 색온도 매트릭스를 산출하는 색온도매트릭스산출부; 및
    상기 색온도 매트릭스를 사용해서, 상기 영상 화면에 서브 단위로 자동 화이트 밸런스(AWB : Automatic White Balance) 게인(gain) 및 색 보정 매트릭스(CCM : Color Correction Matrix) 적용하는 컬러 프로세싱부를 구비하는 것을 특징으로 하는 영상 처리 시스템.
KR1020100049828A 2010-05-27 2010-05-27 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체 KR101650842B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100049828A KR101650842B1 (ko) 2010-05-27 2010-05-27 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
US13/113,403 US8611656B2 (en) 2010-05-27 2011-05-23 Image processing apparatus, image processing method and recording medium for storing program to execute the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100049828A KR101650842B1 (ko) 2010-05-27 2010-05-27 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체

Publications (2)

Publication Number Publication Date
KR20110130266A true KR20110130266A (ko) 2011-12-05
KR101650842B1 KR101650842B1 (ko) 2016-08-25

Family

ID=45022187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100049828A KR101650842B1 (ko) 2010-05-27 2010-05-27 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체

Country Status (2)

Country Link
US (1) US8611656B2 (ko)
KR (1) KR101650842B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093915A1 (en) * 2011-10-12 2013-04-18 Apple Inc. Multi-Illuminant Color Matrix Representation and Interpolation Based on Estimated White Points
KR102346522B1 (ko) 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
TWI601091B (zh) * 2016-07-13 2017-10-01 國立中興大學 多光源色彩平衡演算法
JP2019205003A (ja) * 2018-05-21 2019-11-28 オリンパス株式会社 撮像装置、及び、ホワイトバランスゲインの算出方法
KR20210151613A (ko) * 2020-06-05 2021-12-14 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
US11924590B2 (en) * 2021-04-13 2024-03-05 Teledyne Flir Commercial Systems, Inc. Image color correction systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271638A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
JP2002320137A (ja) * 2001-04-20 2002-10-31 Fuji Photo Film Co Ltd カメラ及び撮影システム
JP2005033330A (ja) * 2003-07-08 2005-02-03 Konica Minolta Opto Inc ホワイトバランス制御装置及び電子機器
JP2006074357A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Ind Co Ltd 画像入力装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5589879A (en) * 1993-03-26 1996-12-31 Fuji Photo Film Co., Ltd. Performing white balance correction on integrated divided areas of which average color is substantially white
WO2001082679A1 (en) * 2000-05-03 2001-11-08 Eco-Dan A/S A method of segmentation of a digital image and a method of controlling an implement
JP4543514B2 (ja) * 2000-07-18 2010-09-15 株式会社ニコン 電子カメラ
US6909463B2 (en) * 2000-12-22 2005-06-21 Eastman Kodak Company Camera having verification display and white-compensator and imaging method
EP1429551A3 (en) * 2002-12-12 2006-02-08 Samsung Electronics Co., Ltd. Method and apparatus for generating illumination characteristic data around image display device, and method and apparatus for compensating for color variation using the method and apparatus
US7728880B2 (en) 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
US20060177128A1 (en) 2005-02-08 2006-08-10 Karthik Raghupathy White balance with zone weighting
JP2006270135A (ja) 2005-03-22 2006-10-05 Acutelogic Corp 電子的撮像装置における色再現補正装置
US8154612B2 (en) * 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US7912279B2 (en) * 2006-10-26 2011-03-22 Qualcomm Incorporated Automatic white balance statistics collection
US8049789B2 (en) * 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
US7604360B2 (en) * 2006-12-29 2009-10-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Integrated sensor for correlated color temperature and illuminance sensing
JP5021338B2 (ja) 2007-03-02 2012-09-05 富士フイルム株式会社 ホワイトバランス補正装置および方法
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271638A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体
JP2002320137A (ja) * 2001-04-20 2002-10-31 Fuji Photo Film Co Ltd カメラ及び撮影システム
JP2005033330A (ja) * 2003-07-08 2005-02-03 Konica Minolta Opto Inc ホワイトバランス制御装置及び電子機器
JP2006074357A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Ind Co Ltd 画像入力装置

Also Published As

Publication number Publication date
KR101650842B1 (ko) 2016-08-25
US8611656B2 (en) 2013-12-17
US20110293174A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
RU2543974C2 (ru) Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки
US7376288B2 (en) Edge adaptive demosaic system and method
US8229217B2 (en) Image processing method and apparatus, image processing program and medium storing this program
JP4946581B2 (ja) 画像処理装置
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
RU2503139C1 (ru) Устройство считывания изображений
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
US20070013794A1 (en) Image pickup system and image processing program
JP2003116060A (ja) 欠陥画素補正装置
US7333678B1 (en) Edge adaptive demosaic system and method
TW200530949A (en) Image data processing in color spaces
JP2004534429A (ja) 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法
KR101650842B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
KR102224851B1 (ko) 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
JP2010218110A (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
JP2006101006A (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN105430357A (zh) 图像传感器的去马赛克方法及装置
JP2009004966A (ja) 撮像装置
JP5631769B2 (ja) 画像処理装置
JP2009200635A (ja) 画像処理装置及びその方法並びにプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100527

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150225

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100527

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151218

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20160526

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20151218

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20160526

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20160218

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20160711

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20160627

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20160526

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20160218

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160818

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160819

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190731

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210728

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220727

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240729

Start annual number: 9

End annual number: 9