KR100747719B1 - 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 - Google Patents
조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 Download PDFInfo
- Publication number
- KR100747719B1 KR100747719B1 KR1020050055276A KR20050055276A KR100747719B1 KR 100747719 B1 KR100747719 B1 KR 100747719B1 KR 1020050055276 A KR1020050055276 A KR 1020050055276A KR 20050055276 A KR20050055276 A KR 20050055276A KR 100747719 B1 KR100747719 B1 KR 100747719B1
- Authority
- KR
- South Korea
- Prior art keywords
- illuminance
- interpolation
- bayer data
- subject
- variable
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 13
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006872 improvement Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- WUPHOULIZUERAE-UHFFFAOYSA-N 3-(oxolan-2-yl)propanoic acid Chemical compound OC(=O)CCC1CCCO1 WUPHOULIZUERAE-UHFFFAOYSA-N 0.000 description 1
- 229910052980 cadmium sulfide Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
본 발명은 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기 위한 프로그램이 기록된 기록매체에 관한 것으로서, 조도에 따른 가변적 보간 과정을 수행하는 방법으로서, 이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계(a); 상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 단계(b); 및 상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계(c)를 포함하는 조도에 따른 가변적 보간 방법에 관한 것이다. 본 발명에 따르면, 조도에 따라 최적 보간 방법을 적용함으로써 화질을 한층 개선할 수 있다는 장점이 있다.
조도, 이미지 센서, 보간, 필터, 적응, 퍼지, 화질
Description
도 1은 일반적인 3x3 바이리니어 보간 방법을 도시한 도면.
도 2는 본 발명의 바람직한 일 실시예에 따른 가변적 보간 장치의 구성을 도시한 블록도.
도 3은 본 발명의 바람직한 일 실시예에 따른 보간 처리 모듈의 상세 구성을 도시한 도면.
도 4는 본 발명에 따른 가변적 보간을 위한 순람 테이블 구조를 도시한 도면.
도 5는 본 발명에 따른 저조도에 적용되는 필터링 방법을 나타내는 도면.
도 6은 본 발명에 따른 고조도에 적용되는 적응적 퍼지 보간 방법을 나타내는 도면.
도 7은 본 발명에 따른 순람 테이블 작성을 위한 하나의 색상에 대한 각 조도별 베이어 이미지를 도시한 도면.
도 8a는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 베이어 이미지의 바이리니어 보간 결과 이미지를 도시한 도면.
도 8b는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 바이리니어 보간 결과 이미지의 표준 편차를 나타낸 도면.
도 9a는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 베이어 이미지의 바이리니어 보간 및 필터링 결과 이미지를 도시한 도면.
도 9b는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 바이리니어 보간 및 필터링 결과 이미지의 표준 편차를 나타낸 도면.
도 10a는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 베이어 이미지의 적응적 퍼지 보간 결과 이미지를 도시한 도면.
도 10b는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 적응적 퍼지 보간 결과 이미지의 표준 편차를 나타낸 도면.
도 11a는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 베이어 이미지의 적응적 퍼지 보간 및 필터링 결과 이미지를 도시한 도면.
도 11b는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 적응적 퍼지 보간 및 필터링 결과 이미지의 표준 편차를 나타낸 도면.
도 12는 본 발명에 따른 순람 테이블 작성을 위한 저조도에서의 보간 결과 이미지를 도시한 도면.
도 13는 본 발명에 따른 순람 테이블 작성을 위한 중조도에서의 보간 결과 이미지를 도시한 도면.
도 14는 본 발명에 따른 순람 테이블 작성을 위한 고조도에서의 보간 결과 이미지를 나타낸 도면.
도 15는 본 발명에 따른 순람 테이블 작성을 위한 최적 표준 편차를 나타낸 도면.
도 16은 본 발명의 바람직한 일 실시예에 따른 조도에 따른 가변적 보간 방법 적용 과정을 도시한 순서도.
본 발명은 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기 위한 프로그램이 기록된 기록매체에 관한 것으로서, 보다 상세하게는 이미지 센서로부터 수신되는 데이터의 조도에 따라 다른 보간 방법을 적용함으로써 화질을 개선할 수 있는 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기 위한 프로그램이 기록된 기록매체에 관한 것이다.
최근 CCD(Charged-Coupled Device) 및 CMOS(Complementary Metal-Oxide Semiconductor)의 고집적화와 이미지 처리 기술의 비약적인 발전에 따라 디지털 카메라 시장이 급속도로 확대되고 있는 실정이며, 휴대폰, PDA와 같은 모바일 기기에 디지털 카메라를 장착하는 것도 보편화되고 있는 실정이다.
이러한 모바일 기기에는 집적도가 높고, 주변 IC를 하나의 칩(Chip)으로 구현할 수 있으며, 값이 싸고, 소비 전류가 적은 CMOS 이미지 센서가 주로 사용되고 있다.
디지털 카메라에 사용되는 이미지 센서는 적색(R), 녹색(G) 및 청색(B)을 이 용하여 자연에 존재하는 모든 색상을 표현하는데, CMOS 이미지 센서에는 복수의 포토 다이오드(Photodiode)가 베이어 패턴에 따라 배치되며, 각 포토 다이오드는 빛 신호를 R(Red), G(Green) 및 B(Blue) 값 중 하나로 변환하여 출력한다.
이와 같이, CMOS 이미지 센서가 출력하는 데이터는 각 픽셀 당 R,G,B 중 하나의 값이 포함되는 베이어 데이터이며, 베이어 데이터는 이미지 신호 프로세서를 통해 실제 컬러로 변환된다.
베이어 데이터를 실제 컬러로 변환하는 과정 즉, 하나의 픽셀이 R,G,B 세 가지 값을 가지도록 하는 과정을 보간(interpolation)이라 하는데, 종래에는 3x3 바이리니어 보간(bilinear interpolation) 기법이 주로 사용되었다.
도 1은 일반적인 3x3 바이리니어 보간 방법을 도시한 도면으로서, 도 1을 이용하여 3x3 바이리니어 보간 방법을 설명한다.
이미지 센서에서 출력되는 베이어 데이터는 베이어 패턴에 따라 하나의 픽셀 당 하나의 R,G,B 값 을 포함하는데, 현재, 도 1의 b행(column), 1열 픽셀은 녹색인 G(b,1) 값만을 포함하고 있다.
3x3 바이리니어 보간(bilinear interpolation) 방법에 따르면, (b,1) 픽셀에 대한 적색 값인 R(b,1)=[R(b,0)+R(b,2)]/2와 같은 식을 통해 보간 산출되며, 청색 값은 B(b,1)=[B(a,1)+B(c,1)]/2에 의해 산출된다.
이와 같은 보간 방법을 이용하여 하나의 픽셀에 대하여 R,G,B 값이 모두 포함된 최종 영상 데이터를 얻게 되는데, 종래에는 조도에 관계 없이, 즉, 영상을 촬상하는 곳이 밝은 곳이거나 어두운 곳이거나 상관없이 상기한 3x3 바이리니어 보간 방법에 의해 최종 영상 이미지를 만들었다.
그러나, 조도에 따라 이미지 센서에서 취득되는 베이어 데이터의 특성이 달라지는데, 종래기술과 같이 조도에 관계없이 획일적인 보간 방법을 적용하는 경우, 사용자가 원하는 화질의 영상을 제공할 수 없는 문제점이 있었다.
특히, 디지털 카메라가 장착된 모바일 기기에서 종래와 같이 조도를 고려하지 않은 보간 방법을 사용하는 경우, 모바일 기기의 이미지 처리 용량이 작고, 일반 디지털 카메라보다 화소수가 적은 이미지 센서를 사용한다는 점에서 사용자가 원하는 화질을 제공할 수 없는 문제점이 있었다.
본 발명에서는 상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 조도에 따라 가변적인 보간 방법을 적용하는 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기 위한 프로그램이 기록된 기록매체를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 일 실시예에 따르면, 조도에 따른 가변적 보간 과정을 수행하는 방법으로서, 조도에 따른 가변적 보간 과정을 수행하는 방법으로서, 이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계(a); 상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 단계(b); 및 상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계(c)를 포함하는 조도에 따른 가변적 보간 방법이 제공된다.
본 발명의 다른 측면에 따르면, 조도에 따른 가변적 보간 장치로서, 조도에 따른 가변적 보간 장치로서, 이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 베이어 데이터 수신부; 상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 조도 계산부; 및 상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 보간 처리부을 포함하는 조도에 따른 가변적 보간 장치가 제공된다.
본 발명의 다른 측면에 따르면, 조도에 따른 가변적 보간 방법을 적용하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서, 이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계; 상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 단계; 및 상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계를 수행하는 프로그램을 기록한 기록매체가 제공된다.
본 발명의 다른 측면에 따르면, 조도에 따른 가변적 보간 과정을 수행하는 방법으로서, 이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계; 상기 피사체의 조도 정보를 수신하는 단계; 및 상기 수신된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계를 포함하는 조도에 따른 가변적 보간 방법이 제공된다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기 위한 프로그램이 기록된 기록매체에 관한 바람직한 실시예를 상세하게 설명한다.
일반적으로, 이미지 센서에서 수집된 베이어 데이터는 이미지 신호 프로세서(Image Signal Processor, ISP)로 전송되어 컬러 보간, 감마 보정, 컬러 보정 및 YUV 데이터 포맷으로의 변환 과정을 거치게 되는데, 본 발명에 따른 가변적 보간은 상기한 이미지 신호 프로세서에서 하드웨어적으로 처리되는 것일 수 있으며, 이와 달리 소정의 프로그램에 의해 구현될 수도 있을 것이다.
따라서, 하기에서 설명하는 가변적 보간 장치는 이미지 신호 프로세서일 수 있으며, 또한 가변적 이미지 보간을 위한 프로그램일 수 있다는 점을 당업자는 이해하여야 할 것이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 가변적 보간 장치의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 가변적 보간 장치는 베이어 데이터 수신 모듈(200), 조도 계산 모듈(202), 보간 방법 결정 모듈(204) 및 보간 처리 모듈(206)을 포함할 수 있다.
베이어 데이터 수신 모듈(200)은 이미지 센서에 의해 수집된 베이어 데이터를 수신하는 것으로서, 베이어 데이터에는 각 픽셀에 대한 R,G,B 값이 포함하며, 이때 각 픽셀은 R,G,B 값 중 하나의 값만을 포함하게 된다.
조도 계산 모듈(202)은 피사체에 대한 조도를 계산한다.
조도는 피사체의 밝기를 의미하는 것으로서, lux라는 단위를 사용하며, 1면 적 1제곱미터의 면 위에 1룸에의 광속이 평균으로 조사되고 있을 때가 1lux로 정의된다.
본 발명에 따른 조도 계산 모듈(202)은 각 픽셀에 포함된 R,G,B 값을 통해 피사체의 조도를 계산할 수 있다.
그러나, 조도 계산 모듈(202)을 포함함이 없이 광전지 또는 황화카드늄으로 이루어진 수광부를 갖는 노출계를 통해 검출된 조도 정보를 수신하는 것도 가능할 것이다.
조도 계산 과정은 각 픽셀에 포함된 R,G,B 값의 전체 평균을 통해 계산될 수 있으며, 또한 별도의 조도 센서에서 검출된 값을 이용하여 계산하는 것도 가능할 것이다.
조도 계산 과정 및 조도 정보 수신 과정은 당업자에게 공지된 기술이므로 이에 대한 상세한 설명은 생략한다.
보간 방법 결정 모듈(204)은 조도 계산 모듈(202)에서 계산된 조도에 따라 적절한 보간 방법을 결정한다.
본 발명의 바람직한 일 실시예에 따르면, 본 발명이 적용되는 카메라 장치의 메모리에는 가변적 보간을 위한 순람 테이블(Lookup Table)이 저장되어 있는데, 여기서, 순람은 키로서 항목이 구별되어 있는 배열이나 표에서 데이터 항목을 추출하는 기법을 의미한다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 순람 테이블에는 저조도(0~50lux)인 경우, 바이리니어 및 필터(Bilinear & Filter), 중조도(51~99lux) 인 경우, 바이리니어(Bilinear), 고조도(100 lux이상)인 경우, 적응적 퍼지(Adaptive fuzzy)를 적용하는 것으로 저장되어 있다.
본 발명에 따른 순람 테이블 작성을 위한 상세한 과정은 하기에서 상세하게 설명할 것이다.
본 발명에 따른 보간 방법 결정 모듈(204)은 상기한 조도 계산 모듈(202)에서 계산된 조도 정보에 따라 순람 테이블에 저장된 정보를 참조하여 각 조도별로 최적 보간 방법을 결정한다.
보간 처리 모듈(206)은 보간 방법 결정 모듈(204)에 결정된 보간 방법에 따라 보간 처리 과정을 수행한다.
도 3에 도시된 바와 같이, 본 발명에 따른 보간 처리 모듈(206)은 바이리니어 보간 모듈(300), 필터링 모듈(302) 및 적응적 퍼지 보간 모듈(304)을 포함할 수 있다.
바이리니어 보간 모듈(300)은 전술한 바와 같이, 특정 행(column) 및 열(row)에 해당하는 픽셀에 존재하지 않는 영상 값(예를 들어, 특정 행 및 열에 해당하는 픽셀이 Green 인 경우, 상기 픽셀의 Red 및 Blue)을 이웃하는 픽셀의 Red(Blue) 값을 더한 후 이들의 평균을 취하는 방법으로 베이어 데이터를 실제 컬러로 보간하는 과정을 수행한다.
본 발명에 따른 바이리니어 보간 모듈(300)은 상기한 순람 테이블에 도시된 것과 같이, 저조도인 경우, 하기의 필터링 모듈(302)과 함께 사용되며, 중조도인 경우에는 단독으로 사용될 수 있다.
한편, 필터링 모듈(302)은 노이즈를 제거하는 것으로서, 일반적으로 조도가 낮은 피사체의 영상을 수신하는 경우, 신호를 증폭하는 과정이 수반됨에 따라 노이즈까지 증폭되는 결과가 발생한다.
증폭에 의한 노이즈를 정규 분포를 갖는 가우시안 노이즈라 하는데, 본 발명에 따른 필터링 모듈(302)은 가우시안 노이즈를 제거하는 과정을 수행하며, 본 발명의 일 실시예에 따르면, 저조도인 경우에 선택적으로 필터링 과정을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 도 5에 도시된 바와 같이, 3x3 메디안 필터링 방법이 사용될 수 있으며, 이는 3x3 블록의 중간값(median)을 선택적으로 추출하는 것을 의미하나, 필터링 방법이 반드시 이에 한정되는 것은 아니다.
적응적 퍼지 보간 모듈(304)은 베이어 데이터에서 특정 행(column) 및 열(row)에 해당하는 픽셀에 존재하지 않는 영상 값을 산출하기 위해, 퍼지 이론을 적용하여 보간하는 것으로서, 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 5x5 블록(block)을 사용하여 각각의 이웃하는 값에 가중치를 부여하여 보간하는 과정을 수행하며, 원본 이미지를 가장 잘 재현하는 특징을 갖는다.
본 발명에 따른 적응적 퍼지 보간 모듈(304)은 도 4에 도시된 바와 같이, 고조도인 경우에 사용될 수 있다.
한편, 이하에서는 본 발명의 바람직한 일 실시예에 따른 순람 테이블 작성을 위한 과정을 상세하게 설명한다.
(1) 베이어 데이터(이미지)
우선, 각 조도별(10~500lux)로 "GretagMacbath"사에서 만든 24색 color chart 인 "GretagMacbath Color Checker Color Rendition chart"(Macbathchart)의 하나의 색을 선택하여 도 8에 도시된 바와 같이, 각 조도별로 하나의 베이어 이미지를 준비한다.
도 8에 도시된 하나의 색에 관한 베이어 이미지는 히스토그램(Histogram)으로 표현될 수 있는데, 여기서, 히스트로램의 표준 편차(Standard deviation)는 특정 조도에서 베이어 이미지가 얼마나 많은 노이즈를 포함하고 있는지 나타내는 정보이며, 조도가 높을수록 표준 편차가 감소함을 알 수 있다.
한편, 화질의 개선 정도는 노이즈의 적절한 제거 및 영상의 경계면(edge)이 얼마나 명확하게 표현되는지 여부에 따라 결정될 수 있는 바, 본 발명자는 상기한 베이어 이미지에 대해 바이리니어 보간, 바이리니어 및 필터 보간, 적응적 퍼지 보간 및 적응적 퍼지와 필터 보간을 적용하여 각 조도별 화질 개선 정도를 비교 실험하였다.
(2) 각 조도별 보간 결과의 비교
도 8a 내지 도 11b는 본 발명에 따른 순람 테이블 작성을 위한 조도에 따른 베이어 이미지의 바이리니어 보간, 바이리니어 및 필터 보간, 적응적 퍼지 보간, 적응적 퍼지 및 필터 보간 결과의 이미지 및 표준 편차를 나타내는 도면이다.
도 8b, 9b, 10b 및 11b에 도시된 바와 같이, 조도가 낮을수록 보간 이미지의 표준 편차가 높은 것을 알 수 있는데, 이는 저조도에서 이미지 센서의 게인(Gain)의 영향으로 신호의 증폭에 따른 가우시안 노이즈가 발생하기 때문이다.
도 8b 및 도 9b를 서로 비교하면, 바이리니어 및 필터 보간 방법을 적용한 도 9b에서의 표준 편차가 도 8b와 같이 바이리니어 보간만을 적용한 경우의 표준 편차보다 낮아지는 것을 확인할 수 있으며, 이는 필터를 적용한 경우, 노이즈가 감소된다는 점을 보여준다.
그러나, 도 10b와 같이 적응적 퍼지 보간을 실시한 경우의 표준 편차는 도 8b 및 도 9b에 비해 높아지는 것을 볼 수 있는데, 이는 적응적 퍼지가 가중치 적용에 의한 이미지 복원 과정을 수행하기 때문에 노이즈까지 그대로 복원하여 표준 편차를 오히려 상승시키기 때문이다.
한편, 도 11b와 같이, 적응적 퍼지 및 필터 보간을 적용하는 경우, 필터의 적용 결과 도 10b에 비해 노이즈가 감소되어 표준 편차가 낮아지는 것을 확인할 수 있다.
한편, 전술한 바와 같이, 화질의 개선은 노이즈의 제거 뿐만 아니라, 경계면(edge)을 뚜렷하게 하는 것도 중요한 인자가 될 수 있는데, 본 발명자는 상기한 바와 같은 다양한 보간 방법을 적용하여 얻어진 이미지를 저조도, 중조도 및 고조도 별로 세분화하여 비교하는 과정을 수행하였다.
(3) 저조도에서의 보간 결과 이미지 비교
도 12는 저조도에서의 각 보간 결과 이미지를 나타낸 것으로서, 본 발명자는 10 이상 50 lux 이하를 저조도로 정의하고 이에 대한 각 보간 결과 이미지를 비교하였다.
도 12에 도시된 바와 같이, 저조도에서는 바이리니어 보간 및 필터링을 적용하는 경우에 노이즈가 없는 선명한 영상이 나오는 것을 확인할 수 있었으며, 이는 저조도 범위 내에서 도 8b, 9b, 10b 및 11b의 표준 편차 값 중 도 9b의 경우가 가장 낮은 표준 편차를 보이는 것에서도 확인할 수 있으며, 나아가 바이리니어 보간 및 필터 적용 시, 다른 보간 방법을 적용하는 경우에 비해 경계면도 비교적 명확하다는 점을 확인하였다.
(4) 중조도에서의 보간 결과 이미지 비교
도 13은 중조도에서의 각 보간 결과 이미지를 나타낸 것으로서, 본 발명자는 50 이상 100 lux를 중조도로 하고, 이중 60 내지 90 lux의 조도에서의 보간 결과 이미지 비교 과정을 수행하였다.
도 13에 도시된 바와 같이, 중조도인 경우, 바이리니어 보간 및 필터링 적용, 바이리니어 보간만을 적용한 순으로 노이즈가 적게 나타난다.
그러나, 바이리니어 보간 및 필터링 방법이 노이즈가 적다고 할지라도 바이리니어 보간 방법만을 적용한 경우에 비해 경계면이 부드러워지는 것을 확인할 수 있는 바, 이와 같은 중조도 범위 내에서는 바이리니어 보간법을 적용하는 것이 좋은 영상을 얻을 수 있다는 점을 알 수 있다.
(5) 고조도에서의 보간 결과 이미지 비교
도 14는 고조도에서의 각 보간 결과 이미지를 나타낸 것으로서, 본 발명자는 100 lux 이상을 고조도로 정의하고, 이중 100 이상 500 lux 이하 범위에서의 보간 결과 이미지 비교 과정을 수행하였다.
도 8b 내지 도 11b에 도시된 표준 편차와 같이, 100lux 이상의 조도에서는 3이하의 표준 편차가 나타남을 알 수 있는데, 표준 편차 3은 노이즈가 적어 일반적으로 필터링을 적용하지 않더라도 좋은 영상을 얻을 수 있는 이미지 표준 편차이다.
따라서, 도 14에 도시된 바와 같이, 고조도 범위 내에서 어떠한 보간 방법을 사용하더라도 노이즈가 적게 나타나는 것을 확인할 수 있으므로, 이러한 경우, 원본 복원 능력이 뛰어나고, 경계면을 뚜렷하게 나타낼 수 있는 적응적 퍼지 보간을 적용하는 것이 바람직하다.
한편, 적응적 퍼지 보간을 적용한 후, 필터링 방법을 사용할 수도 있을 것이나, 휴대폰 등에 장착되는 카메라의 경우 필터링 적용 시, 시스템 부하를 높일 수 있는 바, 고조도에서는 적응적 퍼지 보간을 적용하는 것이 바람직할 것이다.
(6) 순람 테이블 작성(결론)
도 15는 본 발명에 따른 순람 테이블 작성을 위한 최적 표준 편차를 나타낸 도면으로서, 도 15를 참조하면, 저조도 범위(10~50lux)에서는 이미지 센서 게인의 영향으로 노이즈가 높아 4이상의 표준 편차가 나타나며, 조도가 높아질수록 표준 편차가 작아지는 것을 확인할 수 있다.
10 내지 50lux의 저조도 범위 내에서는 표준 편차가 4 이상의 큰 노이즈가 발생하는데, 이러한 경우에는 경계면이 조금 불분명하고 부드러워지더라도 노이즈를 많이 제거하는 것이 화질 개선에 더욱 큰 효과가 있으므로 바이리니어 보간 및 필터링 방법을 사용한다.
한편, 50 이상 100lux 이하의 중조도에서는 각 보간 방법에 따라 3 내지 3.9 정도의 표준 편차를 가지는데, 이러한 경우, 노이즈도 어느 정도 제거하고, 또한 경계면도 명확하게 하는 바이리니어 보간 방법을 적용하는 것이 중조도에서의 화질을 개선할 수 있다.
아울러, 100lux 이상의 고조도에서는 가우시안 노이즈가 거의 발생하지 않는다는 점에서(각 보간 방법에서 3이하의 표준 편차를 보임) 경계면을 뚜렷하게 하는 적응적 퍼지 보간 방법을 적용하는 것이 가장 바람직하다.
도 15에 도시된 바와 같이, 고조도에서 적응적 퍼지 보간과 필터를 동시에 적용하는 것이 노이즈를 더욱 감쇠시키는 결과를 보이고 있으나, 카메라가 모바일 기기에 장착된 경우에 시스템 부하를 줄이기 위해 적응적 퍼지만을 사용하는 것이 더 바람직할 수 있다.
상기한 과정을 통해 도 4에 도시된 순람 테이블이 작성될 수 있으며, 이러한 순람 테이블로 조도에 따라 다른 보간 방법을 적용함으로써 화질에 개선된 영상을 사용자에게 제공할 수 있다.
도 16은 본 발명의 바람직한 일 실시예에 따른 조도에 따른 가변적 보간 과정을 도시한 순서도이다.
도 16을 참조하면, 우선, 가변적 보간 장치는 이미지 센서로부터 베이어 데이터를 수신한다(S1600).
전술한 바와 같이, 베이어 데이터에는 각 픽셀에 대해 하나의 R,G,B 값을 포함하고 있다.
가변적 보간 장치는 베이어 데이터에 포함된 R,G,B 값을 이용하여 조도를 계산하는 과정을 수행하는데(S1602), 조도 계산 과정 없이 노출계로부터 조도 정보를 수신하는 경우, 조도 계산 과정은 수행되지 않을 수도 있다.
계산된 조도 정보 또는 노출계로부터 수신된 조도 정보를 이용하여 보간 방법을 결정하는데(S1604), 이때 가변적 보간 장치는 소정 메모리에 저장된 순람 테이블을 참조하여 조도에 따른 보간 방법을 결정하는 과정을 수행한다.
본 발명에 바람직한 일 실시예에 따르면, 보간 방법에는 바이리니어 보간 후 필터링을 수행하는 방법, 바이리니어 보간만 적용하는 방법 및 적응적 퍼지 보간을 수행하는 방법이 존재할 수 있다.
따라서, 결정된 보간 방법에 따라 고조도인지 여부를 판단하며(S1606), 고조도가 아닌 경우, 바이리니어 보간을 우선 수행하며 (S1608), 상기한 조도 정보가 저조도인지 여부를 판단하여(S1610), 저조도인 경우에는 3x3 메디안 필터에 의한 필터링 과정을 수행한다(S1612).
상기 단계(S1610)에서 저조도가 아닌 경우는 중조도에 해당하므로 이때는 필터링 과정 없이 보간 과정을 마치게 된다.
한편, 상기 단계(S1606)에서 고조도에 해당하는 경우, 가변적 보간 장치는 적응적 퍼지 보간 과정을 수행한다(S1614).
한편, 상기에서는 저조도, 중조도 및 고조도 세 가지 범위로 조도 범위를 구분하였으나, 이는 일 예에 불과하며, 조도 범위를 그 이상으로 세분화하는 것도 가능할 것이며, 그와 반대로 조도 범위를 두 가지로 분류하여 서로 다른 보간 방법을 적용할 수도 있다는 점은 당업자에게 있어 자명할 것이다.
또한, 저조도, 중조도 및 고조도의 각각의 범위도 상기에서는 10, 50, 100을 기준으로 구분하였으나, 이 역시 일 예에 불과하며, 각 조도 범위는 경우에 따른 달라질 수 있을 것이다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 따르면, 조도에 따라 다른 보간 방법을 적용함으로써 영상의 화질을 크게 개선할 수 있다는 장점이 있다.
Claims (15)
- 조도에 따른 가변적 보간 과정을 수행하는 방법으로서,이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계(a);상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 단계(b); 및상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계(c)를 포함하는 조도에 따른 가변적 보간 방법.
- 제1항에 있어서,상기 보간 방법은 조도에 따른 하나 이상의 보간 방법이 저장된 순람 테이블을 참조하여 결정되는 조도에 따른 가변적 보간 방법.
- 청구항 3은(는) 설정등록료 납부시 포기되었습니다.제2항에 있어서,상기 순람 테이블은 상기 조도를 미리 설정된 기준에 따라 저조도, 중조도 및 고조도로 구분하는 조도에 따른 가변적 보간 방법.
- 제1항에 있어서,상기 계산된 조도가 미리 설정된 저조도 범위에 속하는 경우, 상기 (c) 단계는,상기 베이어 데이터를 바이리니어 보간하는 단계; 및상기 보간된 데이터를 필터링하는 단계를 포함하는 조도에 따른 가변적 보간 방법.
- 제1항에 있어서,상기 계산된 조도가 미리 설정된 중조도 범위에 속하는 경우, 상기 (c) 단계는,상기 베이어 데이터를 바이리니어 보간하는 단계를 포함하는 조도에 따른 가변적 보간 방법.
- 제1항에 있어서,상기 계산된 조도가 미리 설정된 고조도 범위에 속하는 경우, 상기 (c) 단계는,상기 베이어 데이터를 적응적 퍼지 보간하는 단계를 포함하는 조도에 따른 가변적 보간 방법.
- 조도에 따른 가변적 보간 장치로서,이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 베이어 데이터 수신부;상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 조도 계산부; 및상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 보간 처리부을 포함하는 조도에 따른 가변적 보간 장치.
- 제7항에 있어서,조도에 따른 하나 이상의 보간 방법이 정의된 순람 테이블에 연결되며, 상기 순람 테이블로부터 상기 계산된 조도에 따른 보간 방법을 결정하는 보간 방법 결정 수단을 더 포함하는 조도에 따른 가변적 보간 장치.
- 청구항 9은(는) 설정등록료 납부시 포기되었습니다.제8항에 있어서,상기 순람 테이블은 상기 조도를 미리 설정된 기준에 따라 저조도, 중조도 및 고조도로 구분하는 조도에 따른 가변적 보간 장치.
- 제7항에 있어서,상기 보간 처리부는,상기 베이어 데이터를 바이리니어 보간하는 바이리니어 보간부;상기 보간된 데이터를 필터링하는 필터링부; 및상기 베이어 데이터를 적응적 퍼지 보간하는 적응적 퍼지 보간부를 포함하는 조도에 따른 가변적 보간 장치.
- 제10항에 있어서,상기 계산된 조도가 저조도 범위에 속하는 경우, 상기 바이리니어 보간부가 상기 베이어 데이터를 보간 처리하며, 상기 필터링부가 상기 보간된 데이터를 필터링하는 조도에 따른 가변적 보간 장치.
- 제10항에 있어서,상기 계산된 조도가 중조도 범위에 속하는 경우, 상기 바이리니어 보간부가 상기 베이어 데이터를 보간 처리하는 조도에 따른 가변적 보간 장치.
- 제10항에 있어서,상기 계산된 조도가 고조도 범위에 속하는 경우, 상기 적응적 퍼지 보간부가 상기 베이어 데이터를 보간 처리하는 조도에 따른 가변적 보간 장치.
- 조도에 따른 가변적 보간 방법을 적용하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 기록매체로서,이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계;상기 피사체의 조도를 상기 베이어 데이터를 이용하여 계산하는 단계; 및상기 계산된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계를 수행하는 프로그램을 기록한 기록매체.
- 조도에 따른 가변적 보간 과정을 수행하는 방법으로서,이미지 센서로부터 피사체에 관한 베이어 데이터를 수신하는 단계;상기 피사체의 조도 정보를 수신하는 단계; 및상기 수신된 조도에 따라 상기 베이어 데이터에 적어도 하나 이상의 상이한 보간 방법을 적용하는 단계를 포함하는 조도에 따른 가변적 보간 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050055276A KR100747719B1 (ko) | 2005-06-24 | 2005-06-24 | 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050055276A KR100747719B1 (ko) | 2005-06-24 | 2005-06-24 | 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060135365A KR20060135365A (ko) | 2006-12-29 |
| KR100747719B1 true KR100747719B1 (ko) | 2007-08-08 |
Family
ID=37813387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050055276A KR100747719B1 (ko) | 2005-06-24 | 2005-06-24 | 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100747719B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101574733B1 (ko) | 2008-11-19 | 2015-12-04 | 삼성전자 주식회사 | 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 |
| KR102144060B1 (ko) | 2013-11-25 | 2020-08-14 | 삼성디스플레이 주식회사 | 표시장치 및 그의 구동회로 |
| KR20150100998A (ko) | 2014-02-24 | 2015-09-03 | 삼성디스플레이 주식회사 | 영상처리장치 및 영상처리방법 |
| KR101553589B1 (ko) * | 2015-04-10 | 2015-09-18 | 주식회사 넥스파시스템 | Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060038760A (ko) * | 2004-11-01 | 2006-05-04 | 한국전자통신연구원 | 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라 |
-
2005
- 2005-06-24 KR KR1020050055276A patent/KR100747719B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060038760A (ko) * | 2004-11-01 | 2006-05-04 | 한국전자통신연구원 | 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20060135365A (ko) | 2006-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5315158B2 (ja) | 画像処理装置及び画像処理方法 | |
| US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
| JP4977395B2 (ja) | 画像処理装置及び方法 | |
| RU2542928C2 (ru) | Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки | |
| EP2193656B1 (en) | Multi-exposure pattern for enhancing dynamic range of images | |
| JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
| US20010016064A1 (en) | Image processing apparatus | |
| EP1577833A1 (en) | High-quality gradient-corrected linear interpolation for demosaicing of color images | |
| US20100245632A1 (en) | Noise reduction method for video signal and image pickup apparatus | |
| US8009210B2 (en) | Image processing circuit, imaging apparatus, method and program | |
| JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
| US8625893B2 (en) | Image processing device and image processing method | |
| WO2008056565A1 (fr) | Système d'analyse d'image et programme de traitement d'image | |
| US8189066B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
| EP1394742A1 (en) | Method for filtering the noise of a digital image sequence | |
| US7995120B2 (en) | Image brightness compensating apparatus and method, recorded medium recorded the program performing it | |
| JP4894594B2 (ja) | 画像処理装置 | |
| KR100747719B1 (ko) | 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체 | |
| JP5291788B2 (ja) | 撮像装置 | |
| EP2446414B1 (en) | Lens roll-off correction operation using values corrected based on brightness information | |
| JP4197821B2 (ja) | 画像処理装置 | |
| KR101204921B1 (ko) | 이미지 처리장치 및 그를 이용한 데이터 처리 방법 | |
| JP4471748B2 (ja) | 画像信号処理装置 | |
| KR101372853B1 (ko) | 화상처리장치, 화상처리방법 및 촬상장치 | |
| JP2003230155A (ja) | 画像処理装置および画像処理回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120710 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20130731 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20140728 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20150729 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20160801 Year of fee payment: 10 |