KR102144390B1 - 로컬 콘트라스트 향상을 수행하는 이미지 처리 장치 및 방법 - Google Patents
로컬 콘트라스트 향상을 수행하는 이미지 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR102144390B1 KR102144390B1 KR1020190065749A KR20190065749A KR102144390B1 KR 102144390 B1 KR102144390 B1 KR 102144390B1 KR 1020190065749 A KR1020190065749 A KR 1020190065749A KR 20190065749 A KR20190065749 A KR 20190065749A KR 102144390 B1 KR102144390 B1 KR 102144390B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- contrast
- weight
- pixel value
- dynamic range
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 96
- 238000003786 synthesis reaction Methods 0.000 claims description 96
- 239000003623 enhancer Substances 0.000 claims description 34
- 230000007423 decrease Effects 0.000 claims description 33
- 239000002131 composite material Substances 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 50
- 239000003607 modifier Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 24
- 238000013507 mapping Methods 0.000 description 24
- 230000015654 memory Effects 0.000 description 23
- 238000004898 kneading Methods 0.000 description 21
- 101000651041 Homo sapiens Swi5-dependent recombination DNA repair protein 1 homolog Proteins 0.000 description 17
- 102100027777 Swi5-dependent recombination DNA repair protein 1 homolog Human genes 0.000 description 17
- 101150020421 SFR2 gene Proteins 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 210000003127 knee Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 101150042907 GPH1 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G06T5/008—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명의 실시 예에 따른 이미지 처리 장치는, 제 1 동적 범위의 제 1 픽셀 값을 갖는 제 1 프레임을 수신하는 제 1 인터페이스, 제공되는 변환 게인에 따라 제 1 동적 범위를 갖는 제 1 픽셀 값을 제 2 동적 범위를 갖는 제 2 픽셀 값으로 변환하여 제 2 동적 범위의 제 2 픽셀 값을 갖는 제 2 프레임을 생성하는 동적 범위 변환기, 변환 게인을 수신하고 변환 게인에 따라 제 1 콘트라스트 웨이트를 생성하는 웨이트 생성기, 그리고 제 1 콘트라스트 웨이트에 기반하여 제 2 동적 범위의 제 2 픽셀 값을 조절함으로써 제 2 프레임의 로컬 콘트라스트를 향상시키는 콘트라스트 조정기를 포함한다.
Description
본 발명은 영상 프레임들을 처리하기 위한 전자 장치들 및 방법들에 관한 것으로, 좀 더 구체적으로는 로컬 콘트라스트 향상을 수행하기 위한 이미지 처리 장치들 및 방법들에 관한 것이다.
최근, 디지털 카메라들, 디지털 캠코더들, 카메라 폰들과 같은 이미지 촬영 장치에 대한 사용자 요구가 급격하게 증가하고 있다. 이에 따라, 이미지 촬영 장치는 더 정교해지고 더 다양한 기능들을 갖는다.
광역 동적 범위(wide dynamic range) 이미징은 실제 자연 장면을 볼 때 사람의 눈이 수용할 수 있는 휘도 범위를 디지털 이미지에서 더 정확하게 나타내는 기술을 말한다. 예를 들면, 광역 동적 범위의 영상 프레임은 짧은 노출의 이미지와 긴 노출의 이미지를 촬영하고 촬영된 이미지들을 합성함으로써 획득될 수 있다. 광역 동적 범위 이미징은 의료 이미징, 위성 이미징, 물리적 기판 렌더링, 디지털 시네마와 같은 넓은 다양한 어플리케이션들에서 사용될 수 있다.
디스플레이 장치의 휘도 범위는 사람의 눈이 인지할 수 있는 휘도 범위보다 작다. 따라서, 디스플레이 장치에서 광역 동적 범위를 갖는 데이터를 디스플레이하기 위해, 그 데이터에 대한 적절한 변환 기술이 요구된다. 일반적인 변환 기술 방식 중 하나는 톤 매핑(tone mapping)이다.
종래의 톤 매핑 방법들의 예들로는 라인하르트(Reinhard) 방법, 고속(fast) 톤 매핑, 이미지 컬러 외관 모델(image color appearance model)을 사용하는 톤 매핑을 포함한다. 그러나, 이러한 톤 매핑 방법들은 특히 어두운 영역들에서 로컬 콘트라스트 및 디테일들을 저하시킬 수 있다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명의 실시 예들은 프레임들에 대해 개선된 로컬 콘트라스트 향상을 수행할 수 있는 이미지 처리 장치들 및 방법들을 제공하기 위한 것이다. 예를 들면, 이는 톤 매핑 동작과 연관되는 변환 게인들에 기반하여 결정되는 콘트라스트 웨이트들에 기반하여 프레임들에 대한 로컬 콘트라스트 향상을 수행함으로써 달성될 수 있다.
본 발명의 실시 예에 따른 이미지 처리 장치는, 제 1 동적 범위의 제 1 픽셀 값을 갖는 제 1 프레임을 수신하는 제 1 인터페이스; 제공되는 변환 게인에 따라 상기 제 1 동적 범위를 갖는 상기 제 1 픽셀 값을 제 2 동적 범위를 갖는 제 2 픽셀 값으로 변환하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 갖는 제 2 프레임을 생성하되, 상기 제 2 동적 범위는 상기 제 1 동적 범위보다 작은, 동적 범위 변환기; 상기 변환 게인을 수신하고, 상기 변환 게인에 따라 제 1 콘트라스트 웨이트를 생성하는 웨이트 생성기; 및 상기 제 1 콘트라스트 웨이트에 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절함으로써 상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 콘트라스트 조정기를 포함한다.
상기 웨이트 생성기는 상기 변환 게인이 감소할수록 상기 제 1 콘트라스트 웨이트를 증가시킬 수 있다.
상기 콘트라스트 조정기는, 상기 제 2 픽셀 값으로부터 조정 값을 생성하는 콘트라스트 마스크; 상기 제 1 콘트라스트 웨이트에 기반하여 상기 조정 값을 수정하는 제 1 로컬 프로세서; 및 상기 수정된 조정 값에 따라 상기 제 2 픽셀 값을 조절하여 상기 향상된 로컬 콘트라스트를 갖는 상기 제 2 프레임을 제공하는 제 2 로컬 프로세서를 포함할 수 있다.
상기 이미지 처리 장치는, 서브 프레임들을 수신하는 제 2 인터페이스; 및
상기 서브 프레임들을 합성하여 상기 제 1 동적 범위의 상기 제 1 픽셀 값을 갖는 상기 제 1 프레임을 생성하는 동적 범위 합성기를 더 포함하되, 상기 동적 범위 합성기는 제 1 합성 웨이트를 이용하여 상기 서브 프레임들 중 상기 제 1 서브 프레임의 픽셀 값을 조절하고, 제 2 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 2 서브 프레임의 픽셀 값을 조절하고, 상기 제 1 서브 프레임의 상기 조절된 픽셀 값 및 상기 제 2 서브 프레임의 상기 조절된 픽셀 값에 따라 상기 제 1 프레임의 상기 제 1 픽셀 값을 결정하되, 상기 제 2 합성 웨이트는 상기 제 1 합성 웨이트가 증가할수록 감소할 수 있다.
상기 웨이트 생성기는 상기 제 1 합성 웨이트 및 상기 제 2 합성 웨이트 중 적어도 하나와 연관하여 제 2 콘트라스트 웨이트를 제공하고, 상기 콘트라스트 조정기는 상기 제 2 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절할 수 있다.
상기 콘트라스트 조정기는, 상기 제 1 콘트라스트 웨이트를 상기 제 2 콘트라스트 웨이트에 곱하여 제 3 콘트라스트 웨이트를 생성하는 제 1 로컬 프로세서; 상기 제 2 픽셀 값으로부터 조정 값을 생성하는 콘트라스트 마스크; 상기 제 3 콘트라스트 웨이트를 상기 조정 값에 반영함으로써 상기 조정값을 수정하는 제 2 로컬 프로세서; 및 상기 수정된 조정 값에 따라 상기 제 2 픽셀 값을 조절하여 상기 향상된 로컬 콘트라스트를 갖는 상기 제 2 프레임을 제공하는 제 3 로컬 프로세서를 포함할 수 있다.
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고, 상기 제 2 콘트라스트 웨이트는 상기 제 2 합성 웨이트가 증가할수록 감소할 수 있다.
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고, 상기 동적 범위 합성기는 상기 제 1 서브 프레임의 픽셀 값의 휘도 및 상기 제 2 서브 프레임의 픽셀 값의 휘도 중 적어도 하나에 기반하여 소정 범위 중 하나의 합성 레벨을 결정하고, 상기 결정된 합성 레벨에 따라 상기 제 1 합성 웨이트 및 상기 제 2 합성 웨이트를 결정하되, 상기 제 2 합성 웨이트는 상기 결정된 합성 레벨이 증가할수록 증가하고, 상기 웨이트 생성기는 상기 결정된 합성 레벨에 응답하여 제 2 콘트라스트 웨이트를 제공하고, 상기 콘트라스트 조정기는 상기 제 2 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절할 수 있다.
상기 제 2 콘트라스트 웨이트는 상기 결정된 합성 레벨이 증가할수록 감소할 수 있다.
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고, 상기 웨이트 생성기는 상기 제 1 서브 프레임의 상기 노출 시간에 대한 상기 제 2 서브 프레임의 상기 노출 시간의 비율로서 제 3 콘트라스트 웨이트를 제공하고, 상기 콘트라스트 조정기는 상기 제 3 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절할 수 있다.
상기 제 3 콘트라스트 웨이트는 상기 비율이 감소할수록 감소할 수 있다.
상기 동적 범위 변환기는 상기 변환 게인에 기반하여 상기 제 1 동적 범위의 상기 제 1 픽셀 값을 상기 제 2 동적 범위의 상기 제 2 픽셀 값으로 변환하는 톤 매퍼를 포함할 수 있다.
상기 콘트라스트 조정기는 상기 제 2 프레임의 상기 로컬 콘트라스트를 향상시키기 위한 로컬 콘트라스트 향상기를 포함할 수 있다.
본 발명의 다른 일면은 로컬 콘트라스트를 향상시키는 방법에 관한 것이다. 상기 방법은, 이미지 촬영 장치에서 제 1 동적 범위의 제 1 픽셀 값을 갖는 제 1 프레임을 촬영하는 단계; 상기 제 1 픽셀 값에 대한 변환 게인을 결정하는 단계; 상기 변환 게인에 따라 상기 제 1 동적 범위의 상기 제 1 픽셀 값을 제 2 동적 범위의 제 2 픽셀 값으로 변환하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 갖는 제 2 프레임을 생성하되, 상기 제 2 동적 범위는 상기 제 1 동적 범위보다 작은, 단계; 상기 변환 게인에 따라 제 1 콘트라스트 웨이트를 생성하는 단계; 및 상기 제 1 콘트라스트 웨이트에 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절함으로써 상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 단계를 포함한다.
상기 제 1 콘트라스트 웨이트를 생성하는 단계는 상기 변환 게인이 감소할수록 상기 제 1 콘트라스트 웨이트를 증가시키는 단계를 포함할 수 있다.
상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 단계는, 상기 제 2 픽셀 값으로부터 조정 값을 생성하는 단계; 상기 제 1 콘트라스트 웨이트에 기반하여 상기 조정 값을 수정하는 단계; 및 상기 수정된 조정 값에 기반하여 상기 제 2 픽셀 값을 조절하여 상기 향상된 로컬 콘트라스트를 갖는 상기 제 2 프레임을 생성하는 단계를 포함할 수 있다.
상기 방법은, 저장 장치에서 서브 프레임들을 수신하는 단계; 상기 서브 프레임들 중 적어도 두개를 합성하여 상기 제 1 동적 범위의 상기 제 1 픽셀 값을 갖는 상기 제 1 프레임을 생성하는 단계; 제 1 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 1 서브 프레임의 픽셀 값을 조절하는 단계; 제 2 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 2 서브 프레임의 픽셀 값을 조절하는 단계; 상기 제 1 서브 프레임의 상기 조절된 픽셀 값 및 상기 제 2 서브 프레임의 상기 조절된 픽셀 값에 따라 상기 제 1 프레임의 상기 제 1 픽셀 값을 결정하되, 상기 제 2 합성 웨이트는 상기 제 1 합성 웨이트가 증가할수록 감소하는, 단계를 더 포함할 수 있다.
상기 방법은, 상기 제 1 합성 웨이트 및 상기 제 2 합성 웨이트 중 적어도 하나와 연관하여 제 2 콘트라스트 웨이트를 생성하는 단계를 더 포함하며, 상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 단계는 상기 제 2 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절하는 단계를 포함할 수 있다.
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고, 상기 제 2 콘트라스트 웨이트는 상기 제 2 합성 웨이트가 증가할수록 감소할 수 있다.
상기 방법은, 상기 제 1 서브 프레임의 상기 노출 시간에 대한 상기 제 2 서브 프레임의 상기 노출 시간의 비율로서 제 3 콘트라스트 웨이트를 생성하는 단계를 더 포함하며, 상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고, 상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 단계는 상기 제 3 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절하는 단계를 포함할 수 있다.
본 발명의 실시 예들에 따르면, 프레임들에 대해 개선된 로컬 콘트라스트 향상을 수행할 수 있는 이미지 처리 장치들 및 방법들이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 장치를 보여주는 블록도이다.
도 2는 도 1의 톤 매퍼에 입력되는 제 1 프레임 및 톤 매퍼로부터 출력되는 제 2 프레임의 실시 예를 설명하는 개념도이다.
도 3은 도 1의 니커브 생성기에 의해 제공되는 니커브 함수의 예시적인 그래프이다.
도 4는 도 1의 웨이트 생성기에 의해 제공되는 콘트라스트 웨이트의 예시적인 그래프이다.
도 5는 도 1의 웨이트 생성기의 예시적인 실시 예를 보여주는 블록도이다.
도 6은 도 1의 로컬 콘트라스트 향상기의 실시 예를 보여주는 블록도이다.
도 7은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작 방법을 보여주는 순서도이다.
도 8은 본 발명의 실시 예에 따른 이미지 촬영 장치를 보여주는 블록도이다.
도 9는 도 8의 이미지 처리 장치의 실시 예를 보여주는 블록도이다.
도 10은 도 9의 동적 범위 합성기에 입력되는 서브 프레임들 및 동적 범위 합성기로부터 출력되는 합성된 프레임의 실시 예를 보여주는 개념도이다.
도 11은 도 9의 웨이트 생성기에 의해 생성되는 제 2 콘트라스트 웨이트의 예시적인 그래프이다.
도 12는 도 9의 동적 범위 합성기의 실시 예를 보여주는 블록도이다.
도 13은 도 9의 웨이트 생성기의 실시 예를 보여주는 블록도이다.
도 14는 도 9의 로컬 콘트라스트 향상기의 실시 예를 보여주는 블록도이다.
도 15는 이미지 처리 장치의 동작 방법의 다른 실시 예를 보여주는 순서도이다.
도 16은 도 9의 웨이트 생성기의 다른 실시 예를 보여주는 블록도이다.
도 17은 도 9의 로컬 콘트라스트 향상기의 다른 실시 예를 보여주는 블록도이다.
도 18은 도 17의 제 4 로컬 프로세서에 의해 조절되는 제 3 콘트라스트 웨이트의 예시적인 그래프이다.
도 19는 이미지 처리 장치의 동작 방법의 또 다른 실시 예를 보여주는 순서도이다.
도 2는 도 1의 톤 매퍼에 입력되는 제 1 프레임 및 톤 매퍼로부터 출력되는 제 2 프레임의 실시 예를 설명하는 개념도이다.
도 3은 도 1의 니커브 생성기에 의해 제공되는 니커브 함수의 예시적인 그래프이다.
도 4는 도 1의 웨이트 생성기에 의해 제공되는 콘트라스트 웨이트의 예시적인 그래프이다.
도 5는 도 1의 웨이트 생성기의 예시적인 실시 예를 보여주는 블록도이다.
도 6은 도 1의 로컬 콘트라스트 향상기의 실시 예를 보여주는 블록도이다.
도 7은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작 방법을 보여주는 순서도이다.
도 8은 본 발명의 실시 예에 따른 이미지 촬영 장치를 보여주는 블록도이다.
도 9는 도 8의 이미지 처리 장치의 실시 예를 보여주는 블록도이다.
도 10은 도 9의 동적 범위 합성기에 입력되는 서브 프레임들 및 동적 범위 합성기로부터 출력되는 합성된 프레임의 실시 예를 보여주는 개념도이다.
도 11은 도 9의 웨이트 생성기에 의해 생성되는 제 2 콘트라스트 웨이트의 예시적인 그래프이다.
도 12는 도 9의 동적 범위 합성기의 실시 예를 보여주는 블록도이다.
도 13은 도 9의 웨이트 생성기의 실시 예를 보여주는 블록도이다.
도 14는 도 9의 로컬 콘트라스트 향상기의 실시 예를 보여주는 블록도이다.
도 15는 이미지 처리 장치의 동작 방법의 다른 실시 예를 보여주는 순서도이다.
도 16은 도 9의 웨이트 생성기의 다른 실시 예를 보여주는 블록도이다.
도 17은 도 9의 로컬 콘트라스트 향상기의 다른 실시 예를 보여주는 블록도이다.
도 18은 도 17의 제 4 로컬 프로세서에 의해 조절되는 제 3 콘트라스트 웨이트의 예시적인 그래프이다.
도 19는 이미지 처리 장치의 동작 방법의 또 다른 실시 예를 보여주는 순서도이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
실시 예들에서, 이미지 처리 장치, 이미지 촬영 장치, 및/또는 그것들의 하나 또는 그 이상의 구성들은 하나 또는 그 이상의 이산 회로들(discrete circuits), 디지털 신호 처리 칩들(digital signal processing chips), 집적 회로들(integrated circuits), ASIC(application specific integrated circuit), 마이크로프로세서들(microprocessors), 프로세서들, 프로그래머블 어레이들(programmable arrays), 필드 프로그래머블 어레이들(field programmable arrays), 명령어 세트 프로세서들(instruction set processors) 등과 같은 하나 또는 그 이상의 범용 및/또는 특수 목적의 구성들을 통해 구현될 수 있다.
실시 예들에서, 여기에 설명된 특징들, 기능들, 처리들 등은 소프트웨어, 하드웨어(예를 들면, 범용 프로세서, DSP(digital signal processing) 칩, ASIC, FPGAs(field programmable gate arrays)), 펌웨어, 또는 그것들의 조합을 통해 구현될 수 있다. 이러한 경우, 이미지 처리 장치, 이미지 촬영 장치, 및/또는 그것들의 하나 또는 그 이상의 구성들은 이미지 처리 장치, 이미지 촬영 장치, 및/또는 그것들의 구성들이 여기에 설명된 특징들, 기능들, 처리들 등을 수행하도록 야기하는 코드(예를 들면, 명령어들)를 포함하는 하나 또는 그 이상의 메모리들을 포함하거나 연관될 수 있다.
이러한 메모리들은 하나 또는 그 이상의 소프트웨어, 하드웨어, 및/또는 펌웨어 구성들에 실행을 위한 코드를 제공하는 어떠한 종류의 매체라도 포함할 수 있다. 이러한 메모리들은 불휘발성 매체, 휘발성 매체, 및/또는 전송 매체를 포함하는, 그러나 이에 제한되지 않는, 임의의 적합한 형태로 구현될 수 있다. 불휘발성 매체는 예를 들면 광학 혹은 자기 디스크들을 포함할 수 있다. 휘발성 매체는 다이나믹 메모리를 포함할 수 있다. 전송 매체는 동축 케이블, 구리 와이어, 및 광 섬유를 포함한다. 여기서, 전송 매체는 또한 음향, 광학, 혹은 전자파의 형태를 취할 수 있다. 컴퓨터에 의해 읽혀질 수 있는 매체의 일반적인 형태들은, 예를 들면 플로피 디스크, 가요성(flexible) 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체들, CD-ROM(compact disk-read only memory), CD-RW(rewriteable compact disk), DVD(digital video disk), DVD-RW(rewriteable DVD), 임의의 다른 광학 매체들, 펀치 카드, 페이퍼 테이프, 광학 마크 시트, 홀들 혹은 다른 광학적으로 인식 가능한 표시를 갖는 임의의 다른 물리적 매체들, RAM(random-access memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), 플래시 EPROM, 임의의 다른 메모리 칩들, 카트리지, 그리고 정보가 컨트롤러/프로세서에 의해 읽혀질 수 있는 임의의 다른 매체들를 포함할 수 있다.
도 1은 본 발명의 실시 예에 따른 이미지 처리 장치를 보여주는 블록도이다. 도 2는 도 1의 톤 매퍼에 입력되는 제 1 프레임 및 톤 매퍼로부터 출력되는 제 2 프레임의 실시 예를 설명하는 개념도이다. 도 3은 도 1의 니커브 생성기에 의해 제공되는 니커브 함수의 예시적인 그래프이다. 도 4는 도 1의 웨이트 생성기에 의해 제공되는 콘트라스트 웨이트의 예시적인 그래프이다.
도 1을 참조하면, 이미지 처리 장치(100)는 제 1 인터페이스(110, First I/F), 톤 매핑 회로(120), 니커브 생성기(130, Knee Curve Generator), 웨이트 생성기(140, Weight Generator), 로컬 콘트라스트 향상기(150, Local Contrast Enhancer), 및 제 2 인터페이스(160, Second I/F)를 포함할 수 있다.
제 1 인터페이스(110)는 톤 매핑 회로(120)의 제어에 응답하여 동작하여 제 1 동적 범위(dynamic range)의 픽셀 값들을 갖는 제 1 프레임(FR1)을 수신한다. 제 1 인터페이스(110)는, 버퍼 메모리와 같은 다른 구성들과 통신하기 위한 인터페이스를 톤 매핑 회로(120)에 제공할 수 있다. 제 1 프레임(FR1)은 이미지 센서에서 프레임을 촬영함으로써, 혹은 이미지 센서에서 서브 프레임들을 촬영하고 그 서브 프레임들을 합성(synthesize)함으로써 획득될 수 잇다. 이하에서 설명되는 프레임에 대한 처리들은 픽셀 값의 단위로 수행될 수 있다. 그러나, 본 발명의 실시 예들은 여기에 한정되지 않는다. 예를 들면, 제 1 프레임(FR1)은 각각 복수의 픽셀 값들을 대표하는 영역 값들을 포함할 수 있으며, 위 처리들은 영역 값들의 단위로 수행될 수 있다. 이러한 경우, 제 1 프레임(FR1)의 픽셀값들로부터 영역 값들을 계산하기 위한 추가적인 구성들이 더 제공될 수 있다. 이하, 설명의 편의를 위해 픽셀 값들의 단위로 처리하는 실시 예들이 설명될 것이다.
톤 매핑 회로(120)와 같은 동적 범위 변환기는 제 1 인터페이스(110) 및 로컬 콘트라스트 향상기(150)와 통신한다. 톤 매핑 회로(120)는 게인 생성기(121, Gain Generator) 및 톤 매퍼(122, Tone Mapper)를 포함할 수 있다. 게인 생성기(121)는 제 1 프레임(FR1)의 각각의 픽셀 값들에 대응하는 변환 게인들(CG)을 생성한다. 게인 생성기(121)는 니커브 생성기(130)에 의해 제공되는 니커브 신호(KCS)를 이용함으로써 제 1 프레임(FR1)의 각 픽셀 값에 대응하는 변환 게인을 생성할 수 있다.
톤 매퍼(122)는 제 1 인터페이스(110)를 통해 제 1 프레임(FR1)을 수신하고 게인 생성기(121)로부터 변환 게인들(CG)을 수신한다. 톤 매퍼(122)는 변환 게인들(CG)을 이용함으로써 제 1 동적 범위의 제 1 프레임(FR1)을 제 2 동적 범위의 제 2 프레임(FR2)으로 변환할 수 있다. 이때, 제 2 동적 범위는 제 1 동적 범위보다 작다. 도 1과 함께 도 2를 참조하면, 제 1 프레임(FR1)의 픽셀(PX)은 높은 동적 범위(High Dynamic Range)의 제 1 픽셀 값(PV1)을 가질 수 있다. 예를 들면, 높은 동적 범위는 도시된 바와 같이 20개의 데이터 비트들로 표현될 수 있는 0에서 2^20의 범위일 수 있으며, 제 1 픽셀 값(PV1)은 해당 범위 중 하나의 값일 수 있다. 제 1 프레임(FR1)의 각 픽셀은 빨강, 파랑, 초록, 노랑 등과 같은 다양한 색들 중 하나를 가질 수 있다. 톤 매퍼(122)는 해당 픽셀(PX)에 대응하는 변환 게인을 이용함으로써, 제 1 픽셀 값(PV1)을 낮은 동적 범위(Low Dynamic Range)의 제 2 픽셀 값(PV2)로 변환할 수 있다. 예를 들면, 낮은 동적 범위는 도시된 바와 같이 8개의 데이터 비트들로 표현될 수 있는 0에서 2^8의 범위일 수 있으며, 제 2 픽셀 값(PV2)은 해당 범위 중 하나의 값일 수 있다. 실시 예들에서, 톤 매퍼(122)는 제 1 픽셀 값(PV1)을 변환 게인에 곱하여 제 2 픽셀 값(PV2)을 생성할 수 있다. 톤 매퍼(122)는 해당 픽셀(PX)이 제 2 픽셀 값(PV2)인 제 2 프레임(FR2)을 생성할 것이다. 이와 같이, 톤 매퍼(122)는 변환 게인들(CG)을 이용하여, 제 1 동적 범위의 제 1 프레임(FR1)의 픽셀 값들을 각각 제 1 동적 범위보다 작은 제 2 동적 범위의 픽셀 값들로 변환한다.
상대적으로 높은 동적 범위의 픽셀 값들이 상대적으로 낮은 동적 범위의 픽셀 값들로 변환되는 경우, 변환되는 픽셀 값들 각각은 낮은 동적 범위에 한정되므로, 변환 게인들(CG)을 적절히 설정할 것이 요구된다. 도 1과 함께 도 3을 참조하면, x축은 톤 매퍼(122)의 입력 값일 수 있는 제 1 프레임(FR1)의 픽셀 값을 나타내고, y축은 톤 매퍼(122)의 출력 값일 수 있는 제 2 프레임(FR2)의 픽셀 값을 나타낸다. 제 1 프레임(FR1)의 픽셀 값과 제 2 프레임(FR2)의 픽셀 값 사이의 관계는 변환 게인들(CG)에 의해 결정될 수 있다. 변환 게인들(CG)은 니커브 생성기(130)에 의해 제공되는 니커브 신호(KCS)에 의해 표현될 수 있는 니커브(KC)에 따라 제공된다. 변환 게인들(CG)은 니커브(KC)의 슬롭으로 이해될 수 있다. 도 3의 니커브(KC)는 일 실시 예이며, 니커브(KC)는 이미지 처리 장치(100)의 실시 예들에 따라 변할 수 있으며, 니커브 생성기(130)는 이 분야에 알려진 다양한 알고리즘들을 이용하여 니커브 신호(KCS)를 생성하고, 생성된 니커브 신호(KCS)를 게인 생성기(121)에 제공할 수 있음이 이해될 것이다.
니커브(KC)는, 제 1 프레임(FR1)의 픽셀 값들의 외관(appearance) 혹은 시각적으로 인식 가능한 정보를 제 2 프레임(FR2)의 픽셀 값들에 효율적으로 반영하기 위해, 선형적으로 증가하는 슬롭을 가지지 않으며, 니커브(KC)의 슬롭을 변화시키는 포인트인 적어도 하나의 니(knee)를 갖는다. 예를 들면, 니커브(KC)는 제 1 프레임(FR1)의 상대적으로 낮은 픽셀 값들에 대해 상대적으로 높은 슬롭을 가져, 제 1 프레임(FR1)의 픽셀 값들 사이의 콘트라스트가 상대적으로 높은 정도로 제 2 프레임(FR2)의 픽셀값들 사이의 콘트라스트에 반영되도록 할 수 있다. 이에 따라, 제 1 프레임(FR1)의 해당 영역, 예를 들면 상대적으로 낮은 밝기의 영역의 콘트라스트는 제 2 프레임(FR2)에서 상대적으로 보존될 수 있다. 도 3에서, 낮은 제 1 픽셀 값들(PV1_1, PV1_2)은 각각 제 2 픽셀 값들(PV2_1, PV2_2)로 변환된다. 예를 들면, 제 1 픽셀 값들(PV1_1, PV1_2)은 니커브(KC) 상 해당 변환 게인들과 곱해진다. 제 2 픽셀 값들(PV2_1, PV2_2) 사이의 차이는 상대적으로 높게 유지되고, 이에 따라 제 1 프레임(FR1)의 해당 영역은 제 2 프레임(FR2)에서 보존될 수 있다.
반면, 변환되는 픽셀 값들의 범위를 제 2 동적 범위로 제한하기 위해, 니커브(KC)는 제 1 프레임(FR1)의 상대적으로 높은 픽셀 값들에 대해 상대적으로 낮은 슬롭을 가질 수 있다. 도 3에서, 상대적으로 높은 제 1 픽셀 값들(PV1_3, PV1_4)은 제 2 픽셀 값들(PV2_3, PV2_4)로 각각 변환될 때, 제 1 픽셀 값들(PV1_3, PV1_4) 사이의 차이는 제 1 픽셀 값들(PV1_1, PV1_2) 사이의 차이와 동일하지만, 제 2 픽셀 값들(PV2_3, PV2_4) 사이의 차이는 제 2 픽셀 값들(PV2_1, PV2_2) 사이의 차이보다 작다. 이로 인해, 제 2 픽셀 값들(PV2_1, PV2_2)보다 제 2 픽셀 값들(PV2_3, PV2_4)에서 더 많은 콘트라스트 손실이 발생된다.
다시 도 1을 참조하면, 웨이트 생성기(140)는 톤 매핑 회로(120) 및 로컬 콘트라스트 향상기(150)에 연결된다. 웨이트 생성기(140)는 게인 생성기(121)로부터 변환 게인들(CG)을 수신하고, 변환 게인들(CG)에 각각 기반하여 콘트라스트 웨이트들(CW)을 생성한다. 웨이트 생성기(140)는 변환 게인이 감소할수록 해당 콘트라스트 웨이트를 증가시킨다. 도 1과 함께 도 4를 참조하면, x축은 변환 게인을 나타내고 y축은 콘트라스트 웨이트를 나타낸다. 제 1 변환 게인(CG1)에 응답하여, 웨이트 생성기(140)는 제 1 콘트라스트 웨이트(CW1)를 생성한다. 제 1 변환 게인(CG1)보다 큰 제 2 변환 게인(CG2)에 응답하여, 웨이트 생성기(140)는 제 1 콘트라스트 웨이트(CW1)보다 작은 제 2 콘트라스트 웨이트(CW2)를 생성한다. 이와 같이, 콘트라스트 웨이트는 변환 게인이 증가할수록 감소할 수 있다. 실시 예들에서, 콘트라스트 웨이트는 변환 게인에 반비례할 수 있다.
다시 도 1을 참조하면, 로컬 콘트라스트 향상기(150)는 톤 매핑 회로(120) 및 제 2 인터페이스(160)와 통신한다. 로컬 콘트라스트 향상기(150)는 톤 매핑 회로(120)로부터 제 2 프레임(FR2)를 수신하고, 제 2 프레임(FR2)의 픽셀 값들을 조절함으로써 제 2 프레임(FR2)의 로컬 콘트라스트 값들을 향상(enhance)시키고, 향상된 로컬 콘트라스트 값들을 갖는 제 2 프레임(FR2)을 제 3 프레임(FR3)으로서 출력한다. 실시 예들에서, 로컬 콘트라스트 향상기(150)는 제 2 프레임(FR2)의 픽셀 값들로부터 조정 값들(variation values)을 생성할 수 있으며, 이러한 조정 값들에 따라 제 2 프레임(FR2)의 픽셀 값들을 조절할 수 있다. 실시 예들에서, 로컬 콘트라스트 향상기(150)는 제 2 프레임(FR2)의 픽셀 값들에 대한 하나 또는 그 이상의 로우 패스 필터들을 포함하는 콘트라스트 마스크를 가지며, 콘트라스트 마스크를 이용하여 조정 값들을 결정할 수 있다.
로컬 콘트라스트 향상기(150)는 웨이트 생성기(140)로부터 콘트라스트 웨이트들(CW)을 수신한다. 로컬 콘트라스트 향상기(150)는 콘트라스트 웨이트들(CW)에 기반하여 제 2 프레임(FR2)의 로컬 콘트라스트들을 향상시킬 수 있다. 로컬 콘트라스트 향상기(150)는 조정 값들을 각각 콘트라스트 웨이트들(CW)에 따라 수정할 수 있으며, 수정된 조정 값들에 따라 제 2 프레임(FR2)의 픽셀 값들을 조절할 수 있다. 조정 값은 해당 콘트라스트 웨이트가 증가할수록 증가하도록 수정될 수 있으며, 수정된 조정 값이 증가할수록 해당 픽셀 값은 증가할 수 있다. 예를 들면, 로컬 콘트라스트 향상기(150)는 조정 값들을 콘트라스트 웨이트들(CW)에 각각 곱하여 조정 값들을 수정할 수 있으며, 로컬 콘트라스트 향상기(150)는 수정된 조정 값들을 제 2 프레임(FR2)의 픽셀 값들에 더하여 제 2 프레임(FR2)의 픽셀 값들을 조절할 수 있다.
도 3을 참조하여 설명된 바와 같이, 제 2 프레임(FR2)은 제 1 프레임(FR1)에서 제 2 프레임(FR2)으로 변환할 때 다른 픽셀 값들보다 상대적으로 더 많은 콘트라스트 손실이 발생한 픽셀 값들을 포함할 수 있다. 좀 더 구체적으로, 픽셀 값들과 연관되는 콘트라스트 손실은, 제 1 프레임(FR1)을 제 2 프레임(FR2)으로 변환할 때의 해당 변환 게인들이 감소할수록 증가할 수 있다. 이와 같은 제 1 프레임(FR1)을 제 2 프레임(FR2)으로 변환할 때 발생되는 상대적 콘트라스트 손실은, 로컬 콘트라스트 향상기(150)에 의해 로컬 콘트라스트 향상(local contrast enhancement)을 수행할 때 보상될 수 있다. 웨이트 생성기(140)는, 도 1을 참조하여 설명된 바와 같이, 변환 게인이 감소할수록 콘트라스트 웨이트를 증가시킨다. 로컬 콘트라스트 향상에 사용되는 조정 값은 증가된 콘트라스트 웨이트로 가중되므로, 제 1 프레임(FR1)에서 제 2 프레임(FR2)으로 변환할 때 발생되는 상대적 콘트라스트 손실은 증가된 콘트라스트 웨이트에 의해 보상될 수 있다. 이에 따라, 개선된 로컬 콘트라스트들을 갖는 제 3 프레임(FR3)을 출력하는 이미지 처리 장치(100)가 제공될 수 있다.
실시 예들에서, 제 1 인터페이스(110), 톤 매핑 회로(120), 니커브 생성기(130), 웨이트 생성기(140), 로컬 콘트라스트 향상기(150), 및 제 2 인터페이스(160)는 각각 소프트웨어, 하드웨어 칩, ASIC, FPGAs, 펌웨어, 혹은 그것들의 조합을 통해 구현될 수 있다. 구성이 소프트웨어, 펌웨어, 혹은 그 조합으로 구현되는 경우, 이미지 처리 장치(100)는 하나 또는 그 이상의 프로세서들, 그리고 그 하나 또는 그 이상의 프로세서들을 그 구성의 동작들 및/또는 기능들을 수행하도록 야기하는 코드(예를 들면, 명령어들)을 저장하는 하나 또는 그 이상의 메모리들을 포함할 수 있다.
도 5는 도 1의 웨이트 생성기의 예시적인 실시 예를 보여주는 블록도이다.
도 1 및 도 5를 참조하면, 웨이트 생성기(200)는 톤 매핑 회로(120)로부터 변환 게인들(CG)을 수신하고 콘트라스트 웨이트들(CW)을 출력하는 제 1 연산기(210, First Calculator)를 포함할 수 있다. 제 1 연산기(210)는 아래의 수학식 1 및 2에 따라 변환 게인들(CG)을 각각 처리함으로써 콘트라스트 웨이트들(CW)을 결정할 수 있다.
수학식 1 및 2에서, Cg는 변환 게인을 나타내고, a는 조절 가능한 상수를 나타내고, cw는 콘트라스트 웨이트를 나타낸다. 수학식 1 및 2에 따라, 콘트라스트 웨이트(cw)는 변환 게인(cg)에 반비례할 수 있다.
도 6은 도 1의 로컬 콘트라스트 향상기의 실시 예를 보여주는 블록도이다.
도 1 및 도 6을 참조하면, 로컬 콘트라스트 향상기(300)는 콘트라스트 마스크(310, Contrast Mask), 제 1 로컬 프로세서(320, First Local Processor), 및 제 2 로컬 프로세서(330, Second Local Processr)를 포함할 수 있다. 콘트라스트 마스크(310)는 제 2 프레임(FR2)의 픽셀 값들에 응답하여 제 1 로컬 프로세서(320)에 조정 값들(VR)을 제공한다. 콘트라스트 마스크(310)는 이 분야에 알려진 다양한 방식들로 조정 값들(VR)을 결정할 수 있다. 실시 예들에서, 콘트라스트 마스크(310)는 제 2 프레임(FR2)의 픽셀 값들을 수신 및 필터링하는 하나 또는 그 이상의 로우 패스 필터들, 그리고 제 2 프레임(FR2)의 픽셀 값들에서 위 하나 또는 그 이상의 로우 패스 필터들의 출력 값들을 빼 조정 값들(VR)을 제공하는 연산기를 포함할 수 있다.
제 1 로컬 프로세서(320)는 콘트라스트 마스크(310) 및 웨이트 생성기(140)로부터 조정 값들(VR) 및 콘트라스트 웨이트들(CW)을 각각 수신한다. 제 1 로컬 프로세서(320)는 콘트라스트 웨이트들(CW)에 따라 조정 값들(VR)을 수정한다. 예를 들면, 제 1 로컬 프로세서(320)는 콘트라스트 웨이트들(CW)을 조정 값들(VR)에 곱하여 수정된 조정 값들(MVR)을 생성한다. 수정된 조정 값들(MVR)은 제 2 로컬 프로세서(330)에 전송된다. 제 2 로컬 프로세서(330)는 톤 매핑 회로(120)로부터 제 2 프레임(FR2)의 픽셀 값들을 수신하고, 수정된 조정 값들(MVR)에 따라 제 2 프레임(FR2)의 픽셀 값들을 조절한다. 예를 들면, 제 2 로컬 프로세서(320)는 수정된 조정 값들(MVR)을 제 2 프레임(FR2)의 픽셀 값들에 더하여 제 3 프레임(FR3)의 픽셀 값들을 결정할 수 있다. 제 3 프레임(FR3)은 제 2 인터페이스(160)를 통해 출력된다.
도 7은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작 방법을 보여주는 순서도이다.
도 7을 참조하면, S110단계에서, 제 1 동적 범위의 제 1 픽셀 값들을 갖는 제 1 프레임이 획득된다. S120단계에서, 제 1 프레임의 제 1 픽셀 값들에 대한 변환 게인들이 결정된다. 변환 게인들은 도 3에 도시된 니커브(KC)로부터 결정될 수 있다. 니커브(KC)는 앞서 설명된 바와 같이 이미지 처리 장치(100)의 실시 예들에 따라 변할 수 있다. 예를 들면, 제 1 프레임을 포함하는 하나 또는 그 이상의 프레임들로부터 히스토그램들이 생성되고, 그러한 히스토그램들에 기반하여 니커브(KC)가 결정될 수 있다.
S130단계에서, 제 1 프레임의 제 1 픽셀 값들이 변환 게인들에 따라 제 2 동적 범위의 제 2 픽셀 값들로 변환되어 제 2 픽셀 값들을 포함하는 제 2 프레임을 생성한다. 여기에서, 제 2 동적 범위는 제 1 동적 범위보다 작다. 즉, 각 제 2 픽셀 값에 대한 데이터 비트들의 수는 각 제 1 픽셀 값에 대한 데이터 비트들의 수보다 작다. 제 1 픽셀 값들은 변환 게인들에 각각 곱해져 제 2 픽셀 값들을 생성한다. 상대적으로 낮은 변환 게인들을 이용함으로써 변환된 제 2 픽셀 값들에서 다른 제 2 픽셀 값들보다 더 많은 콘트라스트 손실이 발생할 수 있다.
S140단계에서, 변환 게인들에 따라 콘트라스트 웨이트들이 각각 생성된다. 콘트라스트 웨이트는 해당 변환 게인이 감소할수록 증가한다. 실시 예들에서, 콘트라스트 웨이트는 변환 게인에 반비례할 수 있다.
S150단계에서, 콘트라스트 웨이트들에 기반하여 제 2 픽셀 값들을 조절함으로써, 제 2 프레임에 대한 로컬 콘트라스트 향상이 수행된다. 하나 또는 그 이상의 로우 패스 필터들을 이용함으로써 제 2 프레임의 제 2 픽셀 값들로부터 조정 값들이 생성될 수 있으며, 조정 값들은 콘트라스트 웨이트들에 따라 각각 수정될 수 있다. 제 2 프레임의 제 2 픽셀 값들은 수정된 조정 값들에 따라 조절되어 제 3 프레임에 포함되는 제 3 픽셀 값들을 생성할 수 있다. 제 1 프레임을 제 2 프레임으로 변환할 때 상대적으로 큰 콘트라스트 손실은 로컬 콘트라스트 향상을 수행할 때 콘트라스트 웨이트에 의해 보상될 수 있으며, 이에 따라 개선된 로컬 콘트라스트들을 갖는 제 3 프레임을 제공할 수 있다.
도 8은 본 발명의 실시 예에 따른 이미지 촬영 장치를 보여주는 블록도이다.
도 8을 참조하면, 이미지 촬영 장치(1000)는 렌즈(1005), 이미지 센서(1100, Image Sensor), 이미지 처리 장치(1200, Image Processing Device), 시스템 메모리(1300, System Memory), 메인 프로세서(1400, Main Processor), 센서 컨트롤러(1500, Sensor Controller), 렌즈 컨트롤러(1600, Lens Controller), 사용자 인터페이스(1700, User I/F), 디스플레이 장치(1800, Display Device), 및 네트워크 인터페이스(1900, Network I/F)를 포함할 수 있다.
빛들(Lights)은 렌즈(1005)를 통해 이미지 센서(1100)에 유도될 수 있으며, 이미지 센서(1100)에 의해 데이터 스트림들을 구성하는 픽셀 값들로 변환될 수 있다. 광역 동적 범위(wide dynamic range: WDR) 모드에서, 이미지 센서(1100)는 빛들을 다른 조건들, 예를 들면 다른 노출 시간들 하에서 촬영된 서브 프레임들로 변환할 수 있다. 이미지 센서(1100)는 각 노출 시간에서 빛들을 수신하고, 수신된 빛들을 픽셀 값들을 갖는 서브 프레임으로 변환한다. 이미지 센서(1100)는 CCD(Charge Coupled Device) 혹은 CMOS(Complementary Metal-Oxide Semiconductor)와 같은 고체 이미지 센서(solid-state image sensor)로서 구현될 수 있다. 실시 예들에서, 이미지 센서(1100)는 빨강, 초록, 및 파랑의 3가지 색들의 컬러 필터들이 베이어 배열(bayer arrangement)로 배열되는 컬러 센서일 수 있다. 예를 들면, 서브 프레임은 빨강, 초록, 빨강, 및 초록의 순서를 갖는 픽셀 열을 출력하고 파랑, 초록, 파랑, 초록의 순서를 갖는 픽셀 열을 출력하는 것을 반복적으로 수행함으로써 제공될 수 있다.
하나의 프레임으로 합성하기 위한 서브 프레임들의 수는 센서 컨트롤러(1500)에 의해 변할 수 잇다. 예를 들면, 렌즈(1005)를 통해 입사되는 빛의 양이 불충분하고 기준 값보다 밝기가 낮을 때, 서브 프레임들의 수는 4에서 2로 변할 수 있다. 만약 밝기가 충분하다면, 서브 프레임들의 수는 다시 4로 변할 수 있다.
이미지 처리 장치(1200)는 이미지 센서(1100)에 연결된다. 이미지 처리 장치(1200)는 이미지 센서(1100)로부터 제공되는 픽셀 열들을 예를 들면 시스템 메모리(1300) 혹은 내부 메모리에 순차적으로 누적하고, 매우 긴 프레임, 긴 프레임, 짧은 프레임, 및 매우 짧은 프레임과 같은 서브 프레임들을 생성할 수 있다. 이미지 처리 장치(1200)는 서브 프레임들의 세트를 합성하여 도 1의 제 1 프레임(FR1)과 같은 하나의 프레임을 생성할 수 있으며, 합성된 프레임을 처리하여 도 1의 제 3 프레임(FR3)과 같은 출력 프레임을 생성할 수 있다.
시스템 메모리(1300)는 이미지 처리 장치(1200) 및/또는 메인 프로세서(1400)의 워킹 메모리로서 사용될 수 있다. 실시 예들에서, 이미지 처리 장치(1200)의 구성들 중 일부가 소프트웨어 및/또는 펌웨어를 통해 구현되는 경우, 해당 프로그램 코드들이 이미지 촬영 장치(1000)와 연관되는 불휘발성 저장 매체로부터 시스템 메모리(1300)로 로드되고, 로드된 프로그램 코드들은 이미지 처리 장치(1200)의 하나 또는 그 이상의 프로세서들에 의해 실행되어 해당 구성들의 동작들 및/또는 기능들을 수행할 수 있다. 또한, 시스템 메모리(1300)는 이미지 처리 장치(1200) 및/또는 메인 프로세서(1400)의 동작들을 위한 버퍼 메로리로서 사용될 수 있다. 시스템 메모리(1000)는 이미지 처리 장치(1200) 및 메인 프로세서(1400)와 구분된 구성 요소로서 도시되어 있다. 그러나, 본 발명의 실시 예들은 여기에 한정되지 않는다. 예를 들면, 시스템 메모리(1300)의 적어도 일부들은 이미지 처리 장치(1200) 및 메인 프로세서(1400)에 포함될 수 있다. 실시 예들에서, 시스템 메모리(1300)는 SRAM(Static RAM), DRAM(Dynamic RAM), 및 SDRAM(Synchronous DRAM) 중 적어도 하나를 포함할 수 있다.
메인 프로세서(1400)는 이미지 촬영 장치(1000)의 제반 동작들을 제어할 수 있다. 메인 프로세서(1400)는 사용자 인터페이스(1700)를 통해 수신되는 사용자 입력을 처리할 수 있으며, 이미지 처리 장치(1200)에 의해 처리된 프레임들을 디스플레이 장치(1800)에 디스플레이할 수 있으며, 이미지 처리 장치(1200)에 의해 처리된 프레임들을 네트워크 인터페이스(1900)를 통해 전송할 수 있다.
센서 컨트롤러(1500)는 메인 프로세서(1400)의 제어에 응답하여 이미지 센서(1100)의 기계적 혹은 전자적 셔터를 제어함으로써 서브 프레임들의 노출 시간들을 조절할 수 있다. 또한, 센서 컨트롤러(1500)는 이미지 센서(1100)에 의해 촬영되는 서브 프레임들의 수를 변경할 수 있다. 렌즈 컨트롤러(1600)는 렌즈(1005)의 초점을 제어할 수 있다.
사용자 인터페이스(1700)는 메인 프로세서(1400)의 다양한 동작들을 제어하기 위한 사용자 입력을 수신할 수 있으며, 스위치, 다이얼, 터치 패널, 음성 인식 장치 등을 포함할 수 있다. 사용자는 사용자 인터페이스(1700)를 통해 파워 온/오프, 광역 동적 범위 모드 온/오프, 줌 인/아웃, 및 이미지 디스플레이 온/오프와 같은 다양한 기능들을 설정할 수 있다.
디스플레이 장치(1800)는 메인 프로세서(1400)의 제어에 응답하여 이미지 처리 장치(1200)에 의해 처리된 프레임들을 디스플레이할 수 있다. 디스플레이 장치(1800)는 사용자 인터페이스(1700)를 통해 수신되는 사용자 입력에 의해 턴 온 및 오프될 수 있다. 디스플레이 장치(1800)는 LCD(liquid crystal display), OLED(organic light-emitting diode), CRT(cathode ray tube), 혹은 이 분야에 알려진 다른 디스플레이 장치들을 포함할 수 있다.
네트워크 인터페이스(1900)는 이미지 촬영 장치(1000)와 외부 장치 사이의 네트워크를 통한 통신들을 제공한다. 네트워크 인터페이스(1900)는 외부 장치로부터의 제어 신호들을 수신할 수 있으며, 메인 프로세서(1400)의 제어에 응답하여 이미지 처리 장치(1200)에 의해 처리된 프레임들을 외부 장치에 전송할 수 있다.
도 9는 도 8의 이미지 처리 장치의 실시 예를 보여주는 블록도이다. 도 10은 도 9의 동적 범위 합성기에 입력되는 서브 프레임들 및 동적 범위 합성기로부터 출력되는 합성된 프레임의 실시 예를 보여주는 개념도이다. 도 11은 도 9의 웨이트 생성기에 의해 생성되는 제 2 콘트라스트 웨이트의 예시적인 그래프이다.
도 9를 참조하면, 이미지 처리 장치(1200)는 센서 인터페이스(401, Sensor I/F), 센서 버퍼(402, Sensor Buffer), 버퍼 인터페이스(403, Buffer I/F), 동적 범위 합성기(405, Dynamic Range Synthesizer), 제 1 인터페이스(410, First I/F), 톤 매핑 회로(420), 니커브 생성기(430, Knee Curve Generator), 웨이트 생성기(440, Weight Generator), 로컬 콘트라스트 향상기(450, Local Contrast Enhancer), 및 제 2 인터페이스(460, Second I/F)를 포함할 수 있다.
센서 인터페이스(401)는 도 8의 이미지 센서(1100)로부터 데이터 스트림들(DS)을 수신한다. 센서 인터페이스(401)는 센서 버퍼(402)에 데이터 스트림들(DS)를 순차적으로 누적할 수 있으며, 센서 버퍼(402)에 저장된 누적된 데이터 스트림들(DS)은 서브 프레임들(SFR)을 형성할 수 있다. 실시 예들에서, 센서 버퍼(402)는 도 8의 시스템 메모리(1300)에 의해 제공될 수 있다. 다른 실시 예들에서, 센서 버퍼(402)는 이미지 처리 장치(1200)에 포함되는 구성일 수 있다. 서브 프레임들(SFR)은 위 설명된 바와 같이 서로 다른 노출 시간들을 가질 수 있다. 버퍼 인터페이스(403)는 센서 버퍼(402)에 누적된 서브 프레임들(SFR)을 읽고, 서브 프레임들(SFR)을 동적 범위 합성기(405)에 전송할 수 있다. 또한, 버퍼 인터페이스(403)는 니커프 생성기(430)가 서브 프레임들(SFR)에 기반하여 니커브 신호(KCS)를 생성할 수 있도록, 서브 프레임들(SFR)을 니커브 생성기(430)에 전송할 수 있다.
도 1의 하나의 콘트라스트 웨이트와 달리 두개의 콘트라스트 웨이트들(CW1, CW2)을 제공하는 웨이트 생성기(440)를 제외하면, 나머지 구성들은 도 1과 유사하게 넘버링된 구성들과 유사하게 동작한다. 좀 더 상세하게, 동적 범위 합성기(405)는 서브 프레임들(SFR)을 합성하여 제 1 동적 범위의 픽셀 값들을 포함하는 제 1 프레임(FR1)을 생성한다. 동적 범위 합성기(405)는 각 픽셀에 대해, 서브 프레임들(SFR)의 동일 위치의 픽셀 값들의 적어도 하나의 휘도(luminance)에 기반하여 0-255 혹은 0-767과 같은 소정 범위 내의 합성 레벨을 결정할 수 있으며, 이에 따라 서브 프레임들(SFR)의 동일 위치의 픽셀 값들에 대한 합성 웨이트들을 결정할 수 있다. 실시 예들에서, 동적 범위 합성기(405)는, 제 1 노출 시간에 대응하는 서브 프레임의 픽셀 값의 휘도가 임계 값보다 클 때, 그 휘도가 증가할수록 합성 레벨을 증가시킬 수 있다. 이러한 경우, 동적 범위 합성기(405)는 합성 레벨이 증가할수록 제 1 노출 시간에 대응하는 서브 프레임의 픽셀 값에 대한 합성 웨이트를 감소시킬 수 있으며, 합성 레벨이 증가할수록 제 1 노출 시간보다 작은 제 2 노출 시간에 대응하는 서브 프레임의 픽셀 값에 대한 합성 웨이트를 증가시킬 수 있다.
동적 범위 합성기(405)는 이후 합성 웨이트들을 사용하여 서브 프레임들(SFR)의 픽셀 값들을 조절할 수 있으며, 서브 프레임들(SFR)의 조절된 픽셀 값들에 따라 제 1 프레임(FR1)의 픽셀 값을 결정할 수 있다. 예를 들면, 동적 범위 합성기(405)는 서브 프레임들(SFR)의 조절된 픽셀 값들을 서로 더하여 제 1 프레임(FR1)의 픽셀 값을 결정할 수 있다. 도 10을 참조하면, 상대적으로 긴 노출 시간으로 촬영된 제 1 서브 프레임(SFR1), 그리고 상대적으로 짧은 노출 시간으로 촬영된 제 2 서브 프레임(SFR2)이 제공될 수 있다. 동적 범위 합성기(405)는 제 1 서브 프레임(SFR1)의 제 1 내지 제 16 픽셀 값들(SP1~SP16)에 제 1 합성 웨이트들을 각각 적용하여 픽셀 값들(SP1’~SP16’)을 포함하는 가중된 제 1 서브 프레임(SFR1’)을 획득할 수 있다. 동적 범위 합성기(405)는 제 2 서브 프레임(SFR2)의 픽셀 값들(SP1~SP16)에 제 2 합성 웨이트들을 각각 적용하여 픽셀 값들(SP1’~SP16’)을 포함하는 가중된 제 2 서브 프레임(SFR2’)을 획득할 수 있다. 이후, 동적 범위 합성기(405)는 가중된 제 1 서브 프레임(SFR1’)과 가중된 제 2 서브 프레임(SFR2’)의 동일 픽셀들의 픽셀 값들을 더함으로써, 픽셀 값들(PV1_1~PV1_16)을 포함하는 제 1 프레임(FR1)을 생성할 수 있다. 각 픽셀에 대한 제 1 합성 웨이트 및 제 2 합성 웨이트의 합은 1일 수 있다. 즉, 각 픽셀에 대한 제 1 합성 웨이트와 제 2 합성 웨이트는 상호 의존적일 수 있다. 실시 예들에서, 합성 웨이트는 픽셀의 단위로 제공될 수 있다. 다른 실시 예들에서, 합성 웨이트는 각 서브 프레임의 로컬 영역의 단위로 제공될 수 있다. 또한, 도 10은 두개의 서브 프레임들(SFR1, SFR2)이 합성되어 제 1 프레임(FR1)을 생성하는 것이 도시되나, 이는 예시적인 것으로 더 많은 서브 프레임들이 합성되어 제 1 프레임(FR1)을 생성할 수 있다.
다시 도 9를 참조하면, 제 1 인터페이스(410), 게인 생성기(421, Gain Generator) 및 톤 매퍼(422, Tone Mapper)를 포함하는 톤 매핑 회로(420), 및 니커브 생성기(430)는 도 1을 참조하여 설명된 제 1 인터페이스(110), 게인 생성기(121) 및 톤 매퍼(122)를 포함하는 톤 매핑 회로(120), 및 니커브 생성기(130)와 마찬가지로 구성된다. 이하, 중복되는 설명은 생략된다.
웨이트 생성기(440)는 톤 매핑 회로(420)로부터 변환 게인들(CG)를 수신한다. 웨이트 생성기(440)는 도 1의 콘트라스트 웨이트들(CW)을 참조하여 설명된 바와 같이 변환 게인들(CG)에 따라 제 1 콘트라스트 웨이트들(CW1)을 제공할 수 있다.
웨이트 생성기(440)는 동적 범위 합성기(405)로부터 합성 레벨들(SL)을 더 수신할 수 있다. 웨이트 생성기(440)는 합성 레벨들(SL)에 따라 각각 제 2 콘트라스트 웨이트들(CW2)을 제공할 수 있다. 웨이트 생성기(440)는 합성 레벨이 증가할 때 해당 제 2 콘트라스트 웨이트를 감소시킬 수 있다. 도 11을 참조하면, x축은 합성 레벨을 나타내고, y축은 제 2 콘트라스트 웨이트를 나타낸다. 웨이트 생성기(440)는 제 1 합성 레벨(SL1)에 응답하여 제 2 콘트라스트 웨이트(CW2_1)를 생성한다. 웨이트 생성기(440)는 제 1 합성 레벨(SL1)보다 큰 제 2 합성 레벨(SL2)에 응답하여 제 2 콘트라스트 웨이트(CW2_1)보다 작은 제 2 콘트라스트 웨이트(CW2_2)를 생성한다. 이와 같이, 제 2 콘트라스트 웨이트는 합성 레벨이 증가할수록 감소한다. 실시 예들에서, 제 2 콘트라스트 웨이트는 합성 레벨에 반비례할 수 있다.
제 1 노출 시간을 갖는 서브 프레임의 픽셀 값에 대한 합성 웨이트, 그리고 제 1 노출 시간보다 작은 제 2 노출 시간을 갖는 서브 프레임의 픽셀 값에 대한 합성 웨이트는 합성 레벨에 의해 결정될 수 있다. 제 2 콘트라스트 웨이트는 합성 레벨에 따라 결정된다. 그러므로, 제 2 콘트라스트 웨이트들(CW2) 각각은 제 1 노출 시간을 갖는 서브 프레임의 픽셀 값에 대한 합성 웨이트 및 제 2 노출 시간을 갖는 서브 프레임의 픽셀 값에 대한 합성 웨이트 중 적어도 하나와 연관될 수 있다. 예를 들면, 제 2 콘트라스트 웨이트는 제 2 노출 시간을 갖는 서브 프레임의 해당 픽셀 값에 대한 합성 웨이트가 증가할 때 감소할 수 있다.
다시 도 9를 참조하면, 로컬 콘트라스트 향상기(450)는 톤 매핑 회로(420) 및 제 2 인터페이스(460)와 통신한다. 로컬 콘트라스트 향상기(450)는 도 1을 참조하여 설명된 바와 같이 제 1 콘트라스트 웨이트들(CW1)에 기반하여 제 2 프레임(FR2)의 로컬 콘트라스트들을 향상시킨다. 또한, 로컬 콘트라스트 향상기(450)는 제 2 콘트라스트 웨이트들(CW2)에 더 기반하여 제 2 프레임(FR2)의 로컬 콘트라스트들을 향상시킬 수 있다. 로컬 콘트라스트 향상기(150)는 제 2 프레임(FR2)의 픽셀 값들로부터 조정 값들을 생성할 수 있으며, 제 1 콘트라스트 웨이트들(CW1) 및 제 2 콘트라스트 웨이트들(CW2)에 따라 조정 값들을 수정할 수 있으며, 수정된 조정 값들에 따라 제 2 프레임(FR2)의 픽셀 값들을 조절할 수 있다. 따라서, 로컬 콘트라스트 향상기(150)는 더 향상된 로컬 콘트라스트들을 갖는 제 2 프레임(FR2)을 제 3 프레임(FR3)으로서 출력할 수 있다.
짧은 노출 시간을 갖는 서브 프레임은, 예를 들면 불충분한 노출 시간으로 인해, 단위 영역 당 상대적으로 많은 노이즈를 포함할 수 있다. 즉, 짧은 노출 시간을 갖는 서브 프레임은 상대적으로 높은 신호 대 잡음비(signal to noise ratio: SNR)를 가질 수 있다. 서브 프레임 합성을 수행할 때 짧은 노출 시간을 갖는 서브 프레임의 픽셀 값들이 상대적으로 높은 합성 웨이트들로 가중되고 반면 긴 노출 시간을 갖는 서브 프레임의 픽셀 값들이 상대적으로 낮은 합성 웨이트들로 가중되는 경우, 제 2 프레임(FR2)의 해당 픽셀 값들은 제 2 프레임(FR2)의 다른 픽셀 값들보다 더 많은 노이즈를 포함할 수 있다. 이 실시 예에 따르면, 짧은 노출 시간을 갖는 서브 프레임의 픽셀 값에 적용되는 합성 웨이트가 증가할수록 해당 제 2 콘트라스트 웨이트는 감소될 수 있다. 이에 따라, 제 3 프레임(FR3)의 픽셀 값들은 상대적으로 낮은 노이즈를 가질 수 있고, 따라서 이미지 처리 장치(400)는 더 향상된 로컬 콘트라스트들을 갖는 제 3 프레임(FR3)을 출력할 수 있다.
실시 예들에서, 센서 인터페이스(401), 버퍼 인터페이스(403), 동적 범위 합성기(405), 제 1 인터페이스(410), 톤 매핑 회로(420), 니커브 생성기(430), 웨이트 생성기(440), 로컬 콘트라스트 향상기(450), 및 제 2 인터페이스(460)는 소프트웨어, 하드웨어 칩, ASIC, FPGAs, 펌웨어, 혹은 그것들의 조합을 통해 구현될 수 있다. 구성이 소프트웨어, 펌웨어, 혹은 그 조합으로 구현되는 경우, 이미지 처리 장치(400)는 하나 또는 그 이상의 프로세서들, 그리고 그 하나 또는 그 이상의 프로세서들을 그 구성의 동작들 및/또는 기능들을 수행하도록 야기하는 코드(예를 들면, 명령어들)을 저장하는 하나 또는 그 이상의 메모리들을 포함할 수 있다.
도 12는 도 9의 동적 범위 합성기의 실시 예를 보여주는 블록도이다.
도 12를 참조하면, 동적 범위 합성기(500)는 제 1 휘도값 생성기(510), 합성 레벨 컨트롤러(520), 및 프레임 합성기(530)를 포함할 수 있다. 휘도값 생성기(510)는 제 2 서브 프레임(SFR2)의 제 2 노출 시간보다 큰 제 1 노출 시간을 갖는 제 1 서브 프레임(SFR1)을 수신할 수 있다. 휘도값 생성기(510)는, 예를 들면 픽셀 값과 그 픽셀값 주변의 픽셀 값들을 평균함으로써, 제 1 서브 프레임(SFR1)의 각 픽셀 값에 대한 휘도값을 생성할 수 있다.
합성 레벨 컨트롤러(520)는 휘도값 생성기(510)에 의해 생성된 제 1 서브 프레임(SFR1)의 각각의 픽셀 값들의 휘도 값들을 수신한다. 합성 레벨 컨트롤러(520)는 제 1 서브 프레임(SFR1)의 각각의 픽셀 값들의 휘도값들에 기반하여, 각각의 픽셀들의 합성 레벨들을 결정할 수 있다. 예를 들면, 합성 레벨 컨트롤러(520)는 도 12에 도시된 그래프에 따라 각 합성 레벨을 출력할 수 있다. 그래프에서, x축은 제 1 서브 프레임(SFR1)의 픽셀 값의 휘도를 나타내고, y축은 합성 레벨 컨트롤러(520)로부터 출력되는 합성 레벨을 나타낸다. 다른 말로, 합성 레벨 컨트롤러(520)는 아래의 수학식 3에 따라 각 합성 레벨을 결정할 수 있다.
도 3을 참조하면, lmnc는 제 1 서브 프레임(SFR1)의 픽셀 값의 휘도를 나타내고, thr은 도 12의 그래프의 소정의 임계값(threshold)을 나타내고, b는 도 12의 그래프의 슬롭을 나타내는 소정의 상수이고, sl은 합성 레벨을 나타낸다. 이와 같이, 합성 레벨 컨트롤러(520)는 휘도가 임계값 thr보다 작을 때 합성 레벨로서 0을 출력할 수 있고, 휘도가 임계값 thr보다 크거나 같을 때 휘도가 증가할수록 합성 레벨을 증가시킬 수 있다. 이 밖에도, 합성 레벨은 제 1 서브 프레임(SFR1) 및 제 2 서브 프레임(SFR2)의 픽셀 값들 중 적어도 하나를 이용하여 다양한 방식들에 따라 결정될 수 있다.
프레임 합성기(530)는 제 1 및 제 2 서브 프레임들(SFR1, SFR2)을 수신하고, 제 1 및 제 2 서브 프레임들(SFR1, SFR2)를 합성하여 제 1 프레임(FR1)을 제공한다. 프레임 합성기(530)는 해당 픽셀에 대한 합성 레벨에 따라 제 1 합성 웨이트 및 제 2 합성 웨이트를 결정할 수 있다. 도 10을 참조하여 설명된 바와 같이, 프레임 합성기(530)는 제 1 합성 웨이트를 제 1 서브 프레임(SFR1)의 픽셀 값에 적용할 수 있고, 제 2 합성 웨이트를 제 2 서브 프레임(SFR2)의 픽셀 값에 적용할 수 있고, 제 1 서브 프레임(SFR1)의 가중된 픽셀 값과 제 2 서브 프레임(SFR2)의 가중된 픽셀 값을 더하여 제 1 프레임(FR1)의 해당 픽셀 값을 결정할 수 있다. 프레임 합성기(530)는 합성 레벨이 증가할수록 제 2 합성 웨이트를 증가시킬 수 있다. 각 픽셀에 대한 제 1 합성 웨이트 및 제 2 합성 웨이트의 합은 1일 수 있다.
도 12는 두개의 서브 프레임들(SFR1, SFR2)을 합성하는 동적 범위 합성기(500)의 실시 예를 보여준다. 그러나, 동적 범위 합성기는 두개 이상의 서브 프레임들, 예를 들면 4개의 서브 프레임들을 합성할 수 있음이 이해될 것이다. 이러한 경우, 동적 범위 합성기는 그러한 서브 프레임들 중 적어도 하나에 기반하여 픽셀들에 대한 합성 레벨들을 결정하고, 결정된 합성 레벨들에 따라 서브 프레임들을 합성할 수 있다.
도 13은 도 9의 웨이트 생성기의 실시 예를 보여주는 블록도이다.
도 13을 참조하면, 웨이트 생성기(600)는 제 1 연산기(610, First Calculator) 및 제 2 연산기(620, Second Calculator)를 포함할 수 있다. 제 1 연산기(610)는 도 5를 참조하여 설명된 바와 같이 변환 게인들(CG)에 기반하여 제 1 콘트라스트 웨이트들(CW1)을 생성할 수 있다.
제 2 연산기(520)는 동적 범위 합성기(405)로부터 합성 레벨들(SL)을 수신한다. 제 2 연산기(520)는 합성 레벨들(SL)에 기반하여 각각 제 2 콘트라스트 웨이트들(CW2)을 생성할 수 있다. 제 2 연산기(520)는 해당 합성 레벨이 증가할수록 제 2 콘트라스트 웨이트를 감소시킬 수 있다. 이와 같이, 제 2 콘트라스트 웨이트는 짧은 노출 시간을 갖는 서브 프레임의 픽셀 값에 적용되는 합성 웨이트가 증가할 때 감소한다. 제 2 연산기(220)는 아래의 수학식 4에 따라, 합성 레벨들(SL)을 각각 처리함으로써 제 2 콘트라스트 웨이트들(CW2)을 결정할 수 있다.
수학식 4를 참조하면, sl은 합성 레벨을 나타내고, c는 조절 가능한 상수를 나타내며, cw2는 제 2 콘트라스트 웨이트를 나타낸다. 수학식 4에 따라, 제 2 콘트라스트 웨이트(cw2)는 합성 레벨(sl)에 반비례할 수 있다.
도 14는 도 9의 로컬 콘트라스트 향상기의 실시 예를 보여주는 블록도이다.
도 14를 참조하면, 로컬 콘트라스트 향상기(700)는 콘트라스트 마스크(710, Contrast Mask), 제 1 로컬 프로세서(720, First Local Processor), 제 2 로컬 프로세서(730, Second Local Processor), 제 3 로컬 프로세서(740, Third Local Processor), 및 곱셈기(750)를 포함할 수 있다. 콘트라스트 마스크(710), 제 1 로컬 프로세서(720), 및 제 2 로컬 프로세서(730)는 도 6을 참조하여 설명된 콘트라스트 마스크(310), 제 1 로컬 프로세서(320), 및 제 2 로컬 프로세서(330)와 각각 마찬가지로 구성될 수 있다. 이하, 중복되는 설명은 생략된다.
제 3 로컬 프로세서(730)는 제 1 콘트라스트 웨이트들(CW1)을 수신 및 처리할 수 있다. 제 3 로컬 프로세서(740)는 제 1 콘트라스트 웨이트들(CW1) 각각을 특정 상수와 곱하고, 그렇게 처리된 제 1 콘트라스트 웨이트들(CW1)을 출력할 수 있다. 특정 상수는 이미지 처리 장치(1200)의 실시 예들에 따라 변할 수 있다. 곱셈기(750)는 처리된 제 1 콘트라스트 웨이트들(CW1)을 각각 제 2 콘트라스트 웨이트들(CW2)에 곱할 수 있다. 곱셈기(750)의 출력 신호들은 제 1 로컬 프로세서(720)에 전송되고, 제 1 로컬 프로세서(720)는 곱셈기(750)의 출력 신호들에 따라 조정 값들(VR)을 수정할 수 있다.
도 15는 이미지 처리 장치의 동작 방법의 다른 실시 예를 보여주는 순서도이다.
도 15를 참조하면, S210단계에서, 서브 프레임들이 합성되어 제 1 동적 범위의 제 1 픽셀 값들을 갖는 제 1 프레임을 생성한다. 각 픽셀에 대해, 제 1 서브 프레임과 제 2 서브 프레임에 대한 제 1 합성 웨이트 및 제 2 합성 웨이트가 결정될 수 있으며, 제 1 및 제 2 서브 프레임들의 픽셀 값들이 제 1 및 제 2 합성 웨이트들을 이용하여 각각 조절될 수 있다. 제 2 서브 프레임은 제 1 서브 프레임보다 작은 노출 시간을 가질 수 있다. 서브 프레임들의 조절된 픽셀 값들에 따라 제 1 프레임의 해당 픽셀 값이 결정될 수 있다.
S220단계에서, 각각 제 1 및 제 2 합성 웨이트들 중 적어도 하나와 연관되는 제 2 콘트라스트 웨이트들이 제공된다. 제 2 콘트라스트 웨이트는 제 2 합성 웨이트가 증가할수록 감소할 수 있다.
S230단계, S240단계, 및 S250단계는 각각 도 7의 S120단계, S130단계, 및 S140단계와 실질적으로 동일할 수 있다. 이하, 중복되는 설명은 생략된다.
S260단계에서, 제 1 콘트라스트 웨이트들 및 제 2 콘트라스트 웨이트들에 기반하여 제 2 프레임의 제 2 픽셀 값들을 조절함으로써 제 2 프레임에 대한 로컬 콘트라스트 향상이 수행된다. 제 2 프레임의 픽셀 값들로부터 조정 값들이 생성될 수 있고, 조정 값들은 제 1 콘트라스트 웨이트들 및 제 2 콘트라스트 웨이트들에 기반하여 수정될 수 있다. 제 2 프레임의 픽셀 값들은 수정된 조정 값들에 따라 조절되어 제 3 픽셀 값들을 생성할 수 있다. 제 3 픽셀 값들은 제 3 프레임에 포함된다.
이와 같이, 조정 값에 반영되는 제 2 콘트라스트 웨이트는, 짧은 노출 시간을 갖는 서브 프레임의 해당 픽셀 값에 적용되는 제 2 합성 웨이트가 증가할수록 감소하므로, 제 3 프레임에 포함되는 픽셀 값들은 상대적으로 낮은 노이즈를 가질 수 있다. 따라서, 제 3 프레임의 로컬 콘트라스트들은 향상될 수 있다.
도 16은 도 9의 웨이트 생성기의 다른 실시 예를 보여주는 블록도이다.
도 9 및 도 16을 참조하면, 웨이트 생성기(800)는 제 1 연산기(810, First Calculator), 제 2 연산기(820, Second Calculator), 및 제 3 연산기(830, Third Calculator)를 포함할 수 있다. 제 1 연산기(810) 및 제 2 연산기(820)는 도 13의 제 1 연산기(610) 및 제 2 연산기(620)와 각각 마찬가지로 구성될 수 있다. 이하, 중복되는 설명은 생략된다.
제 3 연산기(830)는 노출 시간 정보(CT)를 예를 들면, 도 8의 메인 프로세서(1400)로부터 수신할 수 있다. 노출 시간 정보(CT)는 서브 프레임들(SFR) 중 제 1 서브 프레임이 촬영된 제 1 노출 시간, 그리고 서브 프레임들(SFR) 중 제 2 프레임이 촬영된 제 2 노출 시간을 나타낼 수 있다. 제 2 노출 시간은 제 1 노출 시간보다 작을 수 있다. 실시 예들에서, 제 1 노출 시간은 서브 프레임들(SFR)의 노출 시간들 중 가장 길 수 있고, 제 2 노출 시간은 서브 프레임들(SFR)의 노출 시간들 중 가장 짧을 수 있다. 제 3 연산기(830)는 제 1 및 제 2 노출 시간들에 따라 제 3 콘트라스트 웨이트(CW3)를 생성할 수 있다. 실시 예들에서, 제 3 연산기(830)는 제 3 콘트라스트 웨이트(CW3)를 제 1 노출 시간 대비 제 2 노출 시간의 비율(예를 들면, 1/4, 1/16, 1/32 등)로서 생성할 수 있다. 제 3 콘트라스트 웨이트(CW3)는 아래의 수학식 5와 같이 결정될 수 있다.
수학식 5를 참조하면, ET1은 제 1 노출 시간을 나타내며, ET2는 제 2 노출 시간을 나타내며, CW3는 제 3 콘트라스트 웨이트를 나타낸다.
도 17은 도 9의 로컬 콘트라스트 향상기의 다른 실시 예를 보여주는 블록도이다. 도 18은 도 17의 제 4 로컬 프로세서에 의해 조절되는 제 3 콘트라스트 웨이트의 예시적인 그래프이다.
도 17을 참조하면, 로컬 콘트라스트 향상기(900)는 콘트라스트 마스크(910, Contrast Mask), 제 1 로컬 프로세서(920, First Local Processor), 제 2 로컬 프로세서(930, Second Local Processor), 제 3 로컬 프로세서(940, Third Local Processor), 제 4 로컬 프로세서(950, Fourth Local Processor), 제 1 곱셈기(960), 및 제 2 곱셈기(970)를 포함할 수 있다. 콘트라스트 마스크(910), 제 1 로컬 프로세서(920), 제 2 로컬 프로세서(930), 및 제 3 로컬 프로세서(940)는 도 14의 콘트라스트 마스크(710), 제 1 로컬 프로세서(720), 제 2 로컬 프로세서(730), 및 제 3 로컬 프로세서(740)와 각각 마찬가지로 구성될 수 있다. 이하, 중복되는 설명은 생략된다.
제 4 로컬 프로세서(950)는 제 3 콘트라스트 웨이트(CW3)를 수신 및 처리할 수 있다. 제 4 로컬 프로세서(950)는 제 3 콘트라스트 웨이트(CW3)를 조절 가능한 상수에 곱하고, 그렇게 처리된 제 3 콘트라스트 웨이트(CW3)를 출력할 수 있다. 제 1 곱셈기(960)는 제 2 콘트라스트 웨이트들(CW2) 각각을 처리된 제 3 콘트라스트 웨이트(CW3)에 곱할 수 있다. 제 2 곱셈기(970)는 제 1 곱셈기(960)의 출력 신호들을 처리된 제 1 콘트라스트 웨이트(CW1)에 각각 곱할 수 있다. 제 1 로컬 프로세서(920)는 제 2 곱셈기(970)의 출력 신호들에 따라 조정 값들(VR)을 수정할 수 있다.
실시 예들에서, 제 4 로컬 프로세서(950)는 합성 레벨들(SL)을 더 수신하고, 제 3 콘트라스트 웨이트(CW3) 및 합성 레벨들(SL)에 기반하여 처리된 제 3 콘트라스트 웨이트들을 생성할 수 있다. 도 18을 참조하면, x축은 합성 레벨을 나타내고, y축은 처리된 제 3 콘트라스트 웨이트를 나타낸다. 제 4 로컬 프로세서(950)는 제 3 콘트라스트 웨이트(CW3)가 제 1 기준 값보다 크거나 같을 때, 제 1 그래프(GPH1)에 대응하는 신호들에 따라, 합성 레벨들(SL)에 응답하여 각각 처리된 제 3 콘트라스트 웨이트들을 생성할 수 있다. 제 3 콘트라스트 웨이트(CW3)가 제 1 기준 값보다 작고 제 1 기준 값보다 작은 제 2 기준 값보다 크거나 같을 때, 제 4 로컬 프로세서(950)는 제 2 그래프(GPH2)에 대응하는 신호들을 사용하여 처리된 제 3 콘트라스트 웨이트들을 생성할 수 있다. 제 3 콘트라스트 웨이트(CW3)가 제 2 기준 값보다 작을 때, 제 4 로컬 프로세서(950)는 제 3 그래프(GPH3)에 대응하는 신호들을 사용할 수 있다. 이와 같이, 동일한 합성 레벨에 응답하여 생성되는 처리된 제 3 콘트라스트 웨이트는 제 3 콘트라스트 웨이트(CW3)가 감소할수록 감소할 수 있다. 제 1 내지 제 3 그래프들(GPH1~GPH3)에 대응하는 신호들을 포함하는 데이터는 도 8의 이미지 촬영 장치(1000)와 연관되는 저장 매체에 저장될 수 있다.
제 1 노출 시간은 고정될 수 있으며, 제 2 노출 시간은, 예를 들면 도 8에 도시된 렌즈(1005)를 통해 입사하는 광량에 응답하여, 변할 수 있다. 만약 제 2 노출 시간이 상대적으로 짧다면, 제 2 노출 시간을 갖는 서브 프레임은 단위 영역 당 상대적으로 많은 량의 노이즈를 포함할 수 있다. 이러한 경우, 제 2 노출 시간을 갖는 서브 프레임에 기반하여 생성된 제 2 프레임(FR2)의 적어도 일부는 단위 영역 당 상대적으로 많은 량의 노이즈를 포함할 수 있다. 이 실시 예에 따르면, 제 3 콘트라스트 웨이트(CW3)는 제 1 노출 시간에 대한 제 2 노출 시간의 비율이 감소할수록 감소한다. 이에 따라, 제 3 프레임(FR3)의 픽셀 값들은 상대적으로 낮은 노이즈를 가질 수 있으며, 따라서 더 향상된 로컬 콘트라스트들을 갖는 제 3 프레임(FR3)을 출력할 수 있다.
도 19는 이미지 처리 장치의 동작 방법의 또 다른 실시 예를 보여주는 순서도이다.
도 19를 참조하면, S310 단계, S320 단계, S340 단계, S350 단계, 및 S360는 도 15의 S210 단계, S220 단계, S230 단계, S240 단계, 및 S250 단계와 마찬가지로 구성될 수 있다. 이하, 중복되는 설명은 생략된다.
S330단계에서, 제 3 콘트라스트 웨이트가 서브 프레임들의 노출 시간들 중 일부에 따라 생성된다. 제 3 콘트라스트 웨이트는 제 1 서브 프레임의 제 1 노출 시간 및 제 2 서브 프레임의 제 2 노출 시간에 기반하여 결정될 수 있으며, 이때 제 2 노출 시간은 제 1 노출 시간보다 작을 수 있다. 제 1 노출 시간은 서브 프레임들의 노출 시간들 중 가장 길 수 있으며, 제 2 노출 시간은 서브 프레임들의 노출 시간들 중 가장 짧을 수 있다. 제 3 콘트라스트 웨이트는 제 1 노출 시간에 대한 제 2 노출 시간의 비율로서 결정될 수 있다.
S370단계에서, 제 1 콘트라스트 웨이트들, 제 2 콘트라스트 웨이트들, 및 제 3 콘트라스트 웨이트에 기반하여 제 2 프레임의 제 2 픽셀 값들을 조절함으로써 제 2 프레임에 대한 로컬 콘트라스트 향상이 수행된다. 조정 값들이 제 2 프레임의 픽셀 값들로부터 생성될 수 있으며, 생성된 조정 값들은 제 1 콘트라스트 웨이트들, 제 2 콘트라스트 웨이트들, 및 제 3 콘트라스트 웨이트에 기반하여 수정될 수 있다. 제 2 프레임의 픽셀 값들은 수정된 조정 값들에 따라 조절되어 제 3 픽셀 값들을 생성할 수 있으며, 이때 제 3 픽셀 값들은 제 3 프레임에 포함된다.
조정 값에 반영되는 제 3 콘트라스트 웨이트는 제 1 노출 시간에 대한 제 2 노출 시간의 비율이 감소할수록 감소한다. 이에 따라, 제 3 프레임의 픽셀 값들은 상대적으로 낮은 량의 노이즈를 포함할 수 있다. 따라서, 제 3 프레임의 로컬 콘트라스트들은 향상될 수 있다.
비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 이미지 처리 장치
120, 420: 톤 매핑 회로
130, 430: 니커브 생성기
140, 440: 웨이트 생성기
150, 450: 로컬 콘트라스트 향상기
120, 420: 톤 매핑 회로
130, 430: 니커브 생성기
140, 440: 웨이트 생성기
150, 450: 로컬 콘트라스트 향상기
Claims (20)
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1 동적 범위(dynamic range)의 제 1 픽셀 값을 갖는 제 1 프레임을 수신하는 제 1 인터페이스;
서브 프레임들을 수신하는 제 2 인터페이스; 및
상기 서브 프레임들을 합성(synthesize)하여 상기 제 1 동적 범위의 상기 제 1 픽셀 값을 갖는 상기 제 1 프레임을 생성하되, 제 1 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 1 서브 프레임의 픽셀 값을 조절하고 제 2 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 2 서브 프레임의 픽셀 값을 조절하고 상기 제 1 서브 프레임의 상기 조절된 픽셀 값 및 상기 제 2 서브 프레임의 상기 조절된 픽셀 값에 따라 상기 제 1 프레임의 상기 제 1 픽셀 값을 결정하는, 동적 범위 합성기;
상기 제 1 동적 범위를 갖는 상기 제 1 픽셀 값을 제 2 동적 범위를 갖는 제 2 픽셀 값으로 변환하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 갖는 제 2 프레임을 생성하되, 상기 제 2 동적 범위는 상기 제 1 동적 범위보다 작은, 동적 범위 변환기;
상기 제 1 합성 웨이트 및 상기 제 2 합성 웨이트 중 적어도 하나와 연관하여 제 1 콘트라스트 웨이트를 제공하는 웨이트 생성기;
상기 제 1 콘트라스트 웨이트에 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절함으로써 상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 콘트라스트 조정기를 포함하는 이미지 처리 장치. - 제 5 항에 있어서,
상기 콘트라스트 조정기는,
상기 제 2 픽셀 값으로부터 조정 값을 생성하는 콘트라스트 마스크;
상기 제 1 콘트라스트 웨이트를 상기 조정 값에 반영함으로써 상기 조정값을 수정하는 제 1 로컬 프로세서; 및
상기 수정된 조정 값에 따라 상기 제 2 픽셀 값을 조절하여 상기 향상된 로컬 콘트라스트를 갖는 상기 제 2 프레임을 제공하는 제 2 로컬 프로세서를 포함하는 이미지 처리 장치. - 제 5 항에 있어서,
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고,
상기 제 1 콘트라스트 웨이트는 상기 제 2 합성 웨이트가 증가할수록 감소하는 이미지 처리 장치. - 제 5 항에 있어서,
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고,
상기 동적 범위 합성기는 상기 제 1 서브 프레임의 픽셀 값의 휘도 및 상기 제 2 서브 프레임의 픽셀 값의 휘도 중 적어도 하나에 기반하여 소정 범위 중 하나의 합성 레벨을 결정하고, 상기 결정된 합성 레벨에 따라 상기 제 1 합성 웨이트 및 상기 제 2 합성 웨이트를 결정하되, 상기 제 2 합성 웨이트는 상기 결정된 합성 레벨이 증가할수록 증가하고,
상기 웨이트 생성기는 상기 결정된 합성 레벨에 응답하여 상기 제 1 콘트라스트 웨이트를 제공하는 이미지 처리 장치. - 제 8 항에 있어서,
상기 제 1 콘트라스트 웨이트는 상기 결정된 합성 레벨이 증가할수록 감소하는 이미지 처리 장치. - 제 5 항에 있어서,
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고,
상기 웨이트 생성기는 상기 제 1 서브 프레임의 상기 노출 시간에 대한 상기 제 2 서브 프레임의 상기 노출 시간의 비율로서 제 2 콘트라스트 웨이트를 제공하고,
상기 콘트라스트 조정기는 상기 제 2 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절하는 이미지 처리 장치. - 제 10 항에 있어서,
상기 제 2 콘트라스트 웨이트는 상기 비율이 감소할수록 감소하는 이미지 처리 장치. - 제 5 항에 있어서,
상기 동적 범위 변환기는 상기 제 1 동적 범위의 상기 제 1 픽셀 값을 상기 제 2 동적 범위의 상기 제 2 픽셀 값으로 변환하는 톤 매퍼(tone mapper)를 포함하는 이미지 처리 장치. - 제 5 항에 있어서,
상기 콘트라스트 조정기는 상기 제 2 프레임의 상기 로컬 콘트라스트를 향상시키기 위한 로컬 콘트라스트 향상기를 포함하는 이미지 처리 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 로컬 콘트라스트를 향상시키는 방법에 있어서:
저장 장치에서 서브 프레임들을 수신하는 단계;
상기 서브 프레임들 중 적어도 두개를 합성하여 제 1 동적 범위의 제 1 픽셀 값을 갖는 제 1 프레임을 생성하는 단계;
상기 제 1 동적 범위의 상기 제 1 픽셀 값을 제 2 동적 범위의 제 2 픽셀 값으로 변환하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 갖는 제 2 프레임을 생성하되, 상기 제 2 동적 범위는 상기 제 1 동적 범위보다 작은, 단계;
제 1 합성 웨이트 및 제 2 합성 웨이트 중 적어도 하나와 연관하여 제 1 콘트라스트 웨이트를 생성하는 단계; 및
상기 제 1 콘트라스트 웨이트에 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절함으로써 상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 단계를 포함하며,
상기 제 2 프레임을 생성하는 단계는,
상기 제 1 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 1 서브 프레임의 픽셀 값을 조절하는 단계;
상기 제 2 합성 웨이트를 이용하여 상기 서브 프레임들 중 제 2 서브 프레임의 픽셀 값을 조절하는 단계; 및
상기 제 1 서브 프레임의 상기 조절된 픽셀 값 및 상기 제 2 서브 프레임의 상기 조절된 픽셀 값에 따라 상기 제 1 프레임의 상기 제 1 픽셀 값을 결정하는 단계를 포함하는 방법. - 제 18 항에 있어서,
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고,
상기 제 1 콘트라스트 웨이트는 상기 제 2 합성 웨이트가 증가할수록 감소하는 방법. - 제 18 항에 있어서,
상기 제 1 서브 프레임의 노출 시간에 대한 상기 제 2 서브 프레임의 노출 시간의 비율로서 제 2 콘트라스트 웨이트를 생성하는 단계를 더 포함하며,
상기 제 2 서브 프레임은 상기 제 1 서브 프레임의 노출 시간보다 짧은 노출 시간을 이용하여 촬영되고,
상기 제 2 프레임의 로컬 콘트라스트를 향상시키는 단계는 상기 제 2 콘트라스트 웨이트에 더 기반하여 상기 제 2 동적 범위의 상기 제 2 픽셀 값을 조절하는 단계를 포함하는 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/384,840 | 2019-04-15 | ||
| US16/384,840 US10664960B1 (en) | 2019-04-15 | 2019-04-15 | Image processing device and method to perform local contrast enhancement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102144390B1 true KR102144390B1 (ko) | 2020-08-13 |
Family
ID=70775146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190065749A KR102144390B1 (ko) | 2019-04-15 | 2019-06-04 | 로컬 콘트라스트 향상을 수행하는 이미지 처리 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10664960B1 (ko) |
| KR (1) | KR102144390B1 (ko) |
| CN (1) | CN111835978B (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11989913B2 (en) * | 2021-01-13 | 2024-05-21 | Samsung Electronics Co., Ltd. | Dynamic calibration correction in multi-frame, multi-exposure capture |
| CN113327208B (zh) * | 2021-06-17 | 2022-10-04 | 烟台艾睿光电科技有限公司 | 高动态范围图像色调映射方法、装置、电子设备及介质 |
| US11734806B2 (en) | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
| CN116258653B (zh) * | 2023-05-16 | 2023-07-14 | 深圳市夜行人科技有限公司 | 一种基于深度学习的微光图像增强方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000115534A (ja) * | 1998-09-30 | 2000-04-21 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
| US20070053607A1 (en) * | 2005-08-11 | 2007-03-08 | Tomoo Mitsunaga | Image processing apparatus and method, recording medium, and program |
| US20070080975A1 (en) * | 2005-10-12 | 2007-04-12 | Haruo Yamashita | Visual processing device, display device, and integrated circuit |
| US20100157078A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | High dynamic range image combining |
| US20160150146A1 (en) * | 2014-11-24 | 2016-05-26 | Jong Min You | Noise level control device for a wide dynamic range image and an image processing system including the same |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6137533A (en) * | 1997-05-14 | 2000-10-24 | Cirrus Logic, Inc. | System and method for enhancing dynamic range in images |
| JPH1141541A (ja) * | 1997-07-18 | 1999-02-12 | Canon Inc | 画像処理方法、画像処理装置、画像収集装置、及び画像処理システム |
| JP3814491B2 (ja) * | 2001-04-03 | 2006-08-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、記憶媒体及びプログラム |
| WO2004064388A1 (ja) * | 2003-01-09 | 2004-07-29 | Sony Corporation | 画像処理装置および方法 |
| WO2005027043A1 (ja) * | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末 |
| WO2005027042A1 (ja) * | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
| US7590303B2 (en) * | 2005-09-29 | 2009-09-15 | Samsung Electronics Co., Ltd. | Image enhancement method using local illumination correction |
| WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
| US9077905B2 (en) | 2009-02-06 | 2015-07-07 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
| EP2472847A4 (en) * | 2009-08-24 | 2013-10-23 | Nec Corp | SYSTEM, METHOD AND PROGRAM FOR COMPRESSING DYNAMIC IMAGE RANGE |
| US8737736B2 (en) * | 2010-12-31 | 2014-05-27 | Microsoft Corporation | Tone mapping of very large aerial image mosaic |
| KR20120114899A (ko) | 2011-04-08 | 2012-10-17 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| TWI473039B (zh) * | 2013-03-05 | 2015-02-11 | Univ Tamkang | 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置 |
| JP6377258B2 (ja) * | 2015-04-16 | 2018-08-22 | 三菱電機株式会社 | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
| KR102495754B1 (ko) | 2016-10-25 | 2023-02-02 | 한화테크윈 주식회사 | 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법 |
-
2019
- 2019-04-15 US US16/384,840 patent/US10664960B1/en active Active
- 2019-05-27 CN CN201910447007.0A patent/CN111835978B/zh active Active
- 2019-06-04 KR KR1020190065749A patent/KR102144390B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000115534A (ja) * | 1998-09-30 | 2000-04-21 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
| US20070053607A1 (en) * | 2005-08-11 | 2007-03-08 | Tomoo Mitsunaga | Image processing apparatus and method, recording medium, and program |
| US20070080975A1 (en) * | 2005-10-12 | 2007-04-12 | Haruo Yamashita | Visual processing device, display device, and integrated circuit |
| US20100157078A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | High dynamic range image combining |
| US20160150146A1 (en) * | 2014-11-24 | 2016-05-26 | Jong Min You | Noise level control device for a wide dynamic range image and an image processing system including the same |
Also Published As
| Publication number | Publication date |
|---|---|
| US10664960B1 (en) | 2020-05-26 |
| CN111835978B (zh) | 2022-09-09 |
| CN111835978A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102144390B1 (ko) | 로컬 콘트라스트 향상을 수행하는 이미지 처리 장치 및 방법 | |
| JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
| WO2020029732A1 (zh) | 全景拍摄方法、装置和成像设备 | |
| WO2020034737A1 (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
| JP5761946B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| JP5665436B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6732726B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| WO2020034701A1 (zh) | 成像控制方法、装置、电子设备以及可读存储介质 | |
| JP2015195498A (ja) | 画像装置、画像処理方法、制御プログラム及び記憶媒体 | |
| JP2014153959A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
| JP2011109638A (ja) | 画像処理装置、画像処理方法 | |
| WO2020029679A1 (zh) | 控制方法、装置、成像设备、电子设备及可读存储介质 | |
| JP6587380B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
| JP7253634B2 (ja) | 結合前ノイズ除去による高ダイナミックレンジ画像生成 | |
| JP5804857B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5804856B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017011327A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2008160881A (ja) | 固体撮像装置および撮像方法 | |
| JP2006115444A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
| JP2004102903A (ja) | フィルタ処理 | |
| JP2016001809A (ja) | 撮像装置、及び、撮像方法 | |
| JP2013128212A (ja) | 画像処理装置および撮像装置並びにその方法 | |
| JP2018098582A (ja) | 画像処理装置及び方法、及び撮像装置 | |
| JP2005167476A (ja) | ホワイトバランス制御装置 | |
| JP5284183B2 (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |