KR102214876B1 - 이미지 아티팩트들을 보정하는 시스템 및 방법 - Google Patents
이미지 아티팩트들을 보정하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR102214876B1 KR102214876B1 KR1020167004604A KR20167004604A KR102214876B1 KR 102214876 B1 KR102214876 B1 KR 102214876B1 KR 1020167004604 A KR1020167004604 A KR 1020167004604A KR 20167004604 A KR20167004604 A KR 20167004604A KR 102214876 B1 KR102214876 B1 KR 102214876B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- correction
- image
- median
- chroma
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012937 correction Methods 0.000 claims abstract description 258
- 230000004075 alteration Effects 0.000 claims abstract description 47
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 30
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims description 85
- 230000015654 memory Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 abstract description 31
- 238000012805 post-processing Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 15
- 229920006395 saturated elastomer Polymers 0.000 description 14
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003936 working memory Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G06T5/005—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
특정 양태들은 통일된 프레임워크를 이용하여 컬러 수차 및 컬러 스폿 아티팩트들 양자를 포함하는 컬러 아티팩트들의 보정을 위한 시스템들 및 기술들과 관련된다. 예를 들어, 컬러 수차 및 컬러 스폿 아티팩트들 양자는, 크로마 채널들에 대한 지향성 메디안 필터링을 구현하는 사후-프로세싱 방법을 이용하여 보정될 수 있다. 픽셀별 보정 비율 맵은, 이미지에서의 각각의 픽셀과 연관된 컬러 아티팩트의 타입을 표시하기 위해 이미지의 루마 및 크로마 컴포넌트들을 분석함으로써 구축될 수 있으며, 지향성 메디안 필터는 대응하는 보정 비율 맵 값에 기초하여 각각의 픽셀에 대해 선택될 수 있다.
Description
본 명세서에 개시된 시스템들 및 방법들은 일반적으로 이미지 캡처 디바이스들에 관한 것으로서, 더 상세하게는, 캡처된 이미지들에서의 컬러 아티팩트들을 보정하는 것에 관한 것이다.
디지털 카메라들을 이용하여 캡처된 이미지들은, 특히, 하일라이트 영역들 및 선명한 휘도 에지들에서, 컬러풀한 스폿들 및 라인들과 같은 컬러 아티팩트들을 경험할 수 있다. 그러한 컬러 아티팩트들은, 소형이고 불완전한 렌즈들을 갖는 소형 모바일 카메라들에 대해 특히 문제가 된다. 컬러 아티팩트들은 종종, 캡처된 이미지에서 존재하지 않아야 하는 바람직하지 않은 컬러풀한 스폿들 및 라인들, 예를 들어, 밝은 도트들/라인들 (반사 영역들) 및 선명한 휘도 에지들 (하늘과 모호한 오브젝트들 사이의 스위칭 영역) 에 대해 책임이 있다. 컬러 아티팩트들은, 예를 들어, 모든 컬러들을 이미지 센서 상의 일 포인트에 포커싱하는 것에 대한 카메라 렌즈의 실패로부터 기인한 고 콘트라스트 에지들의 "프린지(fringe)들" 로서 그 자신을 나타낼 수 있다.
컬러 아티팩트의 일 타입인 컬러 스폿 아티팩트들은, 이미지에 있어서 밝은 스폿들 및 고 콘트라스트 에지들 근방에서 통상적으로 발생하는 바람직하지 않은 컬러풀한 스폿들 또는 라인들이다. 컬러 스폿 아티팩트들은 수개의 팩터들에 의해 기인될 수 있다. 나이퀴스트-미만 샘플링을 이용한 이미징 시스템들에 있어서, 작은 밝은 도트들/가는 라인들과 같은 컬러 아티팩트들은 나이퀴스트-미만 레이트에서의 샘플링에 의해 기인될 수 있다. 컬러 스폿 아티팩트들은 또한, 광의 정반사, 채널 당 비트들의 오보정, 센서들의 비-균일 컬러 응답, 및 불완전한 디모자이킹 알고리즘들에 의해 기인될 수 있다.
크로마 또는 컬러 수차들로서 공지된 다른 타입의 컬러 아티팩트들은, 이미지의 어두운 부분과 밝은 부분을 분리하는 경계들을 따른 컬러의 프린지들로서 나타난다. 컬러 수차들은, 불완전한 렌즈가 동일한 수렴 포인트에서 광의 상이한 컬러들을 포커싱하는 것에 실패할 경우에 발생할 수 있다. 이는, 렌즈들이 (렌즈의 분산으로 공지된) 광의 상이한 파장들에 대하여 상이한 굴절률을 갖기 때문에 그리고 굴절률이 파장이 증가함에 따라 감소하기 때문이다. 렌즈의 초점 길이가 굴절률에 의존하기 때문에, 광의 상이한 파장들은 이미지 센서의 상이한 포지션들에 포커싱될 수 있다. 컬러 수차는 또한, 초점면에서의 상이한 포지션들에 포커싱되는 광의 상이한 파장들에 의해 기인될 수 있다. 결과적으로, 현저한 채색된 에지들이 이미지에서의, 특히, 고 콘트라스트 영역들에서의 오브젝트들 근방에 나타날 수 있다.
캡처된 이미지에서의 컬러 아티팩트들은 이미지의 품질을 열화시킬 수도 있으며, 모바일 디바이스들에서 사용되는 바와 같은 상대적으로 소형의 카메라들에 대해 특히 문제가 될 수 있다. 하지만, 컬러 아티팩트들을 보정하기 위한 기존의 방법들은 컬러 아티팩트들의 2개 타입들 - 컬러 수차 및 컬러 스폿 아티팩트들 - 을 보정하기 위한 통일된 접근법을 제시하지 않는다. 종래, 컬러 수차 및 컬러 스폿 아티팩트들은 상이하게 다루어지는데, 즉, 컬러 수차는 렌즈 교정 방법들 및 동적 검출-보정 방법들에 의해 다루어지고, 컬러 스폿 아티팩트들은 하일라이트/포화된 영역들에 대한 강인성을 위해 개선된 디모자이킹 알고리즘들을 사용하여 컬러 일치를 부과함으로써 또는 자립형 사후-프로세싱 크로마 필터들에 의해 보정된다. 이에 따라, 본 명세서에서 설명되는 컬러 보정 기술들은, 컬러 수차 및 컬러 스폿 아티팩트들 양자를 검출 및 보정하기 위한 통일된 접근법의 예시적인 구현들을 제시한다.
컬러 아티팩트들의 정확한 검출은 이미지의 정당한 컬러 피처(feature)들로부터 컬러 아티팩트들을 구별하는 것에 관한 난제들을 제시할 수 있다. 본 명세서에서 설명되는 컬러 보정 기술들의 검출 방법들은, 예를 들어, 컬러 아티팩트들이 컬러 범프를 가질 수도 있는 것, 하일라이트 또는 포화된 영역에 위치되는 것, 휘도 에지를 갖는 것, 사이즈가 상대적으로 작은 것, 및 정당한 컬러 피처들에 비해 덜 균일한 컬러를 갖는 것을 포함하여, 이미지들에서 나타나는 컬러 아티팩트들의 하나 이상의 특성들을 유리하게 활용할 수도 있다. 본 명세서에서 설명되는 보정 기술들의 컬러 예들은, 이미지의 정당한 컬러 피처들을 유지하면서 원치않은 컬러 아티팩트들을 제거하기 위하여 느슨한 검출 방법들을 보수적인 보정 방법들과 밸런싱할 수 있다.
일 양태는 복수의 픽셀들을 갖는 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법과 관련되고, 그 방법은 이미지의 이미지 데이터를 수신하는 단계로서, 이미지 데이터는 이미지에서의 복수의 픽셀들 각각에 대한 루마 (Y) 컴포넌트 값 및 2개의 크로마 컴포넌트 값들을 포함하는, 상기 이미지 데이터를 수신하는 단계, 이미지 데이터의 Y 컴포넌트 값들에서 적어도 하나의 컬러 아티팩트를 검출하는 단계, 이미지에서의 복수의 픽셀들에 대응하는 보정 비율 맵을 생성하는 단계로서, 보정 비율 맵은 이미지 데이터에서의 적어도 하나의 컬러 아티팩트의 위치를 표시하는, 상기 보정 비율 맵을 생성하는 단계, 크로마 컴포넌트 값들의 서브세트에 대한 복수의 메디안 값들을 생성하기 위해 각각의 크로마 컴포넌트에 복수의 지향성 메디안 필터들을 적용하는 단계, 크로마 컴포넌트 값들의 서브세트의 각각에 대해, 대응하는 보정 비율 맵 엔트리에 적어도 부분적으로 기초하여 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계, 및 복수의 메디안 값들 중 선택된 메디안 값에 적어도 부분적으로 기초하여 픽셀에 대한 보정된 크로마 값을 출력하는 단계를 포함한다. 그러한 방법은, 디스플레이를 갖는 휴대용 디바이스를 포함한 전자 디바이스 상에서 구현될 수 있다.
다른 양태는 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템과 관련되고, 그 시스템은 복수의 픽셀들을 포함하는 이미지에서의 적어도 하나의 컬러 아티팩트를 검출하도록 구성된 검출 모듈을 포함하고, 검출 모듈은 추가로, 이미지에서의 복수의 픽셀들 각각에 대한 엔트리를 갖는 보정 비율 맵을 생성하도록 구성되고, 그 엔트리는 대응하는 픽셀과 연관된 컬러 아티팩트의 타입을 표시한다. 그 시스템은 또한 그 엔트리에 적어도 부분적으로 기초하여 대응하는 픽셀의 보정된 크로마 값을 계산하도록 구성된 보정 모듈을 포함할 수도 있으며, 그 엔트리는 대응하는 픽셀과 연관된 컬러 아티팩트의 타입을 표시하고, 보정 모듈은 추가로, 보정된 크로마 값을 계산하는데 사용하기 위해 엔트리에 기초하여 복수의 지향성 메디안 필터들 중 하나의 메디안 필터를 선택하도록 구성되고, 보정 모듈은 추가로, 그 엔트리가 대응하는 픽셀이 컬러 스폿 아티팩트와 연관됨을 표시하면 제 1 지향성 메디안 필터를 선택하고 그리고 그 엔트리가 대응하는 픽셀이 컬러 수차와 연관됨을 표시하면 제 2 지향성 메디안 필터를 선택하도록 구성된다. 그 시스템은 또한, 보정된 크로마 값으로부터 형성된 보정된 이미지에서의 정당한 컬러 피처들의 부가적인 아티팩트들 또는 불포화의 도입을 감소시키기 위해 보정된 크로마 값을 검증하도록 구성된 검증 모듈을 포함할 수도 있다.
다른 양태는 이미지에서의 컬러 아티팩트들을 보정하기 위한 보정 비율 맵을 생성하기 위한 방법과 관련되고, 그 방법은 이미지를 포함하는 이미지 데이터를 수신하는 단계로서, 이미지는 루마 컴포넌트 및 2개의 크로마 컴포넌트들을 포함하는, 상기 이미지 데이터를 수신하는 단계, 컬러 아티팩트 맵을 생성하기 위해 적어도 하나의 대칭적 커널과 루마 컴포넌트를 컨벌브 (convolve) 하는 단계, 컬러 아티팩트 맵에 적어도 부분적으로 기초하여 예비 보정 비율 맵을 생성하는 단계로서, 예비 보정 비율 맵은 캡처된 이미지의 복수의 픽셀들 각각에 대응하는 엔트리를 포함하는, 상기 예비 보정 비율 맵을 생성하는 단계; 크로마 컴포넌트들 중 적어도 하나에 대해 그레이 체크를 수행하는 단계, 및 그레이 체크에 기초하여 예비 보정 비율 맵을 업데이트하여 임의의 비-컬러 픽셀들을 후속 컬러 보정으로부터 배제함으로써 최종 보정 비율 맵을 생성하는 단계를 포함한다.
다른 양태는 이미지에서의 컬러 아티팩트들을 보정하기 위한 전자 디바이스에서의 방법과 관련되고, 그 방법은 입력 이미지의 픽셀들에 대응하는 입력 값들을 수신하는 단계로서, 각각의 입력 값은 루마 (Y) 컴포넌트, 제 1 크로마 컴포넌트 및 제 2 크로마 컴포넌트를 갖고, 입력 값들의 Y 컴포넌트들은 Y 컴포넌트 데이터 세트를 형성하고, 입력 값들의 제 1 크로마 컴포넌트들은 제 1 크로마 컴포넌트 데이터 세트를 형성하고, 입력 값들의 제 2 크로마 컴포넌트들은 제 2 크로마 컴포넌트 데이터 세트를 형성하는, 상기 입력 값들을 수신하는 단계; Y 컴포넌트 데이터 세트에서 적어도 하나의 컬러 아티팩트를 검출하는 단계; 입력 값들에 대응하는 복수의 보정 엔트리들을 갖는 보정 비율 맵을 생성하는 단계로서, 보정 엔트리들은 적어도 하나의 컬러 아티팩트의 위치를 표시하는, 상기 보정 비율 맵을 생성하는 단계; 제 1 크로마 컴포넌트 데이터 세트에서의 각각의 컴포넌트에 대한 복수의 메디안 값들을 생성하기 위해 제 1 크로마 컴포넌트 데이터 세트에 복수의 지향성 메디안 필터들을 적용하는 단계; 제 2 크로마 컴포넌트 데이터 세트에서의 각각의 컴포넌트에 대한 복수의 메디안 값들을 생성하기 위해 제 2 크로마 컴포넌트 데이터 세트에 복수의 지향성 메디안 필터들을 적용하는 단계; 제 1 및 제 2 크로마 컴포넌트 데이터 세트들 중 적어도 하나로부터 생성된 복수의 메디안 값들을 보정 모듈에서 수신하고 보정 비율 맵을 수신하는 단계, 보정 비율 맵 엔트리들에 적어도 부분적으로 기초하여 출력 이미지를 생성함에 있어서 사용하기 위한 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계; 및 출력 값들의 어레이를 포함하는 출력 이미지를 생성하는 단계를 포함하고, 각각의 출력 값은 입력 이미지의 입력 값에 대응하고, 상기 생성하는 단계는 컬러 수차의 존재를 표시하는 보정 비율 맵에서의 정보에 기초하여 대응하는 입력 값을 변경하도록 결정하는 단계, 및 변경될 입력 값에 대해, 픽셀이 컬러 스폿 아티팩트와 연관되면 제 1 설정을 갖고 그리고 픽셀이 컬러 수차와 연관되면 제 2 설정을 갖는 픽셀에 출력 값으로서 메디안 값들 중 하나의 선택된 메디안 값을 적용함으로써 출력 값을 생성하는 단계를 포함한다.
다른 양태는, 실행될 경우, 적어도 하나의 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장하는 비-일시적인 컴퓨터 판독가능 매체와 관련되며, 그 방법은 이미지의 이미지 데이터를 수신하는 단계로서, 이미지 데이터는 이미지에서의 복수의 픽셀들 각각에 대한 루마 (Y) 컴포넌트 값 및 2개의 크로마 컴포넌트 값들을 포함하는, 상기 이미지 데이터를 수신하는 단계, 이미지 데이터의 Y 컴포넌트 값들에서 적어도 하나의 컬러 아티팩트를 검출하는 단계, 이미지에서의 복수의 픽셀들에 대응하는 보정 비율 맵을 생성하는 단계로서, 보정 비율 맵은 이미지 데이터에서의 적어도 하나의 컬러 아티팩트의 위치를 표시하는, 상기 보정 비율 맵을 생성하는 단계, 크로마 컴포넌트 값들의 서브세트에 대한 복수의 메디안 값들을 생성하기 위해 각각의 크로마 컴포넌트에 복수의 지향성 메디안 필터들을 적용하는 단계, 크로마 컴포넌트 값들의 서브세트의 각각에 대해, 대응하는 보정 비율 맵 엔트리에 적어도 부분적으로 기초하여 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계, 및 복수의 메디안 값들 중 선택된 메디안 값에 적어도 부분적으로 기초하여 픽셀에 대한 보정된 크로마 값을 출력하는 단계를 포함한다.
개시된 양태들은 이하, 개시된 양태들을 한정하지 않고 예시하도록 제공되는 첨부 도면들 및 부록들과 함께 설명될 것이며, 여기에서, 동일한 지정들은 동일한 엘리먼트들을 나타낸다.
도 1 은 적응적 컬러 아티팩트 보정 시스템의 일 실시형태의 개략 블록 다이어그램을 도시한다.
도 2 는 적응적 컬러 아티팩트 보정 능력들을 갖는 예시적인 시스템의 개략 블록 다이어그램을 도시한다.
도 3a 는 이미지의 루마 컴포넌트에서 컬러 아티팩트들을 검출하기 위한 검출 커널들의 다수의 실시형태들을 도시한다.
도 3b 는 도 3a 의 검출 커널들을 구현할 수 있는 보정 맵 회로의 일 실시형태를 도시한다.
도 4a 는 이미지의 크로마 컴포넌트에서 컬러 아티팩트들을 검출하기 위한 검출 커널들의 다수의 실시형태들을 도시한다.
도 4b 는 도 4a 의 검출 커널들을 구현할 수 있는 보정 맵 업데이팅 회로의 일 실시형태를 도시한다.
도 5a 는 지향성 메디안 필터들의 일 실시형태를 도시한다.
도 5b 는 도 5a 의 지향성 메디안 필터들을 구현할 수 있는 적응적 컬러 아티팩트 보정 회로의 일 실시형태를 도시한다.
도 5c 는 도 5a 의 지향성 메디안 필터들의 어플리케이션에 의해 영향을 받을 수 있는 예시적인 픽셀들을 도시한다.
도 6 은 적응적 컬러 아티팩트 보정 프로세스의 일 실시형태를 도시한다.
도 1 은 적응적 컬러 아티팩트 보정 시스템의 일 실시형태의 개략 블록 다이어그램을 도시한다.
도 2 는 적응적 컬러 아티팩트 보정 능력들을 갖는 예시적인 시스템의 개략 블록 다이어그램을 도시한다.
도 3a 는 이미지의 루마 컴포넌트에서 컬러 아티팩트들을 검출하기 위한 검출 커널들의 다수의 실시형태들을 도시한다.
도 3b 는 도 3a 의 검출 커널들을 구현할 수 있는 보정 맵 회로의 일 실시형태를 도시한다.
도 4a 는 이미지의 크로마 컴포넌트에서 컬러 아티팩트들을 검출하기 위한 검출 커널들의 다수의 실시형태들을 도시한다.
도 4b 는 도 4a 의 검출 커널들을 구현할 수 있는 보정 맵 업데이팅 회로의 일 실시형태를 도시한다.
도 5a 는 지향성 메디안 필터들의 일 실시형태를 도시한다.
도 5b 는 도 5a 의 지향성 메디안 필터들을 구현할 수 있는 적응적 컬러 아티팩트 보정 회로의 일 실시형태를 도시한다.
도 5c 는 도 5a 의 지향성 메디안 필터들의 어플리케이션에 의해 영향을 받을 수 있는 예시적인 픽셀들을 도시한다.
도 6 은 적응적 컬러 아티팩트 보정 프로세스의 일 실시형태를 도시한다.
도입
본 개시의 실시형태들은 컬러 수차 및/또는 컬러 스폿 아티팩트들의 보정과 관련된 기술들을 포함한다. 예를 들어, 컬러 수차 및 컬러 스폿 아티팩트들 양자는, 다중 가설 컬러 아티팩트 보정 (MHCAC) 으로서 본 명세서에서 지칭되는 크로마 채널들 (YCbCr) 에 대한 지향성 메디안 필터링을 구현하는 사후-프로세싱 방법을 이용하여 보정될 수 있다. 기존의 방법들에 비해, MHCAC 기술은, 이미지의 정당한 컬러 피처들을 유지하는 것과 이미지에서의 원치않은 컬러 아티팩트들의 제거를 밸런싱하기 위해 컬러 아티팩트 검출 정확성의 요건을 완화하고 컬러 아티팩트 보정의 효율 및 강인성을 크게 개선시킨다.
일부 실시형태들에 있어서, MHCAC 기술은 컬러 아티팩트들의 가설 검출을 채용하여 확률 오보정을 감소시키고 따라서 보정의 계산상 비용을 감소시킨다. 컬러 아티팩트들의 검출은 (1) 컬러 스폿 아티팩트들 및 컬러 수차가 종종 밝은 스폿들, 밝은 라인들, 고 콘트라스트 에지들, 및 포화된 영역들 근방에서 발생한다는 것, 및 (2) 심각한 컬러 수차가 종종 포화된 영역들 근방에서 발생한다는 것과 같은 2개의 유효한 가설들에 기초할 수 있다. 검출 이후, 지향성 메디안 필터링을 이용하여, MHCAC 기술은 2개의 상이한 보정 설정들을 갖는 단일의 통일된 프레임워크에서 컬러 아티팩트들의 상이한 종류들 - 컬러 수차 (두꺼운 라인들) 및 컬러 스폿 (가는 라인들 또는 포인트들) 아티팩트들 - 양자를 적응적으로 제거할 수 있다. MHCAC 기술은 이미지의 크로마 채널들에 대하여 지향성 메디안 필터들을 이용할 수 있으며, 이는 정당한 컬러 피처들 (예를 들아, 도트들, 에지들, 및 코너들) 에 손상을 주지 않고도 컬러 아티팩트들을 효과적으로 보정할 수 있다. 비록 평균 필터 커널들보다 계산상으로 더 고비용이더라도, 일부 실시형태들에 있어서, 메디안 필터들은 아웃라이어(outlier)들에 강인하다는 점에 있어서 더 효과적이고 선명한 에지들을 보존한다는 점에 있어서 더 보수적이다. 부가적으로, 지향성 메디안 필터들은 NEON™ SIMD (단일 명령, 다중 데이터) 가속화에 친화적이다. 지향성 메디안 필터들을 이용하는 것은, 보정 포인트들의 수를 감소하기 위해 더 엄격한 검출 기준들을 제시함으로써 구현 시스템에 의해 신속한 프로세싱을 가능케 할 수 있다. 실험 결과들은, 효율적인 컬러 아티팩트 검출과 함께 지향성 메디안 필터링은 컬러 피처들을 타협 (즉, 불포화) 하지 않고도 컬러 아티팩트 보정에 대한 효과적이고 강인한 솔루션을 제공함을 예증하였다.
통일된 프레임워크에서 컬러 아티팩트들의 양 타입들을 보정하기 위해, MHCAC 방법의 일 실시형태는 3개의 단계들을 포함할 수도 있다. 첫째, MHCAC 기술은 보정 비율 맵을 구축하기 위해 밝은 스폿들, 밝은 라인들, 및 고 콘트라스트 에지들을 검출할 수 있다. 둘째, MHCAC 기술은 보정 비율 맵에 기초하여 2개의 상이한 지향성 메디안 필터링 설정들 중 하나를 각각의 픽셀에 적응적으로 적용할 수 있으며, 하나의 설정은 컬러 스폿들 및 컬러 수차들 각각을 위한 것이다. 셋째, MHCAC 기술은, 컬러 아티팩트들의 보정이 부가적인 아티팩트들 또는 원치않은 불포화를 도입하지 않았음을 검증할 수 있다.
검출 단계의 일 실시형태에 있어서, MHCAC 기술은 YCbCr 이미지의 루마 채널에 대하여 2개의 검출 측정들을 수행할 수 있다. 일 검출 측정은 밝은 스폿 및 밝은 에지 검출을 수행할 수 있지만, 다른 측정은 포화 검출을 수행할 수 있다. 검출 단계의 이 부분은 컬러 아티팩트들의 존재 및 위치뿐 아니라 컬러 보정의 필요한 강도를 표시하는 픽셀별 보정 비율 맵을 구축할 수 있다. 그 후, 보정 비율 맵은 이미지의 크로마 채널들에 대하여 2개의 검출 측정들을 수행함으로써 업데이트될 수 있으며, 여기서, 일 검출 측정은 그레이 체크를 수행하지만 다른 측정은 컬러 스폿 검출을 수행한다.
보정 비율 맵의 값들에 따르면, 지향성 메디안 필터링의 일 실시형태는, 보정 비율 맵에서의 대응하는 값에 의해 표시되는 바와 같은 상이한 설정들 및 상이한 강도를 갖는 각각의 픽셀의 크로마 값을 보정한다. 예를 들어, 보정 맵에서의 제 1 값은 어떠한 보정도 픽셀에 대해 수행되지 않아야 함을 표시할 수 있고, 제 2 값은 컬러 스폿 보정이 수행되어야 함을 표시할 수 있으며, 제 3 값은 컬러 수차 보정이 수행되어야 함을 표시할 수 있다. 보정된 픽셀 크로마 값들은, 보정된 이미지의 구성을 위해 출력 및 이용되기 전에, 예를 들어, 클램핑함으로써 검증될 수 있다. MHCAC 기술의 일부 실시형태들은 이미지의 Cb 및 Cr 채널들에서의 크로마 값들을 별개로 보정할 수 있다.
적응적
컬러 보정의 개관
도 1 은 적응적 컬러 아티팩트 보정 시스템 (100) 의 일 실시형태의 개략 블록 다이어그램을 도시한다. 컬러 아티팩트 보정 시스템 (100) 은 검출 모듈 (120), 및 검출 모듈 (120) 과 데이터 통신하는 다운스케일 모듈들 (130, 160) 을 포함한다. 적응적 컬러 아티팩트 보정 시스템 (100) 은 또한, 보정을 위한 수차들을 포함할 수도 있는 이미지의 픽셀들 및/또는 부분들을 포함할 수도 있는 출력을 수신하기 위해 검출 모듈 (120) 과 데이터 통신하는 Cb 보정 모듈 (140) 및 Cr 보정 모듈 (170) 을 포함한다. 각각, 다운스케일링된 Cb 및 Cr 이미지 데이터를 수신하기 위해, Cb 보정 모듈 (140) 은 또한 다운스케일 모듈 (130) 과 데이터 통신하고 Cr 보정 모듈 (170) 은 다운스케일 모듈 (160) 과 데이터 통신한다. Cb 보정 모듈 (140) 은 검증 모듈 (145) 과 데이터 통신하고, 이 검증 모듈 (145) 은 업스케일 모듈 (150) 과 데이터 통신한다. 업스케일 모듈 (150) 은 업스케일링된 Cb 데이터의 출력을 제공하도록 구성된다. 유사하게, Cr 보정 모듈 (170) 은 검증 모듈 (175) 과 데이터 통신하고, 이 검증 모듈 (175) 은 업스케일 모듈 (180) 과 데이터 통신한다. 업스케일 모듈 (180) 은 업스케일링된 Cr 데이터의 출력을 제공하도록 구성된다. 적응적 컬러 아티팩트 보정 시스템 (100) 및 그 컴포넌트들은 하기에서 추가로 설명된다.
도 1 에 도시된 바와 같이, 적응적 컬러 아티팩트 보정 시스템 (100) 은 이미지 데이터의 Y 블록 (105), Y 블록 (105) 에 대응하는 이미지 데이터의 Cb 블록 (110), 및 Y 블록 (105) 및 Cb 블록 (110) 에 대응하는 이미지 데이터의 Cr 블록 (115) 을 포함할 수 있는 입력 데이터를 수신한다. Y 블록 (105) 은 도시된 예에서 일부 3×3 확장을 포함할 수 있지만, Cb 블록 (110) 및 Cr 블록 (115) 은 아닐 수도 있다. 입력 Y 블록 (105) 데이터는 검출 모듈 (120) 에서 수신된다. 입력 이미지 컴포넌트들, Cb 블록 (110) 및 Cr 블록 (115) 은, 검출 모듈 (120) 에서 수신되기 전, 다운스케일 모듈들 (130, 160) 에 의해, 각각, 다운스케일링된 Cb 블록 (135) 및 다운스케일링된 Cr 블록 (165) 으로 변환될 수 있다. 비록 다운스케일 모듈들 (130, 160) 은 하나가 Cb 및 Cr 컴포넌트들 각각에 전용된 별개인 것으로서 도시되지만, 다른 실시형태들에 있어서, 단일 다운스케일 모듈이 Cb 및 Cr 컴포넌트들 양자를 프로세싱하는데 이용될 수 있다. 다른 실시형태들에 있어서, Cb 및 Cr 컴포넌트는 검출 모듈 (120) 에 의한 수신 전에 다운스케일링되지 않을 수도 있다. 검출 모듈 (120) 은, 하기에서 더 상세히 논의될 바와 같이, Y 블록 (105), Cb 블록 (110), 및 Cr 블록 (115) 에 대한 검출 프로세스들에서, 이미지 데이터에서 컬러 아티팩트들을 검출하고 그리고 컬러 스폿 아티팩트들과 컬러 수차 간을 구별하도록 구성될 수도 있다. 예를 들어, Y 블록 (105) 에 대한 검출의 특정 양태들은 도 3a 및 도 3b 를 참조하여 설명되고, Cb 블록 (110) 및 Cr 블록 (115) 에 대한 검출의 특정 양태들은 도 4a 및 도 4b 를 참조하여 설명된다. 일부 실시형태들에 있어서, 검출 모듈 (120) 은 컬러 아티팩트들의 타입 및 (수차가 발생하는 픽셀들에 있어서) 위치를 표시하는 픽셀별 보정 비율 맵을 구축할 수 있다. 일부 실시형태들에 있어서, 보정 비율 맵에서의 값들은 각각의 픽셀에서 적용될 보정의 타입 및/또는 강도를 표시할 수 있다.
컬러 수차 검출 프로세스들은 컬러 스폿 아티팩트들 및 컬러 수차가 종종 밝은 스폿들, 밝은 라인들, 고 콘트라스트 에지들, 및 포화된 영역들 근방에서 발생한다는 가설뿐 아니라 컬러 수차가 종종 포화된 영역들 근방에서 발생한다는 가설에 기초할 수도 있다. 컬러 스폿들은, 예를 들어, 픽셀 클러스터들일 수 있으며, 여기서, 중심 컬러는 픽셀 클러스터에서의 주변 영역들의 컬러와는 상이하다. 컬러 수차는 이미지에서의 어두운 영역과 밝은 영역 간의 경계 라인들을 따라 컬러의 프린지들 또는 잘못 채색된 에지들로서 나타날 수 있다.
일 실시형태에 있어서, 검출 모듈 (120) 은 루마 컴포넌트 (Y) 데이터 (105) 에 대한 하나 이상의 대칭적 커널들을 이용하여 임의의 밝은 스폿들, 밝은 라인들, 및 고 콘트라스트 에지들을 포함하는 컬러 아티팩트들을 검출할 수 있다. 검출 모듈 (120) 은 이들 컬러 아티팩트들의 위치들을 표시하는 컬러 아티팩트 맵을 구축할 수 있다. 검출 모듈 (120) 은 또한 휘도 채널로부터 포화 맵을 추정할 수 있으며, 컬러 아티팩트 맵과 포화 맵을 결합함으로써 예비 보정 비율 맵을 구축할 수 있다. 검출 모듈 (120) 은, 일부 실시형태들에 있어서, 크로마 채널들 (Cb 및 Cr) 에 대하여 그레이 체크 및 컬러 스폿 검출을 수행할 수 있다. 크로마 채널들에 대해 수행된 그레이 체크 및 컬러 스폿 검출로부터의 정보를 이용하여, 검출 모듈 (120) 은, 예비 보정 비율 맵에서의 픽셀들의 크로마 채널들 (Cb 및 Cr) 을 체크함으로써 그리고 어떠한 보정도 그 픽셀에서 필요하지 않음을 표시하기 위해 비-컬러 픽셀들에 대응하는 보정 비율 맵 값을 변경함으로써 비-컬러 (즉, 흑색 및 백색) 픽셀들을 배제하도록 예비 보정 비율 맵을 업데이트할 수 있다. 이에 따라, 검출 모듈 (120) 은 최종 보정 비율 맵을 생성할 수 있다.
검출 모듈 (120) 로부터의 보정 비율 맵뿐 아니라 다운스케일링된 Cb 블록 (135) 및 다운스케일링된 Cr 블록 (165) 은 Cb 보정 모듈 (140) 및 Cr 보정 모듈 (170) (이들은 본 명세서에서 "보정 모듈들 (140, 170)" 로서 일괄적으로 지칭될 수도 있음) 에서 수신될 수 있다. 보정 모듈들 (140, 170) 은 보정 비율 맵에서의 값들을 이용하여, 이미지에서의 각각의 픽셀의 크로마 값들을 보정할지 여부 및 그 보정 방법을 결정할 수 있다. 예를 들어, 보정 맵에서의 제 1 값 (또는 값들의 범위) 은 어떠한 보정도 픽셀에 대해 수행되지 않아야 함을 표시할 수 있고, 제 2 값 (또는 값들의 범위) 은 컬러 스폿 보정이 수행되어야 함을 표시할 수 있으며, 제 3 값 (또는 값들의 범위) 은 컬러 수차 보정이 수행되어야 함을 표시할 수 있다.
보정 모듈들 (140, 170) 은 지향성 메디안 필터링을 이용하여 컬러 아티팩트들을 보정할 수 있고, 컬러 스폿 아티팩트들 및 컬러 수차에 대한 적응적으로 선택된 상이한 필터링 기술들을 이용할 수 있다. 예를 들어, 도 2 에 도시된 보정 모듈 (260) 은 2개의 설정들을 갖는 크로마 채널들에 대해 지향성 메디안 필터링을 적용하도록 구성될 수 있고 적용하도록 동작가능하며, 여기서, 제 1 설정은 컬러 수차를 위한 강한 설정일 수도 있고 제 2 설정은 컬러 스폿 아티팩트들을 위한 약한 설정일 수도 있다. 메디안 필터링은 컬러 아티팩트들을 보정하면서 이미지에서 원하는 컬러 피처들을 유지하기에 매우 적합할 수 있다. 비-지향성 메디안 필터링과 비교하여, 지향성 메디안 필터링은 좋은 컬러 피처들 (예를 들어, 코너들 및 라인들) 을 보존하는 것을 더 양호하게 할 수 있고 감소된 계산상 비용을 갖는다. 부가적으로, 보정 모듈들 (140, 170) 은, 메디안 필터의 방향을 조정함으로써 이미지 또는 이미지의 부분에 적용된 보정의 강도를 제어할 수 있다. 보정 모듈들 (140, 170) 은 다운스케일링된 Cb 및 Cr 크로마 채널들의 각각의 픽셀에 대한 보정된 크로마 값들을 출력할 수 있다. 비록 보정 모듈들 (140, 170) 은 하나가 Cb 및 Cr 컴포넌트들 각각에 전용된 별개의 모듈들인 것으로서 도시되지만, 다른 실시형태들에 있어서, 예를 들어, 도 2 의 보정 모듈 (260) 에 의해 도시된 바와 같이, 단일 보정 모듈이 이용될 수 있다.
보정된 Cb 및 Cr 크로마 값들은 검증 모듈들 (145, 175) 에 의해 수신될 수 있다. 비록 검증 모듈들 (145, 175) 은 하나가 Cb 및 Cr 컴포넌트들 각각에 전용된 별개의 모듈들인 것으로서 도시되지만, 다른 실시형태들에 있어서, 단일 검증 모듈이 크로마 채널들 양자로부터의 데이터를 프로세싱하는데 이용될 수 있다. 검증 모듈들 (145, 175) 은, 컬러 아티팩트들의 보정이 부가적인 아티팩트들 또는 원치않은 불포화를 도입하지 않았음을 검증하기 위하여 보정된 크로마 값들의 픽셀별 분석을 수행할 수 있고, 보정된 크로마 값들을 명시된 범위로 클램핑할 수 있다. 예를 들어, 보정 후, 지향성 메디안 필터링을 구현하는 크로마 보정은 흑색 또는 백색 픽셀을 그 컬러풀한 이웃으로 인해 컬러풀한 픽셀로 변환하였을 수도 있다. 그러한 부가적인 컬러 아티팩트들을 도입하는 것을 회피하기 위해, 검증 모듈들 (145, 175) 은 각각의 픽셀의 크로마 값들에 대하여 픽셀별 클램핑을 수행할 수 있다. 일 예에 있어서, 검증 모듈들 (145, 175) 은, Cr = Cb =128 일 경우에 픽셀이 흑색 또는 백색 픽셀이라는 사실로 인해, 각각의 픽셀에 대한 출력 Cb/Cr 값들을 128 과 픽셀의 입력 값 사이의 범위로 클램핑한다. 이러한 방식으로, 클램핑 프로세스는 비-컬러 픽셀을 더 컬러풀하게 하는 MHCAC 의 문제가 되는 경우를 회피시킬 수 있다.
도시된 실시형태에 있어서, Cb 블록 (110) 및 Cr 블록 (115) 은, 컬러 보정을 경험하기 전, 다운스케일 모듈들 (130, 160) 에 의해, 각각, 다운스케일링된 Cb 블록 (135) 및 다운스케일링된 Cr 블록 (165) 으로 변환되었다. 이에 따라, 다운스케일링된 Cb 블록 (135) 및 다운스케일링된 Cr 블록 (165) 은, 최종 보정된 Cb 컴포넌트 (155) 및 최종 보정된 Cr 컴포넌트 (185) 가 컬러 보정된 이미지를 구성하기 위해 출력되기 전에 업스케일 모듈들 (150, 180) 에 의해 그 오리지널 사이즈로 변환된다.
시스템 개관
도 2 는 적응적 컬러 아티팩트 보정 능력들을 갖는 예시적인 시스템 (200) 의 개략 블록 다이어그램을 도시하며, 시스템 (200) 은 이미징 센서 (215) 에 링크된 프로세서 (220) 를 포함하는 컴포넌트들의 세트를 갖는다. 작업 메모리 (205), 저장부 (또는 "데이터 스토어") (210), 전자 디스플레이 (225), 및 메모리 (230) 가 또한 프로세서 (220) 와 통신한다.
일부 구현들에 있어서, 시스템 (200) 은 셀 폰, 디지털 카메라, 태블릿 컴퓨터, 뮤직 플레이어, 개인용 디지털 보조기 등과 같은 모바일 컴퓨팅 디바이스일 수도 있다. 시스템 (200) 은 또한, 이미지들을 캡처하기 위해 내부 또는 외부 카메라를 이용하는 데스크탑 개인용 컴퓨터, 비디오 컨퍼런싱 스테이션 등과 같은 더 정지식 디바이스일 수도 있다. 시스템 (200) 은 또한, 이미지 캡처 디바이스와 그 이미지 캡처 디바이스로부터 이미지 데이터를 수신하는 별도의 프로세싱 디바이스와의 조합일 수 있다. 복수의 어플리케이션들이 시스템 (200) 상에서 사용자에게 이용가능할 수도 있다. 이들 어플리케이션들은, 다른 것들 중에서, 종래의 사진 어플리케이션들, 스틸 이미지들 및 비디오의 캡처, 및 적응적 컬러 보정 어플리케이션들을 포함할 수도 있다.
이미지 캡처 시스템 (200) 은 이미지들을 캡처하기 위해 이미지 센서 (215) 를 포함한다. 이미지 센서 (215) 는, 예를 들어, 전하 커플링형 디바이스 (CCD), 상보적 금속 산화물 반도체 (CMOS) 센서 등일 수 있다. 이미지 센서 (215) 는 프로세서 (또는 "이미지 프로세서") (220) 에 커플링되어, 캡처된 이미지를 이미지 프로세서 (220) 에 송신할 수도 있다. 이미지 프로세서 (220) 는, 하기에서 더 상세히 설명될 바와 같이, 고 품질의 컬러 보정된 이미지를 출력하기 위하여 수신된 캡처된 이미지에 대하여 다양한 동작들을 수행하도록 구성될 수도 있다.
프로세서 (220) 는 범용 프로세싱 유닛, 또는 이미징 어플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (220) 는 메모리 (230) 및 작업 메모리 (205) 에 접속된다. 도시된 실시형태에 있어서, 메모리 (230) 는 이미징 센서 제어 모듈 (235), 컬러 아티팩트 보정 모듈 (240), 캡처 제어 모듈 (245), 및 오퍼레이팅 시스템 (250) 을 저장한다. 이들 모듈들은, 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 프로세서를 구성하는 명령들을 포함한다. 작업 메모리 (205) 는, 메모리 (230) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 프로세서 (220) 에 의해 사용될 수도 있다. 대안적으로, 작업 메모리 (205) 는 또한, 디바이스 (200) 의 동작 동안 생성된 동적 데이터를 저장하기 위해 프로세서 (220) 에 의해 사용될 수도 있다.
상기 서술된 바와 같이, 프로세서 (220) 는 메모리 (230) 에 저장된 수개의 모듈들에 의해 구성된다. 이미징 센서 제어 모듈 (235) 은, 이미징 센서 (215) 의 포커스 포지션을 조정하도록 프로세서 (220) 를 구성하는 명령들을 포함한다. 이미징 센서 제어 모듈 (235) 은 또한, 이미징 센서 (215) 로 이미지들을 캡처하도록 프로세서 (220) 를 구성하는 명령들을 포함한다. 따라서, 이미지 캡처 제어 모듈 (235), 이미징 센서 (215), 필터 (260), 및 작동 메모리 (205) 와 함께 프로세서 (220) 는 컬러 아티팩트들에 대해 보정될 이미지 또는 이미지들의 시퀀스를 캡처하는 하나의 수단을 나타낸다. 일부 실시형태들에 있어서, 모듈들에서 설명된 기능의 모두 또는 그 일부는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수도 있다.
컬러 아티팩트 보정 모듈 (240) 은 캡처된 이미지에서의 컬러 아티팩트들을 보정하도록 프로세서 (220) 를 구성하는 명령들을 포함하고, 도시된 검출 모듈 (255), 보정 모듈 (260), 및 검증 모듈 (265) 과 같은 3개의 서브-모듈들을 포함할 수 있다. 예를 들어, 검출 모듈 (255) 은, 이미지 데이터에서의 컬러 아티팩트들의 형성 및 특성들에 대한 하나 이상의 가설들에 따라 이미지 데이터를 분석함으로써 보정 비율 맵을 생성할 수 있다. 예를 들어, 검출 모듈 (255) 은, 컬러 아티팩트들이 컬러 범프를 가질 수도 있는 것, 하일라이트 또는 포화된 영역에 위치될 가능성이 있는 것, 휘도 에지를 갖는 것, 사이즈가 상대적으로 작은 것, 및 정당한 컬러 피처들에 비해 덜 균일한 컬러를 갖는 것에 기초하여 컬러 아티팩트들을 검출하도록 프로세서 (220) 를 구성하는 명령들을 포함할 수도 있다. 추가로, 검출 모듈 (255) 은, 컬러 스폿 아티팩트들과 컬러 수차들 간을 구별하도록 프로세서를 구성하는 명령들을 포함할 수 있다. 예를 들어, 컬러 스폿 아티팩트들과 컬러 수차는 일 실시형태에 있어서 인접한 피처들에 기초하여 구별될 수 있다. 예를 들어, 컬러 스폿 아티팩트들은 종종 밝은 스폿들, 밝은 라인들, 고 콘트라스트 에지들, 및 포화된 영역들 근방에서 발생하지만 컬러 수차는 종종 포화된 영역들 근방에서 발생한다.
검출 모듈 (255) 은, 하기에서 더 상세히 논의될 바와 같이, 캡처된 이미지의 루마 및 크로마 채널들 중 하나 또는 그 양자에 검출 커널들을 적용하여 보정 비율 맵을 구축할 수 있다. 이미지에서의 각각의 픽셀에 대응하는 보정 비율 맵 값은 픽셀의 크로마 값에 대해 수행될 보정의 타입 및 강도를 표시할 수 있다. 예를 들어, 보정 맵에서의 제 1 값 (또는 값들의 범위) 은 어떠한 보정도 픽셀에 대해 수행되지 않아야 함을 표시할 수 있고, 제 2 값 (또는 값들의 범위) 은 컬러 스폿 보정이 수행되어야 함을 표시할 수 있으며, 제 3 값 (또는 값들의 범위) 은 컬러 수차 보정이 수행되어야 함을 표시할 수 있다.
일부 실시형태들에 있어서, 검출 모듈 (255) 은 보정 비율 맵을 생성하는 것에 대한 2단계 접근법을 구현할 수 있다. 제 1 단계에서, 검출 모듈 (255) 은 YCbCr 이미지의 루마 채널에 대하여 2개의 검출 측정들을 수행할 수 있다. 일 검출 측정은 밝은 스폿 및 밝은 에지 검출을 수행할 수 있지만, 다른 측정은 포화 검출을 수행할 수 있다. 이는, 컬러 아티팩트들의 존재 및 위치뿐 아니라 컬러 보정의 필요한 타입 및 강도를 표시하는 픽셀별 보정 비율 맵을 구축할 수 있다. 제 1 단계에서, 검출 모듈 (255) 은 이미지의 크로마 채널들에 대하여 2개의 검출 측정들을 수행함으로써 보정 비율 맵을 업데이트할 수 있으며, 여기서, 일 검출 측정은 그레이 체크를 수행하지만 다른 측정은 컬러 스폿 검출을 수행한다.
보정 모듈 (260) 은 2개의 상이한 설정들을 갖는 크로마 채널들에 대해 지향성 메디안 필터링을 적용할 수 있으며, 하나의 설정은 컬러 스폿 아티팩트들 및 컬러 수차 각각을 위한 것이다. 보정 모듈 (260) 은, 보정 비율 맵에서의 픽셀에 대응하는 엔트리에 의해 결정된 상이한 설정들 및 상이한 강도들을 갖는 각각의 픽셀 (예를 들어, 픽셀의 크로마 값) 을 보정하기 위해 지향성 메디안 필터링을 적응적으로 적용할 수 있다. 메디안 필터링은 컬러 아티팩트들을 보정하면서 이미지에서 원하는 컬러 피처들을 유지하기에 매우 적합하며, 지향성 메디안 필터링은, 비-지향성 메디안 필터링과 비교하여, 좋은 컬러 피처들 (예를 들어, 코너들 및 라인들) 을 보존하는 것을 더 양호하게 할 수 있고 감소된 계산상 비용을 갖는다. 부가적으로, 지향성 메디안 필터링은, 보정 모듈 (260) 이 메디안 필터의 방향을 조정함으로써 이미지 또는 이미지의 부분에 적용된 보정의 강도를 제어할 수 있기 때문에 유리하다.
일부 실시형태들에 있어서, 각각의 크로마 채널 (Cb 및 Cr) 에서의 각각의 픽셀에 대해, 보정 모듈 (260) 은 4개의 방향들 각각을 따라 메디안 필터를 적용하여 4개의 메디안 값들을 획득할 수 있다. 메디안 값들은 오리지널 크로마 값과 비교될 수 있으며, 적당한 보정된 크로마 값은 보정 비율 맵에 의해 표시된 바와 같은 보수적 또는 적극적(aggressive) 메디안 값에 기초할 수 있다. 보수적 메디안 값은 픽셀의 오리지널 입력 크로마 값에 가장 가까울 수 있으며, 적극적 메디안 값은 픽셀의 오리지널 입력 크로마 값으로부터 가장 멀 수 있다.
검증 모듈 (265) 은 보정된 크로마 값들 (Ccorrected) 을 분석하여, 컬러 아티팩트들이 부가적인 아티팩트들 또는 불포화를 야기하지 않고도 보정됨을 보장할 수 있다. 비록 지향성 메디안 필터링이 일반적으로 정당한 컬러 피처들을 보존하기 위해 잘 작동하더라도, 일부 경우들에 있어서 일부 부가적인 컬러 아티팩트들을 야기할 수도 있음이 가능하다. 예를 들어, 보정 후, 지향성 메디안 필터링은 흑색 또는 백색 픽셀을 그 컬러풀한 이웃으로 인해 컬러풀한 픽셀로 변환하였을 수도 있다. 그러한 부가적인 컬러 아티팩트들을 도입하는 것을 회피하기 위해, 검증 모듈 (265) 은 클램핑을 수행할 수 있다.
캡처 제어 모듈 (245) 은, 시스템 (200) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 포함할 수도 있다. 예를 들어, 일 실시형태에 있어서, 캡처 제어 모듈 (245) 은, 이미징 센서 (215) 를 이용하여 타깃 이미지 장면의 이미지 데이터를 캡처하도록 프로세서 (220) 를 구성하기 위한 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 그 후, 캡처 제어 모듈 (245) 은 컬러 아티팩트 보정 모듈 (240) 을 호출하여, 캡처된 이미지 데이터에서의 컬러 아티팩트들을 보정할 수도 있다. 캡처 제어 모듈 (245) 은 또한, 도시되지 않은 다른 프로세싱 모듈들, 예를 들어, 검출된 컬러 수차를 최소화하기 위한 렌즈 제어 모듈을 호출할 수도 있다.
도 2 에 도시된 실시형태에 있어서, 오퍼레이팅 시스템 모듈 (250) 은 시스템 (200) 의 메모리 및 프로세싱 리소스들을 관리하도록 프로세서 (220) 를 구성 및/또는 제어할 수 있다. 예를 들어, 오퍼레이팅 시스템 모듈 (250) 은 전자 디스플레이 (225), 저장부 (210), 또는 이미징 센서 (215) 와 같은 하드웨어 리소스들을 관리하기 위해 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에 있어서, 상기 논의된 이미지 프로세싱 모듈들에 포함된 명령들은, 이들 하드웨어 리소스들과 직접 상호작용하지 않고 대신 오퍼레이팅 시스템 컴포넌트 (250) 에 위치된 표준 서브루틴들 또는 API들을 통해 상호작용할 수도 있다. 그 후, 오퍼레이팅 시스템 (250) 내의 명령들은 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다.
프로세서 (220) 는 추가로, 캡처된 이미지를 사용자에게 디스플레이하기 위해 디스플레이 (225) 를 제어하도록 구성될 수도 있다. 디스플레이 (225) 는 이미지 센서 (215) 를 포함한 이미징 디바이스 외부에 있을 수도 있거나 이미징 디바이스의 부분일 수도 있다. 디스플레이 (225) 는 또한, 이미지를 캡처하기 전에 사용자에 대한 뷰 파인더를 제공하도록 구성될 수도 있거나, 또는 메모리에 저장되거나 사용자에 의해 최근에 캡처된 캡처 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (225) 는 LCD 또는 LED 스크린을 포함할 수도 있으며, 터치 감지 기술들을 구현할 수도 있다.
프로세서 (220) 는 저장 모듈 (210) 에 데이터를, 예를 들어, 캡처된 이미지들, 보정 비율 맵 값들, 및 보정된 크로마 값들을 나타내는 데이터를 기입할 수도 있다. 저장 모듈 (210) 이 종래의 디스크 디바이스로서 그래픽적으로 표현되지만, 당업자는 저장 모듈 (210) 이 임의의 저장 매체 디바이스로서 구성될 수도 있음을 이해할 것이다. 예를 들어, 저장 모듈 (210) 은 플로피 디스크 드라이브, 하드 디스크 드라이브, 광학 디스크 드라이브 또는 자기광학 디스크 드라이브와 같은 디스크 드라이브, 또는 플래시 메모리, RAM, ROM, 및/또는 EEPROM 과 같은 솔리드 스테이트 메모리를 포함할 수도 있다. 저장 모듈 (210) 은 또한 다중 메모리 유닛들을 포함할 수 있으며, 그 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (200) 내에 있도록 구성될 수도 있거나 또는 이미지 캡처 시스템 (200) 외부에 있을 수도 있다. 예를 들어, 저장 모듈 (210) 은, 이미지 캡처 시스템 (200) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (210) 은 또한 카메라로부터 착탈가능할 수도 있는, 캡처된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다.
비록 도 2 가 일부 별도의 컴포넌트들, 예를 들어, 프로세서 (220), 이미지 센서 (215), 및 메모리 (205) 를 갖는 시스템의 일 예를 도시하지만, 당업자는 이들 별도의 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 인식할 것이다. 예를 들어, 대안적인 실시형태에 있어서, 메모리 컴포넌트들은 비용을 절약하고 성능을 개선하기 위해 프로세서 컴포넌트들과 결합될 수도 있다.
부가적으로, 비록 도 2 가 2 개의 메모리 컴포넌트들 - 수개의 모듈들을 포함하는 메모리 컴포넌트 (230) 및 작업 메모리를 포함하는 별도의 메모리 (205) - 을 도시하지만, 당업자는 그러한 시스템이 상이한 메모리 아키텍처들을 활용하는 다른 실시형태들을 가질 수도 있음을 인식할 것이다. 예를 들어, 일 설계는 메모리 (230) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 대안적으로, 프로세서 명령들은, 시스템 (200) 에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 저장 디바이스로부터 시스템 시동 시에 판독될 수도 있다. 그 후, 프로세서 명령들은 프로세서에 의한 실행을 용이하게 하도록 RAM 에 로딩될 수도 있다. 예를 들어, 작업 메모리 (205) 는, 명령들이 프로세서 (220) 에 의한 실행 전에 작업 메모리 (205) 에 로딩되는 RAM 메모리일 수도 있다.
보정 맵 구성의 개관
도 3a 는 이미지의 루마 컴포넌트에서 컬러 아티팩트들을 검출하기 위한 컬러 아티팩트 검출 커널들 (305, 310, 315) 의 다수의 실시형태들을 도시하고, 도 3b 는 도 3a 의 커널들 (305, 310, 315) 을 구현할 수 있는 보정 맵 회로 (300) 의 일 실시형태를 도시한다. 도시된 대칭적 커널들 (305, 310, 315) 을 입력 이미지 데이터와 또는 이미지 데이터의 Y 컴포넌트와 컨벌브하는 것은 이미지 데이터에서의 컬러 아티팩트들의 위치들 또는 잠재적인 위치들을 표시하는 컬러 아티팩트 맵을 제공할 수 있다. 커널 (305) 에 입력 이미지 데이터를 적용하는 것은, 2×2 픽셀들로 이루어진 각각의 블록에 대한 단일의 "수퍼 픽셀" 값을 결정함으로써 다운샘플링을 수행할 수 있다. 수퍼 픽셀 값은, 예를 들어, 2×2 블록에서의 픽셀들 각각의 값들의 총계 또는 평균일 수 있다. 출력 블록은 도시된 예에 있어서 오리지널 사이즈의 1/4 일 수 있다. 커널 (310) 을 이미지 데이터와 컨벌브하는 것은 수퍼 픽셀 값이 픽셀들의 국부적인 이웃보다 더 밝은지 여부에 관한 표시를 제공할 수 있으며, 커널 (315) 을 이미지 데이터와 컨벌브하는 것은 수퍼 픽셀 값이 픽셀들의 먼 이웃보다 더 밝은지 여부에 관한 표시를 제공할 수 있다.
도 3b 에 도시된 바와 같이, 보정 맵 회로 (300). 본 명세서에서 사용된 바와 같이, 용어 "회로" 는 넓은 용어로 사용되고, (예를 들어, 보정 맵 회로, 보정 맵 업데이팅 회로, 및 적응적 컬러 아티팩트 보정 회로를 참조하여) 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있는 기능부를 지칭한다. 보정 맵 회로 (300) 는 제 1 임계치 (T1), 이미지 데이터의 루마 컴포넌트 (Y), 및 제 2 임계치 (T2) 를 포함하는 입력들 (302) 을 가질 수 있다. 루마 컴포넌트는 도 3a 에 도시된 커널들 (305, 310, 315) 각각과 컨벌브될 수 있다. 커널들 (305, 310, 315) 각각으로부터의 출력 데이터에서의 소정의 픽셀의 값들은 각각의 커널 값을 대응하는 입력 루마 컴포넌트 픽셀 값들에 의해 승산함으로써 계산될 수 있다. 예를 들어, 일 실시형태에 있어서, 커널 (305) 로부터의 출력 데이터는 하기의 식 (1) 에 따라 계산될 수 있고, 커널 (310) 로부터의 출력 데이터는 하기의 식 (2) 에 따라 계산될 수 있고, 커널 (315) 로부터의 출력 데이터는 하기의 식 (3) 에 따라 계산될 수 있다.
출력들 Y1', Y2', Y3' 은 상대차이 계산기 (320) 에 제공될 수 있다. 상대차이 계산기 (320) 는, 일부 실시형태들에 있어서, 하기의 식 (4) 및 식 (5) 에 따라 2개의 상대차이 출력들을 제공할 수 있다.
상대차이 출력들의 최대값은 최대값 계산기 (325) 에 의해 결정되고 N×N 블록들 상의 최대값 계산기 (330) 에 제공될 수 있으며, 이 N×N 블록들 상의 최대값 계산기 (330) 는 N×N 블록들의 이웃에서의 최대값을 탐색 및 출력할 수 있다. 도시된 예에 있어서, N×N 블록들 계산기 (330) 는 3×3 블록들의 이웃 내에서 탐색할 수 있지만, 커널들 (305, 310, 315) 은 다른 실시형태들에 있어서 다른 사이즈의 픽셀 이웃들에 대해 설계될 수 있다. 이에 따라, 입력 이미지 데이터에 대해 동작하는 상대차이 계산기 (320) 및 최대값 계산기 (325) 는 상대차이 맵 (입력 이미지 데이터에 대하여 1/4 사이즈일 수 있음) 을 생성할 수 있으며, 이 상대차이 맵 상에서, N×N 블록들 계산기 (330) 는 3×3 이웃에서의 최대값을 탐색할 수 있다. N×N 블록들 상의 최대값 계산기 (330) 의 출력은 제 1 임계치 (T1) 와의 비교를 위해 비교 모듈 (335) 에 출력될 수 있다.
입력 루마 컴포넌트는 블록 상의 최대값 계산기 (340) 에 제공될 수 있으며, 이 블록 상의 최대값 계산기 (340) 는 N×N 블록들의 이웃에서의 최대값을 탐색 및 출력한다. 블록 상의 최대값 계산기 (340) 의 출력은 제 2 임계치 (T2) 와의 비교를 위해 비교 모듈 (350) 에서 수신될 수 있다. 비교 모듈 (335) 및 비교 모듈 (350) 의 결과들은 결합 모듈 (355) 에서 결합될 수 있으며, 출력 R (360) 은 보정 비율 맵 또는 예비 보정 비율 맵으로서 제공될 수 있다. 출력 R (360) 은 입력 이미지 데이터에서의 각각의 픽셀에 대한 일 값을 포함할 수 있다.
도 4a 는 이미지의 크로마 컴포넌트에서 컬러 아티팩트들을 검출하기 위해 사용될 수 있는 커널들 (405, 410) 의 2개의 예들을 도시한다. 커널 (405) 은, 포지션에 대한 강도의 2차 도함수를 계산함으로써 임계치 초과의 그래디언트 또는 강도 변화의 영역들을 하일라이트할 수 있고 따라서 에지 검출을 위해 사용될 수 있는 라플라시안 컨벌루션 커널의 일 예이다. 커널 (405) 은 컬러 스폿 아티팩트들의 위치들을 검출하는 것을 위해 사용될 수 있다. 커널 (410) 은, 중심 픽셀이 포화 영역 근방에 위치되는지 여부를 알도록 체크하는 포화 검출을 수행하기 위해 사용될 수 있다. 이미지 데이터와 컨벌브될 경우 커널 (410) 은, 상대적으로 더 큰 컬러 스폿들의 존재를 표시하기 위해 중심 픽셀과 픽셀들의 주위의 가깝고 먼 이웃들 간의 계산된 차이를 제공할 수있다.
도 4b 는 도 4a 의 커널들 (405, 410) 을 구현할 수 있는 보정 맵 업데이팅 회로 (400) 의 일 실시형태를 도시한다. 도시된 커널들 (405, 410) 을 입력 이미지 데이터와 또는 이미지 데이터의 Cb 및 Cr 컴포넌트들과 컨벌브하는 것은 비-컬러 픽셀들을 배제함으로써 예비 보정 비율 맵을 정세하기 위한 값들을 제공할 수 있다. 보정 맵 업데이팅 회로 (400) 로부터 출력된 보정 비율 맵은 어느 픽셀들이 컬러 보정되어야 하는지를 결정하기 위해 사용될 수 있다.
보정 맵 업데이팅 회로 (400) 는 이미지 데이터 크로마 컴포넌트들 (Cb 및 Cr), 제 3 임계치 (T3), 제 4 임계치 (T4), 및 예비 보정 비율 맵 (R) 을 포함하는 입력들을 가질 수 있다. 도 4b 에 도시된 바와 같이, 보정 맵 업데이팅 회로 (400) 는, 입력으로서 임계치 (T3) 를 수신하고 또한 입력으로서 Cb 및 Cr 컴포넌트들을 수신하는 그레이 체크 모듈 (415) 을 포함한다. 그레이 체크 모듈 (415) 은 입력 Cr 및 Cb 픽셀 값들을 임계치와 비교하여, 비-컬러 픽셀들의 위치를 결정하고 그리고 비-컬러 픽셀들을 보정 비율 맵으로부터 배제하는 것을 돕기 위해 사용될 수 있는 정보를 결정하도록 구성된다. 더 상세하게, 일부 실시형태들에 있어서, 그레이 체크 모듈 (415) 은, 예를 들어, 하기의 식 (6) 에 나타낸 바와 같이, Cr 및 Cb 컴포넌트들의 대응하는 픽셀 값들을 임계치 (T3) 와 비교하도록 구성된다. 이는, Cr 및 Cb 컴포넌트들에서의 픽셀들 각각에 대해 수행될 수 있다. 그레이 체크 모듈 (415) 의 출력은, 그레이 체크 모듈 (415) 로부터의 출력에 기초하여, 보정 비율 맵에서의 대응하는 값들을 설정하기 위해 또는 보정 비율 맵에서의 대응하는 값을 설정 (또는 업데이트) 하지 않음을 나타내기 위해, 보정 비율 맵 업데이터 (430) 에 제공될 수도 있다.
Cr 및 Cb 컴포넌트들 양자는 컬러 수차들, 예를 들어, 컬러 스폿들의 위치들을 결정하기 위해 프로세싱될 수 있다. 도 4b 에 도시된 실시형태에 있어서, 도 4a 의 커널들 (405, 410) 각각은 커널 (405) 및 커널 (410) 과 컨벌브되어 컬러 스폿들의 위치들을 결정한다. 컨벌루션들 각각은 Cr 및 Cb 컴포넌트 픽셀 값들에 공간적으로 대응하는 값들을 포함하는 결과적인 데이터 세트를 발생하며, 이는 최대 절대값 계산기 (420) 에 입력된다. 커널들 (405, 410) 각각으로부터의 출력 데이터에서의 소정의 픽셀의 값들은 각각의 커널 값을 대응하는 입력 크로마 컴포넌트 픽셀 값들에 의해 승산함으로써 계산될 수 있다. 커널들 (405, 410) 로부터의 출력은, 픽셀에 대한 4개의 입력 컨벌브된 Cr 및 Cb 값들 중 최대값을 결정하기 위하여 절대값들 중 최대값 계산기 (420) 에 제공될 수 있다. 그 후, 이 최대값은 제 4 임계치 (T4) 와의 비교를 위해 비교 모듈 (425) 에 입력될 수 있다. 비교 모듈 (425) 은 최대값을 임계치 (T4) 와 비교하여 최대값이 임계치 미만인지 여부를 결정할 수 있으며, 이 데이터를 보정 비율 맵 업데이터 (430) 에 제공할 수 있다.
그레이 체크 모듈 (415) 및 비교 모듈 (425) 의 출력들은 보정 비율 맵 업데이터 (430) 에 제공되어 예비 보정 비율 맵 (R) 의 값들을 업데이트할 수 있다. 예를 들어, 일 실시형태에 있어서, 픽셀에 대한 보정 비율 맵 값은, 식 (6) 에 의해 모델링된 그레이 체크에 따라, 대응하는 픽셀에 대한 Cr 및 Cb 값과 128 간의 차이의 절대값이 제 3 임계치 (T3) 미만이면, 어떠한 보정도 픽셀에서 수행되지 않아야 함을 표시하는 제로로 설정될 수 있다.
픽셀에 대한 보정 비율 맵 값은, 식 (7) 에 따라, 픽셀에 대한 예비 보정 비율 맵 값 (R) 이 1 과 동일하면 그리고 비교 모듈 (425) 의 출력 (C') 이 컬러 스폿 검출에 의해 표시된 바와 같은 제 4 임계치 (Th4) 미만이면, 제로로 설정될 수 있다.
일부 실시형태들에 있어서, Th3 은 15 와 동일하게 설정될 수 있고 Th4 는 12 와 동일하게 설정될 수 있다. 다른 실시형태에 있어서, Th3 은 5 와 동일하게 설정될 수 있고 Th4 는 10 과 동일하게 설정될 수 있다. 그레이 체크 및 컬러 스폿 검출을 수행하는 동안 또는 그 이후, 검출 모듈 (255) 은 예비 보정 비율 맵 값들 (R) 을 업데이트하여, 출력으로서 최종 보정 비율 맵을 생성 및 제공할 수 있다.
적응적
컬러
아티팩트
보정의 개관
도 5a 는 지향성 메디안 필터들 (505, 510, 515, 520) 의 일 실시형태를 도시한다. 도 5b 는 도 5a 의 필터들 (505, 510, 515, 520) 을 구현할 수 있는 적응적 컬러 아티팩트 보정 회로 (500) 의 일 실시형태를 도시한다. 도시된 바와 같이, 필터들은 수직 5×3 메디안 필터 (505), 수평 5×3 메디안 필터 (510), 수직 필터 (505) 로부터 대략 45도 오프셋된 제 1 대각 5×3 메디안 필터 (515), 및 제 1 대각 필터 (515) 에 수직인 제 2 대각 5×3 메디안 필터 (520) 를 포함한다. 도 5a 의 4개의 5×3 지향성 메디안 필터들 (505, 510, 515, 520) 은 MHCAC 기술의 일 실시형태의 예시이며, 다른 치수들 및 방향들의 메디안 필터들이 다른 실시형태들에 있어서 사용될 수 있다. 도 5c 는 도 5a 의 지향성 메디안 필터들의 어플리케이션에 의해 5×5 블록에서 영향을 받을 수 있는 예시적인 픽셀들을 도시한다. 대각 메디안 필터들 (515 및 520) 의 어플리케이션에 대해, 5×5 블록 경계 외부의 픽셀들로부터의 값들이 사용될 수도 있다. 일 실시형태에 있어서, 가장 가까운 보더 픽셀은 컨벌루션을 위한 값들을 제공하기 위해 필요한 만큼 멀리 확장될 수 있다. 다른 실시형태에 있어서, 블록 에지 초과로부터의 값을 요구하는 출력 메디안 값에서의 임의의 픽셀은 스킵될 수도 있다. 다른 에지 핸들링 기술들이 다른 예들에 있어서 이용될 수 있다.
보정 회로 (500) 에는, 입력 이미지 데이터에서의 각각의 픽셀에 대해 보정 비율 맵 값들 (R) 및 크로마 값들 (C) 이 제공될 수 있다. 일부 실시형태들에 있어서, 보정 회로 (500) 는 입력 이미지 데이터의 Cb 및 Cr 컴포넌트들로부터 크로마 값들에 대해 별도로 동작할 수 있다. 각각의 픽셀에 대한 입력 크로마 값은 수직 메디안 필터 (505), 수평 메디안 필터 (510), 제 1 대각 메디안 필터 (515), 및 제 2 대각 메디안 필터 (520) 각각과 컨벌브되어, 각각, 출력 메디안 값들 (C1, C2, C3, 및 C4) 을 제공할 수 있다. 일부 실시형태들에 있어서, C1, C2, C3, 및 C4 는 최저로부터 최고로 올림 차순으로 소팅된 메디안 값들을 표기할 수도 있다. 일부 실시형태들에 있어서, 적극적 및 보수적 메디안 값들이 하기에서 나타낸 식 (8) 및 식 (9) 에 따라 계산될 수 있다.
적극적 메디안 값은 4개의 메디안 값들 중 가장 불포화된 (컬러의 관점에서) 값일 수 있지만, 보수적 메디안 값은 4개의 메디안 값들 중 입력 값에 가장 근접한 값일 수 있다. 적극적 메디안 값은 컬러 수차에 대한 강한 보정을 제공하도록 사용될 수 있고, 보수적 메디안 값은 컬러 스폿 아티팩트들에 대한 약한 보정을 제공하도록 사용될 수 있다.
입력 크로마 값 (C0), 출력 값들 (C1, C2, C3, 및 C4), 및 보정 비율 맵 값 (R) 은 적응적 선택 모듈 (525) 에 입력될 수 있다. 픽셀에 대응하는 보정 비율 맵이, 이 픽셀이 컬러 아티팩트에 속하는 것으로서 검출되지 않았음을 표시하는 R==0 이면, 픽셀에 대한 보정된 크로마 값은 Ccorrected = C0 로 설정될 수 있으며, 여기서 C0 는 현재 픽셀의 입력 또는 현재 크로마 값이다. 픽셀에 대한 보정 비율 맵 값이 0<=R<=1 의 범위이면, 픽셀은 컬러 스폿 또는 가는 라인과 같은 컬러 스폿 아티팩트에 근사하거나 그 부분인 것으로서 검출되었으며, 픽셀에 대한 보정된 크로마 값 (Ccorrected) 은, 다음과 같이, C1, C2, C3, 및 C4 로부터 보수적 (즉, 출력 값과 입력 값 (C0) 간의 최소의 차이) 메디안 값을 선택하고 그리고 입력 크로마 값 (C0) 으로 가중함으로써 결정될 수 있다:
대략 4개 또는 5개 픽셀들 내의 픽셀은 근사적인 것으로 고려될 수 있고, 일 실시형태에 있어서 0<=R<=1 보정 비율 맵 값들의 범위 내에 있을 수 있다.
픽셀에 대응하는 보정 비율 맵이, 픽셀이 포화된 영역 또는 영역들에 그리고 가능한 컬러 수차에 근접한 것으로서 검출되었음을 표시하는 R==2 이면, 적응적 선택 모듈 (525) 은 다음과 같이 적극적 (즉, 입력 값 (C0) 에 비해 가장 불포화된) 메디안 값을 선택함으로써 픽셀에 대한 보정된 크로마 값 (Ccorrected) 을 획득할 수 있다:
메디안 필터링을 위한 적극적 방향이 종종 보수적 방향에 수직이기 때문에, 적응적 선택 모듈 (525) 은, 먼저, 결과적인 크로마 값들 (C1, C2, C3, 및 C4) 중 어느 값이 현재 값 (C0) 과의 최소의 차이를 갖는지를 결정함으로써 보수적 방향을 탐색할 수 있다. 적극적 보정 값은, 결과적인 크로마 값들 (C1, C2, C3, 및 C4) 중 어느 값이 보수적 방향과 반대 방향 (보수적 방향에 수직임) 에서 메디안 필터로부터 기인되는지를 결정함으로써, 또는 결과적인 크로마 값들 (C1, C2, C3, 및 C4) 중 어느 값이 현재 값 (C0) 과의 최대의 차이를 갖는지를 결정함으로써, 결정된다.
예시적인 적응적 컬러 아티팩트 보정 프로세스의 개관
도 6 은 적응적 컬러 아티팩트 보정 프로세스 (600) 의 일 실시형태를 도시한다. 비록 도 1, 도 2, 도 3b, 도 4b, 및 도 5b 의 시스템들 및 컴포넌트들의 컨텍스트에서 논의되지만, 프로세스 (600) 는 적응적 컬러 보정 능력들을 갖는 임의의 시스템 상에서 구현될 수 있다.
먼저, 블록 605 에서, 이미지 시스템 (200) 의 컬러 아티팩트 보정기 (240) 는, 예를 들어, 이미지 센서 (215) 로부터 이미지 데이터를 수신한다. 다른 실시형태들에 있어서, 이미징 디바이스와는 별도인 컴퓨팅 디바이스에서의 모듈 또는 프로세서는 사후-캡처 프로세싱을 위해 이미지 데이터를 수신할 수도 있다.
블록 610 에서, 검출 모듈 (255) 은, 이미지 데이터에서의 컬러 아티팩트들의 형성 및 특성들에 대한 하나 이상의 가설들에 따라 이미지 데이터를 분석함으로써 보정 비율 맵을 생성한다. 예를 들어, 검출 모듈 (255) 은, 컬러 아티팩트들이 통상적으로 컬러 범프를 갖고 하일라이트 또는 포화된 영역에 위치되고 휘도 에지를 갖고 사이즈가 상대적으로 작고 그리고 정당한 컬러 피처들에 비해 덜 균일한 컬러를 갖는다는 가설들 중 하나 이상에 기초하여 컬러 아티팩트들을 검출할 수도 있다. 추가로, 검출 모듈 (255) 은 컬러 아티팩트들의 2개 분류들 - 컬러 스폿 아티팩트들과 컬러 수차들 - 간을 구별할 수 있다. 이러한 구별은, 컬러 스폿 아티팩트들이 종종 밝은 스폿들, 밝은 라인들, 고 콘트라스트 에지들, 및 포화된 영역들 근방에서 발생한다는 가설뿐 아니라 컬러 수차가 종종 포화된 영역들 근방에서 발생한다는 가설에 기초할 수 있다.
상기 논의된 바와 같이, 컬러 아티팩트 검출의 일 실시형태는 이미지 데이터에서의 루마 (Y) 컴포넌트 또는 휘도 컴포넌트로부터 보정 비율 맵을 구축하는 것 및 이미지의 크로마 (Cb 및 Cr) 채널들을 이용하여 보정 비율 맵을 보정하는 것의 2단계 프로세스를 수반할 수 있다. 검출 모듈 (255) 은 루마 컴포넌트에 필터들을 적용하여 밝은 스폿들 및 밝은 에지들을 검출하고 포화 체크를 수행할 수 있으며, 또한, 일부 실시형태들에 있어서, 루마 컴포넌트로부터 포화 맵을 추정할 수 있다. 이는, 컬러 아티팩트들의 존재 및 위치뿐 아니라 컬러 보정의 필요한 강도를 표시하는 픽셀별 보정 비율 맵에 대한 예비 값들을 제공할 수 있다. 예를 들어, 포화 체크 및 밝은 스폿 검출은 하기의 식 (12) 에 따라 수행될 수 있다.
일 실시형태에 있어서, T1 은 10 와 동일하게 설정될 수 있고 T2 는 240 과 동일하게 설정될 수 있다.
그 후, 검출 모듈 (255) 은 이미지의 크로마 채널들에 필터들을 적용하여 그레이 체크를 수행하고 컬러 스폿 검출을 수행할 수 있다. 이는, 예비 보정 비율 맵에서 가능한 비-컬러 픽셀들에 관한 정보를 제공할 수 있다. 예비 보정 비율 맵의 픽셀 값들은, 예를 들어, 임의의 잘못 포함된 비-컬러 픽셀들을 배제하기 위해 크로마 채널들의 분석을 이용하여 업데이트될 수 있다. 일부 실시형태들에 있어서, 그레이 체크는 상기의 식 (6) 을 이용하여 수행될 수 있고, 컬러 스폿 검출은 상기의 식 (7) 에 따라 수행될 수 있다. 그레이 체크 및 컬러 스폿 검출을 수행하는 동안 또는 그 이후, 검출 모듈 (255) 은 예비 보정 비율 맵 값들 (R) 을 업데이트하여 최종 보정 비율 맵을 생성할 수 있다.
컬러 아티팩트 검출 프로세스의 다른 실시형태에 있어서, 검출 모듈 (255) 은, 식 (13) 에 따라, 상이한 스케일들을 갖는 2개의 대칭적 검출 커널들을 휘도 채널 (Y) 에 적용하여 밝은 스폿들/라인들 및 고 콘트라스트 에지들을 검출할 수 있다.
여기서, Y' 는 휘도 채널에 대한 2개의 커널을 적용하는 최대 응답에 의해 획득된다, 즉, Y' = max(Y*H1, Y*H2) 이다. 이는, 이미지에서의 컬러 아티팩트들의 위치를 표시하는 컬러 아티팩트 맵 (R1) 의 추정을 제공할 수 있다. 포화 맵 (R2) 은 휘도 채널 Y 로부터 추정될 수 있으며,
예비 보정 비율 맵 (R12) 은, 식 (15) 에 따라, 컬러 아티팩트 맵 (R1) 및 포화 맵 (R2) 을 일부 확장과 결합함으로써 획득될 수 있다:
예비 보정 비율 맵 (R12) 은, 그에 따라 컬러 보정을 필요로 하지 않는 하나 이상의 비-컬러 (즉, 흑색, 백색, 및 그레이 스케일) 픽셀들을 포함할 수도 있다. 더 나중의 보정의 계산상 레이턴시를 감소하기 위해, 이들 비-컬러 픽셀들은, 그 크로마 (Cb 및 Cr) 을 체크함으로써 그리고 어떠한 크로마 보정도 필요하지 않음을 표시하기 위해 비-컬러 픽셀들과 연관된 보정 비율 맵에서의 엔트리를 변경함으로써, 후속 컬러 보정으로부터 배제될 수 있다. 이러한 방식으로, 식 (16) 에 따라 최종 보정 비율 맵 (R) 을 획득할 수 있다.
보정 비율 맵을 생성한 이후, 프로세스 (600) 는 컬러 스폿 아티팩트들 및 컬러 수차에 대한 적응적으로 선택된 필터링을 이용하여 컬러 아티팩트들을 보정하기 위해 블록 615 로 천이한다. 예를 들어, 보정 모듈 (260) 은, 각각 컬러 스폿 아티팩트들 및 컬러 수차에 대한 2개의 상이한 설정들을 갖는 크로마 채널들에 대해 지향성 메디안 필터링을 적용할 수 있다. 컬러 아티팩트들의 검출 동안 생성된 보정 비율 맵에 따르면, 지향성 메디안 필터링은 보정 비율 맵에서의 픽셀에 대응하는 엔트리에 의해 결정된 상이한 설정들 및 상이한 강도를 갖는 각각의 픽셀 (예를 들어, 픽셀의 크로마 값) 을 보정한다.
일 실시형태에 있어서, 보정 모듈 (260) 은 4개의 방향에서의 지향성 메디안 필터링을 이용할 수 있으며, 그 각각은 5×3 메디안 필터이다. 메디안 필터링은 컬러 아티팩트들을 보정하면서 이미지에서 원하는 컬러 피처들을 유지하기에 매우 적합하다. 비-지향성 메디안 필터링 (5×5) 과 비교하여, 5×3 지향성 메디안 필터링은 좋은 컬러 피처들 (예를 들어, 코너들 및 라인들) 을 보존하는 것을 더 양호하게 할 수 있고 감소된 계산상 비용을 갖는다. 부가적으로, 보정 모듈 (260) 은, 5×3 메디안 필터의 방향을 조정함으로써 이미지 또는 이미지의 부분에 적용된 보정의 강도를 제어할 수 있다.
일부 실시형태들에 있어서, 각각의 크로마 채널 (Cb 및 Cr) 에서의 각각의 픽셀에 대해, 보정 모듈 (260) 은 4개의 방향들 각각을 따라 5×3 메디안 필터를 적용하고 4개의 메디안 값들을 획득할 수 있다. 소팅 이후, 4개의 메디안 값들은 C1 < C2 < C3 < C4 로서 표기될 수 있다:
픽셀에 대응하는 보정 비율 맵이, 이 픽셀이 컬러 아티팩트에 속하는 것으로서 검출되지 않았음을 표시하는 R==0 이면, 픽셀에 대한 보정된 크로마 값은 Ccorrected = C0 로 설정될 수 있으며, 여기서 C0 은 현재 픽셀의 입력 또는 현재 크로마 값이다. 픽셀에 대응하는 보정 비율 맵이, 이 픽셀이 컬러 스폿들 또는 가는 라인들과 같은 컬러 스폿 아티팩트에 근접한 것으로서 검출되었음을 표시하는 범위 0<R<=1 내에 있을 경우, 보정 모듈 (260) 은, 일부 실시형태들에 있어서 상기의 식 (9) 에 따라 또는 다른 실시형태들에 있어서 다음의 식에 따라, C1, C2, C3, 및 C4 로부터 보수적 (즉, 현재 값 (C0) 과의 최소의 차이) 메디안 값을 선택하고 그리고 현재 크로마 값 (C0) 으로 가중함으로써 픽셀에 대한 보정된 크로마 값 (Ccorrected) 을 획득할 수 있다.
픽셀에 대응하는 보정 비율 맵이, 픽셀이 포화된 영역 또는 영역들에 그리고 가능한 컬러 수차에 근접한 것으로서 검출되었음을 표시하는 R==2 일 경우, 보정 모듈 (260) 은, 상기의 식 (10) 에 따라, 적극적 (불포화된) 메디안 값을 선택함으로써 픽셀에 대한 보정된 크로마 값 (Ccorrected) 을 획득할 수 있다.
메디안 필터링을 위한 적극적 방향이 종종 보수적 방향에 수직이기 때문에, 보정 모듈 (260) 은, 먼저, 결과적인 크로마 값들 (C1, C2, C3, 및 C4) 중 어느 값이 현재 값 (C0) 과의 최소의 차이를 갖는지를 결정함으로써 보수적 방향을 탐색할 수 있다. 적극적 보정 값은, 결과적인 크로마 값들 (C1, C2, C3, 및 C4) 중 어느 값이 보수적 방향과 반대 방향 (보수적 방향에 수직임) 에서 메디안 필터로부터 기인되는지를 결정함으로써, 또는 결과적인 크로마 값들 (C1, C2, C3, 및 C4) 중 어느 값이 현재 값 (C0) 과의 최대의 차이를 갖는지를 결정함으로써, 결정된다.
블록 620 에서, 검증 모듈 (265) 은 보정된 크로마 값들 (Ccorrected) 을 분석하여, 컬러 아티팩트들이 부가적인 아티팩트들 또는 불포화를 야기하지 않고도 보정됨을 보장할 수 있다. 예를 들어, 지향성 메디안 필터링은 흑색 또는 백색 픽셀을 그 컬러풀한 이웃으로 인해 컬러풀한 픽셀로 변환하는 것과 같은 일부 부가적인 컬러 아티팩트들을 야기할 수도 있음이 가능하다. 그러한 부가적인 컬러 아티팩트들을 도입하는 것을 회피하기 위해, 검증 모듈 (265) 은, 최종 출력 값들을 제한하는 "클램핑" 동작을 수행할 수 있다. 일부 실시형태들에 있어서, 최종 출력 크로마 값은 다음과 같이 획득될 수 있다:
비록 도시되지 않더라도, 프로세스 (600) 의 일부 실시형태들은 검증 단계로부터 출력된 Cb/Cr 값들과 입력 Cb/Cr 값들 사이에서 일부 보간을 수행하여 최종 출력 Cb/Cr 값들을 획득할 수 있다. 이러한 방식으로, 프로세스 (600) 는 보간 가중치를 제어함으로써 컬러 아티팩트 보정 강도를 추가로 제어할 수 있다.
블록 625 에서, 컬러 아티팩트 보정기 (240) 는 예컨대 저장 또는 디스플레이를 위해 보정된 이미지 데이터를 출력할 수 있다.
구현 시스템들 및 용어
본 명세서에 개시된 구현들은 하나 이상의 이미징 센서들을 갖는 전자 디바이스로 컬러 보정된 이미지를 생성하기 위한 시스템들, 방법들 및 장치를 제공한다. 당업자는, 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있음을 인식할 것이다.
일부 실시형태들에 있어서, 상기 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하는데 사용되는 전자 디바이스의 종류일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인용 디지털 보조기들 (PDA들), e-판독기들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩탑 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2 이상의 이미지 신호 프로세서들, 및 상기 논의된 CNR 프로세스를 실행하기 위한 명령들 또는 모듈들을 포함하는 메모리를 포함할 수도 있다. 본 명세서에서 지칭된 메모리는 하나의 메모리 컴포넌트, 2 이상의 메모리 컴포넌트들일 수도 있거나, 또는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 그 디바이스는 또한, 데이터, 메모리로부터 명령들 및/또는 데이터를 로딩하는 하나 이상의 프로세서들, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 디스플레이 디바이스와 같은 하나 이상의 출력 디바이스들, 및 전력 소스/인터페이스를 가질 수도 있다. 본 명세서에서 지칭된 프로세서는, 명시되지 않으면, 단일 프로세서 컴포넌트 또는 다중 프로세서 컴포넌트들일 수도 있으며, 또한, 일 컴포넌트로 구성된 다중의 프로세서들일 수 있다. 무선 통신 디바이스는 부가적으로 송신기 및 수신기를 포함할 수도 있다. 송신기 및 수신기는 트랜시버로서 공동으로 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로, 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등으로서 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩탑 또는 데스크탑 컴퓨터들, 셀룰러 전화기들, 스마트 폰들, 무선 모뎀들, e-판독기들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너쉽 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 가변 용어들로 설명된 무선 통신 디바이스들을 포함할 수도 있다 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등).
본 명세서에서 설명된 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는, 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 가용 매체를 지칭한다. 한정이 아닌 예로서, 그러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이® 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 데이터를 광학적으로 재생한다. 컴퓨터 판독가능 매체는 유형의 및 비-일시적일 수도 있음이 주목되어야 한다. 용어 "컴퓨터 프로그램 제품" 은, 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱, 또는 산출될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 결합한 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
소프트웨어 또는 명령들은 또한 송신 매체를 통해 송신될 수도 있다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의에 포함된다.
본 명세서에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 그 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 일탈함없이 서로 대체될 수도 있다. 즉, 단계들 또는 액션들의 특정 순서가, 설명되어 있는 방법의 적당한 동작을 위해 필수적이지 않다면, 특정 단계들 및/또는 액션들의 순서 및/또는 그 사용은 청구항들의 범위로부터 일탈함없이 수정될 수도 있다.
본 명세서에서 사용된 바와 같은 워드 커플의 용어들 "커플", "커플링", "커플링된" 또는 다른 변형들은 간접 접속 또는 직접 접속 중 어느 하나를 나타낼 수도 있음이 주목되어야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링"되면, 제 1 컴포넌트는 제 2 컴포넌트에 간접적으로 접속되거나 또는 제 2 컴포넌트에 직접적으로 접속될 수도 있다. 본 명세서에서 사용된 바와 같이, 용어 "복수의" 는 2 이상을 표기한다. 예를 들어, 복수의 컴포넌트들은 2 이상의 컴포넌트들을 나타낸다.
용어 "결정하는 것" 은 매우 다양한 액션들을 포괄하며, 따라서, "결정하는 것" 은 계산하는 것, 산출하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 검색하는 것 (예를 들어, 표, 데이터베이스, 또는 다른 데이터 구조를 검색하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리 내 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선출하는 것, 확립하는 것 등을 포함할 수 있다.
어구 "~에 기초하는" 은, 달리 명백하게 명시되지 않으면, "~에만 기초하는" 을 의미하지 않는다. 즉, 어구 "~에 기초하는" 은 "~에만 기초하는" 및 "~에 적어도 기초하는" 양자를 기술한다.
전술한 설명에 있어서, 특정 상세들은 예들의 철저한 이해를 제공하기 위해 주어진다. 하지만, 그 예들은 이들 특정 상세들없이도 실시될 수 있음이 당업자에 의해 이해될 것이다. 예를 들어, 전기 컴포넌트들/디바이스들은, 그 예들을 불필요한 상세로 불명료하게 하지 않기 위해 블록 다이어그램들로 도시될 수도 있다. 다른 경우들에 있어서, 그러한 컴포넌트들, 다른 구조들 및 기술들은 그 예들을 더 설명하기 위해 상세히 도시될 수도 있다.
헤딩들이, 참조를 위해 그리고 다양한 섹션들을 로케이팅하는 것을 보조하기 위해 본 명세서에 포함된다. 이들 헤딩들은, 관련하여 설명된 개념들의 범위를 한정하도록 의도되지 않는다. 그러한 개념들은 전체 명세서 전반에 걸쳐 적용가능성을 가질 수도 있다.
또한, 그 예들은, 플로우차트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 도시된 프로세스로서 설명될 수도 있음이 주목된다. 비록 플로우차트가 동작들을 순차적인 프로세스로서 기술할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있고, 프로세스가 반복될 수 있다. 부가적으로, 동작들의 순서가 재배열될 수도 있다. 프로세스는 그 동작들이 완료될 경우에 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응할 경우, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 반환에 대응한다.
개시된 구현들의 상기 설명은 당업자로 하여금 본 발명을 제조 또는 이용하게 할 수 있도록 제공된다. 이들 구현들에 대한 다양한 수정들은 당업자에게 용이하게 자명할 것이며, 본 명세서에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위로부터 일탈함없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에서 설명된 구현들로 한정되도록 의도되지 않으며, 본 명세서에 개시된 원리들 및 신규한 특징들과 부합하는 최광의 범위를 부여받아야 한다.
Claims (30)
- 복수의 픽셀들을 갖는 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법으로서,
상기 이미지의 이미지 데이터를 수신하는 단계로서, 상기 이미지 데이터는 상기 이미지에서의 상기 복수의 픽셀들 각각에 대한 루마 (Y) 컴포넌트 값 및 2개의 크로마 컴포넌트 값들을 포함하는, 상기 이미지 데이터를 수신하는 단계;
상기 이미지 데이터의 상기 Y 컴포넌트 값들에서 적어도 하나의 컬러 아티팩트를 검출하는 단계;
상기 이미지에서의 상기 복수의 픽셀들 각각에 대한 엔트리를 갖는 보정 비율 맵을 생성하는 단계로서, 상기 보정 비율 맵은 상기 이미지 데이터에서의 상기 적어도 하나의 컬러 아티팩트의 위치를 표시하는, 상기 보정 비율 맵을 생성하는 단계;
상기 크로마 컴포넌트 값들의 서브세트에 대한 복수의 메디안 값들을 생성하기 위해 각각의 크로마 컴포넌트에 복수의 지향성 메디안 필터들을 적용하는 단계;
상기 크로마 컴포넌트 값들의 서브세트의 각각에 대해, 대응하는 보정 비율 맵 엔트리에 적어도 부분적으로 기초하여 상기 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계; 및
상기 복수의 메디안 값들 중 선택된 메디안 값에 적어도 부분적으로 기초하여 상기 픽셀에 대한 보정된 크로마 값을 출력하는 단계를 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 제 1 항에 있어서,
보정 모듈에서 상기 메디안 값들 및 제 1 보정 비율 맵 엔트리를 수신하는 단계를 더 포함하고, 상기 제 1 보정 비율 맵 엔트리는 상기 픽셀에 대응하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 제 1 항에 있어서,
상기 이미지 데이터의 Cb 및 Cr 컴포넌트들 중 적어도 하나의 분석에 기초하여 상기 보정 비율 맵을 업데이트하는 단계를 더 포함하고,
상기 보정 비율 맵을 업데이트하는 단계는 비-컬러 픽셀과 연관된 제 2 보정 비율 맵 엔트리 값을 변경함으로써 후속 크로마 보정으로부터 상기 비-컬러 픽셀을 배제하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 제 1 항에 있어서,
하나의 또는 양자의 크로마 컴포넌트들에 대해 수행된 그레이 체크 결과에 응답하여 상기 보정 비율 맵을 업데이트하는 단계를 더 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 제 1 항에 있어서,
상기 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계는, 상기 픽셀이 컬러 스폿 아티팩트와 연관됨을 제 1 보정 비율 맵 엔트리가 표시하면 가장 보수적인 메디안 값을 선택하는 단계를 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 제 5 항에 있어서,
상기 보정된 크로마 값을 출력하는 단계는 상기 가장 보수적인 메디안 값을 입력 크로마 값으로 가중하는 단계를 더 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 제 1 항에 있어서,
상기 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계는, 상기 픽셀이 컬러 수차와 연관됨을 제 1 보정 비율 맵 엔트리가 표시하면 가장 적극적인 메디안 값을 선택하는 단계를 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 방법. - 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템으로서,
복수의 픽셀들을 포함하는 이미지에서의 적어도 하나의 컬러 아티팩트를 검출하도록 구성된 검출 모듈로서, 상기 검출 모듈은 추가로, 상기 이미지에서의 복수의 픽셀들 각각에 대한 엔트리를 갖는 보정 비율 맵을 생성하도록 구성되고, 상기 엔트리는 대응하는 픽셀과 연관된 컬러 아티팩트의 타입을 표시하는, 상기 검출 모듈;
상기 엔트리에 적어도 부분적으로 기초하여 상기 대응하는 픽셀의 보정된 크로마 값을 계산하도록 구성된 보정 모듈로서, 상기 엔트리는 상기 대응하는 픽셀과 연관된 컬러 아티팩트의 타입을 표시하고, 상기 보정 모듈은 추가로, 보정된 크로마 값을 계산하는데 사용하기 위해 상기 엔트리에 기초하여 복수의 지향성 메디안 필터들 중 하나의 지향성 메디안 필터를 선택하도록 구성되고, 상기 보정 모듈은 추가로, 상기 대응하는 픽셀이 컬러 스폿 아티팩트와 연관됨을 상기 엔트리가 표시하면 제 1 지향성 메디안 필터를 선택하고 그리고 상기 대응하는 픽셀이 컬러 수차와 연관됨을 상기 엔트리가 표시하면 제 2 지향성 메디안 필터를 선택하도록 구성되는, 상기 보정 모듈; 및
상기 보정된 크로마 값으로부터 형성된 보정된 이미지에서의 정당한 컬러 피처들의 부가적인 아티팩트들 또는 불포화의 도입을 감소시키기 위해 상기 보정된 크로마 값을 검증하도록 구성된 검증 모듈을 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 8 항에 있어서,
상기 복수의 지향성 메디안 필터들은 수직 5×3 메디안 필터, 수평 5×3 메디안 필터, 및 2개의 대각 5×3 메디안 필터들을 포함하고, 상기 대각 5×3 메디안 필터들은 서로 수직인, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 8 항에 있어서,
보정 비율 맵 엔트리는 상기 대응하는 픽셀이 컬러 아티팩트 없음과 연관되는지, 컬러 스폿 아티팩트와 연관되는지 또는 컬러 수차와 연관되는지를 표시하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 8 항에 있어서,
상기 검출 모듈은 캡처된 이미지의 루마 컴포넌트의 분석에 적어도 부분적으로 기초하여 예비 보정 비율 맵 엔트리 값들을 생성하도록 구성된 보정 맵 회로를 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 11 항에 있어서,
상기 보정 맵 회로는 컬러 스폿 아티팩트들을 검출하기 위한 복수의 커널들과 상기 루마 컴포넌트를 컨벌브하기 위한 복수의 모듈들을 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 11 항에 있어서,
상기 보정 맵 회로는 상기 루마 컴포넌트의 포화 맵을 구축하기 위한 모듈을 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 11 항에 있어서,
상기 검출 모듈은 상기 캡처된 이미지의 하나의 또는 양자의 크로마 컴포넌트들의 분석에 적어도 부분적으로 기초하여 상기 예비 보정 비율 맵 엔트리 값들을 업데이트하도록 구성된 보정 맵 업데이팅 회로를 더 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 14 항에 있어서,
상기 보정 맵 업데이팅 회로는 상기 복수의 픽셀들 각각이 비-컬러 픽셀인지 여부를 결정하도록 구성된 그레이 체크 모듈을 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 14 항에 있어서,
상기 보정 맵 업데이팅 회로는 컬러 스폿 아티팩트들을 검출하기 위한 커널들과 상기 하나의 또는 양자의 크로마 컴포넌트들을 컨벌브하기 위한 복수의 모듈들을 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 14 항에 있어서,
상기 보정 맵 업데이팅 회로는 그레이 체크 결과 및 컬러 스폿 체크 결과에 적어도 부분적으로 기초하여 보정 비율 맵 엔트리를 업데이트하도록 구성된 모듈을 포함하고, 그 그레이 체크 및 컬러 스폿 체크는 상기 하나의 또는 양자의 크로마 컴포넌트들에 대해 수행되는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 8 항에 있어서,
상기 보정 모듈은 상기 복수의 지향성 메디안 필터들을 상기 대응하는 픽셀의 입력 크로마 값에 적용하여 복수의 메디안 값들을 생성하기 위한 복수의 필터 모듈들을 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 18 항에 있어서,
상기 보정 모듈은 보정 비율 맵 엔트리 및 상기 복수의 메디안 값들을 수신하고 그리고 상기 대응하는 픽셀에 대한 보정된 크로마 값을 출력하도록 구성된 적응적 선택 모듈을 더 포함하는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 제 8 항에 있어서,
상기 이미지를 저장하도록 구성된 메모리; 및
상기 메모리에 커플링된 프로세서를 더 포함하고,
상기 프로세서는 상기 이미지를 취출하고 그리고 상기 검출 모듈, 상기 보정 모듈, 및 상기 검증 모듈을 이용하여 상기 이미지를 프로세싱하도록 구성되는, 이미지에서의 컬러 아티팩트들을 보정하기 위한 시스템. - 이미지에서의 컬러 아티팩트들을 보정하기 위한 보정 비율 맵을 생성하기 위한 방법으로서,
상기 이미지를 포함하는 이미지 데이터를 수신하는 단계로서, 상기 이미지는 루마 컴포넌트 및 2개의 크로마 컴포넌트들을 포함하는, 상기 이미지 데이터를 수신하는 단계;
컬러 아티팩트 맵을 생성하기 위해 적어도 하나의 대칭적 커널과 상기 루마 컴포넌트를 컨벌브하는 단계;
상기 컬러 아티팩트 맵에 적어도 부분적으로 기초하여 예비 보정 비율 맵을 생성하는 단계로서, 상기 예비 보정 비율 맵은 상기 이미지의 복수의 픽셀들 각각에 대응하는 엔트리를 포함하는, 상기 예비 보정 비율 맵을 생성하는 단계;
상기 크로마 컴포넌트들 중 적어도 하나에 대해 그레이 체크를 수행하는 단계; 및
상기 그레이 체크에 적어도 부분적으로 기초하여 상기 예비 보정 비율 맵을 업데이트하여 임의의 비-컬러 픽셀들을 후속 컬러 보정으로부터 배제함으로써 최종 보정 비율 맵을 생성하는 단계를 포함하는, 보정 비율 맵을 생성하기 위한 방법. - 제 21 항에 있어서,
상기 루마 컴포넌트에 기초하여 추정된 포화 맵을 생성하는 단계를 더 포함하고,
상기 예비 보정 비율 맵을 생성하는 단계는 추가로 상기 추정된 포화 맵에 적어도 부분적으로 기초하는, 보정 비율 맵을 생성하기 위한 방법. - 제 21 항에 있어서,
상기 그레이 체크를 수행하는 단계는 상기 크로마 컴포넌트들 중 적어도 하나를 포화 검출 커널과 컨벌브하는 단계를 포함하는, 보정 비율 맵을 생성하기 위한 방법. - 제 21 항에 있어서,
상기 적어도 하나의 대칭적 커널과 상기 루마 컴포넌트를 컨벌브하는 단계는 상기 루마 컴포넌트를 다운샘플링하는 단계를 더 포함하는, 보정 비율 맵을 생성하기 위한 방법. - 제 21 항에 있어서,
상기 크로마 컴포넌트들 중 적어도 하나에 대해 컬러 스폿 체크를 수행하는 단계; 및
상기 컬러 스폿 체크에 적어도 부분적으로 기초하여 상기 예비 보정 비율 맵을 업데이트하는 단계를 더 포함하는, 보정 비율 맵을 생성하기 위한 방법. - 실행될 경우, 적어도 하나의 프로세서로 하여금 방법을 수행하게 하는 명령들을 저장하는 비-일시적인 컴퓨터 판독가능 매체로서,
상기 방법은,
이미지의 이미지 데이터를 수신하는 단계로서, 상기 이미지 데이터는 상기 이미지에서의 복수의 픽셀들 각각에 대한 루마 (Y) 컴포넌트 값 및 2개의 크로마 컴포넌트 값들을 포함하는, 상기 이미지 데이터를 수신하는 단계;
상기 이미지 데이터의 루마 컴포넌트 값 및 크로마 컴포넌트 값들 양자에 기초하여 적어도 하나의 컬러 아티팩트를 검출하는 단계;
상기 이미지에서의 상기 복수의 픽셀들 각각에 대한 엔트리를 갖는 보정 비율 맵을 생성하는 단계로서, 상기 보정 비율 맵은 상기 이미지 데이터에서의 상기 적어도 하나의 컬러 아티팩트의 위치를 표시하는, 상기 보정 비율 맵을 생성하는 단계;
상기 크로마 컴포넌트 값들의 서브세트에 대한 복수의 메디안 값들을 생성하기 위해 각각의 크로마 컴포넌트에 복수의 지향성 메디안 필터들을 적용하는 단계;
상기 크로마 컴포넌트 값들의 서브세트의 각각에 대해, 대응하는 보정 비율 맵 엔트리에 적어도 부분적으로 기초하여 상기 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계; 및
상기 복수의 메디안 값들 중 선택된 메디안 값에 적어도 부분적으로 기초하여 상기 픽셀에 대한 보정된 크로마 값을 출력하는 단계를 포함하는, 비-일시적인 컴퓨터 판독가능 매체. - 제 26 항에 있어서,
상기 방법은 하나의 또는 양자의 크로마 컴포넌트들에 대해 수행된 그레이 체크 결과에 응답하여 상기 보정 비율 맵을 업데이트하는 단계를 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체. - 제 26 항에 있어서,
상기 방법은 하나의 또는 양자의 크로마 컴포넌트들에 대해 수행된 컬러 스폿 체크 결과에 응답하여 상기 보정 비율 맵을 업데이트하는 단계를 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체. - 제 26 항에 있어서,
상기 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계는, 상기 픽셀이 컬러 스폿 아티팩트와 연관됨을 제 1 보정 비율 맵 엔트리가 표시하면 가장 보수적인 메디안 값을 선택하는 단계를 포함하는, 비-일시적인 컴퓨터 판독가능 매체. - 제 26 항에 있어서,
상기 복수의 메디안 값들 중 하나의 메디안 값을 선택하는 단계는, 상기 픽셀이 컬러 수차와 연관됨을 제 1 보정 비율 맵 엔트리가 표시하면 가장 적극적인 메디안 값을 선택하는 단계를 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361858956P | 2013-07-26 | 2013-07-26 | |
| US61/858,956 | 2013-07-26 | ||
| US14/191,190 US9251572B2 (en) | 2013-07-26 | 2014-02-26 | System and method of correcting image artifacts |
| US14/191,190 | 2014-02-26 | ||
| PCT/US2014/047465 WO2015013206A1 (en) | 2013-07-26 | 2014-07-21 | System and method of correcting image artifacts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160036662A KR20160036662A (ko) | 2016-04-04 |
| KR102214876B1 true KR102214876B1 (ko) | 2021-02-09 |
Family
ID=52390593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167004604A KR102214876B1 (ko) | 2013-07-26 | 2014-07-21 | 이미지 아티팩트들을 보정하는 시스템 및 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9251572B2 (ko) |
| EP (1) | EP3025302B1 (ko) |
| JP (1) | JP6469678B2 (ko) |
| KR (1) | KR102214876B1 (ko) |
| CN (1) | CN105408936B (ko) |
| WO (1) | WO2015013206A1 (ko) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102025184B1 (ko) * | 2013-07-31 | 2019-09-25 | 엘지디스플레이 주식회사 | 데이터 변환 장치 및 이를 이용한 디스플레이 장치 |
| CN103714775B (zh) * | 2013-12-30 | 2016-06-01 | 北京京东方光电科技有限公司 | 像素阵列及其驱动方法、显示面板和显示装置 |
| CN105981378B (zh) * | 2014-02-07 | 2018-07-20 | 索尼公司 | 用于减少复合图像中的彩色镶边的方法和设备 |
| JP6329412B2 (ja) * | 2014-03-26 | 2018-05-23 | 株式会社メガチップス | Ｓｉｍｄプロセッサ |
| US9672765B2 (en) | 2015-09-30 | 2017-06-06 | Apple Inc. | Sub-pixel layout compensation |
| US10038862B2 (en) * | 2016-05-02 | 2018-07-31 | Qualcomm Incorporated | Methods and apparatus for automated noise and texture optimization of digital image sensors |
| US10257485B2 (en) * | 2016-06-08 | 2019-04-09 | Google Llc | Generating a composite image from a physical item |
| CN108537763B (zh) * | 2017-03-01 | 2023-07-07 | 深圳开阳电子股份有限公司 | 一种图像颜色校正装置 |
| CN106934836B (zh) * | 2017-03-14 | 2020-12-01 | 潍坊学院 | 一种雾霾图像基于自动聚类的大气光值计算方法及系统 |
| CN106934779B (zh) * | 2017-03-14 | 2020-12-01 | 潍坊学院 | 一种图像去雾处理中大气光值计算方法及系统 |
| US10986356B2 (en) | 2017-07-06 | 2021-04-20 | Samsung Electronics Co., Ltd. | Method for encoding/decoding image and device therefor |
| EP3567857A1 (en) | 2017-07-06 | 2019-11-13 | Samsung Electronics Co., Ltd. | Method for encoding/decoding image and device therefor |
| KR102338466B1 (ko) * | 2017-12-08 | 2021-12-14 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어방법 |
| CN109118555B (zh) * | 2018-08-14 | 2019-06-14 | 广州华端科技有限公司 | 计算机断层成像的金属伪影校正方法和系统 |
| KR102285738B1 (ko) | 2018-10-19 | 2021-08-05 | 삼성전자주식회사 | 영상의 주관적 품질을 평가하는 방법 및 장치 |
| WO2020080665A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
| WO2020080827A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same |
| WO2020080709A1 (en) * | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network |
| US11720997B2 (en) | 2018-10-19 | 2023-08-08 | Samsung Electronics Co.. Ltd. | Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof |
| KR102525578B1 (ko) | 2018-10-19 | 2023-04-26 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| US11616988B2 (en) | 2018-10-19 | 2023-03-28 | Samsung Electronics Co., Ltd. | Method and device for evaluating subjective quality of video |
| WO2020080765A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
| WO2020080873A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
| KR102436512B1 (ko) | 2019-10-29 | 2022-08-25 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
| KR20210056179A (ko) | 2019-11-08 | 2021-05-18 | 삼성전자주식회사 | Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법 |
| KR20210157525A (ko) * | 2020-06-19 | 2021-12-29 | 삼성디스플레이 주식회사 | 표시 장치 및 이의 구동 방법 |
| CN114641830A (zh) * | 2020-10-15 | 2022-06-17 | 京东方科技集团股份有限公司 | 食物体积、热量计算方法、电子装置、电子设备和存储介质 |
| KR102591594B1 (ko) * | 2021-05-10 | 2023-10-19 | 네이버웹툰 유한회사 | 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치 |
| CN113376439B (zh) * | 2021-07-08 | 2022-04-29 | 广西电网有限责任公司电力科学研究院 | 一种智能化防雷接地电阻在线监测系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002010286A (ja) | 2000-06-26 | 2002-01-11 | Canon Inc | 信号処理装置、信号処理方法、及び撮像装置 |
| US6542187B1 (en) | 1998-07-09 | 2003-04-01 | Eastman Kodak Company | Correcting for chrominance interpolation artifacts |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0514925A (ja) * | 1991-07-01 | 1993-01-22 | Sony Corp | 画像信号処理装置 |
| JP3825932B2 (ja) * | 1999-02-19 | 2006-09-27 | キヤノン株式会社 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| US7009644B1 (en) * | 1999-12-15 | 2006-03-07 | Logitech Europe S.A. | Dynamic anomalous pixel detection and correction |
| US6377702B1 (en) * | 1999-12-08 | 2002-04-23 | Sony Corporation | Color cast detection and removal in digital images |
| DE60235526D1 (de) | 2001-01-25 | 2010-04-15 | Nikon Corp | Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor |
| KR100973855B1 (ko) * | 2002-06-12 | 2010-08-03 | 에스오 델라웨어 코포레이션 (에이/케이/에이 실리콘 옵틱스, 인크.) | 광학변형의 전자보정 시스템 및 방법 |
| JP2004252620A (ja) * | 2003-02-19 | 2004-09-09 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
| JP4479457B2 (ja) * | 2004-05-27 | 2010-06-09 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP4539280B2 (ja) * | 2004-10-19 | 2010-09-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| EP1650979A1 (en) | 2004-10-21 | 2006-04-26 | STMicroelectronics S.r.l. | Method and system for demosaicing artifact removal |
| US20060152596A1 (en) | 2005-01-11 | 2006-07-13 | Eastman Kodak Company | Noise cleaning sparsely populated color digital images |
| WO2007007878A1 (ja) | 2005-07-14 | 2007-01-18 | Nikon Corporation | 画像処理装置および画像処理方法 |
| US8254718B2 (en) | 2008-05-15 | 2012-08-28 | Microsoft Corporation | Multi-channel edge-aware chrominance noise reduction |
| US8520969B2 (en) | 2009-08-25 | 2013-08-27 | Stmicroelectronics S.R.L. | Digital image processing apparatus and method |
| CN102867295B (zh) * | 2012-08-06 | 2015-10-21 | 电子科技大学 | 一种彩色图像颜色校正方法 |
| JP2014086932A (ja) * | 2012-10-25 | 2014-05-12 | Sony Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2014
- 2014-02-26 US US14/191,190 patent/US9251572B2/en active Active
- 2014-07-21 CN CN201480041655.1A patent/CN105408936B/zh active Active
- 2014-07-21 EP EP14750087.0A patent/EP3025302B1/en active Active
- 2014-07-21 KR KR1020167004604A patent/KR102214876B1/ko active IP Right Grant
- 2014-07-21 WO PCT/US2014/047465 patent/WO2015013206A1/en active Application Filing
- 2014-07-21 JP JP2016529816A patent/JP6469678B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6542187B1 (en) | 1998-07-09 | 2003-04-01 | Eastman Kodak Company | Correcting for chrominance interpolation artifacts |
| JP2002010286A (ja) | 2000-06-26 | 2002-01-11 | Canon Inc | 信号処理装置、信号処理方法、及び撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9251572B2 (en) | 2016-02-02 |
| EP3025302B1 (en) | 2017-11-01 |
| WO2015013206A1 (en) | 2015-01-29 |
| EP3025302A1 (en) | 2016-06-01 |
| CN105408936A (zh) | 2016-03-16 |
| KR20160036662A (ko) | 2016-04-04 |
| US20150030247A1 (en) | 2015-01-29 |
| JP6469678B2 (ja) | 2019-02-13 |
| JP2016525840A (ja) | 2016-08-25 |
| CN105408936B (zh) | 2018-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102214876B1 (ko) | 이미지 아티팩트들을 보정하는 시스템 및 방법 | |
| US11210799B2 (en) | Estimating depth using a single camera | |
| KR102474715B1 (ko) | 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합 | |
| EP3354008B1 (en) | Phase detection autofocus noise reduction | |
| US10015371B2 (en) | Electronic device and image tracking method thereof | |
| US10013764B2 (en) | Local adaptive histogram equalization | |
| US8405736B2 (en) | Face detection using orientation sensor data | |
| EP3520387A1 (en) | Systems and methods for fusing images | |
| JP2018535443A (ja) | 位相検出オートフォーカスの算術 | |
| US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
| US12033304B2 (en) | Method for marking focused pixel, electronic device, storage medium, and chip | |
| US20220174222A1 (en) | Method for marking focused pixel, electronic device, storage medium, and chip | |
| JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
| US20180082396A1 (en) | Dynamic camera pipelines | |
| CN116934875A (zh) | 图像处理方法、装置、设备、存储介质及芯片 | |
| US20150098658A1 (en) | Method and apparatus for processing image data, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |