KR20230041195A

KR20230041195A - 전자 장치 및 그 동작 방법

Info

Publication number: KR20230041195A
Application number: KR1020210124510A
Authority: KR
Inventors: 한지희
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2021-09-17
Filing date: 2021-09-17
Publication date: 2023-03-24
Also published as: CN115835029A; US20230109055A1

Abstract

본 기술에 따른 전자 장치는 노말 픽셀들 및 위상 검출 픽셀들을 포함하는 이미지 센서 및 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 생성된 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출하고, 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성하는 프로세서를 포함한다.

Description

전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}

본 발명은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로 이미지 처리를 수행하는 전자 장치 및 그 동작 방법에 관한 것이다.

최근 들어, 전자 기술의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 카메라, 자율주행 차량 등 다양한 전자 장치에서 이미지 센서의 수요가 증가하고 있다.

이미지 센서는 빛을 전기적인 신호로 변환해 이미지를 생성할 수 있다. 이를 위해, 이미지 센서는 빛의 센싱을 위한 노말 픽셀들 및 객체에 대한 포커스를 위한 위상 검출 픽셀들을 포함할 수 있다. 노말 픽셀들은 베이어 패턴 등에 따라 배열될 수 있다. 위상 검출 픽셀은 노말 픽셀들이 배열되는 위치들 중 일부 위치에 노말 픽셀을 대신하여 배열될 수 있다. 이 경우, 위상 검출 픽셀은 포커스 조절 기능을 하게 되나, 일반 이미지에서는 결함으로 취급될 수 있다. 이를 해결하기 위해, 위상 검출 픽셀의 픽셀값을 보상할 수 있다.

한편, 태양, 조명 등과 같이 빛의 세기가 강한 광원으로부터 이미지 센서로 빛이 수신될 경우, 이미지 센서는 플레어 영역을 포함하는 이미지를 생성할 수 있다. 여기서, 플레어 영역은 강한 빛을 나타내는 고휘도 영역과 고휘도 영역의 빛이 퍼지는 주변영역을 포함할 수 있다. 플레어 영역에서는 플레어 영역이 아닌 일반 영역과 같은 방식으로 위상 검출 픽셀의 픽셀값을 보상할 경우, 일정 위치마다 도트가 나타나는 도트 노이즈 또는 일정 영역에 암부가 나타나는 격자 노이즈 등의 노이즈가 발생할 수 있다. 이와 같이, 플레어 영역에서 노이즈가 발생하는 문제를 해결하기 위한 기술이 요구되고 있다.

본 발명의 실시 예는 플레어 영역의 노이즈를 제거하는 전자 장치 및 그의 동작 방법을 제공하는 것에 목적이 있다.

본 개시의 실시 예에 따른 전자 장치는 노말 픽셀들 및 위상 검출 픽셀들을 포함하는 이미지 센서 및 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 생성된 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출하고, 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성하는 프로세서를 포함할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 노말 이미지를 생성하는 단계, 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출하는 단계, 및 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성하는 단계;를 포함할 수 있다.

본 기술은 플레어 영역의 노이즈를 제거하는 전자 장치 및 그의 동작 방법을 제공할 수 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 3a 내지 도 3c는 본 개시의 일 실시 예에 따른 이미지 센서에 포함된 픽셀들을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 프로세서를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 이미지 처리 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 이미지를 설명하기 위한 도면이다.
도 7a 내지 7c는 본 개시의 일 실시 예에 따른 플랫 영역의 검출을 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 플레어 영역의 검출을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 노이즈 영역의 보정을 설명하기 위한 도면이다.
도 10a 및 도 10b는 본 개시의 일 실시 예에 따른 중심 픽셀의 1차 보정을 설명하기 위한 도면이다.
도 11a 내지 11c는 본 개시의 일 실시 예에 따른 중심 픽셀의 2차 보정을 설명하기 위한 위한 도면이다.
도 12a 내지 12e는 본 개시의 일 실시 예에 따른 쿼드 베이어 패턴을 갖는 이미지의 보정을 설명하기 위한 도면이다.
도 13a 내지 13e는 본 개시의 일 실시 예에 따른 쿼드 베이어 패턴을 갖는 이미지의 보정을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 노이즈 영역의 보정 결과를 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 도면이다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 도면이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 이미지 센서(110) 및 프로세서(130)를 포함할 수 있다.

일 실시 예에 따른 전자 장치(100)는 촬상 장치, 디지털 카메라, 캠코더, CCTV(Closed-circuit Television), 웹캠, 보안 카메라, 산업용 비전 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 드론, 자율주행 차량, 차량용 비전 카메라, 셋톱 박스, 스마트 스피커, 게임 콘솔, 전자 사전, 전자책 리더기, MP3 플레이어, 스마트 의료기기, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 스마트 미러, 스마트 윈도우, 전자 키, 전자 액자, 디지털 광고판, 보안 컨트롤 패널 등일 수 있다. 여기서, 웨어러블 디바이스는 스마트 워치, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 헤드 마운티드 장치(head-mounted-device; HMD), 스킨 패드, 문신, 또는 생체 이식형 회로 등일 수 있다.

일 실시 예에 따른 전자 장치(100)는 패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 즉, 전자 장치(100)는 컴퓨팅 시스템에 포함되는 일 구성요소로서 동작할 수 있다. 여기서, 컴퓨팅 시스템은 예를 들어, 디지털 카메라, 모바일 장치, 스마트폰, PC, 태블릿 PC, 노트북, PDA, EDA, PMP, 웨어러블 디바이스, 블랙박스, 로봇, 자율주행 차량 등의 다양한 장치로 구현될 수 있다.

이미지 센서(110)는 빛을를 센싱하여 이미지를 획득할 수 있다. 이를 위해, 이미지 센서(110)는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등으로 구현될 수 있다.

이미지 센서(110)는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 행과 열에 따라 배열될 수 있다. 구체적으로, 이미지 센서(110)는 노말 픽셀들 및 위상 검출 픽셀들을 포함할 수 있다. 이미지 센서(110)는 노말 픽셀들이 센싱한 픽셀값들 및 위상 검출 픽셀이 센싱한 픽셀값들을 포함하는 이미지를 획득할 수 있다.

노말 픽셀은 하나의 마이크로 렌즈 하부에 배치된 컬러 필터 및 센싱 회로를 포함하는 픽셀일 수 있다. 여기서, 컬러 필터는 특정한 색상 또는 파장의 빛을 센싱하기 위한 것이다. 예를 들어, 그린 색상의 컬러 필터는 그린 색상의 빛을 센싱할 수 있다. 위상 검출 픽셀은 하나의 마이크로 렌즈의 일부분의 하부에 배치된 센싱 회로를 포함하는 픽셀일 수 있다. 즉, 위상 검출 픽셀은 하나의 마이크로 렌즈를 다른 위상 검출 픽셀과 공유하는 픽셀일 수 있다. 예를 들어, 좌측 위상 검출 픽셀은 마이크로 렌즈의 좌측 부분을 통해서만 수신된 빛을 센싱하고, 우측 위상 검출 픽셀은 마이크로 렌즈의 우측 부분을 통해서만 수신된 빛을 센싱할 수 있다. 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀 각각에서 센싱된 픽셀값들의 비교를 통해 좌우 위상차를 검출하고, 포커스를 조절하고 다시 빛을 센싱함으로써 좌우 위상차를 검출할 수 있다. 좌우 위상차가 줄어들 때까지 이러한 동작을 반복함으로써 객체에 대한 포커스를 자동으로 맞출 수 있다.

이미지는 픽셀 데이터들을 포함할 수 있다. 픽셀 데이터들은 복수의 픽셀들을 통해 획득될 수 있다. 하나의 픽셀 데이터는 해당 픽셀 데이터를 획득하는 하나의 픽셀과 관련된 정보를 포함할 수 있다. 구체적으로, 픽셀 데이터는 픽셀값, 색상, 위치에 대한 정보를 포함할 수 있다. 여기서, 픽셀값은 해당 픽셀이 센싱한 빛의 밝기를 나타낼 수 있다. 픽셀값은 할당된 데이터 비트의 범위 내의 값을 가질 수 있다. 예를 들어, 데이터 비트가 8비트인 경우, 픽셀값은 0 내지 255 범위 내의 자연수 값을 가지며, 데이터 비트가 10비트인 경우 픽셀값은 0 내지 1023 범위 내의 자연수 값을 가질 수 있다. 위치는 해당 픽셀이 배열된 행과 열을 나타낼 수 있다. 색상은 해당 픽셀이 센싱한 빛의 색상을 나타낼 수 있다. 예를 들어, 색상은 레드, 그린, 블루 중 하나일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 상술한 색상들로 제한되지 않는다. 한편, 픽셀 데이터는 해당 픽셀이 노말 픽셀인지 또는 위상 검출 픽셀인지를 나타내는 픽셀 종류에 대한 정보를 포함할 수 있다.

프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 이를 위해, 프로세서(130)는 적어도 하나의 처리 장치를 포함할 수 있다. 예를 들어, 프로세서(130)는 이미지 신호 프로세서(image signal processor, ISP), 디지털 신호 프로세서(digital signal processor, DSP), 애플리케이션 프로세서(application processor, AP), 그래픽 처리 장치(graphics processing unit, GPU) 및 중앙 처리 장치(central processing unit, CPU), 컨트롤러 등 중에서 적어도 하나를 포함할 수 있다.

프로세서(130)는 사용자 요청이 수신되면, 이미지를 획득하도록 이미지 센서(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 입력 인터페이스를 통해 사용자 요청을 수신할 수 있다. 예를 들어, 입력 인터페이스는 터치 감지 패널, 키보드, 마우스, 버튼, 마이크 등 중에서 하나로 구현될 수 있다. 또는, 프로세서(130)는 통신 인터페이스를 통해 외부 장치로부터 사용자 요청을 수신할 수 있다. 이 경우, 프로세서(130)는 이미지를 획득하도록 지시하는 커맨드를 이미지 센서(110)로 전송할 수 있다. 그리고, 프로세서(130)는 이미지 센서(110)로부터 획득된 이미지를 수신할 수 있다. 여기서, 이미지는 노말 픽셀들을 통해 센싱된 픽셀값들 값들 및 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 포함할 수 있다.

프로세서(130)는 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 생성된 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출할 수 있다. 프로세서(130)는 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성할 수 있다.

여기서, 노말 이미지는 위상 검출 픽셀들을 통해 센싱된 픽셀값들이 노말 픽셀값들로 보상된 이미지를 나타낼 수 있다. 플레어 영역은 태양, 조명 등과 같이 빛의 세기가 강한 광원 또는 강한 빛을 반사하는 객체를 나타내는 나타내는 고휘도 영역 및 고휘도 영역으로부터 빛이 퍼지는 주변영역을 포함할 수 있다.

노이즈 영역은 플레어 영역 중에서 도트 노이즈 또는 격자 노이즈 등의 노이즈가 발생하거나, 노이즈가 발생할 것으로 예상되는 영역일 수 있다. 일 실시 예에 따른 노이즈 영역은 플레어 영역 및 플랫 영역인 조건을 함께 만족하는 영역일 수 있다. 플랫 영역은 이미지에서 텍스쳐, 엣지 등을 제외한 영역으로 주변영역과 밝기의 차이가 적은 영역을 나타낼 수 있다. 예를 들어, 플랫 영역은 주파수 도메인에서 저주파 영역을 나타낼 수 있다.

이상과 같은 본 개시의 일 실시 예에 따르면, 플레어 영역의 노이즈를 제거하는 전자 장치(100) 및 그의 동작 방법을 제공할 수 있다. 이하에서는 첨부된 도면을 참조하여 본 개시에 대해 보다 구체적으로 설명하도록 한다.

도 2는 본 개시의 일 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.

도 2를 참조하면, 이미지 센서(110)는 광학 렌즈(LS), 픽셀 어레이(111), 로우 디코더(112), 타이밍 생성기(113), 신호 변환기(114) 및 출력 버퍼(115)를 포함할 수 있다.

광학 렌즈(LS)는 입사되는 빛을 굴절시킬 수 있다. 광학 렌즈(LS)를 통해 굴절된 빛은 픽셀 어레이(111)로 전달될 수 있다. 이를 위해, 광학 렌즈(LS)는 픽셀 어레이(111) 상에 배열된 마이크로 렌즈들의 집합체일 수 있다. 한편, 빛은 객체의 크기, 형상, 위치 및 색상 등과 같은 객체에 대한 정보를 포함할 수 있다. 여기서, 객체는 이미지 센서(110)의 외부에 존재하는 사람, 사물, 동물, 식물 등과 같이 촬영의 대상이 되는 피사체일 수 있다.

픽셀 어레이(111)는 복수의 픽셀을 포함할 수 있다. 복수의 픽셀은 행(row) 방향과 열(column) 방향으로 배열될 수 있다. 픽셀 어레이(111)의 픽셀들은 이미지(IMG)의 픽셀값들에 각각 대응될 수 있다. 픽셀 어레이(111)의 픽셀들은 물리적인 영역에 배열된 것이며, 이미지(IMG)의 픽셀값들은 디지털 영역에 배열된 것일 수 있다. 픽셀 어레이(111)의 픽셀 및 이미지(IMG)의 픽셀값은 동일한 배열 위치에 대해 대응 관계를 가질 수 있다.

각 픽셀은 컬러 필터 및 센싱 회로를 포함할 수 있다. 픽셀들은 베이어 패턴 또는 쿼드 베이어 패턴 등과 같은 다양한 배열 형태에 따라 배열될 수 있다. 구체적인 내용은 도 3a 내지 3c를 참조하여 설명하도록 한다.

컬러 필터는 마이크로 렌즈 및 센싱 회로의 사이에 배치될 수 있다. 마이크로 렌즈를 통해 굴절된 빛은 컬러 필터를 통과해 센싱 회로에 도달할 수 있다. 컬러 필터는 특정한 색상 또는 특정한 파장을 갖는 빛을 통과시키고 나머지 색상 또는 나머지 파장을 갖는 빛을 차단하는 역할을 할 수 있다. 컬러 필터의 색상은 레드, 그린 및 블루 중 하나일 수 있다. 픽셀에 포함되는 컬러 필터의 색상에 따라 레드 픽셀, 그린 픽셀 및 블루 픽셀과 같이 지칭할 수 있다. 다만 이는 일 실시 예일 뿐이며, 컬러 필터의 색상은 다양하게 변형될 수 있다.

센싱 회로는 컬러 필터의 하부에 배치될 수 있다. 센싱 회로는 광 감지 소자를 포함할 수 있다. 광 감지 소자는 광전 효과를 이용해 수신된 빛으로부터 전기적인 픽셀 신호를 생성할 수 있다. 예를 들어, 광 감지 소자가 노출 시간 동안 빛이 수신되면, 빛에 대응되는 전하가 센싱 회로에 축적되며, 센싱 회로에 축적된 전하에 대응되는 픽셀 신호가 생성될 수 있다. 이를 위해, 광 감지 소자는 pn 접합 포토 다이오드, PIN(Positive-Intrinsic-Negative) 포토 다이오드, APD(Avalanche Photo Diode), 포토 트랜지스터 등과 같은 다양한 반도체 소자로 구현될 수 있다.

로우 디코더(112)는 타이밍 생성기(113)의 제어에 따라 픽셀 데이터를 리드하기 위한 픽셀들을 선택할 수 있다. 예를 들어, 로우 디코더(112)는 타이밍 생성기(113)로부터 출력된 어드레스와 제어 신호들에 응답하여 픽셀 어레이(111)에 포함된 복수의 픽셀 중에서 어드레스에 대응되는 행에 위치한 픽셀들을 선택할 수 있다.

타이밍 생성기(113)는 픽셀 어레이(111)에서 특정한 행에 위치한 픽셀들로부터 픽셀 데이터를 리드하도록 로우 디코더(112) 및 신호 변환기(114)를 제어할 수 있다. 예를 들어, 타이밍 생성기(113)는 픽셀 어레이(111)의 특정한 행에 위치한 픽셀들을 나타내는 로우 어드레스를 순차적으로 로우 디코더(112)로 출력할 수 있다. 이 경우, 타이밍 생성기(113)는 특정한 열에 위치한 픽셀의 노출 시간을 조정하는 커맨드를 로우 디코더(112)로 출력할 수 있다.

신호 변환기(114)는 픽셀 어레이(111)로부터 수신되는 픽셀 신호들 및 타이밍 생성기(113)로부터 수신되는 로우 어드레스를 이용하여 픽셀 데이터들을 획득할 수 있다. 그리고, 신호 변환기(114)는 픽셀 데이터들을 출력 버퍼(115)로 전달할 수 있다.

구체적으로, 신호 변환기(114)는 복수의 컬럼 라인을 통해 픽셀 어레이(111)의 픽셀들과 연결될 수 있다. 한 컬럼 라인에는 행의 개수에 비례하는 픽셀들이 연결될 수 있다. 신호 변환기(114)는 각각의 컬럼 라인을 통해 하나의 행에 위치한 픽셀들에 대한 픽셀 신호들을 수신할 수 있다. 즉, 신호 변환기(114)는 행 단위의 픽셀 신호들을 수신할 수 있다. 신호 변환기(114)는 픽셀 어레이(111)로부터 수신되는 픽셀 신호의 레벨에 대응되는 픽셀값을 획득할 수 있다. 여기서, 픽셀 신호는 예를 들어, 전압일 수 있다. 이를 위해, 신호 변환기(114)는 아날로그-디지털 컨버터를 포함할 수 있다. 또한, 신호 변환기(114)는 로우 어드레스들 각각에 매핑된 픽셀들의 색상 정보에 기초하여, 타이밍 생성기(113)로부터 수신되는 로우 어드레스에 대응되는 행에 위치한 픽셀들의 색상에 대한 정보를 획득할 수 있다.

출력 버퍼(115)는 복수의 컬럼 라인을 통해 신호 변환기(114)와 연결될 수 있다. 출력 버퍼(115)는 신호 변환기(114)로부터 수신되는 행 단위의 픽셀값들을 순차적으로 저장할 수 있다. 출력 버퍼(115)는 모든 행에 대한 픽셀값들이 저장되면, 저장된 픽셀값들을 포함하는 하나의 이미지(IMG)를 출력할 수 있다.

도 3a 내지 도 3c는 본 개시의 일 실시 예에 따른 이미지 센서에 포함된 픽셀들을 설명하기 위한 도면이다.

도 3a 내지 도 3c를 참조하면, 본 개시의 일 실시 예에 따른 이미지 센서(310, 330)는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 행과 열 방향에 따라 정해진 개수로 배열될 수 있다. 복수의 픽셀들은 노말 픽셀들 및 위상 검출 픽셀들을 포함할 수 있다. 일 실시 예에 따른, 노말 픽셀들은 Gr 픽셀, R 픽셀, B 픽셀, Gb 픽셀을 포함할 수 있다. Gr 픽셀 및 Gb 픽셀은 그린(Gr, Gb) 색상의 빛을 센싱하고, R 픽셀은 레드(R) 색상의 빛을 센싱하고, B 픽셀은 블루(B) 색상의 빛을 센싱할 수 있다. 다만, 이는 일 실시 예일 뿐이며, 다양한 색상의 빛을 센싱하는 픽셀들로 변형될 수 있다. 이하에서는 설명의 편의를 위해 노말 픽셀들은 Gr 픽셀, R 픽셀, B 픽셀, Gb 픽셀을 포함하는 것으로 가정하여 설명하도록 한다.

도 3a를 참조하면, 일 실시 예에 따른 이미지 센서(310)에 포함된 노말 픽셀들은 베이어 패턴에 따라 규칙적으로 배열될 수 있다.

예를 들어, 이미지 센서(310)는 행과 열 방향에 따라 배열된 복수의 베이어 영역(311)을 포함할 수 있다. 각 베이어 영역(311)은 2x2로 배열된 단위 영역들을 포함할 수 있다. 각 단위 영역은 1x1의 픽셀들을 포함할 수 있다. 예를 들어, 각 베이어 영역(311)은 Gr 픽셀, R 픽셀, B 픽셀, Gb 픽셀을 포함하고, Gr 픽셀, R 픽셀, B 픽셀, Gb 픽셀은 2x2로 배열될 수 있다.

이 경우, 노말 픽셀들 중에서 일부 노말 픽셀들의 위치에는 위상 검출 픽셀들(315)이 배열될 수 있다. 위상 검출 픽셀들(315)은 서로 인접하는 위치에 배열되어 하나의 마이크로 렌즈를 공유할 수 있다. 일 실시 예에서, 위상 검출 픽셀들(315)은 1x2로 배열되는 위상 검출 픽셀들을 포함할 수 있다. 예를 들어, 위상 검출 픽셀들(315)은 하나의 마이크로 렌즈를 공유하는 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀을 포함할 수 있다. 다만, 이는 일 실시 예일 뿐 위상 검출 픽셀들(315)은 2x1, 2x2로 배열되는 등 다양한 형태로 구현될 수 있다. 한편, 위상 검출 픽셀들(315)의 주변 노말 픽셀들(317)은 위상 검출 픽셀들(315)의 위치를 기준으로 행 방향, 열 방향 및 행과 열의 대각선 방향으로 가장 인접한 픽셀들을 포함할 수 있다. 또는, 위상 검출 픽셀들(315)의 주변 노말 픽셀들(317)은 위상 검출 픽셀들(315)의 위치를 기준으로 행 방향, 열 방향 및 행과 열의 대각선 방향으로 미리 설정된 거리 이내에 위치한 픽셀들을 포함할 수 있다. 주변 노말 픽셀들(317)을 통해 센싱된 픽셀값들은 주변 노말 픽셀들(317)과 인접한 위상 검출 픽셀들(315)에 의해 크로스톡과 같은 영향을 받을 수 있다. 본 개시의 일 실시 예에 따르면, 전자 장치(100)는 위상 검출 픽셀들(315) 및 주변 노말 픽셀들(317) 중에서 노이즈 영역에 포함되는 픽셀들의 픽셀값들을 보정할 수 있다. 본 개시에서는 설명의 편의를 위해 위상 검출 픽셀들(315)은 하나의 마이크로 렌즈를 공유하는 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀을 포함하는 것으로 가정하여 설명하도록 한다.

일 실시 예에서, 위상 검출 픽셀들(315)은 설정된 단위 영역(313)마다 규칙적으로 배열될 수 있다. 여기서, 단위 영역(313)의 사이즈는 픽셀의 배열 형태(예: 베이어 패턴 또는 쿼드 베이어 패턴 등)에 따라 결정될 수 있다. 예를 들어 단위 영역(313)은 6x6의 픽셀들이 포함되는 영역일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 단위 영역(313)의 사이즈는 상이하게 변형될 수 있다. 다른 실시 예에서 위상 검출 픽셀들(315)은 랜덤한 위치에 배열될 수 있다.

도 3b를 참조하여, 위상 검출 픽셀들(315)의 단면 구조(315V) 및 주변 노말 픽셀들(317)의 단면 구조(317V)에 대해 설명하도록 한다.

위상 검출 픽셀들(315)은 하나의 마이크로 렌즈(315M)를 공유할 수 있다. 좌측 위상 검출 픽셀은 하나의 마이크로 렌즈(315M) 좌측 하부에 배치된 컬러 필터(315LF) 및 센싱 회로(315LP)를 포함할 수 있다. 우측 위상 검출 픽셀은 하나의 마이크로 렌즈(315M) 우측 하부에 배치된 컬러 필터(315RF) 및 센싱 회로(315RP)를 포함할 수 있다. 일 실시 예에서, 좌측 위상 검출 픽셀의 컬러 필터(315LF) 및 우측 위상 검출 픽셀의 컬러 필터(315RF)는 서로 같은 색상일 수 있다. 예를 들어, 좌측 위상 검출 픽셀의 컬러 필터(315LF) 및 우측 위상 검출 픽셀의 컬러 필터(315RF)는 그린 색상일 수 있다. 이 경우, 좌측 위상 검출 픽셀에서 센싱된 픽셀값 및 우측 위상 검출 픽셀에서 센싱된 픽셀값의 차이가 클수록 위상 차이가 큰 것(포커스가 맞지 않는 상태)을 나타낼 수 있다. 다만, 일 실시 예일 뿐이며, 좌측 위상 검출 픽셀의 컬러 필터(315LF) 및 우측 위상 검출 픽셀의 컬러 필터(315RF)는 서로 다른 색상일 수 있다.

위상 검출 픽셀들(315)의 좌측에 위치한 주변 노말 픽셀은 하나의 마이크로 렌즈(317M) 하부에 배치된 컬러 필터(317F) 및 센싱 회로(317P)를 포함할 수 있다. 위상 검출 픽셀들(315)의 우측에 위치한 주변 노말 픽셀은 하나의 마이크로 렌즈(318M) 하부에 배치된 컬러 필터(318F) 및 센싱 회로(318P)를 포함할 수 있다. 여기서, 주변 노말 픽셀의 마이크로 렌즈(317M, 318M)은 위상 검출 픽셀들(315)의 마이크로 렌즈(315M)와 사이즈 또는 곡률이 상이한 것일 수 있다.

도 3c를 참조하면, 일 실시 예에 따른 이미지 센서(330)에 포함된 노말 픽셀들은 쿼드 베이어 패턴에 따라 규칙적으로 배열될 수 있다.

예를 들어, 이미지 센서(330)는 행과 열 방향에 따라 배열된 복수의 쿼드 베이어 영역(331)을 포함할 수 있다. 각 쿼드 베이어 영역(331)은 2x2로 배열된 단위 영역들을 포함할 수 있다. 각 단위 영역은 2x2로 배열되는 픽셀들을 포함할 수 있다. 각 단위 영역에는 같은 색상의 픽셀들을 포함할 수 있다. 예를 들어, 제1 단위 영역은 2x2로 배열된 Gr 픽셀들을 포함할 수 있다. 제2 단위 영역은 2x2로 배열된 R 픽셀들을 포함할 수 있다. 제3 단위 영역은 2x2로 배열된 Gb 픽셀들을 포함할 수 있다. 제4 단위 영역은 2x2로 배열된 B 픽셀들을 포함할 수 있다.

이 경우, 노말 픽셀들 중에서 일부 노말 픽셀들의 위치에는 위상 검출 픽셀들(335)이 배열될 수 있다. 위상 검출 픽셀들(335)은 서로 인접하는 위치에 배열되어 하나의 마이크로 렌즈를 공유할 수 있다. 한편, 위상 검출 픽셀들(335)의 주변 노말 픽셀들(337)은 위상 검출 픽셀들(335)의 위치를 기준으로 행 방향, 열 방향 및 행과 열의 대각선 방향으로 미리 설정된 거리 이내에 위치한 픽셀들을 포함할 수 있다. 본 개시의 일 실시 예에 따르면, 전자 장치(100)는 위상 검출 픽셀들(335) 및 주변 노말 픽셀들(337) 중에서 노이즈 영역에 포함되는 픽셀들의 픽셀값들을 보정할 수 있다.

일 실시 예에서, 위상 검출 픽셀들(335)은 설정된 단위 영역(333)마다 규칙적으로 배열될 수 있다. 여기서, 단위 영역(333)의 사이즈는 픽셀의 배열 형태(예: 베이어 패턴 또는 쿼드 베이어 패턴 등)에 따라 결정될 수 있다. 예를 들어 단위 영역(333)은 8x8의 픽셀들이 포함되는 영역일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 단위 영역(333)의 사이즈는 상이하게 변형될 수 있다. 다른 실시 예에서 위상 검출 픽셀들(335)은 랜덤한 위치에 배열될 수 있다.

도 4는 본 개시의 일 실시 예에 따른 프로세서를 설명하기 위한 도면이다.

도 4를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 노말 이미지 생성부(131), 노이즈 검출부(133) 및 픽셀 보정부(135)를 포함할 수 있다. 일 실시 예에서, 노말 이미지 생성부(131), 노이즈 검출부(133) 및 픽셀 보정부(135) 각각은 프로세서(130)가 수행하는 인스트럭션, 프로그램 등의 소프트웨어 모듈로 구현될 수 있다. 이 경우, 프로세서(130) 또는 전자 장치(100)는 소프트웨어 모듈을 저장하는 메모리를 더 포함할 수 있다. 일 실시 예에서, 노말 이미지 생성부(131), 노이즈 검출부(133) 및 픽셀 보정부(135) 각각은 논리 회로, 부품, ISP, DSP, AP, CPU, GPU 등과 같은 하드웨어로 구현될 수 있다.

노말 이미지 생성부(131)는 노말 픽셀들을 통해 센싱된 픽셀값들 및 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 포함하는 이미지(IMG)를 이미지 센서(110)로부터 수신할 수 있다. 노말 이미지 생성부(131)는 노말 픽셀들 중에서 위상 검출 픽셀들 각각의 주변 노말 픽셀들을 통해 센싱된 픽셀값들을 이용하여 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 보정한 보상 픽셀값들을 획득할 수 있다. 노말 이미지 생성부(131)는 보상 픽셀값들 및 노말 픽셀들을 통해 센싱된 픽셀값들을 포함하는 노말 이미지(nIMG)를 생성할 수 있다. 여기서, 보상 픽셀값들 중에서 노이즈 영역에 포함된 픽셀값들은 픽셀 보정부(135)에 의해 최종 픽셀값들로 보정될 수 있다.

노이즈 검출부(133)는 노말 이미지 생성부(131)로부터 수신된 노말 이미지(nIMG)에 포함된 복수의 영역들 각각이 플랫 영역인지 여부를 판단할 수 있다. 구체적으로, 노이즈 검출부(133)는 노말 이미지(nIMG)의 복수의 영역들 중에서 선택된 영역에 포함된 픽셀값들에 기초하여, 선택된 영역이 플랫 영역인지 여부를 판단할 수 있다.

일 실시 예에 따른 노이즈 검출부(133)는 플랫 영역 검출부를 포함할 수 있다.

이 경우, 플랫 영역 검출부는 노말 이미지의 복수의 영역들 중에서 선택된 영역 상에 제1 커널을 정렬할 수 있다. 플랫 영역 검출부는 선택된 영역에 포함된 복수의 픽셀값들 중에서 복수의 단위 영역들의 중심 영역에 오버랩되는 중심 픽셀값 및 제1 커널에 오버랩되고 중심 픽셀값과 같은 색상을 갖는 픽셀값들의 평균의 차이에 기초한 표준 편차 값이 제1 임계값 보다 작으면, 선택된 영역이 플랫 영역인 것으로 판단할 수 있다. 여기서 제1 커널은 이미지에 포함된 픽셀값들의 배열 형태에 대응되는 복수의 단위 영역을 포함할 수 있다.

일 실시 예에 따른 플랫 영역 검출부는 복수의 구간들 중에서 선택된 픽셀값들의 평균이 속한 구간에 따라 제1 임계값을 조정할 수 있다. 여기서, 복수의 구간들은 선택된 픽셀값들의 평균이 증가할수록 제1 임계값이 증가하는 구간을 포함할 수 있다.

노이즈 검출부(133)는 이미지 센서(110)로부터 수신된 이미지(IMG)에 포함된 복수의 영역들 각각이 플레어 영역인지 여부를 판단할 수 있다. 구체적으로, 노이즈 검출부(133)는 위상 검출 픽셀들 중에서 선택된 영역에 대응되는 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀을 통해 센싱된 픽셀값들에 기초하여 선택된 영역이 플레어 영역인지 여부를 판단할 수 있다.

일 실시 예에 따른, 노이즈 검출부(133)는 플레어 영역 검출부를 포함할 수 있다.

이 경우, 플레어 영역 검출부는 좌측 위상 검출 픽셀을 통해 센싱된 픽셀값 및 우측 위상 검출 픽셀을 통해 센싱된 픽셀값의 비율값이 선택된 영역에 대응되는 제2 임계값을 초과하면, 선택된 영역을 플레어 영역으로 판단할 수 있다. 여기서, 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀은 서로 인접한 위치에 배열된 것일 수 있다.

노이즈 검출부(133)는 선택된 영역이 플랫 영역이면서 플레어 영역이면, 선택된 영역이 노이즈 영역인 것을 나타내는 맵 데이터(MDATA)를 생성할 수 있다.

픽셀 보정부(135)는 노말 이미지(nIMG) 및 맵 데이터(MDATA)에 기초해 노말 이미지(nIMG)에 포함된 복수의 영역들 중에서 노이즈 영역을 판단할 수 있다. 픽셀 보정부(135)는 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 노이즈 영역에 포함된 픽셀값들을 보정한 최종 픽셀값들을 획득할 수 있다. 픽셀 보정부(135)는 최종 픽셀값들을 포함하는 출력 이미지(oIMG)를 생성하여 출력할 수 있다. 이는, 플랫 영역 및 플레어 영역을 동시에 만족하는 영역에서 노이즈가 발생하거나 발생할 가능성이 높기 때문이다.

픽셀 보정부(135)는 노이즈 영역에 포함된 중심 픽셀값과 같은 색상을 갖는 픽셀값들 중에서, 중심 픽셀값이 포함된 단위 영역과 제1 순위로 가까운 단위 영역들에 포함된 제1 주변 픽셀값들의 제1 평균값, 중심 픽셀값이 포함된 단위 영역과 제2 순위로 가까운 단위 영역들에 포함된 제2 주변 픽셀값들의 제2 평균값, 및 보정 레이트에 기초해 보정값을 계산할 수 있다.

여기서, 보정 레이트는 제1 평균값 및 제2 평균값의 차이에 곱해지는 값이며, 다이내믹 레인지에 따라 조정될 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 보정값이 한도값 보다 작으면, 중심 픽셀값 및 보정값의 합에 기초해 중심 픽셀값을 보정한 최종 픽셀값을 획득할 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 보정값이 한도값 보다 같거나 크면, 중심 픽셀값 및 한도값의 합에 기초해 중심 픽셀값을 보정한 최종 픽셀값을 획득할 수 있다.

일 실시 예에서, 중심 픽셀값은 위상 검출 픽셀을 통해 센싱된 픽셀값이 보상된 보상 픽셀값일 수 있다. 다른 실시 예에서, 중심 픽셀값은 위상 검출 픽셀의 주변에 위치한 주변 노말 픽셀들을 통해 센싱된 픽셀값들일 수 있다. 즉, 노말 영역에 포함된 픽셀 값 중에서 위상 검출 픽셀들 또는 주변 노말 픽셀들을 통해 센싱된 픽셀값들이 보정될 수 있다. 다만, 이는 일 실시 예일 뿐이며, 이에 제한되지 아니하고 보정 대상이 되는 픽셀값들은 다양하게 변형될 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 보정 레이트를 조정할 수 있다. 구체적으로, 픽셀 보정부(135)는 복수의 단위 영역들 중에서 중심 픽셀값이 포함된 단위 영역을 기준으로 미리 설정된 개수의 주변 영역들에 포함된 픽셀값들의 최대값 및 최소값의 차이값이 컷오프값 이상일 경우에, 차이값이 증가할수록 보정 레이트를 감소시킬 수 있다. 미리 설정된 개수의 주변 영역들은 제2 커널이 오버랩되는 영역일 수 있다. 여기서, 픽셀값들의 최대값 및 최소값의 차이값은 다이내믹 레인지라고 지칭할 수 있다. 컷오프값은 미리 설정된 값이며, 비트 데이터의 최대값보다 작은 값일 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 한도값을 조정할 수 있다. 구체적으로, 픽셀 보정부(135)는 중심 픽셀값이 제1 기준값 이상이고 제1 기준값보다 큰 값인 제2 기준값 미만일 경우, 중심 픽셀값이 증가할수록 한도값을 증가시킬 수 있다. 픽셀 보정부(135)는 중심 픽셀값이 제2 기준값 이상이고 제2 기준값보다 큰 값인 제3 기준값 미만일 경우, 중심 픽셀값이 증가할수록 한도값을 감소시킬 수 있다. 일 실시 예에서, 픽셀 보정부(135)는 중심 픽셀값이 제1 기준값 미만이거나 또는 제3 기준값 이상일 경우, 한도값을 미리 설정된 최소 한도값이 되도록 변경할 수 있다. 픽셀 보정부(135)는 한도값이 미리 설정된 최대 한도값을 초과할 경우, 한도값을 최대 한도값이 되도록 변경할 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 복수의 단위 영역들 중에서 제1 주변 픽셀값들 및 제2 주변 픽셀값들 중 어느 하나의 픽셀값을 포함하는 단위 영역들을 중심 영역들로 선택할 수 있다. 픽셀 보정부(135)는 중심 영역들 각각에 대해, 중심 영역들 각각에 대응되는 제1 주변 영역들에 포함된 픽셀 값들의 평균 픽셀값 및 제2 주변 영역들에 포함된 픽셀 값들의 평균 픽셀값을 이용하여 제1 주변 픽셀값들을 보정한 제1 주변 보정 픽셀값들 및 제2 주변 픽셀값들을 보정한 제2 주변 보정 픽셀값들을 획득할 수 있다. 픽셀 보정부(135)는 보정값이 한도값 보다 작으면, 중심 픽셀값 및 보정값의 합과 제1 주변 보정 픽셀값들 및 제2 주변 보정 픽셀값들의 가중치 합에 따른 값을 최종 픽셀값으로 획득할 수 있다.

일 실시 예에서, 복수의 단위 영역들 각각이 1x1의 픽셀값을 포함하는 경우, 제1 주변 영역들 각각은 복수의 단위 영역들 중에서 중심 영역들 각각으로부터 제1 순위로 가까운 단위 영역들이고, 제2 주변 영역들 각각은 복수의 단위 영역들 중에서 중심 영역들 각각으로부터 제2 순위로 가까운 단위 영역들일 수 있다.

일 실시 예에서, 복수의 단위 영역들 각각이 2x2의 픽셀값을 포함하는 경우, 제1 주변 영역들 각각은 중심 영역들 각각이고, 제2 주변 영역들 각각은 복수의 단위 영역들 중에서 중심 영역들 각각으로부터 제1 순위로 가까운 단위 영역들일 수 있다.

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리를 포함할 수 있다. 이 경우, 메모리는 프로세서(130) 내부에 포함되거나, 또는 프로세서(130) 외부에 위치할 수 있다. 메모리는 전자 장치(100) 또는 프로세서(130)의 구동에 필요한 데이터를 저장할 수 있다. 메모리는 비휘발성 메모리 소자로 구현될 수 있다. 예를 들어, 메모리는 데이터의 읽기만 가능한 ROM(Read Only Memory), 1회만 쓰기가 가능한 OTP(one time programmable) 메모리, 저장된 데이터를 지우고 쓸 수 있는 EPROM(Erasable and Programmable ROM), 낸드 플래시 메모리(NAND Flash Memory), 노어(NOR) 플래시 메모리 등과 같은 다양한 비휘발성 메모리 소자로 구성될 수 있다.

도 5는 본 개시의 일 실시 예에 따른 이미지 처리 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 프로세서(130)는 이미지(500)로부터 노말 이미지(510)를 획득할 수 있다. 여기서, 이미지(500)는 이미지 센서(110)의 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 포함할 수 있다. 프로세서(130)는 노말 픽셀들 중에서 위상 검출 픽셀들의 주변 노말 픽셀들을 통해 센싱된 픽셀값들을 이용해 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 보정한 보상 픽셀값들을 획득할 수 있다. 즉, 노말 이미지(510)는 이미지(500)에 포함된 픽셀값들 중 위상 검출 픽셀들을 통해 센싱된 픽셀값들이 보상 픽셀값들로 대체된 것일 수 있다. 예를 들어, 노말 이미지(510)는 노말 픽셀들을 통해 센싱된 픽셀값들 및 보상 픽셀값들을 포함할 수 있다. 보다 구체적인 내용은 도 6을 참조하여 설명하도록 한다.

프로세서(130)는 노말 이미지(510)의 복수의 영역들 각각에 포함된 픽셀 값들의 평균 및 표준 편차를 이용하여, 복수의 영역들 중 플랫 영역을 검출하고, 플랫 영역에 대한 정보(530)를 획득할 수 있다. 보다 구체적인 내용은 도 7a 내지 7c를 참조하여 설명하도록 한다.

프로세서(130)는 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 이용하여, 이미지(500)에 포함된 복수의 영역들 중 플레어 영역을 검출하고, 플레어 영역에 대한 정보(550)를 획득할 수 있다. 보다 구체적인 내용은 도 8a 및 8b를 참조하여 설명하도록 한다.

프로세서(130)는 플랫 영역에 대한 정보(530) 및 플레어 영역에 대한 정보(550)를 이용해 노이즈 영역에 대한 정보(560)를 획득할 수 있다. 노이즈 영역은 복수의 영역들 중에서 플랫 영역이면서 플레어 영역인 조건을 함께 만족하는 영역일 수 있다. 노이즈 영역에 대한 정보(560)는 맵 데이터, 테이블 등 다양한 형태로 구현될 수 있다.

여기서, 이미지(500) 및 노말 이미지(510) 각각의 복수의 영역은 서로 대응될 수 있다. 복수의 영역 각각은 위상 검출 픽셀들을 통해 센싱된 픽셀값 또는 보상 픽셀값을 포함하는 영역일 수 있다. 복수의 영역 각각은 픽셀값들의 배열 형태에 대응되는 사이즈로 정해진 영역일 수 있다. 예를 들어, 베이어 패턴의 경우 복수의 영역 각각은 6x6로 배열된 픽셀값을 포함하는 영역일 수 있다. 쿼드 베이어 패턴의 경우 복수의 영역 각각은 8x8으로 배열된 픽셀값을 포함하는 영역일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 복수의 영역들은 다양한 사이즈의 영역으로 변형되어 실시될 수 있다.

프로세서(130)는 노이즈 영역에 대한 정보(560)에 기초하여, 노말 이미지(510)에 포함된 복수의 영역들 중 노이즈 영역을 판단할 수 있다. 프로세서(130)는 노말 이미지(510)의 노이즈 영역에 포함된 픽셀 값들을 보정한 최종 픽셀값들을 획득할 수 있다. 프로세서(130)는 최종 픽셀값들을 포함하는 출력 이미지(570)를 생성하여 출력할 수 있다. 즉, 출력 이미지(570)는 노말 이미지(510)에 포함된 픽셀값들 중 노이즈 영역에 포함된 픽셀값들이 최종 픽셀값들로 대체된 것일 수 있다. 여기서, 노이즈 영역에 포함된 픽셀값들은 위상 검출 픽셀들을 통해 센싱된 픽셀값들 또는 위상 검출 픽셀들의 주변 노말 픽셀들을 통해 센싱된 픽셀값들을 포함할 수 있다. 보다 구체적인 내용은 도 9 내지 도 13e를 참조하여 설명하도록 한다.

도 6은 본 개시의 일 실시 예에 따른 이미지를 설명하기 위한 도면이다.

도 6을 참조하여, 이미지 센서(110)로부터 획득된 이미지(600)는 노말 이미지(610)로 변환될 수 있다.

이미지(600)는 복수의 픽셀값들을 포함할 수 있다. 복수의 픽셀값들은 이미지 센서(110)에 포함된 복수의 픽셀들의 배열과 동일한 배열 형태로 배열될 수 있다. 여기서 배열 형태는 베이어 패턴, 쿼드 베이어 패턴 등일 수 있다. 이하에서는 설명의 편의를 위해 베이어 패턴의 배열 형태를 갖는 경우를 가정하여 설명하도록 한다.

복수의 픽셀값들은 노말 픽셀들을 통해 센싱된 픽셀값들 및 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 포함할 수 있다. 이 경우, 노말 픽셀들을 통해 센싱된 픽셀값들은 그린 색상의 Gr 픽셀값, 그린 색상의 Gb 픽셀값, 레드 색상의 R 픽셀값, 블루 색상의 B 픽셀값(601T, 601B, 601L, 601R)을 포함할 수 있다. 위상 검출 픽셀들을 통해 센싱된 픽셀값은 좌측 위상을 나타내는 픽셀값(601C) 및 우측 위상을 나타내는 픽셀값을 포함할 수 있다.

여기서, 베이어 패턴에 따르면, 좌측 위상을 나타내는 픽셀값(601C)은 B 픽셀값이 배열되는 위치이고, 우측 위상을 나타내는 픽셀값은 Gb 픽셀값이 배열되는 위치일 수 있다.

프로세서(130)는 이미지(600)가 베이어 패턴인 것을 나타내는 배열 정보에 따라 좌측 위상을 나타내는 픽셀값(601C)을 보정한 B 보상 픽셀값(611C)을 획득할 수 있다.

일 실시 예를 들어, 프로세서(130)는 메모리에 미리 저장된 캘리브레이션 정보로부터 좌측 위상을 나타내는 픽셀값(601C)에 대응되는 값을 보상 픽셀값(611C)으로 획득할 수 있다. 여기서, 캘리브레이션 정보는 위상 검출 픽셀의 픽셀값들에 매핑되는 값들을 포함할 수 있다. 또한, 위상 검출 픽셀의 픽셀값으로부터 변환할 픽셀값의 색상 또는 위치에 따라 다른 캘리브레이션 정보가 이용될 수 있다. 캘리브레이션 정보는 이미지 센서(110)가 일정한 광량을 방출하는 광원을 촬영함으로써 획득된 기준 이미지를 이용해 생성될 수 있다.

일 실시 예를 들어, 프로세서(130)는 좌측 위상을 나타내는 픽셀값(601C)과 가장 가까운 B 픽셀값들(601T, 601B, 601L, 601R)의 평균값을 보상 픽셀값(611C)으로 획득할 수 있다. 일 실시 예를 들어, 프로세서(130)는 좌측 위상을 나타내는 픽셀값(601C)과 가장 가까운 B 픽셀값들(601T, 601B, 601L, 601R)의 평균값과 좌측 위상을 나타내는 픽셀값(601C)의 가중치 합을 보상 픽셀값(611C)으로 획득할 수 있다.

일 실시 예를 들어, 프로세서(130)는 캘리브레이션 정보로부터 좌측 위상을 나타내는 픽셀값(601C)에 대응되는 값과 좌측 위상을 나타내는 픽셀값(601C)과 가장 가까운 B 픽셀값들(601T, 601B, 601L, 601R)의 평균값의 가중치 합을 보상 픽셀값(611C)으로 획득할 수 있다.

프로세서(130)는 이와 유사한 방식으로 우측 위상을 나타내는 픽셀값을 보정한 Gb 보상 픽셀값을 획득할 수 있다.

도 7a 내지 7c는 본 개시의 일 실시 예에 따른 플랫 영역의 검출을 설명하기 위한 도면이다.

도 7a의 (1)을 참조하면, 노말 이미지(710)는 복수의 영역을 포함할 수 있다. 노말 이미지(710)는 복수의 픽셀값들을 포함할 수 있다. 복수의 픽셀값들은 복수의 영역들에 배열될 수 있다. 도 7a에서는 복수의 영역 각각은 6x6의 픽셀값들을 포함하는 것으로 도시하였으나, 이는 일 실시 예일 뿐 다양하게 변형되어 실시될 수 있다.

도 7a의 (1) 및 (2)를 참조하면, 프로세서(130)는 복수의 영역들 중 어느 하나의 영역을 선택할 수 있다. 이하에서는 복수의 영역들 중에서 제1 영역(711)이 선택된 것으로 가정하여 설명하도록 한다.

프로세서(130)는 노말 이미지(710)에 포함된 복수의 영역들 중 선택된 제1 영역(711)에 포함된 픽셀값들을 이용하여, 선택된 제1 영역(721)에 대한 표준 편차(STD)를 계산할 수 있다. 예를 들어, 프로세서(130)는 도 7a의 (2)의 수식에 따라 제1 영역(711)에 포함된 픽셀값들을 이용하여 선택된 제1 영역(721)에 대한 표준 편차(STD)를 계산할 수 있다.

여기서, 게인(gain) 및 오프셋(offset)은 미리 정해진 상수값일 수 있다. 중심 픽셀값(PV_c)은 제1 선택 영역(711) 또는 제1 선택 영역(711)의 일부 영역에 포함된 픽셀값들 중에서 행과 열의 방향으로 중앙에 위치한 픽셀값일 수 있다. 평균 픽셀값(PV_avg)은 제1 선택 영역(711) 또는 제1 선택 영역(711)의 일부 영역에 포함된 픽셀값들 중에서 중심 픽셀값(PV_c)과 같은 색상의 픽셀값들에 대한 평균값일 수 있다.

여기서, 중심 픽셀값(PV_c)은 그린 색상의 Gr 픽셀값 또는 Gb 픽셀값일 수 있다. 일 실시 예에서, 중심 픽셀값(PV_c)이 Gr 픽셀값인 경우, 평균 픽셀값(PV_avg)은 제1 선택 영역(711) 또는 제1 선택 영역(711)의 일부 영역에 포함된 픽셀값들 중에서 Gr 픽셀값들의 평균 값일 수 있다. 다른 일 실시 예에서, 중심 픽셀값(PV_c)이 Gr 픽셀값인 경우, 평균 픽셀값(PV_avg)은 제1 선택 영역(711) 또는 제1 선택 영역(711)의 일부 영역에 포함된 픽셀값들 중에서 Gr 픽셀값들 및 Gb 픽셀값들의 평균 값일 수 있다. 중심 픽셀값(PV_c)이 Gb 픽셀값인 경우 이와 유사한 방식이 적용될 수 있다.

여기서, 제1 선택 영역(711)의 일부 영역은 제1 커널에 오버랩되는 영역일 수 있다.

예를 들어, 도 7b를 참조하면, 제1 커널(715)은 복수의 단위 영역을 포함할 수 있다. 복수의 단위 영역은 중심 영역(715)을 포함할 수 있다. 중심 영역(715)은 행과 열의 방향으로 중앙에 위치한 단위 영역일 수 있다.

도 7b의 (1) 내지 (4)와 같이, 프로세서(130)는 제1 커널(715)을 행과 열의 방향에 따라 제1 선택 영역(711)의 일부 영역들(711K~714K) 상에 정렬시킬 수 있다.

도 7b의 (1) 및 (4)와 같이, 프로세서(130)는 제1 커널(715)의 중심 영역(715)과 오버랩되는 그린 색상의 픽셀값(711C, 714C)을 상술한 중심 픽셀값(PV_c)으로 획득할 수 있다. 그리고, 프로세서(130)는 제1 커널(715)의 복수의 영역들과 오버랩되는 일부 영역들(711K, 714K)에 포함된 그린 색상의 픽셀값들의 평균값을 상술한 평균 픽셀값(PV_avg)으로 획득할 수 있다.

한편, 도 7b의 (2) 및 (3)과 같이, 중심 영역(715)과 오버랩되는 픽셀값의 색상이 그린 색상이 아닌 경우, 프로세서(130)는 제1 커널(715)의 중심 영역(715)의 주변 영역에 오버랩되는 영역(712C, 713C)에 포함된 그린 색상의 픽셀값들의 평균값을 상술한 중심 픽셀값(PV_c)으로 획득할 수 있다. 그리고, 프로세서(130)는 제1 커널(715)의 복수의 영역들과 오버랩되는 일부 영역들(712K, 713K)에 포함된 그린 색상의 픽셀값들의 평균값을 상술한 평균 픽셀값(PV_avg)으로 획득할 수 있다.

다시 도 7a를 참조하면, 도 7a의 (2) 및 (3)과 같이, 프로세서(130)는 복수의 영역들 각각에 대한 표준 편차(STD)을 제1 임계값과 비교하여 복수의 영역들 각각이 플랫 영역인지 여부를 판단할 수 있다.

예를 들어, 프로세서(130)는 제1 영역(721)에 대한 표준 편차(STD)가 제1 임계값 미만일 경우 제1 영역(731)이 플랫 영역인 것을 나타내는 정보(730)를 생성할 수 있다. 프로세서(130)는 제1 영역(721)에 대한 표준 편차(STD)가 제1 임계값 이상일 경우 제1 영역(731)이 엣지 영역인 것을 나타내는 정보(730)를 생성할 수 있다. 플랫 영역은 주변 영역과의 픽셀값 변화가 적은 영역이며, 주파수 도메인에서 저주파 영역에 해당할 수 있다. 엣지 영역은 주변 영역과의 픽셀값 변화가 큰 영역이며, 주파수 도메인에서 고주파 영역에 해당할 수 있다.

도 7a 및 7c를 참조하면, 프로세서(130)는 제1 선택 영역(711)에 포함된 픽셀값들의 평균 픽셀값(PV_avg)에 따라, 제1 임계값(TH1)을 조정할 수 있다.

예를 들어, 도 7c의 (1)과 같은 평균 픽셀값(PV_avg) 및 기준값(TH_STD)과의 매핑 정보를 나타내는 그래프는 평균 픽셀값(PV_avg)이 증가할수록 기준값(TH_STD)이 유지되는 구간 및 평균 픽셀값(PV_avg)이 증가할수록 기준값(TH_STD)이 증가하는 구간을 포함할 수 있다. 이러한 매핑 정보는 전자 장치(100) 또는 프로세서(130)에 포함된 메모리에 저장될 수 있다. 여기서, 매핑 정보는 도 7c의 (1)과 같이 미리 정해진 그래프 또는 함수일 수 있다.

도 7c의 (1) 및 (2)와 같이, 프로세서(130)는 평균 픽셀값(PV_avg) 및 기준값(TH_STD)과의 매핑 정보로부터 평균 픽셀값(PV_avg)에 대응되는 기준값(TH_STD)을 획득할 수 있다. 그리고, 프로세서(130)는 기준값(TH_STD)에 계수 A를 곱하고 상수 B를 합한 값을 제1 임계값(TH1)으로 획득할 수 있다. 한편, 도 7c와 같은 그래프는 일 실시 예일 뿐이며, 다양하게 변형될 수 있다. 예를 들어, 데이터 비트가 8비트 아닌 10비트인 경우, 그래프에서 평균 픽셀값(PV_avg)의 최대값은 1023으로 변경될 수 있다. 또한, 그래프에서 기준값(TH_STD)의 값 또한 변경될 수 있다.

예를 들어, 평균 픽셀값(PV_avg)이 0 이상이고 16 미만의 제1 구간에 속하는 값을 가질 때, 기준값(TH_STD)은 동일한 값으로 유지될 수 있다. 평균 픽셀값(PV_avg)이 16 이상이고 48 미만의 제2 구간에 속하는 값을 가질 때, 기준값(TH_STD)은 평균 픽셀값(PV_avg)에 비례하는 값을 가질 수 있다. 평균 픽셀값(PV_avg)이 48 이상이고 192 미만의 제3 구간에 속하는 값을 가질 때, 기준값(TH_STD)은 동일한 값으로 유지될 수 있다. 평균 픽셀값(PV_avg)이 192 이상이고 255 이하의 제4 구간에 속하는 값을 가질 때, 기준값(TH_STD)은 평균 픽셀값(PV_avg)에 비례하는 값을 가질 수 있다. 그리고, 프로세서(130)는 기준값(TH_STD)에 계수 A를 곱하고 상수 B를 한 값을 제1 임계값(TH1)으로 획득할 수 있다.

도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 플레어 영역의 검출을 설명하기 위한 도면이다.

도 8a 및 도 8b를 참조하면, 이미지(800)는 복수의 영역들을 포함할 수 있다. 이미지(800)는 복수의 픽셀값들을 포함할 수 있다. 복수의 픽셀값들은 복수의 영역들에 배열될 수 있다. 복수의 픽셀값들은 이미지 센서(110)에 포함된 복수의 픽셀들의 배열과 동일한 배열 형태로 배열될 수 있다. 여기서 배열 형태는 베이어 패턴, 쿼드 베이어 패턴 등일 수 있다. 이하에서는 설명의 편의를 위해 베이어 패턴의 배열 형태를 갖는 경우를 가정하여 설명하도록 한다.

복수의 픽셀값들은 노말 픽셀들을 통해 센싱된 픽셀값들 및 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 포함할 수 있다. 예를 들어, 노말 픽셀들을 통해 센싱된 픽셀값들은 R 픽셀을 통해 센싱된 R 픽셀값, B 픽셀을 통해 센싱된 B 픽셀값, Gb 픽셀을 통해 센싱된 Gb 픽셀값 및 Gr 픽셀을 통해 센싱된 Gr 픽셀값을 포함할 수 있다. 위상 검출 픽셀들을 통해 센싱된 픽셀값들은 좌측 위상 검출 픽셀을 통해 센싱된 좌측 위상을 나타내는 L 픽셀값 및 우측 위상 검출 픽셀을 통해 센싱된 좌측 위상을 나타내는 R 픽셀값을 포함할 수 있다.

도 8a의 (1) 및 (2)를 참조하면, 프로세서(130)는 복수의 영역들 중 어느 하나의 영역을 선택할 수 있다. 예를 들어, 프로세서(130)는 복수의 영역들 중에서 L 픽셀값 및 R 픽셀값을 포함하는 영역을 선택할 수 있다. 이하에서는 이미지(800)에 포함된 복수의 영역들 중에서 L 픽셀값 및 R 픽셀값을 포함하는 제1 영역(801)이 선택된 것으로 가정하여 설명하도록 한다.

프로세서(130)는 이미지(800)에 포함된 복수의 영역들 중 선택된 제1 영역(801)에 포함된 L 픽셀값 및 R 픽셀값을 이용하여, 제1 영역(841)에 대한 L 픽셀값 및 R 픽셀값의 비율값(LR)을 획득할 수 있다. 프로세서(130)는 복수의 영역들 중에서 L 픽셀값 및 R 픽셀값을 포함하는 각각의 영역에 대한 위상차 정보(840)를 획득할 수 있다. 위상차 정보(840)는 영역별 비율값(LR)을 포함할 수 있다. 비율값(LR)은 위상차를 나타낼 수 있다.

도 8a의 (2) 및 (3)을 참조하면, 프로세서(130)는 제1 영역(841)에 대한 비율값(LR)을 제2 임계값(TH2)과 비교하여 제1 영역(841)이 플레어 영역인지 여부를 판단할 수 있다.

예를 들어, 프로세서(130)는 제1 영역(841)에 대한 비율값(LR)이 제2 임계값(TH2)을 초과하면 제1 영역(851)이 플레어 영역인 것으로 판단하고, 제1 영역(851)이 플레어 영역인 것을 나타내는 정보(850)를 생성할 수 있다. 프로세서(130)는 제1 영역(841)에 대한 비율값(LR)이 제2 임계값(TH2) 이하이면 제1 영역(851)이 플래인 영역인 것으로 판단하고, 제1 영역(851)이 플래인 영역인 것을 나타내는 정보(850)를 생성할 수 있다. 여기서, 플레어 영역은 태양, 조명 등과 같이 빛의 세기가 강한 광원 또는 강한 빛을 반사하는 객체를 나타내는 나타내는 고휘도 영역 및 고휘도 영역으로부터 빛이 퍼지는 주변영역을 포함할 수 있다. 플래인 영역은 플레어 영역이 아닌 사람, 동물, 사물, 배경 등과 같이 일반적인 객체를 나타내는 영역일 수 있다.

한편, 본 개시의 제2 임계값(TH2)은 미리 구해진 값이며, 메모리에 저장될 수 있다. 제2 임계값(TH2)과 관련해 도 8b를 참조하여 구체적으로 설명하도록 한다.

예를 들어, 도 8b의 (1)과 같이 이미지 센서(110)는 기준 환경에서 기준 이미지(810R)를 획득할 수 있다. 기준 환경은 3100k, 5100k 등의 색온도를 갖는 빛을 동일한 밝기로 출력하는 광원 외의 다른 광원을 차단한 환경일 수 있다. 기준 이미지(810R)에 포함된 복수의 영역들 각각에 포함된 L 픽셀값 및 R 픽셀값의 비율값(LR)을 도 8b의 (2)와 같은 위상차 이미지(840R)로 표현할 수 있다. 제2 임계값(TH2)은 위상차 이미지(840R)의 복수의 영역 각각에 포함된 비율값(LR) 및 미리 정해진 값을 합하거나 차분한 값일 수 있다. 여기서, 미리 정해진 값은 고정된 상수값이거나 각 비율값(LR)에 대한 백분율 값일 수 있다. 한편, 이미지 센서(110)에는 기준 환경에서 동일한 밝기의 빛이 수신되었으나, 렌즈의 왜곡 등으로 인해 L 픽셀값 및 R 픽셀값의 비율값(LR)은 영역에 따라 균일하지 않은 값을 가질 수 있다. 따라서, 제2 임계값(TH2)은 영역에 따라 다른 값이 설정될 수 있다.

예를 들어, 도 8b의 (3)은 이미지 센서(110)가 빛이 강한 광원을 센싱하여 획득된 이미지(810F)를 나타낸다. 이미지(810F)는 플레어 영역을 포함할 수 있다. 이미지(810F)에 포함된 복수의 영역들 각각에 포함된 L 픽셀값 및 R 픽셀값의 비율값(LR)을 도 8b의 (4)와 같은 위상차 이미지(840F)로 표현할 수 있다. 프로세서(130)는 현재 획득된 위상차 이미지(840F)에 포함된 비율값(LR)을 미리 구한 위상차 이미지(840R)에 포함된 제2 임계값(TH2)과 동일한 영역끼리 비교함으로써, 복수의 영역들 중에서 플레어 영역을 검출할 수 있다.

한편, 일 실시 예에 따른 메모리에는 복수의 영역 각각에 대한 제2 임계값(TH2)이 저장될 수 있다. 다른 일 실시 예에 따른 메모리에는 복수의 영역들 중 일부 영역들을 대표 영역으로 하여 대표 영역들에 대한 제2 임계값들(TH2)이 저장될 수 있다.

도 9는 본 개시의 일 실시 예에 따른 노이즈 영역의 보정을 설명하기 위한 도면이다.

도 9 (1) 및 (2)를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 노말 이미지(910)에 포함된 복수의 영역들 중에서 노이즈 영역(911)을 검출할 수 있다. 노이즈 영역(911)은 복수의 영역들 중에서 플랫 영역이면서 플레어 영역인 조건을 함께 만족하는 영역일 수 있다. 해당 조건을 만족하는 영역에서 도트 노이즈 또는 격자 노이즈 등의 노이즈가 나타날 가능성이 높기 때문이다.

프로세서(130)는 노이즈 영역(911)을 보정한 보정 영역(971)을 포함하는 출력 이미지(970)를 생성할 수 있다. 노이즈 영역(911)은 위상 검출 픽셀들의 보정된 보상 픽셀값들 및 노말 픽셀들의 픽셀값들을 포함할 수 있다. 보정 영역(971)은 노이즈 영역(911)에 포함된 픽셀값들 중 선택된 픽셀값들이 보정된 최종 픽셀값들을 포함할 수 있다. 선택된 픽셀값들은 보상 픽셀값들 또는 각 보상 픽셀값들로부터 미리 설정된 거리 이내에 위치한 주변 픽셀값들일 수 있다.

일 실시 예에서, 프로세서(130)는 노이즈 영역(911)을 커널 단위로 보정할 수 있다.

구체적으로, 프로세서(130)는 제2 커널(960)을 노이즈 영역(911) 상에 정렬할 수 있다. 여기서, 제2 커널(960)은 복수의 단위 영역을 포함할 수 있다. 복수의 단위 영역은 행과 열의 방향으로 배열될 수 있다. 복수의 단위 영역은 중심 영역을 포함할 수 있다. 중심 영역은 행과 열의 방향으로 중앙에 위치한 단위 영역일 수 있다. 예를 들어, 복수의 단위 영역이 5 x 5으로 배열된 경우, 중심 영역은 (3, 3)에 배열된 단위 영역일 수 있다. 다른 예를 들어, 복수의 단위 영역이 9 x 9으로 배열된 경우, 중심 영역은 (5, 5)에 배열된 단위 영역일 수 있다. 제2 커널(960)에 포함된 단위 영역 각각에는 노이즈 영역(911)에 포함된 복수의 픽셀 값들 중에서 적어도 하나의 픽셀 값이 오버랩될 수 있다.

프로세서(130)는 제2 커널(960)에 포함된 중심 영역에 오버랩되는 픽셀 값을 제2 커널(960)에 포함된 중심 영역의 주변 영역들에 오버랩되는 픽셀값들을 이용해 보정할 수 있다. 여기서, 주변 영역들은 중심 영역에 오버랩되는 픽셀 값과 동일한 색상을 갖는 픽셀 값들을 오버랩되는 영역일 수 있다. 주변 영역들은 중심 영역을 기준으로 제1 순위로 가까운 제1 주변 영역들 및 중심 영역을 기준으로 제2 순위로 가까운 제2 주변 영역들을 포함할 수 있다.

예를 들어, 도 10a와 같은 베이어 패턴인 경우를 가정하면, 일 실시 예에 따른 제2 커널(960)에 포함된 중심 영역은 (5, 5)에 배열된 픽셀값에 오버랩될 수 있다. 제2 커널(960)에 포함된 제1 주변 영역들은 (4, 4), (4, 6), (4, 4) 및 (4, 6)에 배열된 픽셀값들에 각각 오버랩될 수 있다. 제2 커널(960)에 포함된 제2 주변 영역들은 (3, 5), (5, 3), (5, 7) 및 (7, 7)에 배열된 픽셀값들에 각각 오버랩될 수 있다.

예를 들어, 도 12a 및 도 13c와 같은 쿼드 베이어 패턴인 경우를 가정하면, 일 실시 예에 따른 제2 커널(960)에 포함된 중심 영역은 (5, 5) 내지 (6, 6)에 배열된 픽셀값을 포함하는 영역에 오버랩될 수 있다. 제2 커널(960)에 포함된 제1 주변 영역들은 (3, 3) 내지 (4, 4)의 픽셀값들을 포함하는 영역, (3, 7) 내지 (4, 8)의 픽셀값들을 포함하는 영역, (7, 3) 내지 (8, 4)의 픽셀값들을 포함하는 영역 및 (7, 7) 내지 (8, 8)의 픽셀값들을 포함하는 영역에 각각 오버랩될 수 있다. 제2 커널(960)에 포함된 제2 주변 영역은 (1, 5) 내지 (2, 6)의 픽셀 값들을 포함하는 영역, (5, 1) 내지 (6, 2)의 픽셀 값들을 포함하는 영역, (5, 9) 내지 (6, 10)의 픽셀 값들을 포함하는 영역 및 (9, 5) 내지 (10, 6)의 픽셀 값들을 포함하는 영역에 각각 오버랩될 수 있다.

일 실시 예에서, 프로세서(130)는 제1 주변 영역들에 오버랩되는 픽셀값들 및 제2 주변 영역들에 오버랩되는 픽셀값들을 이용하여, 중심 영역에 오버랩되는 픽셀값을 보정할 수 있다. 일 실시 예에서, 프로세서(130)는 제1 주변 영역들의 주변 영역에 포함된 픽셀값들을 이용해 제1 주변 영역들에 오버랩되는 픽셀값들을 보정할 수 있다. 그리고, 프로세서(130)는 제2 주변 영역들의 주변 영역에 포함된 픽셀값들을 이용해 제2 주변 영역들에 오버랩되는 픽셀값들을 보정할 수 있다. 이 경우, 프로세서(130)는 제1 및 제2 주변 영역들에 오버랩되는 픽셀값들이 보정된 보정 픽셀값들 및 중심 영역에 오버랩되는 픽셀값이 보정된 보정 픽셀값을 이용하여 중심 영역에 오버랩되는 픽셀값에 대한 최종 픽셀값을 획득할 수 있다.

이후, 프로세서(130)는 제2 커널(960)의 위치를 재정렬하고, 전술한 방식을 통해 제2 커널(960)의 중심 영역에 오버랩되는 픽셀값에 대한 최종 픽셀값을 획득할 수 있다. 이와 같은 동작을 반복함으로써, 프로세서(130)는 노이즈 영역(911)을 보정한 보정 영역(971)을 포함하는 출력 이미지(970)를 생성할 수 있다. 보정 방법에 대한 구체적인 내용은 도 10a 내지 13e를 참조하여 설명하도록 한다.

도 10a 및 도 10b는 본 개시의 일 실시 예에 따른 중심 픽셀의 1차 보정을 설명하기 위한 도면이다.

도 10a의 (1)을 참조하면, 프로세서(130)는 노이즈 영역(1061)에 포함된 복수의 단위 영역들 중에서 어느 하나의 단위 영역에 포함된 픽셀값을 중심 픽셀값(PX0)으로 선택할 수 있다. 예를 들어, 프로세서(130)는 복수의 단위 영역들을 포함하는 커널을 노이즈 영역(1061) 상에 정렬시키고, 커널의 중심 영역에 대응되는 단위 영역을 중심 픽셀값(PX0)을 포함하는 영역으로 선택할 수 있다. 여기서, 중심 픽셀값(PX0)은 (5, 5)에 배열된 픽셀값(P55)인 것으로 가정하도록 한다.

일 실시 예에서, 복수의 단위 영역들 각각은 도 10a 내지 도 11c와 같이 1x1의 픽셀값을 포함할 수 있다. 다른 실시 예에서, 복수의 단위 영역들 각각은 도 12a 내지 도 13e와 같이 2x2의 픽셀값들을 포함할 수 있다.

중심 픽셀값(PX0)으로 선택되는 픽셀값은 그린 색상의 Gr 픽셀값 또는 Gb 픽셀값일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 다른 색상의 픽셀값이 선택되는 것 또한 가능하다 할 것이다.

도 10a의 (2)를 참조하면, 프로세서(130)는 중심 픽셀값(PX0)을 보정한 중심 보정 픽셀값(cPX0)를 획득할 수 있다. 여기서, 중심 보정 픽셀값(cPX0)은 최종 픽셀값이거나 또는 최종 픽셀값을 계산하기 위한 값일 수 있다.

구체적으로, 프로세서(130)는 보정값(A)이 한도값(Limt) 보다 작으면, 중심 픽셀값(PX0) 및 보정값(A)의 합에 기초해 중심 보정 픽셀값(cPX0)을 획득할 수 있다. 이와 달리, 프로세서(130)는 보정값(A)이 한도값(Limt) 보다 같거나 크면, 중심 픽셀값(PX0) 및 한도값(Limt)의 합에 기초해 중심 보정 픽셀값(cPX0)을 획득할 수 있다.

여기서, 프로세서(130)는 노이즈 영역(1061)에 포함된 중심 픽셀값(PX0)과 같은 색상을 갖는 픽셀값들 중에서, 중심 픽셀값(PX0)이 포함된 단위 영역과 제1 순위로 가까운 단위 영역들에 포함된 제1 주변 픽셀값들(PX1)의 제1 평균값(AVG(PX1)), 중심 픽셀값이 포함된 단위 영역과 제2 순위로 가까운 단위 영역들에 포함된 제2 주변 픽셀값들(PX2)의 제2 평균값(AVG(PX2)), 및 보정 레이트(rate)에 기초해 보정값(A)을 계산할 수 있다.

예를 들어, 제1 주변 픽셀값들(PX1)은 중심 픽셀값(PX0)과 같은 색상을 갖고, 중심 픽셀값(PX0)로부터 제1 순위로 가까운 픽셀값들일 수 있다. 제2 주변 픽셀값들(PX2)은 중심 픽셀값(PX0)과 같은 색상을 갖고, 중심 픽셀값(PX0)로부터 제2 순위로 가까운 픽셀값들일 수 있다. 여기서, 제1 순위 및 제2 순위 중에서 순위가 낮을수록 더 가까운 픽셀값을 나타낼 수 있다.

일 실시 예에서, 프로세서(130)는 제1 평균값(AVG(PX1)) 및 제2 평균값(AVG(PX2))의 차이에 보정 레이트(rate)와 게인값(gain)을 곱한 값을 보정값(A)으로 획득할 수 있다. 게인값(gain)은 예를 들어 1, 1/2, 1/4, ... 등과 같이 미리 설정된 값일 수 있다. 예를 들어, 보정 레이트(rate)는 0 이상이고 1 이하인 범위의 값일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 보정 레이트(rate)는 다양한 값으로 변형되어 실시될 수 있다.

도 10b의 (1)을 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 다이내믹 레인지(DR)에 따라 보정 레이트(rate)를 조정할 수 있다. 여기서 다이내믹 레인지(DR)는 중심 픽셀값(PX)이 포함된 단위 영역을 기준으로 미리 설정된 개수의 주변 영역들에 포함된 픽셀값들의 최대값 및 최소값의 차이값을 나타낼 수 있다. 예를 들어, 다이내믹 레인지(DR)는 중심 픽셀값(PX)을 중심으로 9x9의 픽셀값들 중에서 최대값 및 최소값의 차이값을 나타낼 수 있다. 이때, 픽셀값들은 그린 색상의 픽셀값들일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 다이내믹 레인지(DR)에 적용되는 픽셀값들의 색상은 다양하게 변형될 수 있다.

이 경우, 프로세서(130)는 다이내믹 레인지(DR)가 컷오프값(cut-off) 이상일 경우에, 다이내믹 레인지(DR)가 증가할수록 보정 레이트(rate)를 감소시킬 수 있다. 프로세서(130)는 다이내믹 레인지(DR)가 컷오프값(cut-off) 미만일 경우에, 일정한 값을 적용시킬 수 있다. 여기서, 다이내믹 레인지(DR)가 작을수록 플랫 영역을 나타내므로 보정값(A)을 크게 적용하기 위한 것이고, 다이내믹 레인지(DR)가 클수록 엣지 영역을 나타내므로 보정값(A)을 작게 적용하기 위한 것이다. 컷오프값(cut-off)은 플랫 영역과 엣지 영역을 나누는 기준이 되는 값으로 미리 설정되어 메모리에 저장될 수 있다. 다이내믹 레인지(DR)의 최대값은 최대 비트값(max bit) 일 수 있다. 예를 들어, 8비트의 경우 최대 비트값(max bit)은 255일 수 있다.

이와 같이, 프로세서(130)는 보정 레이트(rate)을 가변적인 값으로 조정할 수 있다.

도 10b의 (2)를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 중심 픽셀값(PX0)에 따라 한도값(Limit)을 조정할 수 있다.

예를 들어, 프로세서(130)는 중심 픽셀값(PX0)이 제1 기준값 이상이고 제2 기준값 미만일 경우, 중심 픽셀값(PX0)이 증가할수록 한도값(Limt)을 증가시킬 수 있다. 여기서, 제2 기준값은 제1 기준값보다 큰 값일 수 있다. 예를 들어, 제2 기준값은 중앙 비트값(median bit)일 수 있다. 예를 들어, 8비트의 경우 중앙 비트값(median bit)은 128일 수 있다.

프로세서(130)는 중심 픽셀값(PX0)이 제2 기준값 이상이고 제3 기준값 미만일 경우, 중심 픽셀값(PX0)이 증가할수록 한도값(Limt)을 감소시킬 수 있다. 여기서, 제3 기준값은 제2 기준값보다 큰 값일 수 있다.

프로세서(130)는 중심 픽셀값(PX0)이 제1 기준값 미만이거나 또는 제3 기준값 이상일 경우, 한도값(Limt)을 미리 설정된 최소 한도값(Limt min)이 되도록 변경할 수 있다.

여기서, 제1 기준값 보다 작은 픽셀값은 암부를 나타내며, 제3 기준값 보다 큰 픽셀값은 명부를 나타낼 수 있다. 암부는 Gb 픽셀값 및 Gr 픽셀값 간의 편차가 작게 발생하기 때문에 한도값(Limt)을 작게 부여하는 것이고, 명부는 인간의 시각 특성으로 인해 잘 인지하지 못하기 때문에 한도값(Limt)을 작게 부여하는 것이다.

프로세서(130)는 한도값(Limt)이 미리 설정된 최대 한도값(Limt max)을 초과할 경우, 한도값(Limt)을 최대 한도값(Limt max)이 되도록 변경할 수 있다. 최대 한도값(Limt max)은 최대 비트값(max bit)과 같거나 작은 값일 수 있다.

이와 같이, 프로세서(130)는 한도값(Limit)을 가변적인 값으로 조정할 수 있다.

도 11a 내지 11c는 본 개시의 일 실시 예에 따른 중심 픽셀의 2차 보정을 설명하기 위한 위한 도면이다.

도 11a는 노이즈 영역(1162)에서 중심 픽셀값(PX0)(예를 들어, 픽셀값(P55))의 주변에 위치한 제1 주변 픽셀값들(PX1)(예를 들어, 픽셀값(P55)과 제1 순위로 가까운 거리에 위치하고 픽셀값(P55)과 같은 색상을 갖는 픽셀값(P44, P46, P64, P66))을 보정한 주변 보정 픽셀값들(cPX0_p)을 획득하는 방법을 설명하기 위한 도면이다. 도 11b는 노이즈 영역(1163)에서 중심 픽셀값(PX0)(예를 들어, 픽셀 값(P55))의 주변에 위치한 제2 주변 픽셀값들(PX2)(예를 들어, 픽셀값(P55)과 제2 순위로 가까운 거리에 위치하고 픽셀값(P55)과 같은 색상을 갖는 픽셀값(P35, P53, P57, P75))을 보정한 주변 보정 픽셀값들(cPX0_p)을 획득하는 방법을 설명하기 위한 도면이다. 도 11c는 노이즈 영역(1163)에서 중심 보정 픽셀값(PX0) 및 주변 보정 픽셀값들(cPX0_p)을 이용해 최종 픽셀값(fPX0)을 획득하는 방법을 설명하기 위한 도면이다.

도 11a 내지 도 11c를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 중심 픽셀값(PX0)을 보정한 중심 보정 픽셀값(PX0)과 주변 픽셀값들(PX0_p)을 보정한 주변 보정 픽셀값들(cPX0_p)을 이용해, 중심 픽셀값(PX0)에 대한 최종 픽셀값(fPX0)를 획득할 수 있다.

도 10a 및 도 11a를 참조하여, 프로세서(130)는 복수의 단위 영역들 중에서 제1 주변 픽셀값들(PX1) 및 제2 주변 픽셀값들(PX2) 중 어느 하나의 픽셀값을 포함하는 단위 영역들을 중심 영역들로 선택할 수 있다.

여기서, 도 11a의 (1)과 같이 제1 주변 픽셀값들(PX1) 중에서 (4, 4)에 위치한 제1 주변 픽셀값(P44)을 기준으로 설명하도록 한다. 프로세서(130)는 제1 주변 픽셀값(P44)을 포함하는 단위 영역을 중심 영역(PX0_p)으로 선택하고, 중심 영역(PX0_p)을 기준으로 제1 순위로 가까운 제1 주변 영역들(PX1_p) 및 제2 순위로 가까운 제2 주변 영역들(PX2_p)을 선택할 수 있다.

그리고, 도 11a의 (2)와 같이 프로세서(130)는 제1 주변 영역들(PX1_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX1_p)) 및 제2 주변 영역들(PX2_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX2_p))을 이용해 제1 주변 픽셀값(P44)을 보정한 제1 주변 보정 픽셀값(cP44)을 획득할 수 있다. 예를 들어, 프로세서(130)는 제1 주변 영역들(PX1_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX1_p))과 제2 주변 영역들(PX2_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX2_p))의 차이에 게인값(gain)을 곱한 값에 제1 주변 픽셀값(P44)을 더한 값을 제1 주변 보정 픽셀값(cP44)으로 획득할 수 있다. 여기서 게인값(gain)은 1, 1/2, 1/4, ... 등과 같이 미리 설정된 값이며, 메모리에 저장될 수 있다.

이와 동일한 방식을 통해, 프로세서(130)는 다른 제1 주변 픽셀값(P46, P64, P66)에 대해서도 다른 제1 주변 보정 픽셀값들(cP46, cP64, cP66)을 획득할 수 있다.

도 11b를 참조하여, 제2 주변 픽셀값들(PX2) 중에서 (3, 5)에 위치한 제2 주변 픽셀값(P35)을 기준으로 설명하도록 한다. 프로세서(130)는 제2 주변 픽셀값(P35)을 포함하는 단위 영역을 중심 영역(PX0_p)으로 선택하고, 중심 영역(PX0_p)을 기준으로 제1 순위로 가까운 제1 주변 영역들(PX1_p) 및 제2 순위로 가까운 제2 주변 영역들(PX2_p)을 선택할 수 있다.

그리고, 프로세서(130)는 제1 주변 영역들(PX1_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX1_p)) 및 제2 주변 영역들(PX2_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX2_p))을 이용해 제2 주변 픽셀값(P35)을 보정한 제2 주변 보정 픽셀값(cP35)을 획득할 수 있다. 예를 들어, 프로세서(130)는 제1 주변 영역들(PX1_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX1_p))과 제2 주변 영역들(PX2_p)에 포함된 픽셀값들의 평균 픽셀값(AVG(PX2_p))의 차이에 게인값(gain)을 곱한 값에 제2 주변 픽셀값(P35)을 더한 값을 제2 주변 보정 픽셀값(cP35)으로 획득할 수 있다. 여기서 게인값(gain)은 1, 1/2, 1/4, ... 등과 같이 미리 설정된 값이며, 메모리에 저장될 수 있다.

이와 동일한 방식을 통해, 프로세서(130)는 다른 제2 주변 픽셀값(P53, P57, P75)에 대해서도 다른 제1 주변 보정 픽셀값들(cP53, cP57, cP75)을 획득할 수 있다.

도 11c를 참조하여, 프로세서(130)는 중심 픽셀값(PX0)에 대한 중심 보정 픽셀값(cPX0) 및 주변 픽셀값들(PX1, PX2, PX0_p)에 대한 주변 보정 픽셀값들(PX0_p)을 이용하여, 중심 픽셀값(PX0)에 대한 최종 픽셀값(fPX0)을 획득할 수 있다.

프로세서(130)는 노이즈 영역(1061)에 포함된 복수의 단위 영역들 중에서 다른 하나의 단위 영역에 포함된 픽셀값을 중심 픽셀값(PX0)으로 선택하여, 상술한 동작을 통해 중심 픽셀값(PX0)에 대한 최종 픽셀값(fPX0)을 획득할 수 있다. 이와 같이, 프로세서(130)는 상술한 동작을 반복함으로써 각각의 중심 픽셀값(PX0)에 대한 최종 픽셀값(fPX0)을 획득할 수 있다. 프로세서(130)는 중심 픽셀값들(PX0)을 보정한 최종 픽셀값들(fPX0)을 포함하는 출력 이미지를 생성할 수 있다.

한편, 본 개시의 일 실시 예에 따라 중심 픽셀값(PX0)으로 선택되는 픽셀값은 위상 검출 픽셀의 픽셀값 또는 보상 픽셀값일 수 있다. 또한, 중심 픽셀값(PX0)으로 선택되는 픽셀값은 위상 검출 픽셀의 주변 노말 픽셀의 픽셀값일 수 있다.

도 12a 내지 12e는 본 개시의 일 실시 예에 따른 쿼드 베이어 패턴을 갖는 이미지의 보정을 설명하기 위한 도면이다.

도 12a를 참조하면, 도 12a의 (1)은 노이즈 영역(1261)에 포함된 픽셀값들의 배열을 나타낸 것이고, 도 12a의 (2)는 노이즈 영역(1261)에 포함된 단위 영역들을 나타낸 것이다.

노말 이미지는 노이즈 영역(1261)을 포함할 수 있다. 노이즈 영역(1261)은 복수의 단위 영역들(1262)로 구분될 수 있다. 여기서, 복수의 단위 영역들(1262) 각각은 같은 색상을 갖는 2x2의 픽셀값을 포함하는 것을 가정하여 설명하도록 한다. 이는 픽셀값들이 쿼드 베이어 패턴에 따라 배열된 것을 나타낼 수 있다.

도 12a의 (1) 및 (2)를 참조하면, 프로세서(130)는 노이즈 영역(1261)에 포함된 복수의 단위 영역들(1262) 중에서 어느 하나의 단위 영역을 중심 영역으로 선택할 수 있다. 예를 들어, 프로세서(130)는 복수의 단위 영역들을 포함하는 커널을 노이즈 영역(1261) 상에 정렬시키고, 커널의 중심 영역에 대응되는 단위 영역을 중심 영역으로 선택할 수 있다. 여기서는 (3, 3)에 배열된 영역(A33)이 중심 영역으로 선택된 것으로 가정하도록 한다. 프로세서(130)는 중심 영역(A33)에 포함된 픽셀값들을 중심 픽셀값들(A0)로 선택할 수 있다.

도 12b를 참조하면, 프로세서(130)는 중심 영역(A33)에 포함된 중심 픽셀값들(A0)을 보정한 중심 보정 픽셀값들(cA0)을 획득할 수 있다. 여기서, 중심 보정 픽셀값(cA0)은 최종 픽셀값이거나 또는 최종 픽셀값을 계산하기 위한 값일 수 있다.

구체적으로, 프로세서(130)는 보정값(A)이 한도값(Limt) 보다 작으면, 중심 픽셀값들(A0) 및 보정값(A)의 합에 기초해 중심 보정 픽셀값들(cA0)을 획득할 수 있다. 이와 달리, 프로세서(130)는 보정값(A)이 한도값(Limt) 보다 같거나 크면, 중심 픽셀값들(A0) 및 한도값(Limt)의 합에 기초해 중심 보정 픽셀값들(cA0)을 획득할 수 있다.

여기서, 프로세서(130)는 노이즈 영역(1261)에 포함된 중심 픽셀값들(A0)과 같은 색상을 갖는 픽셀값들 중에서, 중심 픽셀값들(A0)이 포함된 단위 영역(A33)과 제1 순위로 가까운 단위 영역들(A22, A24, A42, A44)에 포함된 제1 주변 픽셀값들(A1)의 제1 평균값(AVG(A1)), 중심 픽셀값이 포함된 단위 영역과 제2 순위로 가까운 단위 영역들(A13, A31, A35, A53)에 포함된 제2 주변 픽셀값들(A2)의 제2 평균값(AVG(A2)), 및 보정 레이트(rate)에 기초해 보정값(A)을 계산할 수 있다.

여기서, 제1 평균값(AVG(A1))은 제1 단위 영역(A22)에 포함된 픽셀값들의 평균값, 제2 단위 영역(A24)에 포함된 픽셀값들의 평균값, 제3 단위 영역(A42)에 포함된 픽셀값들의 평균값 및 제4 단위 영역(A44)에 포함된 픽셀값들의 평균값에 대한 평균값일 수 있다.

여기서, 제2 평균값(AVG(A2))은 제5 단위 영역(A13)에 포함된 픽셀값들의 평균값, 제6 단위 영역(A31)에 포함된 픽셀값들의 평균값, 제7 단위 영역(A35)에 포함된 픽셀값들의 평균값 및 제8 단위 영역(A53)에 포함된 픽셀값들의 평균값에 대한 평균값일 수 있다.

본 개시의 일 실시 예에 따른 프로세서(130)는 다이내믹 레인지(DR)에 따라 보정 레이트(rate)를 조정할 수 있다. 본 개시의 일 실시 예에 따른 프로세서(130)는 중심 픽셀값들(A0)의 평균값에 따라 한도값(Limit)을 조정할 수 있다. 이에 대해서는 상술한 설명과 중복되는 점에서 생략하기로 한다.

도 12c 및 도 12d는 복수의 단위 영역들(1263, 1264, 1265, 1266) 중에서 픽셀값들의 보정에 이용되는 단위 영역들을 설명하기 위한 것이다.

도 12a 및 도 12c를 참조하면, 프로세서(130)는 제1 주변 픽셀값들(A1)을 제1 주변 픽셀값들(A1)의 주변 픽셀값들을 이용해 보정할 수 있다. 여기서, 제1 주변 픽셀값들(A1)은 중심 픽셀 값들(A0)과 같은 색상의 픽셀 값들 중에서 중심 픽셀 값들(A0)이 포함된 중심 영역(A33)을 기준으로 제1 순위로 가까운 단위 영역들(A22, A24, A42, A44)에 포함된 픽셀값들일 수 있다. 프로세서(130)는 제1 주변 픽셀값들(A1)을 포함하는 단위 영역들(A22, A24, A42, A44) 중에서 어느 하나의 단위 영역을 새로운 중심 영역(A0_p)인 것으로 선택할 수 있다. 여기서는 도 12c와 같이, 제1 단위 영역(A22)이 중심 영역(A0_p)으로 선택되고, 단위 영역들(A11, A13, A31, A33)이 중심 영역(A0_p)으로부터 가장 가까운 주변 영역들(A1_p)로 선택된 것을 가정하도록 한다.

프로세서(130)는 제1 단위 영역(A22)에 포함된 픽셀값들, 제1 단위 영역(A22)에 포함된 픽셀값들의 평균값(AVG(A22)) 및 제1 단위 영역(A22)과 제1 순위로 가까운 주변 영역들(A11, A13, A31, A33)에 포함된 픽셀값들의 평균 픽셀값(AVG(AVG(A11), AVG(A13), AVG(A31), AVG(A33))에 기초하여 제1 단위 영역(A22)에 대한 보정 픽셀값들(cA22)을 획득할 수 있다. 예를 들어, 프로세서(130)는 제1 단위 영역(A22)에 포함된 픽셀값들의 평균값(AVG(A22)) 및 제1 단위 영역(A22)과 제1 순위로 가까운 주변 영역들(A11, A13, A31, A33)에 포함된 픽셀값들의 평균 픽셀값(AVG(AVG(A11), AVG(A13), AVG(A31), AVG(A33))의 차이에 게인값을 곱한 값에 제1 단위 영역(A22)에 포함된 픽셀값을 합산한 값을 제1 단위 영역(A22)에 대한 주변 보정 픽셀값(cA22)으로 획득할 수 있다. 여기서 게인값(gain)은 1, 1/2, 1/4, ... 등과 같이 미리 설정된 값이며, 메모리에 저장될 수 있다.

이와 동일한 방식을 통해, 도 12d와 같이 프로세서(130)는 다른 단위 영역(A24, A42, A44)에 대한 주변 보정 픽셀값(cA24, cA42, cA44)을 획득할 수 있다.

도 12e의 (1)은 복수의 단위 영역들(1267) 중 픽셀값들의 보정에 이용되는 단위 영역들을 설명하기 위한 것이고, 도 12e의 (2)는 노이즈 영역(1268) 중 픽셀값들의 보정에 이용되는 픽셀값들을 설명하기 위한 것이다. 도 12e의 (3)은 픽셀값들의 보정에 이용되는 수식을 설명하기 위한 것이다.

도 12e를 참조하면, 프로세서(130)는 중심 보정 픽셀값들(cA0) 및 주변 보정 픽셀값(cA22, cA24, cA42, cA44)을 이용하여 최종 픽셀값(fP55~fP66)을 획득할 수 있다.

예를 들어, 도 12a의 노이즈 영역(1261)에 포함된 복수의 단위 영역들(1262)은 도 12e의 (1)의 복수의 영역들(1267) 중 일부 영역(cA33, cA22, cA24, cA42, cA44)에 포함된 픽셀값들이 보정될 수 있다. 일부 영역(cA33, cA22, cA24, cA42, cA44)은 보정된 중심 영역(cA33) 및 보정된 주변 영역(cA22, cA24, cA42, cA44)을 포함할 수 있다.

이 경우, 프로세서(130)는 보정된 중심 영역(cA33)에 포함된 중심 보정 픽셀값들(cP55, cP56, cP65, cP66) 중에서 하나의 중심 보정 픽셀값(cP55)을 선택하고, 보정된 주변 영역(cA22, cA24, cA42, cA44)에 포함된 주변 보정 픽셀값들 중에서 선택된 중심 보정 픽셀값(cP55)과 같은 배열 위치에 위치한 주변 보정 픽셀값들(cP33, cP37, cP73, cP77)을 선택할 수 있다. 프로세서(130)는 선택된 중심 보정 픽셀값(cP55) 및 선택된 주변 보정 픽셀값들(cP33, cP37, cP73, cP77)의 평균값에 대한 가중치 합에 따른 값을 중심 픽셀값(P55)에 대한 최종 픽셀값(fP55)으로 획득할 수 있다. 여기서, 가중치(W)는 0 에서 1 사이의 값일 수 있다. 도 12e의 (3)과 같은 방식으로 프로세서(130)는 중심 픽셀값(P56, P65, P66)에 대한 최종 픽셀값(fP56, fP65, fP66)을 획득할 수 있다.

프로세서(130)는 노이즈 영역(1261)에 포함된 복수의 단위 영역들(1262) 중에서 다른 하나의 단위 영역을 중심 영역으로 선택하여, 상술한 동작을 통해 중심 픽셀값(P55, P56, P65, P66)에 대한 최종 픽셀값(fP55, fP56, fP65, fP66)을 반복하여 획득할 수 있다. 프로세서(130)는 획득된 최종 픽셀값(fP55, fP56, fP65, fP66)을 포함하는 출력 이미지를 생성할 수 있다.

도 13a 내지 13e는 본 개시의 일 실시 예에 따른 쿼드 베이어 패턴을 갖는 이미지의 보정을 설명하기 위한 도면이다.

도 13a 내지 도 13e를 참조하면, 노말 이미지는 노이즈 영역(1361)을 포함할 수 있다. 노이즈 영역(1361)은 복수의 단위 영역들(1362)로 구분될 수 있다. 여기서, 복수의 단위 영역들(1362) 각각은 같은 색상을 갖는 2x2의 픽셀값을 포함하는 것을 가정하여 설명하도록 한다. 이는 픽셀값들이 쿼드 베이어 패턴에 따라 배열된 것을 나타낼 수 있다.

도 13a의 (1) 및 (2)를 참조하면, 프로세서(130)는 노이즈 영역(1361)에 포함된 복수의 단위 영역들(1362) 중에서 어느 하나의 단위 영역을 중심 영역으로 선택할 수 있다. 예를 들어, 프로세서(130)는 복수의 단위 영역들을 포함하는 커널을 노이즈 영역(1361) 상에 정렬시키고, 커널의 중심 영역에 대응되는 단위 영역을 중심 영역으로 선택할 수 있다. 여기서는 중심 픽셀값들(G0)을 포함하는 단위 영역이 중심 영역으로 선택된 것을 가정하도록 한다.

도 13b와 같이, 프로세서(130)는 보정값(A)이 한도값(Limt) 보다 작으면, 중심 픽셀값들(G0) 및 보정값(A)의 합에 기초해 중심 보정 픽셀값들(cG0)을 획득할 수 있다. 이와 달리, 프로세서(130)는 보정값(A)이 한도값(Limt) 보다 같거나 크면, 중심 픽셀값들(G0) 및 한도값(Limt)의 합에 기초해 중심 보정 픽셀값들(cG0)을 획득할 수 있다.

프로세서(130)는 제1 평균값(AVG(G1)), 제2 평균값(AVG(G2)) 및 보정 레이트(rate)에 기초해 보정값(A)을 계산할 수 있다. 예를 들어, 프로세서(130)는 제1 평균값(AVG(G1)) 및 제2 평균값(AVG(G2))의 차이에 보정 레이트(rate) 및 게인값을 곱해 보정값(A)을 계산할 수 있다.

프로세서(130)는 중심 픽셀값들(G0)을 포함하는 단위 영역과 제1 순위로 가까운 제1 순위의 단위 영역들에서 제1 위치에 배열된 픽셀값들(G11)의 평균값, 제1 순위의 단위 영역들에서 제2 위치에 배열된 픽셀값들(G12)의 평균값, 제1 순위의 단위 영역들에서 제3 위치에 배열된 픽셀값들(G13)의 평균값, 제1 순위의 단위 영역들에서 제4 위치에 배열된 픽셀값들(G14)의 평균값에 대한 제1 평균값(AVG(G1))을 계산할 수 있다.

프로세서(130)는 중심 픽셀값들(G0)을 포함하는 단위 영역과 제2 순위로 가까운 제2 순위의 단위 영역들에서 제1 위치에 배열된 픽셀값들(G21)의 평균값, 제2 순위의 단위 영역들에서 제2 위치에 배열된 픽셀값들(G22)의 평균값, 제2 순위의 단위 영역들에서 제3 위치에 배열된 픽셀값들(G23)의 평균값, 제2 순위의 단위 영역들에서 제4 위치에 배열된 픽셀값들(G24)의 평균값에 대한 제2 평균값(AVG(G2))을 계산할 수 있다.

본 개시의 일 실시 예에 따른 프로세서(130)는 다이내믹 레인지(DR)에 따라 보정 레이트(rate)를 조정할 수 있다. 본 개시의 일 실시 예에 따른 프로세서(130)는 중심 픽셀값들(G0)의 평균값에 따라 한도값(Limit)을 조정할 수 있다. 이에 대해서는 상술한 설명과 중복되는 점에서 생략하기로 한다.

도 13c 및 도 13d는 복수의 단위 영역들(1363, 1364, 1365, 1366) 중에서 픽셀값들의 보정에 이용되는 단위 영역들이 어떤 영역들인지를 나타낸 것이다.

도 13c 및 도 13d를 참조하면, 프로세서(130)는 제1 주변 픽셀값들(G11~G14)을 제1 주변 픽셀값들(G11~G14)의 주변 픽셀값들을 이용해 보정할 수 있다. 프로세서(130)는 제1 주변 픽셀값들(G11~G14)을 포함하는 단위 영역들 중에서 어느 하나의 단위 영역을 새로운 중심 영역(G0_p)인 것으로 선택할 수 있다. 여기서는 (3, 3) 내지 (4, 4)의 픽셀값들을 포함하는 단위 영역이 새로운 중심 영역(G0_p)으로 선택된 것을 가정하도록 한다.

프로세서(130)는 새로운 중심 영역(G0_p)에 포함된 픽셀값들, 새로운 중심 영역(G0_p)에 포함된 픽셀값들의 평균값(AVG(G0_p)) 및 새로운 중심 영역(G0_p)과 제1 순위로 가까운 제1 순위의 주변 영역들에 포함된 픽셀값들의 평균 픽셀값(AVG(AVG(G11), AVG(G12), AVG (G13), AVG(G14))에 기초하여 새로운 중심 영역(G0_p)에 대한 보정 픽셀값들(cG0_p)을 획득할 수 있다. 여기서, 획득된 보정 픽셀값들(cG0_p)은 혼동의 방지를 위해 이전 중심 영역(G0_p)의 주변 영역에 대한 것이므로 주변 보정 픽셀값들(cG0_p)이라고 지칭하기로 한다.

제1 순위의 주변 영역들에 포함된 픽셀값들의 평균 픽셀값(AVG(AVG(G11), AVG(G12), AVG (G13), AVG(G14))은 제1 순위의 단위 영역들에서 제1 위치에 배열된 픽셀값들(G11)의 평균값, 제1 순위의 단위 영역들에서 제2 위치에 배열된 픽셀값들(G12)의 평균값, 제1 순위의 단위 영역들에서 제3 위치에 배열된 픽셀값들(G13)의 평균값, 제1 순위의 단위 영역들에서 제4 위치에 배열된 픽셀값들(G14)의 평균값에 대한 평균값)일 수 있다.

이와 동일한 방식을 통해, 도 13d와 같이, 프로세서(130)는 새로운 중심 영역(G0_p)에 포함된 픽셀값들(G01, G02, G03, G04)에 대한 주변 보정 픽셀값들을 획득할 수 있다.

도 13e의 (1)은 복수의 단위 영역들(1367) 중 픽셀값들의 보정에 이용되는 단위 영역들을 설명하기 위한 것이고, 도 13e의 (2)는 노이즈 영역(1368) 중 픽셀값들의 보정에 이용되는 픽셀값들을 설명하기 위한 것이다. 도 13e의 (3)은 픽셀값들의 보정에 이용되는 수식을 설명하기 위한 것이다.

도 13e를 참조하여, 프로세서(130)는 중심 보정 픽셀값들(cP55) 및 주변 보정 픽셀값(cP33, cP37, cP73, cP77)을 이용하여 최종 픽셀값(fP55)을 획득할 수 있다. 예를 들어, 프로세서(130)는 중심 보정 픽셀값들(cP55)과 같은 색상의 픽셀값들 중에서 중심 보정 픽셀값들(cP55)을 포함하는 단위 영역과 가장 인접한 주변 영역들을 판단하고, 주변 영역들에 포함된 주변 보정 픽셀값들 중에서 중심 보정 픽셀값들(cP55)과 같은 위치의 주변 보정 픽셀값들(cP33, cP37, cP73, cP77)을 선택할 수 있다. 그리고, 프로세서(130)는 중심 보정 픽셀값들(cP55)과 같은 위치의 주변 보정 픽셀값들(cP33, cP37, cP73, cP77)의 평균값 및 중심 보정 픽셀값들(cP55)의 가중치 합에 따른 값을 최종 픽셀값(fP55)으로 획득할 수 있다. 여기서, 가중치(W)는 0 에서 1 사이의 값일 수 있다. 도 13e의 (3)과 같은 방식으로 프로세서(130)는 중심 픽셀값(P56, P65, P66)에 대한 최종 픽셀값(fP56, fP65, fP66)을 획득할 수 있다.

프로세서(130)는 노이즈 영역(1361)에 포함된 복수의 단위 영역들(1362) 중에서 다른 하나의 단위 영역을 중심 영역으로 선택하여, 상술한 동작을 통해 중심 픽셀값(P55, P56, P65, P66)에 대한 최종 픽셀값(fP55, fP56, fP65, fP66)을 반복하여 획득할 수 있다. 프로세서(130)는 획득된 최종 픽셀값(fP55, fP56, fP65, fP66)을 포함하는 출력 이미지를 생성할 수 있다.

도 14는 본 개시의 일 실시 예에 따른 노이즈 영역의 보정 결과를 설명하기 위한 도면이다.

도 14의 (1)을 참조하면, 전자 장치(100)에 의해 획득된 노말 이미지(1410)는 플레어 영역을 포함할 수 있다. 노말 이미지(1410)에 포함된 복수의 영역들 중에서 플레어 영역이면서 플랫 영역인 노이즈 영역(1415)을 확대하면 도 14의 (2)와 같이 나타날 수 있다. 도 14의 (2)와 같이 확대된 노이즈 영역(1425)에는 주변 픽셀값과 일정한 값 이상의 차이를 나타내는 픽셀값인 도트 노이즈가 위치에 따라 나타날 수 있다.

본 개시의 일 실시 예에 따라 전자 장치(100)는 노말 이미지(1410)에 포함된 복수의 영역들 중에서 노이즈 영역(1415)에 포함된 픽셀 값들을 보정할 수 있다. 이 경우, 노이즈 영역(1415)을 보정한 보정 영역을 확대하면 도 14의 (3)과 같이 나타날 수 있다. 도 14의 (3)과 같이 확대된 보정 영역(1475)에는 픽셀값들이 균일하게 나타날 수 있다. 이와 같이 본 개시의 일 실시 예에 따른 전자 장치(100)는 노이즈 영역(1425)의 노이즈를 제거할 수 있다.

도 15는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 도면이다.

도 15를 참조하면, 전자 장치(100)는 컴퓨팅 시스템(2000)으로 구현될 수 있다. 컴퓨팅 시스템(2000)은 이미지 센서(2010), 프로세서(2020), 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060)를 포함할 수 있다. 도 15에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060) 등과 통신하거나, 또는 외부 장치와 통신할 수 있는 포트(port)를 더 포함할 수 있다.

이미지 센서(2010)는 이미지를 획득할 수 있다. 이미지 센서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 또는 이와 다른 통신 링크를 통해서 프로세서(2020)와 연결되어 통신을 수행할 수 있다.

이미지 센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 이미지 센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다. 실시 예에 따라서, 이미지 센서(2010)는 프로세서(2020)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.

프로세서(2020)는 컴퓨팅 시스템(2000)의 전반적인 동작을 제어할 수 있다. 프로세서(2020)는 출력 이미지를 표시하도록 디스플레이 장치(2060)를 제어할 수 있다. 프로세서(2020)는 출력 이미지를 저장 장치(2030)에 저장할 수 있다.

프로세서(2020)는 프로세서(2020)는 중앙 처리 장치(Central Processing Unit, CPU), 어플리케이션 처리 장치(Application Processing Unit, APU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등 중에서 적어도 하나를 포함할 수 있다.

프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040) 및 입출력 장치(2050)에 연결되어 통신을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.

저장 장치(2030)는 이미지 및 모션 맵 등의 데이터를 저장할 수 있다. 여기서, 저장 장치(2030)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우 뿐만 아니라 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive, SSD), 하드 디스크 드라이브(Hard Disk Drive, HDD), 광디스크 등의 모든 형태의 비휘발성 메모리 장치 중 적어도 하나로 구성될 수 있다.

메모리 장치(2040)는 이미지 및 모션 맵 등의 데이터를 저장할 수 있다. 메모리 장치(2040)는 프로세서(2020)가 처리하려는 데이터를 임시적으로 저장하거나, 프로세서(2020)가 처리한 데이터를 임시적으로 저장할 수 있다. 여기서, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우에만 보존될 수 있다. 또는, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동되거나 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.

입출력 장치(2050)는 입력 장치 및 출력 장치를 포함할 수 있다. 입력 장치는 상호작용을 통해 사용자의 명령을 입력할 수 있는 장치이며, 예를 들어 입력 장치는 키보드, 키패드, 마우스, 마이크 등으로 구현될 수 있다. 출력 장치는 데이터를 출력할 수 있는 장치이며, 예를 들어 출력 장치는 프린터, 스피커 등으로 구현될 수 있다.

디스플레이 장치(2060)는 이미지를 시각적으로 출력하는 장치이다. 이를 위해, 디스플레이 장치(2060)는 별도의 백라이트 유닛(예: LED(light emitting diode) 등)을 광원으로 이용하고 액정(Liquid Crystal)의 분자 배열을 제어함으로써 백라이트 유닛에서 방출된 빛이 액정을 통해 투과되는 정도(빛의 밝기 또는 빛의 세기)를 조절하는 LCD(Liquid Crystal Display), 별도의 백라이트 유닛 또는 액정 없이 자발광 소자(예: 크기가 100-200um인 mini LED, 크기가 100um이하인 micro LED, OLED(Organic LED), QLED(Quantum dot LED) 등)를 광원으로 이용하는 디스플레이 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 이 경우, 디스플레이 장치(2060)는 출력 이미지에 대응되는 레드, 그린, 블루 색상의 빛을 외부로 방출시킬 수 있다.

도 16은 본 개시의 일 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 도면이다.

도 16을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 노말 이미지를 생성하는 단계(S1610), 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출하는 단계(S1620), 및 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성하는 단계(S1630)를 포함할 수 있다.

구체적으로, 전자 장치(100)는 노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 노말 이미지를 생성할 수 있다(S1610).

일 실시 예에서, 전자 장치(100)는 노말 픽셀들 중에서 위상 검출 픽셀들 각각의 주변 노말 픽셀들을 통해 센싱된 픽셀값들을 이용하여 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 보정한 보상 픽셀값들을 획득할 수 있다. 전자 장치(100)는 보상 픽셀값들 및 노말 픽셀들을 통해 센싱된 픽셀값들을 포함하는 노말 이미지를 생성할 수 있다.

그리고, 전자 장치(100)는 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출할 수 있다(S1620).

일 실시 예에서, 전자 장치(100)는 노말 이미지의 복수의 영역들 중에서 선택된 영역에 포함된 픽셀값들에 기초하여, 선택된 영역이 플랫 영역인지 여부를 판단할 수 있다. 전자 장치(100)는 위상 검출 픽셀들 중에서 선택된 영역에 대응되는 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀을 통해 센싱된 픽셀값들에 기초하여 선택된 영역이 플레어 영역인지 여부를 판단할 수 있다. 전자 장치(100)는 선택된 영역이 플랫 영역이면서 플레어 영역이면, 선택된 영역이 노이즈 영역인 것으로 검출할 수 있다.

그리고, 전자 장치(100)는 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성할 수 있다(S1630).

일 실시 예에서, 전자 장치(100)는 노이즈 영역에 포함된 복수의 단위 영역들 중에서 어느 하나의 단위 영역에 포함된 픽셀값을 중심 픽셀값으로 선택할 수 있다. 전자 장치(100)는 노이즈 영역에 포함된 중심 픽셀값과 같은 색상을 갖는 픽셀값들 중에서, 중심 픽셀값이 포함된 단위 영역과 제1 순위로 가까운 단위 영역들에 포함된 제1 주변 픽셀값들의 제1 평균값, 중심 픽셀값이 포함된 단위 영역과 제2 순위로 가까운 단위 영역들에 포함된 제2 주변 픽셀값들의 제2 평균값, 및 보정 레이트에 기초해 보정값을 계산할 수 있다. 전자 장치(100)는 보정값이 한도값 보다 작으면, 중심 픽셀값 및 보정값의 합에 기초해 중심 픽셀값을 보정한 최종 픽셀값을 획득할 수 있다.

100: 전자 장치
110: 이미지 센서
130: 프로세서

Claims

노말 픽셀들 및 위상 검출 픽셀들을 포함하는 이미지 센서; 및
상기 노말 픽셀들 및 상기 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 생성된 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출하고,
상기 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 상기 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성하는 프로세서;를 포함하는 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 노말 픽셀들 중에서 상기 위상 검출 픽셀들 각각의 주변 노말 픽셀들을 통해 센싱된 픽셀값들을 이용하여 상기 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 보정한 보상 픽셀값들을 획득하고,
상기 보상 픽셀값들 및 상기 노말 픽셀들을 통해 센싱된 픽셀값들을 포함하는 상기 노말 이미지를 생성하는 노말 이미지 생성부;를 포함하는 전자 장치.
제2항에 있어서,
상기 노이즈 영역에 포함된 픽셀값들 각각은, 상기 보상 픽셀값들 중 어느 하나의 보상 픽셀값인 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 노말 이미지의 복수의 영역들 중에서 선택된 영역에 포함된 픽셀값들에 기초하여, 상기 선택된 영역이 플랫 영역인지 여부를 판단하고,
상기 위상 검출 픽셀들 중에서 상기 선택된 영역에 대응되는 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀을 통해 센싱된 픽셀값들에 기초하여 상기 선택된 영역이 상기 플레어 영역인지 여부를 판단하고,
상기 선택된 영역이 상기 플랫 영역이면서 상기 플레어 영역이면, 상기 선택된 영역이 상기 노이즈 영역인 것을 나타내는 맵 데이터를 생성하는 노이즈 검출부;를 포함하는 전자 장치.
제4항에 있어서,
상기 노이즈 검출부는,
상기 노말 이미지의 복수의 영역들 중에서 선택된 영역 상에 복수의 단위 영역을 포함하는 커널을 정렬하고,
상기 선택된 영역에 포함된 복수의 픽셀값들 중에서 상기 복수의 단위 영역들의 중심 영역에 오버랩되는 중심 픽셀값 및 상기 커널에 오버랩되고 상기 중심 픽셀값과 같은 색상을 갖는 픽셀값들의 평균의 차이에 기초한 표준 편차 값이 제1 임계값 보다 작으면, 상기 선택된 영역이 상기 플랫 영역인 것으로 판단하는 플랫 영역 검출부;를 포함하는 전자 장치.
제5항에 있어서,
상기 플랫 영역 검출부는,
복수의 구간들 중에서 상기 선택된 픽셀값들의 평균이 속한 구간에 따라 상기 제1 임계값을 조정하고,
상기 복수의 구간들은, 상기 선택된 픽셀값들의 평균이 증가할수록 상기 제1 임계값이 증가하는 구간을 포함하는 전자 장치.
제4항에 있어서,
상기 노이즈 검출부는,
상기 좌측 위상 검출 픽셀을 통해 센싱된 픽셀값 및 상기 우측 위상 검출 픽셀을 통해 센싱된 픽셀값의 비율값이 상기 선택된 영역에 대응되는 제2 임계값을 초과하면, 상기 선택된 영역을 상기 플레어 영역으로 판단하는 플레어 영역 검출부;를 포함하는 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 노이즈 영역에 포함된 복수의 단위 영역들 중에서 어느 하나의 단위 영역에 포함된 픽셀값을 중심 픽셀값으로 선택하고,
상기 노이즈 영역에 포함된 상기 중심 픽셀값과 같은 색상을 갖는 픽셀값들 중에서, 상기 중심 픽셀값이 포함된 단위 영역과 제1 순위로 가까운 단위 영역들에 포함된 제1 주변 픽셀값들의 제1 평균값, 상기 중심 픽셀값이 포함된 단위 영역과 제2 순위로 가까운 단위 영역들에 포함된 제2 주변 픽셀값들의 제2 평균값, 및 보정 레이트에 기초해 보정값을 계산하고,
상기 보정값이 한도값 보다 작으면, 상기 중심 픽셀값 및 상기 보정값의 합에 기초해 상기 중심 픽셀값을 보정한 최종 픽셀값을 획득하는 픽셀 보정부;를 포함하는 전자 장치.
제8항에 있어서,
상기 복수의 단위 영역 각각은, 1x1의 픽셀값 또는 2x2의 픽셀값들을 포함하는 전자 장치.
제8항에 있어서,
상기 픽셀 보정부는,
상기 보정값이 한도값 보다 같거나 크면, 상기 중심 픽셀값 및 상기 한도값의 합에 기초해 상기 중심 픽셀값을 보정한 최종 픽셀값을 획득하는 전자 장치.
제8항에 있어서,
상기 픽셀 보정부는,
상기 복수의 단위 영역들 중에서 상기 중심 픽셀값이 포함된 단위 영역을 기준으로 미리 설정된 개수의 주변 영역들에 포함된 픽셀값들의 최대값 및 최소값의 차이값이 컷오프값 이상일 경우에, 상기 차이값이 증가할수록 상기 보정 레이트를 감소시키는 전자 장치.
제8항에 있어서,
상기 픽셀 보정부는,
상기 중심 픽셀값이 제1 기준값 이상이고 상기 제1 기준값보다 큰 값인 제2 기준값 미만일 경우, 상기 중심 픽셀값이 증가할수록 상기 한도값을 증가시키고,
상기 중심 픽셀값이 상기 제2 기준값 이상이고 상기 제2 기준값보다 큰 값인 제3 기준값 미만일 경우, 상기 중심 픽셀값이 증가할수록 상기 한도값을 감소시키는 전자 장치.
제12항에 있어서,
상기 픽셀 보정부는,
상기 중심 픽셀값이 상기 제1 기준값 미만이거나 또는 상기 제3 기준값 이상일 경우, 상기 한도값을 미리 설정된 최소 한도값이 되도록 변경하고,
상기 한도값이 미리 설정된 최대 한도값을 초과할 경우, 상기 한도값을 상기 최대 한도값이 되도록 변경하는 전자 장치.
제8항에 있어서,
상기 픽셀 보정부는,
상기 복수의 단위 영역들 중에서 상기 제1 주변 픽셀값들 및 상기 제2 주변 픽셀값들 중 어느 하나의 픽셀값을 포함하는 단위 영역들을 중심 영역들로 선택하고,
상기 중심 영역들 각각에 대해, 상기 중심 영역들 각각에 대응되는 제1 주변 영역들에 포함된 픽셀 값들의 평균 픽셀값 및 제2 주변 영역들에 포함된 픽셀 값들의 평균 픽셀값을 이용하여, 상기 제1 주변 픽셀값들을 보정한 제1 주변 보정 픽셀값들 및 상기 제2 주변 픽셀값들을 보정한 제2 주변 보정 픽셀값들을 획득하고,
상기 보정값이 한도값 보다 작으면, 상기 중심 픽셀값 및 상기 보정값의 합과 상기 제1 주변 보정 픽셀값들 및 상기 제2 주변 보정 픽셀값들의 가중치 합에 따른 값을 상기 최종 픽셀값으로 획득하는 전자 장치.
제14항에 있어서,
상기 제1 주변 영역들 각각은,
상기 복수의 단위 영역들 각각이 1x1의 픽셀값을 포함하는 경우, 상기 복수의 단위 영역들 중에서 상기 중심 영역들 각각으로부터 제1 순위로 가까운 단위 영역들이고,
상기 제2 주변 영역들 각각은,
상기 복수의 단위 영역들 각각이 1x1의 픽셀값을 포함하는 경우, 상기 복수의 단위 영역들 중에서 상기 중심 영역들 각각으로부터 제2 순위로 가까운 단위 영역들인 전자 장치.
제14항에 있어서,
상기 제1 주변 영역들 각각은,
상기 복수의 단위 영역들 각각이 2x2의 픽셀값을 포함하는 경우, 상기 중심 영역들 각각이고,
상기 제2 주변 영역들 각각은,
상기 복수의 단위 영역들 각각이 1x1의 픽셀값을 포함하는 경우, 상기 복수의 단위 영역들 중에서 상기 중심 영역들 각각으로부터 제1 순위로 가까운 단위 영역들인 전자 장치.
노말 픽셀들 및 위상 검출 픽셀들을 통해 센싱된 복수의 픽셀값들을 기초로 노말 이미지를 생성하는 단계;
상기 노말 이미지에 포함된 플레어 영역 중 노이즈 영역을 검출하는 단계; 및
상기 노이즈 영역에 포함된 픽셀값들 각각의 주변 픽셀값들을 이용해 상기 픽셀값들을 보정한 최종 픽셀값들을 포함하는 출력 이미지를 생성하는 단계;를 포함하는 전자 장치의 동작 방법.
제17항에 있어서,
상기 노말 이미지를 생성하는 단계는,
상기 노말 픽셀들 중에서 상기 위상 검출 픽셀들 각각의 주변 노말 픽셀들을 통해 센싱된 픽셀값들을 이용하여 상기 위상 검출 픽셀들을 통해 센싱된 픽셀값들을 보정한 보상 픽셀값들을 획득하는 단계; 및
상기 보상 픽셀값들 및 상기 노말 픽셀들을 통해 센싱된 픽셀값들을 포함하는 상기 노말 이미지를 생성하는 단계;를 포함하는 전자 장치의 동작 방법.
제17항에 있어서,
상기 노이즈 영역을 검출하는 단계는,
상기 노말 이미지의 복수의 영역들 중에서 선택된 영역에 포함된 픽셀값들에 기초하여, 상기 선택된 영역이 플랫 영역인지 여부를 판단하는 단계;
상기 위상 검출 픽셀들 중에서 상기 선택된 영역에 대응되는 좌측 위상 검출 픽셀 및 우측 위상 검출 픽셀을 통해 센싱된 픽셀값들에 기초하여 상기 선택된 영역이 상기 플레어 영역인지 여부를 판단하는 단계; 및
상기 선택된 영역이 상기 플랫 영역이면서 상기 플레어 영역이면, 상기 선택된 영역이 상기 노이즈 영역인 것으로 검출하는 단계;를 포함하는 전자 장치의 동작 방법.
제17항에 있어서,
상기 출력 이미지를 생성하는 단계는,
상기 노이즈 영역에 포함된 복수의 단위 영역들 중에서 어느 하나의 단위 영역에 포함된 픽셀값을 중심 픽셀값으로 선택하는 단계;
상기 노이즈 영역에 포함된 상기 중심 픽셀값과 같은 색상을 갖는 픽셀값들 중에서, 상기 중심 픽셀값이 포함된 단위 영역과 제1 순위로 가까운 단위 영역들에 포함된 제1 주변 픽셀값들의 제1 평균값, 상기 중심 픽셀값이 포함된 단위 영역과 제2 순위로 가까운 단위 영역들에 포함된 제2 주변 픽셀값들의 제2 평균값, 및 보정 레이트에 기초해 보정값을 계산하는 단계;
상기 보정값이 한도값 보다 작으면, 상기 중심 픽셀값 및 상기 보정값의 합에 기초해 상기 중심 픽셀값을 보정한 최종 픽셀값을 획득하는 단계;를 포함하는 전자 장치의 동작 방법.