KR20230011198A - 전자 장치 및 그 동작 방법 - Google Patents

Abstract

본 기술에 따른 전자 장치는 제1 노출 시간 동안 센싱한 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 단노출 픽셀 값들을 포함하는 이미지를 획득하는 이미지 센서, 및 제1 노출 시간 및 제2 노출 시간의 노출 비율, 및 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하고, 플래그 정보에 기초하여, 선택 영역에 포함된 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 프로세서를 포함한다.

Description

전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}

본 발명은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로 이미지 처리를 수행하는 전자 장치 및 그 동작 방법에 관한 것이다.

최근 들어, 전자 기술의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 카메라, 자율주행 차량 등 다양한 전자 장치에서 이미지 센서의 수요가 증가하고 있다. 이미지 센서는 빛을 전기적인 신호로 변환해 이미지를 생성할 수 있다.

일반적으로, 이미지 내에서 객체의 움직임이 있는 영역을 검출하기 위해서는, 시간에 따라 연속적으로 획득되는 복수의 이미지들을 비교하는 이미지 처리 방식을 이용할 수 있다. 다만, 이러한 이미지 처리 방식의 경우 이전에 획득된 이미지들을 저장하기 위한 별도의 저장 공간이 필요하며, 이미지가 획득될 때마다 이미지를 저장하는 것으로 인해 전력 소모가 발생하는 점에서 저전력 기술을 요구하는 환경에는 적용하기 어려운 문제가 있다. 이러한 문제들을 해결하기 위한 기술이 요구되고 있다.

본 발명의 실시예는 하나의 이미지에 포함된 모션 영역을 검출할 수 있는 전자 장치 및 그의 동작 방법을 제공하는 것에 목적이 있다.

본 개시의 일 실시 예에 따른 전자 장치는 제1 노출 시간 동안 센싱한 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 단노출 픽셀 값들을 포함하는 이미지를 획득하는 이미지 센서, 및 제1 노출 시간 및 제2 노출 시간의 노출 비율, 및 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하고, 플래그 정보에 기초하여, 선택 영역에 포함된 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 프로세서를 포함할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은 제1 노출 시간 동안 센싱한 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 단노출 픽셀 값들을 포함하는 이미지를 획득하는 단계, 제1 노출 시간 및 제2 노출 시간의 노출 비율, 및 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하는 단계, 및 플래그 정보에 기초하여, 선택 영역에 포함된 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 단계를 포함할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치는 서로 다른 노출 시간들 동안 센싱한 노말 픽셀 값들 및 단노출 픽셀 값들을 포함하는 이미지를 외부 장치로부터 수신하는 통신 인터페이스 및 노출 시간들의 노출 비율, 및 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 선택 영역이 모션 영역 또는 노말 영역인지 여부를 판단하고, 선택 영역이 모션 영역이면, 단노출 픽셀 값을 단노출 픽셀 값의 주변 픽셀 값들을 이용해 보정한 제1 복원 픽셀 값을 획득하고, 선택 영역이 노말 영역이면, 단노출 픽셀 값을 노출 비율을 이용해 보정한 제2 복원 픽셀 값을 획득하고, 제1 복원 픽셀 값 또는 제2 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 프로세서를 포함할 수 있다.

본 기술은 하나의 이미지에 포함된 모션 영역을 검출할 수 있는 전자 장치 및 그의 동작 방법을 제공할 수 있다.

본 기술은 이전 이미지 없이도 현재 이미지에 포함된 모션 영역을 검출할 수 있다. 이에 따라, 본 기술은 이전 이미지를 저장하기 위한 메모리 공간 및 전력 소모를 절감할 수 있다. 또한, 본 기술은 노이즈를 저감하여 보다 정확한 모션 영역을 검출할 수 있다.

도 1a는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1b는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 프로세서의 이미지 처리 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 프로세서의 세부 구성을 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시 예에 따른 이미지를 설명하기 위한 도면이다.
도 5b는 본 개시의 일 실시 예에 따른 노출 시간을 설명하기 위한 도면이다.
도 5c는 본 개시의 일 실시 예에 따른 노출 시간에 따라 획득되는 이미지를 설명하기 위한 도면이다.
도 5d는 본 개시의 일 실시 예에 따른 이미지를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 노출 보정부의 동작을 설명하기 위한 도면이다.
도 7a는 본 개시의 일 실시 예에 따른 모션 비율 계산부 및 모션 영역 검출부의 동작을 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시 예에 따른 플래그 정보의 형태를 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시 예에 따른 모션 영역 검출부의 동작을 설명하기 위한 도면이다.
도 8b는 본 개시의 일 실시 예에 따른 모션 영역 검출부의 동작을 설명하기 위한 도면이다.
도 8c는 본 개시의 일 실시 예에 따른 모션 영역 검출부의 동작을 설명하기 위한 도면이다.
도 9a는 본 개시의 일 실시 예에 따른 노이즈 필터의 동작을 설명하기 위한 도면이다.
도 9b는 본 개시의 일 실시 예에 따른 노이즈 필터의 동작을 설명하기 위한 도면이다.
도 9c는 본 개시의 일 실시 예에 따른 노이즈 필터의 동작을 설명하기 위한 도면이다.
도 10a는 본 개시의 일 실시 예에 따른 픽셀 보정부의 동작을 설명하기 위한 도면이다.
도 10b는 본 개시의 일 실시 예에 따른 픽셀 보정부의 동작을 설명하기 위한 도면이다.
도 10c는 본 개시의 일 실시 예에 따른 픽셀 보정부의 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 플래그 정보를 이용해 이미지를 압축하는 방식을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 도면이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

도 1a는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다. 도 1b는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.

도 1a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 이미지 센서(110) 및 프로세서(130)를 포함할 수 있다.

일 실시 예에 따른 전자 장치(100)는 촬상 장치, 디지털 카메라, 캠코더, CCTV(Closed-circuit Television), 웹캠, 보안 카메라, 산업용 비전 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 드론, 자율주행 차량, 차량용 비전 카메라, 셋톱 박스, 스마트 스피커, 게임 콘솔, 전자 사전, 전자책 리더기, MP3 플레이어, 스마트 의료기기, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 스마트 미러, 스마트 윈도우, 전자 키, 전자 액자, 디지털 광고판, 보안 컨트롤 패널 등일 수 있다. 여기서, 웨어러블 디바이스는 스마트 워치, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 헤드 마운티드 장치(head-mounted-device; HMD), 스킨 패드, 문신, 또는 생체 이식형 회로 등일 수 있다.

일 실시 예에 따른 전자 장치(100)는 패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 즉, 전자 장치(100)는 컴퓨팅 시스템에 포함되는 일 구성요소로서 동작할 수 있다. 여기서, 컴퓨팅 시스템은 예를 들어, 디지털 카메라, 모바일 장치, 스마트폰, PC, 태블릿 PC, 노트북, PDA, EDA, PMP, 웨어러블 디바이스, 블랙박스, 로봇, 자율주행 차량 등의 다양한 장치로 구현될 수 있다.

이미지 센서(110)는 광 신호를 센싱하여 이미지를 획득할 수 있다. 이를 위해, 이미지 센서(110)는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등으로 구현될 수 있다.

이미지는 픽셀 데이터들을 포함할 수 있다. 픽셀 데이터들은 행과 열에 따라 배열된 복수의 픽셀들을 통해 획득될 수 있다. 하나의 픽셀 데이터는 해당 픽셀 데이터를 획득하는 하나의 픽셀과 관련된 정보를 포함할 수 있다. 구체적으로, 픽셀 데이터는 픽셀 값, 색상, 위치, 노출 시간에 대한 정보를 포함할 수 있다. 여기서, 픽셀 값은 해당 픽셀이 센싱한 광 신호의 밝기를 나타낼 수 있다. 픽셀 값은 할당된 데이터 비트의 범위 내의 값을 가질 수 있다. 예를 들어, 데이터 비트가 8비트인 경우, 픽셀 값은 0 내지 255 범위 내의 자연수 값을 가질 수 있다. 위치는 해당 픽셀이 배열된 행과 열을 나타낼 수 있다. 색상은 해당 픽셀이 센싱한 광 신호의 색상을 나타낼 수 있다. 예를 들어, 색상은 레드, 그린, 블루 중 하나일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 상술한 색상들로 제한되지 않는다. 노출 시간은 해당 픽셀이 광 신호를 센싱한 시간을 나타낼 수 있다.

본 개시의 일 실시 예에 따른 이미지 센서(110)는 노말 픽셀 값들 및 단노출 픽셀 값들을 포함하는 이미지를 획득할 수 있다. 노말 픽셀 값은 제1 노출 시간 동안 센싱된 픽셀 값이며, 단노출 픽셀 값은 제2 노출 시간 동안 센싱된 픽셀 값일 수 있다. 여기서, 제2 노출 시간은 제1 노출 시간 보다 작은 시간일 수 있다. 즉, 이미지 센서(110)는 서로 다른 노출 시간 동안 센싱된 픽셀 값들을 포함하는 이미지를 획득할 수 있다. 다만, 이는 일 실시 예일 뿐, 노출 시간의 종류 및 개수는 이에 한정되지 아니하고 다양하게 변형되어 실시될 수 있다.

프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 이를 위해, 프로세서(130)는 적어도 하나의 처리 장치를 포함할 수 있다. 예를 들어, 프로세서(130)는 이미지 신호 프로세서(image signal processor, ISP), 디지털 신호 프로세서(digital signal processor, DSP), 애플리케이션 프로세서(application processor, AP), 그래픽 처리 장치(graphics processing unit, GPU) 및 중앙 처리 장치(central processing unit, CPU), 컨트롤러 등 중에서 적어도 하나를 포함할 수 있다.

프로세서(130)는 사용자 요청이 수신되면, 이미지를 획득하도록 이미지 센서(110)를 제어할 수 있다. 구체적으로, 프로세서(130)는 입력 인터페이스를 통해 사용자 요청을 수신할 수 있다. 예를 들어, 입력 인터페이스는 터치 감지 패널, 키보드, 마우스, 버튼, 마이크 등 중에서 하나로 구현될 수 있다. 또는, 프로세서(130)는 통신 인터페이스를 통해 외부 장치로부터 사용자 요청을 수신할 수 있다. 이 경우, 프로세서(130)는 이미지를 획득하도록 지시하는 커맨드를 이미지 센서(110)로 전송할 수 있다. 그리고, 프로세서(130)는 이미지 센서(110)로부터 획득된 이미지를 수신할 수 있다. 여기서, 이미지는 제1 노출 시간 동안 센싱된 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱된 단노출 픽셀 값들을 포함할 수 있다.

그리고, 프로세서(130)는 이미지가 수신되면, 이미지에 포함된 단노출 픽셀 값들 및 노말 픽셀 값들을 이용하여 이미지의 영역들 각각을 모션 영역 또는 노말 영역으로 판단할 수 있다. 이 경우, 프로세서(130)는 이미지의 영역들 각각을 모션 영역 또는 노말 영역으로 판단한 결과를 나타내는 플래그 정보를 획득할 수 있다. 여기서, 모션 영역은 이미지의 복수의 영역들 중에서 객체의 움직임이 발생한 영역을 나타낼 수 있다. 노말 영역은 이미지의 복수의 영역들 중에서 객체의 움직임이 발생하지 않은 영역을 나타낼 수 있다.

그리고, 프로세서(130)는 이미지에 포함된 단노출 픽셀 값들을 보정한 복원 이미지를 출력할 수 있다. 구체적으로, 프로세서(130)는 이미지에 포함된 단노출 픽셀 값들을 보정한 복원 픽셀 값들을 획득할 수 있다. 프로세서(130)는 이미지에 포함된 노말 픽셀 값들 및 복원 픽셀 값들을 포함하는 복원 이미지를 획득할 수 있다. 예를 들어, 프로세서(130)는 모션 영역에 포함된 단노출 픽셀 값을 단노출 픽셀 값의 주변 픽셀 값들을 이용해 보정한 제1 복원 픽셀 값을 획득할 수 있다. 프로세서(130)는 노말 영역에 포함된 단노출 픽셀 값을 노출 비율을 이용해 보정한 제2 복원 픽셀 값을 획득할 수 있다. 프로세서(130)는 모션 영역에 포함된 제1 복원 픽셀 값 또는 노말 영역에 포함된 제2 복원 픽셀 값을 포함하는 복원 이미지를 출력할 수 있다. 여기서, 단노출 픽셀 값은 노출 시간이 상이한 노말 픽셀 값과 픽셀 값의 차이가 발생하고 또한 단노출 픽셀 값은 노이즈 발생 가능성이 높기 때문에, 단노출 픽셀 값을 보정함으로써 이러한 문제점을 해결하기 위한 것이다.

도 1b를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 통신 인터페이스(120) 및 프로세서(130)를 포함할 수 있다.

통신 인터페이스(120)는 다양한 통신 방식에 따른 통신을 통해 정보 또는 신호를 송수신할 수 있다. 이를 위해, 통신 인터페이스(120)는 유선 통신 또는 무선 통신을 수행하는 회로를 포함할 수 있다. 예를 들어, 통신 인터페이스(120)는 블루투스(Bluetooth) 모듈, 와이파이(Wi-Fi) 모듈, 셀룰러 통신 모듈, NFC(Near Field Communication) 모듈, 적외선 통신 모듈, Zigbee 통신 모듈, 초광대역(Ultra-wideband, UWB) 모듈, 초음파 모듈, 이더넷 모듈, LAN(Local Area Network) 모듈, MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), 썬더볼트(Thunderbolt) 모듈, 광통신 모듈, 위성 통신 모듈 및 컴포넌트 중 적어도 하나를 포함할 수 있다.

전자 장치(100)는 통신 인터페이스(120)를 통해 외부 장치로부터 이미지를 수신할 수 있다. 여기서, 외부 장치는 상술한 이미지 센서(110)를 포함하는 장치일 수 있다. 이 경우, 전자 장치(100)는 서버일 수 있다. 다만 이는 일 실시 예일 뿐이며, 전자 장치(100)는 상술한 PC, 셋톱 박스, 스마트 스피커, 텔레비전 등과 같은 다양한 장치들 중 하나일 수 있다.

통신 인터페이스(120)를 통해 수신되는 이미지는 서로 다른 노출 시간들 동안 센싱한 노말 픽셀 값들 및 단노출 픽셀 값들을 포함할 수 있다. 예를 들어, 이미지는 제1 노출 시간 동안 센싱된 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱된 단노출 픽셀 값들을 포함할 수 있다.

프로세서(130)는 통신 인터페이스(120)를 통해 이미지를 수신할 수 있다. 그리고, 프로세서(130)는 이미지가 수신되면, 이미지에 포함된 단노출 픽셀 값들 및 노말 픽셀 값들을 이용하여 이미지의 영역들 각각을 모션 영역 또는 노말 영역으로 판단할 수 있다. 그리고, 프로세서(130)는 이미지에 포함된 단노출 픽셀 값들을 보정한 복원 이미지를 출력할 수 있다. 이와 같이, 전자 장치(100)는 내부에 탑재된 이미지 센서(110) 또는 외부 장치로부터 획득된 이미지를 이용해 모션 영역을 검출하고, 단노출 픽셀 값들을 보정한 복원 이미지를 출력할 수 있다.

이상과 같은 본 개시의 일 실시 예에 따른 전자 장치(100)는 이전 이미지 없이 하나의 이미지를 이용해 모션 영역을 검출할 수 있다. 이에 따라, 이전 이미지를 저장하기 위한 메모리 공간 및 전력 소모를 절감할 수 있다. 또한, 본 개시의 일 실시 예에 따른 전자 장치(100)는 모두 같은 노출 시간 동안 센싱된 픽셀 값들을 포함하는 이미지를 획득하는 경우와 비교하여 화질이 저하되지 않거나 화질이 개선된 복원 이미지를 획득할 수 있다.

이하에서는 첨부된 도면을 참조하여 본 개시의 실시 예에 대해 보다 구체적으로 설명하도록 한다.

도 2는 본 개시의 일 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.

도 2를 참조하면, 이미지 센서(110)는 광학 렌즈(LS), 픽셀 어레이(111), 로우 디코더(112), 타이밍 생성기(113), 신호 변환기(114) 및 출력 버퍼(115)를 포함할 수 있다.

광학 렌즈(LS)는 입사되는 광 신호를 굴절시킬 수 있다. 광학 렌즈(LS)를 통해 굴절된 광 신호는 픽셀 어레이(111)로 전달될 수 있다. 이를 위해, 광학 렌즈(LS)는 픽셀 어레이(111) 상에 배열된 마이크로 렌즈들의 집합체일 수 있다. 한편, 광 신호는 객체의 크기, 형상, 위치 및 색상 등과 같은 객체에 대한 정보를 포함할 수 있다. 여기서, 객체는 이미지 센서(110)의 외부에 존재하는 사람, 사물, 동물, 식물 등과 같이 촬영의 대상이 되는 피사체일 수 있다.

픽셀 어레이(111)는 복수의 픽셀을 포함할 수 있다. 복수의 픽셀은 행(row) 방향과 열(column) 방향으로 배열될 수 있다. 픽셀 어레이(111)의 픽셀들은 이미지(IMG)의 픽셀 값들에 각각 대응될 수 있다. 픽셀 어레이(111)의 픽셀들은 물리적인 영역에 배열된 것이며, 이미지(IMG)의 픽셀 값들은 디지털 영역에 배열된 것일 수 있다. 픽셀 어레이(111)의 픽셀 및 이미지(IMG)의 픽셀 값은 동일한 배열 위치에 대해 대응 관계를 가질 수 있다.

픽셀 어레이(111)의 픽셀은 컬러 필터 및 센싱 회로를 포함할 수 있다.

컬러 필터는 센싱 회로의 상부에 배치될 수 있다. 광학 렌즈(LS)를 통해 굴절된 광 신호는 컬러 필터를 통과해 센싱 회로에 도달할 수 있다. 컬러 필터는 특정한 색상 또는 특정한 파장을 갖는 광 신호를 통과시키고 나머지 색상 또는 나머지 파장을 갖는 광 신호를 차단하는 역할을 할 수 있다. 컬러 필터의 색상은 레드, 그린 및 블루 중 하나일 수 있다. 픽셀에 포함되는 컬러 필터의 색상에 따라 레드 픽셀, 그린 픽셀 및 블루 픽셀과 같이 지칭할 수 있다. 다만 이는 일 실시 예일 뿐이며, 컬러 필터의 색상은 다양하게 변형될 수 있다.

픽셀 어레이(111)의 픽셀들은 베이어 패턴에 따라 배열될 수 있다. 구체적으로, 동종 색상의 픽셀들의 그룹이 교대로 배열될 수 있다. 즉, 하나의 그룹에는 서로 동일한 색상의 픽셀들을 포함하고, 하나의 그룹 내에서 픽셀들은 m x n으로 배열될 수 있다. 여기서, m 및 n은 자연수이다. 예를 들어, 쿼드 베이어 패턴의 경우 각 그룹은 같은 색상을 갖고 2 x 2로 배열된 픽셀들을 포함할 수 있다.

센싱 회로는 컬러 필터의 하부에 배치될 수 있다. 센싱 회로는 광 감지 소자를 포함할 수 있다. 광 감지 소자는 광전 효과를 이용해 수신된 광 신호로부터 전기적인 픽셀 신호를 생성할 수 있다. 예를 들어, 광 감지 소자가 노출 시간 동안 광 신호가 수신되면, 광 신호에 대응되는 전하가 센싱 회로에 축적되며, 센싱 회로에 축적된 전하에 대응되는 픽셀 신호가 생성될 수 있다. 이를 위해, 광 감지 소자는 pn 접합 포토 다이오드, PIN(Positive-Intrinsic-Negative) 포토 다이오드, APD(Avalanche Photo Diode), 포토 트랜지스터 등과 같은 다양한 반도체 소자로 구현될 수 있다.

로우 디코더(112)는 타이밍 생성기(113)의 제어에 따라 픽셀 데이터를 리드하기 위한 픽셀들을 선택할 수 있다. 예를 들어, 로우 디코더(112)는 타이밍 생성기(113)로부터 출력된 어드레스와 제어 신호들에 응답하여 픽셀 어레이(111)에 포함된 복수의 픽셀 중에서 어드레스에 대응되는 행에 위치한 픽셀들을 선택할 수 있다.

타이밍 생성기(113)는 픽셀 어레이(111)에서 특정한 행에 위치한 픽셀들로부터 픽셀 데이터를 리드하도록 로우 디코더(112) 및 신호 변환기(114)를 제어할 수 있다. 예를 들어, 타이밍 생성기(113)는 픽셀 어레이(111)의 특정한 행에 위치한 픽셀들을 나타내는 로우 어드레스를 순차적으로 로우 디코더(112)로 출력할 수 있다. 이 경우, 타이밍 생성기(113)는 특정한 열에 위치한 픽셀의 노출 시간을 조정하는 커맨드를 로우 디코더(112)로 출력할 수 있다.

신호 변환기(114)는 픽셀 어레이(111)로부터 수신되는 픽셀 신호들 및 타이밍 생성기(113)로부터 수신되는 로우 어드레스를 이용하여 픽셀 데이터들을 획득할 수 있다. 그리고, 신호 변환기(114)는 픽셀 데이터들을 출력 버퍼(115)로 전달할 수 있다.

구체적으로, 신호 변환기(114)는 복수의 컬럼 라인을 통해 픽셀 어레이(111)의 픽셀들과 연결될 수 있다. 한 컬럼 라인에는 행의 개수에 비례하는 픽셀들이 연결될 수 있다. 신호 변환기(114)는 각각의 컬럼 라인을 통해 하나의 행에 위치한 픽셀들에 대한 픽셀 신호들을 수신할 수 있다. 즉, 신호 변환기(114)는 행 단위의 픽셀 신호들을 수신할 수 있다. 신호 변환기(114)는 픽셀 어레이(111)로부터 수신되는 픽셀 신호의 레벨에 대응되는 픽셀 값을 획득할 수 있다. 여기서, 픽셀 신호는 예를 들어, 전압일 수 있다. 이를 위해, 신호 변환기(114)는 아날로그-디지털 컨버터를 포함할 수 있다. 또한, 신호 변환기(114)는 로우 어드레스들 각각에 매핑된 픽셀들의 색상 정보에 기초하여, 타이밍 생성기(113)로부터 수신되는 로우 어드레스에 대응되는 행에 위치한 픽셀들의 색상에 대한 정보를 획득할 수 있다.

출력 버퍼(115)는 복수의 컬럼 라인을 통해 신호 변환기(114)와 연결될 수 있다. 출력 버퍼(115)는 신호 변환기(114)로부터 수신되는 행 단위의 픽셀 값들을 순차적으로 저장할 수 있다. 출력 버퍼(115)는 모든 행에 대한 픽셀 값들이 저장되면, 저장된 픽셀 값들을 포함하는 하나의 이미지(IMG)를 출력할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 프로세서의 이미지 처리 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 이미지(410)의 선택 영역에 포함된 단노출 픽셀 값(S) 및 노말 픽셀 값들, 및 노출 비율을 이용하여, 모션 맵(430)에 포함되는 플래그 정보를 획득할 수 있다. 여기서, 플래그 정보는 선택 영역이 모션 영역 또는 노말 영역인 것을 나타내는 정보일 수 있다.

구체적으로, 프로세서(130)는 이미지 센서(110) 또는 통신 인터페이스(120)를 통해 이미지(410)를 수신할 수 있다. 이미지(410)는 제1 노출 시간 동안 센싱된 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱된 단노출 픽셀 값들(S)을 포함할 수 있다.

그리고, 프로세서(130)는 이미지(410)에 포함된 단노출 픽셀 값들(S)을 보정한 보정 픽셀 값들(C)을 포함하는 보정 이미지(420)를 획득할 수 있다. 보정 이미지(420)는 이미지(410)에 포함된 노말 픽셀 값들 및 보정 픽셀 값들(C)을 포함할 수 있다. 즉, 보정 이미지(420)는 이미지(410)에 포함된 단노출 픽셀 값들(S)이 보정 픽셀 값들(C)로 대체된 것일 수 있다. 이 경우, 이미지(410)의 영역들은 보정 이미지(420)의 영역들과 서로 대응될 수 있다. 본 개시에서 설명하는 영역의 단위는 이미지(410) 또는 보정 이미지(420)에 포함된 픽셀 값들 중에서 같은 색상을 갖고 연속적으로 배열되는 픽셀 값들을 포함하는 영역일 수 있다. 각 영역의 사이즈는 행 방향 및 열 방향으로 배열되는 픽셀 값의 개수를 나타낼 수 있다. 예를 들어, 각 영역의 사이즈는 2x2 또는 3x3 등일 수 있다.

그리고, 프로세서(130)는 보정 이미지(420)의 선택 영역에 포함된 노말 픽셀 값들 및 보정 픽셀 값(C)을 이용하여, 선택 영역이 모션 영역 또는 노말 영역인 것을 나타내는 플래그 정보를 획득할 수 있다. 여기서, 플래그 정보는 모션 맵(430)에 포함될 수 있다. 예를 들어, 플래그 정보의 값이 1인 경우 선택 영역이 모션 영역인 것을 나타내고, 플래그 정보의 값이 0인 경우 선택 영역이 노말 영역인 것을 나타낼 수 있다.

그리고, 프로세서(130)는 모션 맵(430)에 포함된 선택 영역에 대한 플래그 정보를 이용하여, 최종 모션 맵(440)에 포함될 널(null) 영역에 대한 플래그 정보를 획득할 수 있다. 모션 맵(430)은 이미지(410) 또는 보정 이미지(420)의 복수의 영역들에 각각 대응되는 복수의 영역들을 포함할 수 있다. 선택 영역은 이미지(410)의 복수의 영역들 중에서 단노출 픽셀 값(S)을 포함하는 영역 또는 보정 이미지(420)의 복수의 영역들 중에서 보정 픽셀 값(C)을 포함하는 영역을 나타낼 수 있다. 널 영역은 이미지(410)의 복수의 영역들 중에서 단노출 픽셀 값(S)을 포함하지 않는 영역 또는 보정 이미지(420)의 복수의 영역들 중에서 보정 픽셀 값(C)을 포함하지 않는 영역을 나타낼 수 있다.

그리고, 프로세서(130)는 이미지(410) 및 최종 모션 맵(440)을 이용해 복원 이미지(450)를 생성하여 출력할 수 있다. 여기서, 이미지(410) 대신 보정 이미지(420)가 이용될 수 있다. 또한, 최종 모션 맵(440) 대신 모션 맵(430)이 이용될 수 있다.

예를 들어, 프로세서(130)는 최종 모션 맵(440)에 포함된 플래그 정보를 이용해 이미지(410)의 선택 영역이 모션 영역 또는 노말 영역인지 여부를 판단할 수 있다.

이 경우, 프로세서(130)는 이미지(410)의 모션 영역에 포함된 단노출 픽셀 값(S)을 제1 방식에 따라 보정한 제1 복원 픽셀 값(I)을 획득할 수 있다. 여기서, 제1 방식은 모션 영역에 포함된 단노출 픽셀 값(S)의 주변 픽셀 값들을 보간하는 방식일 수 있다.

또한, 프로세서(130)는 이미지(410)의 노말 영역에 포함된 단노출 픽셀 값(S)을 제2 방식에 따라 보정한 제2 복원 픽셀 값(C)을 획득할 수 있다. 여기서, 제2 방식은 노말 영역에 포함된 단노출 픽셀 값(S)에 노출 비율을 곱한 값일 수 있다. 즉, 노말 영역에 포함된 제2 복원 픽셀 값(C)은 보정 이미지(420)의 노말 영역에 포함된 보정 픽셀 값(C)과 같은 값일 수 있다.

그리고, 프로세서(130)는 모션 영역의 제1 복원 픽셀 값(I) 또는 노말 영역의 제2 복원 픽셀 값(C)을 포함하는 복원 이미지(450)를 획득할 수 있다. 복원 이미지(450)는 제1 복원 픽셀 값(I) 또는 제2 복원 픽셀 값(C), 및 이미지(410)에 포함된 노말 픽셀 값들을 포함할 수 있다. 즉, 복원 이미지(450)는 이미지(410)에 포함된 단노출 픽셀 값들(S)이 제1 복원 픽셀 값(I) 또는 제2 복원 픽셀 값(C)으로 대체된 것일 수 있다. 또는, 복원 이미지(450)는 보정 이미지(420)에 포함된 보정 픽셀 값들(C) 중에서 모션 영역에 포함된 보정 픽셀 값들(C)이 제1 복원 픽셀 값(I)으로 대체된 것일 수 있다.

도 4는 본 개시의 일 실시 예에 따른 프로세서의 세부 구성을 설명하기 위한 도면이다.

도 4를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(130)는 노출 보정부(131), 모션 비율 계산부(132), 모션 영역 검출부(133), 노이즈 필터(134) 및 픽셀 보정부(135) 중에서 적어도 하나를 포함할 수 있다.

일 실시 예에서, 노출 보정부(131), 모션 비율 계산부(132), 모션 영역 검출부(133), 노이즈 필터(134) 및 픽셀 보정부(135) 각각은 프로세서(130)가 수행하는 인스트럭션, 프로그램 등의 소프트웨어 모듈로 구현될 수 있다. 이 경우, 프로세서(130) 또는 전자 장치(100)는 소프트웨어 모듈을 저장하는 메모리를 더 포함할 수 있다. 일 실시 예에서, 노출 보정부(131), 모션 비율 계산부(132), 모션 영역 검출부(133), 노이즈 필터(134) 및 픽셀 보정부(135) 각각은 논리 회로, 부품, ISP, DSP, AP, CPU, GPU 등과 같은 하드웨어로 구현될 수 있다.

노출 보정부(131)는 단노출 픽셀 값들을 노출 비율을 이용해 보정한 보정 픽셀 값들을 획득할 수 있다. 여기서, 노출 비율은 노말 픽셀 값들의 제1 노출 시간 및 단노출 픽셀 값들의 제2 노출 시간의 비율일 수 있다. 이 경우, 노출 보정부(131)는 단노출 픽셀 값들에 노출 비율을 곱한 값을 보정 픽셀 값들로 획득할 수 있다. 그리고, 노출 보정부(131)는 보정 픽셀 값들 및 노말 픽셀 값들을 포함하는 보정 이미지를 획득할 수 있다. 보다 구체적인 내용은 도 6을 참조하여 설명하도록 한다.

모션 비율 계산부(132)는 보정 이미지의 복수의 영역들 각각에 대한 모션 비율을 획득할 수 있다. 예를 들어, 모션 비율 계산부(132)는 보정 이미지의 복수의 영역들 중에서 어느 하나의 영역을 선택 영역으로 선택할 수 있다. 여기서, 선택 영역은 보정 이미지의 복수의 영역들 중에서 단노출 픽셀 값을 포함하는 영역일 수 있다. 모션 비율 계산부(132)는 선택 영역에 포함된 노말 픽셀 값들 및 적어도 하나의 단노출 픽셀 값을 이용해 선택 영역에 대한 모션 비율을 획득할 수 있다.

일 실시 예에서, 모션 비율 계산부(132)는 선택 영역에 포함된 노말 픽셀 값들의 평균 값 및 보정 픽셀 값의 평균 값의 비율을 나타내는 모션 비율을 획득할 수 있다.

모션 영역 검출부(133)는 보정 이미지의 복수의 영역들 중에서 선택 영역에 대한 모션 비율에 기초하여, 보정 이미지의 선택 영역이 모션 영역 또는 노말 영역인지를 판단할 수 있다. 여기서, 선택 영역은 보정 이미지의 복수의 영역들 중에서 단노출 픽셀 값을 포함하는 영역일 수 있다. 이 경우, 모션 영역 검출부(133)는 보정 이미지의 복수의 영역들 중에서 선택 영역에 대한 모션 비율에 기초하여, 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다. 여기서, 복수의 영역들 중 선택 영역들 각각에 대한 플래그 정보들의 집합이 도 3에 도시한 모션 맵(430)일 수 있다.

일 실시 예에서, 모션 영역 검출부(133)는 모션 비율 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값을 초과하면, 선택 영역이 모션 영역인 것을 나타내는 제1 값을 포함하는 플래그 정보를 획득할 수 있다. 일 실시 예에서, 모션 영역 검출부(133)는 모션 비율 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값 이하이면, 선택 영역이 노말 영역인 것을 나타내는 제2 값을 포함하는 플래그 정보를 획득할 수 있다. 여기서, 제1 값은 1이고, 제2 값은 0일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 제1 값 및 제2 값은 다양한 값으로 변형되어 실시 될 수 있다. 보다 구체적인 내용은 도 7a 및 도 7b를 참조하여 설명하도록 한다.

한편, 제1 기준 값 및 제2 기준 값은 프로세서(130) 또는 전자 장치(100)에 포함된 메모리에 미리 저장될 수 있다. 예를 들어, 제1 기준 값은 1이고, 제2 기준 값은 0.3일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 제1 기준 값 및 제2 기준 값은 다양한 값으로 변형되어 실시될 수 있다.

모션 영역 검출부(133)는 널(null) 영역의 주변 영역에 대한 플래그 정보를 이용해 널(null) 영역에 대한 플래그 정보를 획득할 수 있다. 여기서, 널 영역은 복수의 영역들 중에서 플래그 정보가 존재하지 않는 영역일 수 있다. 즉, 널 영역은 이미지(410)의 복수의 영역들 중에서 단노출 픽셀 값을 포함하지 않는 영역일 수 있다. 여기서, 복수의 영역들 각각에 대한 플래그 정보들의 집합이 도 3에 도시한 최종 모션 맵(440)일 수 있다.

구체적으로, 모션 영역 검출부(133)는 널(null) 영역에 커널의 중심 영역을 대응시킬 수 있다. 예를 들어, 모션 영역 검출부(133)는 널(null) 영역 상에 커널의 중심 영역이 위치하도록 커널을 정렬시킬 수 있다. 커널은 미리 설정된 배열 형태에 따라 배열된 복수의 영역들을 포함할 수 있다. 예를 들어, 커널은 크로스 배열 형태에 따라 배열된 중심 영역 및 주변 영역들을 포함할 수 있다.

모션 영역 검출부(133)는 복수의 영역들 중에서 커널에 포함된 중심 영역의 주변 영역들에 대응되는 영역들에 포함된 플래그 정보의 값에 따라, 널 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다. 보다 구체적인 내용은 도 8a 내지 도 8c를 참조하여 설명하도록 한다.

노이즈 필터(134)는 도 3에 도시된 최종 모션 맵(440)에서 커널을 이용해 노이즈를 제거할 수 있다. 여기서, 커널은 미리 설정된 배열 형태에 따라 배열된 복수의 영역들을 포함할 수 있다. 예를 들어, 커널은 크로스 배열 형태에 따라 배열된 중심 영역 및 주변 영역들을 포함할 수 있다.

구체적으로, 노이즈 필터(134)는 복수의 영역들 중에서 모션 영역을 나타내는 플래그 정보를 포함하는 모션 플래그 영역에 커널의 중심 영역을 대응시킬 수 있다. 노이즈 필터(134)는 복수의 영역들 중에서 커널의 주변 영역들에 대응되는 영역들 및 모션 플래그 영역에 포함된 모션 영역을 나타내는 플래그 정보의 값에 따라, 모션 플래그 영역에 포함된 플래그 정보를 유지하거나 또는 노말 영역인 것을 나타내는 플래그 정보로 변경할 수 있다. 보다 구체적인 내용은 도 9a 내지 도 9c를 참조하여 설명하도록 한다.

픽셀 보정부(135)는 단노출 픽셀 값들을 보정한 복원 픽셀 값들을 획득할 수 있다. 픽셀 보정부(135)는 복원 픽셀 값들을 포함하는 복원 이미지를 획득하여 출력할 수 있다.

구체적으로, 픽셀 보정부(135)는 플래그 정보가 선택 영역이 모션 영역인 것으로 나타내면, 단노출 픽셀 값의 주변 픽셀 값을 이용해 단노출 픽셀 값을 보정한 제1 복원 픽셀 값을 획득할 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 플래그 정보가 선택 영역이 모션 영역인 것으로 나타내면, 노말 픽셀 값들 중에서 선택 영역에 포함된 단노출 픽셀 값과 같은 색상의 노말 픽셀 값들을 선택할 수 있다. 픽셀 보정부(135)는 선택된 노말 픽셀 값들 중에서 단노출 픽셀 값을 기준으로 복수의 방향들로 가장 가까운 거리에 위치한 주변 노말 픽셀 값들과 단노출 픽셀 값 사이의 거리 및 주변 노말 픽셀 값들의 가중치 합에 따른 값을 제1 복원 픽셀 값으로 획득할 수 있다.

여기서, 복수의 방향들은 상측 방향, 하측 방향, 좌측 방향 및 우측 방향을 포함할 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 선택된 노말 픽셀 값들 중에서 단노출 픽셀 값을 기준으로 복수의 방향들 중 어느 하나의 방향으로 가장 가까운 거리에 위치한 제1 픽셀 값이 존재하지 않는 경우, 어느 하나의 방향과 반대 방향으로 가장 가까운 거리에 위치한 제2 픽셀 값을 제1 픽셀 값으로 획득할 수 있다.

한편, 픽셀 보정부(135)는 플래그 정보가 선택 영역이 노말 영역인 것으로 나타내면, 선택 영역에 포함된 단노출 픽셀 값에 노출 비율을 곱한 값을 제2 복원 픽셀 값으로 획득할 수 있다. 픽셀 보정부(135)의 동작에 대한 보다 구체적인 내용은 도 10a 내지 도 10c를 참조하여 설명하도록 한다.

도 5a는 본 개시의 일 실시 예에 따른 이미지를 설명하기 위한 도면이다.

도 5a를 참조하면, 이미지(510)는 복수의 픽셀 값들을 포함할 수 있다. 복수의 픽셀 값들은 노출 시간에 따라 노말 픽셀 값들 및 단노출 픽셀 값들로 구별될 수 있다. 복수의 픽셀 값들은 색상에 따라 Gr 픽셀 값들(Gr1, Gr2, Gr3, Gr4), R 픽셀 값들(R1, R2, R3, R4), B 픽셀 값들(B1, B2, B3, B4) 및 Gb 픽셀들(Gb1, Gb2, Gb3, Gb4)로 구별될 수 있다. 여기서, 이미지(510)에 포함된 복수의 픽셀 값들의 배열은 이미지 센서(110)의 픽셀들의 배열 형태에 따라 결정될 수 있다.

이미지(510)는 복수의 베이어 영역들을 포함할 수 있다. 복수의 베이어 영역들은 이미지(510)에 포함된 행과 열 방향으로 배열된 픽셀 값들의 개수에 따라 반복되어 배열될 수 있다. 복수의 베이어 영역들 각각은 같은 설명이 적용될 수 있는 점에서, 어느 하나의 베이어 영역(10)에 대해 설명하도록 한다.

베이어 영역(10)은 복수의 영역들을 포함할 수 있다. 복수의 영역들 각각은 같은 색상을 갖는 픽셀 값들을 포함하는 영역일 수 있다. 예를 들어, 베이어 영역(10)은 제1 영역 내지 제4 영역을 포함할 수 있다. 제1 영역은 그린 색상을 나타내는 Gr 픽셀 값들(Gr1, Gr2, Gr3, Gr4)을 포함할 수 있다. 제2 영역은 레드 색상을 나타내는 R 픽셀 값들(R1, R2, R3, R4)을 포함할 수 있다. 제3 영역은 블루 색상을 나타내는 B 픽셀 값들(B1, B2, B3, B4)을 포함할 수 있다. 제4 영역은 그린 색상을 나타내는 Gb 픽셀들(Gb1, Gb2, Gb3, Gb4)을 포함할 수 있다. 제1 영역 내지 제4 영역은 2x2로 배열될 수 있다. 여기서, 그린 색상을 나타내는 Gr 픽셀 값들(Gr1, Gr2, Gr3, Gr4)을 포함하는 제1 영역 및 Gb 픽셀들(Gb1, Gb2, Gb3, Gb4)을 포함하는 제4 영역은 서로 대각선 방향에 위치할 수 있다.

베이어 영역(10)은 노말 픽셀 값들 및 단노출 픽셀 값들을 포함할 수 있다. 노말 픽셀 값들은 제1 노출 시간(ET_N) 동안 센싱된 픽셀 값들이며, 단노출 픽셀 값들은 제1 노출 시간(ET_N) 보다 작은 제2 노출 시간(ET_S) 동안 센싱된 픽셀 값들일 수 있다.

일 실시 예에서, 이미지(510)에 포함된 단노출 픽셀 값들(ET_S)의 개수는 이미지(510)에 포함된 노말 픽셀 값들(ET_S)의 개수 보다 작을 수 있다. 예를 들어, 하나의 베이어 영역(10)에 포함된 복수의 영역들 중에서 어느 하나의 영역(11)은 3개의 노말 픽셀 값들(11n) 및 1개의 단노출 픽셀 값(11s)을 포함할 수 있다. 이는 단노출 픽셀 값들(ET_S)의 경우 노출 시간이 작아 노이즈가 발생할 가능성이 높기 때문에 그 개수를 제한하여 노이즈를 줄이기 위함이다.

일 실시 예에서, 이미지(510)에 포함된 복수의 영역들 중에서 제1 영역들 및 제4 영역들은 적어도 하나의 단노출 픽셀 값(ET_S)을 포함할 수 있다. 제1 영역들 및 제4 영역들은 단노출 픽셀 값(ET_S)을 제외한 나머지 위치에 배열된 복수의 노말 픽셀 값들을 포함할 수 있다. 단노출 픽셀 값(ET_S)은 제1 영역들 및 제4 영역들 내에서 동일한 위치에 배열될 수 있다. 다만, 이는 일 실시 예일 뿐이며, 단노출 픽셀 값(ET_S)의 개수 및 배열 위치는 다양하게 변형되어 실시될 수 있다.

도 5b는 본 개시의 일 실시 예에 따른 노출 시간을 설명하기 위한 도면이다. 도 5c는 본 개시의 일 실시 예에 따른 노출 시간에 따라 획득되는 이미지를 설명하기 위한 도면이다.

도 5b를 참조하면, 본 개시의 일 실시 예에 따른 제1 노출 시간(ET_N)은 제2 노출 시간(ET_S) 보다 큰 시간일 수 있다. 제1 노출 시간(ET_N)의 적어도 일부 구간 및 제2 노출 시간(ET_S)의 적어도 일부 구간은 서로 오버랩될 수 있다.

도 5b의 (1)을 참조하면, 일 실시 예에 따른 제1 노출 시간(ET_N)은 제1 시간(t1)부터 제3 시간(t3)까지의 구간을 포함할 수 있다. 제1 시간(t1)은 제1 노출 시간(ET_N)이 설정된 제1 픽셀이 광 신호를 센싱하는 센싱 동작을 시작하는 시점이고, 제3 시간(t3)은 제1 픽셀이 센싱 동작을 종료하는 시점일 수 있다.

이 경우, 제2 노출 시간(ET_S)은 제2 시간(t2)부터 제3 시간(t3)까지의 구간을 포함할 수 있다. 제2 시간(t2)은 제2 노출 시간(ET_S)이 설정된 제2 픽셀이 광 신호를 센싱하는 센싱 동작을 시작하는 시점이고, 제3 시간(t3)은 제2 픽셀이 센싱 동작을 종료하는 시점일 수 있다. 즉, 제1 픽셀은 제2 픽셀 보다 먼저 센싱 동작을 시작하고, 이후 제2 픽셀이 센싱 동작을 시작할 수 있다. 이후, 제1 픽셀 및 제2 픽셀은 동시에 센싱 동작을 종료할 수 있다.

도 5b의 (2)를 참조하면, 일 실시 예에 따른 제1 노출 시간(ET_N)은 제1 시간(t1)부터 제3 시간(t3)까지의 구간을 포함할 수 있다. 이 경우, 제2 노출 시간(ET_S)은 제1 시간(t1)부터 제2 시간(t2)까지의 구간을 포함할 수 있다. 즉, 제1 픽셀 및 제2 픽셀은 동시에 센싱 동작을 시작할 수 있다. 이후 제2 픽셀이 센싱 동작을 먼저 종료할 수 있다. 이후, 제1 픽셀이 센싱 동작을 종료할 수 있다. 한편, 상술한 실시 예들은 일 실시 예일 뿐이며, 센싱 동작의 시작 시간 및 종료 시간은 다양하게 변형되어 실시될 수 있다.

본 개시의 일 실시 예에 따른 이미지 센서(110)는 제1 노출 시간(ET_N) 동안 센싱된 노말 픽셀 값들 및 제2 노출 시간(ET_S) 동안 센싱된 단노출 픽셀 값들을 포함하는 이미지를 획득할 수 있다. 이 경우, 프로세서(130)는 딥러닝 모델에 노말 픽셀 값들을 입력하여, 제1 노출 시간(ET_N)에 대한 노말 이미지를 획득할 수 있다. 또한, 프로세서(130)는 딥러닝 모델에 단노출 픽셀 값들을 입력하여, 제2 노출 시간(ET_S)에 대한 단노출 이미지를 획득할 수 있다. 여기서, 딥러닝 모델은 픽셀 값들을 이용해 이미지를 출력하도록 학습된 인공지능 모델일 수 있다.

예를 들어, 도 5b의 (1)를 참조하면 제1 노출 시간(ET_N)은 제1 시간(t1)부터 제3 시간(t3)까지의 구간을 포함하고, 제2 노출 시간(ET_S)은 제2 시간(t2)부터 제3 시간(t3)까지의 구간을 포함하며, 객체는 제1 시간(t1)부터 제3 시간(t3)까지 좌측에서 우측으로 이동한 경우를 가정하도록 한다. 이 경우, 도 5c의 (1) 및 (2)를 참조하면, 딥러닝 모델을 통해 하나의 이미지로부터 단노출 이미지(530) 및 노말 이미지(550)가 획득될 수 있다.

단노출 이미지(530)는 제1 영역(531), 제2 영역(533), 제3 영역(535) 및 제4 영역(537)을 포함할 수 있다. 제3 영역(535)은 제2 시간(t2)부터 제3 시간(t3)까지의 제2 노출 시간(ET_S) 동안 객체가 위치한 영역을 나타낼 수 있다. 즉, 제3 영역(535)은 객체를 나타내는 픽셀 값들을 포함할 수 있다. 제1 영역(531), 제2 영역(533) 및 제4 영역(537)은 제2 노출 시간(ET_S) 동안 센싱된 다른 객체를 나타내는 픽셀 값들을 포함할 수 있다.

노말 이미지(550)는 제1 영역(551), 제2 영역(553), 제3 영역(555) 및 제4 영역(557)을 포함할 수 있다. 제1 영역(551) 내지 제3 영역(555)은 제1 시간(t1)부터 제3 시간(t3)까지의 제1 노출 시간(ET_N) 동안 객체가 위치한 영역을 나타낼 수 있다. 즉, 제1 영역(551) 내지 제3 영역(555)은 객체를 나타내는 픽셀 값들을 포함할 수 있다.

프로세서(130)는 단노출 이미지(530) 및 노말 이미지(550)의 대응되는 영역들 사이의 차분을 통해 특정한 시간 동안 객체가 위치한 영역을 판단할 수 있다. 특정한 시간은 제1 노출 시간(ET_N) 및 제2 노출 시간(ET_S)이 겹치지 않는 제1 시간(t1)부터 제2 시간(t2)까지의 시간일 수 있다. 프로세서(130)는 단노출 이미지(530)를 통해 제2 시간(t2)부터 제3 시간(t3)까지의 시간 동안 객체가 위치한 영역을 판단할 수 있다. 프로세서(130)는 시간 별 객체가 위치한 영역의 변화를 통해 객체가 이동하는 방향을 판단할 수 있다. 즉, 프로세서(130)는 현재 이미지에 포함된 객체의 이동 방향을 판단할 수 있다. 현재 이미지에 포함된 객체의 이동 방향은 다음 이미지에 포함된 객체가 어떤 영역에서 어떤 방향으로 이동하는지 판단하는데 이용될 수 있다. 여기서, 현재 이미지 및 다음 이미지는 동영상과 같이 시간에 따라 순차적으로 획득되는 복수의 이미지들 중에서 연속되는 이미지일 수 있다. 이와 같이, 다음 이미지에서 객체가 위치하는 영역 또는 객체의 모션이 발생한 영역을 검출하는 정확도를 향상시킬 수 있다.

도 5d는 본 개시의 일 실시 예에 따른 이미지를 설명하기 위한 도면이다.

도 5d의 (1) 및 (2)는 이미지의 베이어 영역을 도시한 것이다. 도 5d의 (1) 및 (2)를 참조하면, 본 개시의 일 실시 예에 따른 이미지는 복수의 영역들을 포함할 수 있다. 복수의 영역들 각각은 같은 색상을 갖는 픽셀 값들을 포함할 수 있다.

도 5d의 (1)을 참조하면, 본 개시의 일 실시 예에 따른 이미지의 각 영역은 2x2의 픽셀 값을 포함할 수 있다. 이미지의 각 영역은 제1 노출 시간(ET_1) 내지 제4 노출 시간(ET_4) 동안 센싱된 픽셀 값들을 포함할 수 있다. 예를 들어, 이미지의 각 영역에서 (1, 1) 위치의 픽셀 값들은 제1 노출 시간(ET_1) 동안 센싱된 값이고, (1, 2) 위치의 픽셀 값들은 제2 노출 시간(ET_2) 동안 센싱된 값이고, (2, 1) 위치의 픽셀 값들은 제3 노출 시간(ET_3) 동안 센싱된 값이고, (2, 2) 위치의 픽셀 값들은 제4 노출 시간(ET_4) 동안 센싱된 값일 수 있다. 여기서, 제1 노출 시간(ET_1) 내지 제4 노출 시간(ET_4)는 모두 다른 시간이거나 또는 일부가 다른 시간일 수 있다.

도 5d의 (2)를 참조하면, 본 개시의 일 실시 예에 따른 이미지의 각 영역은 3x3의 픽셀 값을 포함할 수 있다. 이미지의 각 영역은 제1 노출 시간(ET_1) 내지 제9 노출 시간(ET_9) 동안 센싱된 픽셀 값들을 포함할 수 있다. 예를 들어, 이미지의 각 영역에서 (1, 1) 위치의 픽셀 값들 내지 (3, 3) 위치의 픽셀 값들은 제1 노출 시간(ET_1) 내지 제9 노출 시간(ET_9) 동안 센싱된 값일 수 있다. 여기서, 제1 노출 시간(ET_1) 내지 제9 노출 시간(ET_9)는 모두 다른 시간이거나 또는 일부가 다른 시간일 수 있다.

한편, 상술한 실시 예는 일 실시 예일 뿐이며, 본 개시의 픽셀 값들의 색상 및 노출 시간에 따른 배열은 다양하게 변형되어 실시될 수 있다.

도 6은 본 개시의 일 실시 예에 따른 노출 보정부의 동작을 설명하기 위한 도면이다. 도 6은 이미지 센서(110) 또는 통신 인터페이스(120)로부터 수신되는 이미지(610)를 도시한 것이다.

도 6의 (1) 및 (2)를 참조하면, 노출 보정부(131)는 이미지(610)를 노출 비율을 이용해 보정한 보정 이미지(620)를 획득할 수 있다. 여기서, 이미지(610)는 행과 열 방향에 따라 반복하여 배열되는 베이어 영역들을 포함할 수 있다. 베이어 영역은 제1 영역 내지 제4 영역을 포함할 수 있다. 제1 영역은 (1, 1) 내지 (2, 2)의 픽셀 값들을 포함하고, 제2 영역은 (1, 3) 내지 (2, 4)의 픽셀 값들을 포함하고, 제3 영역은 (3, 1) 내지 (4, 2)의 픽셀 값들을 포함하고, 제1 영역은 (3, 3) 내지 (4, 4)의 픽셀 값들을 포함할 수 있다. 베이어 영역은 (2, 2)에 위치한 단노출 픽셀 값, (4, 4)에 위치한 단노출 픽셀 값 및 나머지 위치의 노말 픽셀 값들을 포함할 수 있다.

노출 보정부(131)는 이미지(610)에 포함된 단노출 픽셀 값들(611S, 612S)을 노출 비율을 이용해 보정한 보정 픽셀 값들(621C, 622C)을 획득할 수 있다. 그리고, 노출 보정부(131)는 보정 픽셀 값들(621C, 622C) 및 노말 픽셀 값들을 포함하는 보정 이미지(620)를 획득할 수 있다.

예를 들어, 노출 보정부(131)는 단노출 픽셀 값들(611S, 612S)에 노출 비율을 곱한 값을 보정 픽셀 값들(621C, 622C)로 획득할 수 있다. 여기서, 노출 비율은 제1 노출 시간(ET_N) 및 제1 노출 시간(ET_N) 보다 작은 제2 노출 시간(ET_S)의 비율일 수 있다. 예를 들어, 도 6의 (2)와 같이 노출 비율은 제1 노출 시간(ET_N)을 제2 노출 시간(ET_S)으로 나눈 값일 수 있다.

도 7a는 본 개시의 일 실시 예에 따른 모션 비율 계산부 및 모션 영역 검출부의 동작을 설명하기 위한 도면이다.

도 7a의 (1) 및 (2)를 참조하면, 모션 비율 계산부(132)는 보정 이미지(710)의 복수의 영역들 중에서 선택 영역(711C, 712C)에 대한 모션 비율(721R, 722R)을 획득할 수 있다.

구체적으로, 모션 비율 계산부(132)는 선택 영역(711C, 712C)에 포함된 노말 픽셀 값들(PV) 및 보정 픽셀 값(cPV)을 이용해 선택 영역(711C, 712C)에 대한 모션 비율(721R, 722R)을 획득할 수 있다. 이를 위해, 모션 비율 계산부(132)는 보정 이미지(710)의 복수의 영역들 중에서 보정 픽셀 값을 포함하는 영역들을 선택 영역(711C, 712C)으로 선택할 수 있다.

일 실시 예에서, 모션 비율 계산부(132)는 선택 영역(711C, 712C)에 포함된 노말 픽셀 값들(PV)의 평균 값 및 보정 픽셀 값(cPV)의 평균 값의 비율을 모션 비율로 획득할 수 있다. 예를 들어, 도 7a의 (2)와 같이 모션 비율(721R, 722R)은 선택 영역(711C, 712C)에 포함된 노말 픽셀 값들(PV)의 평균 값을 보정 픽셀 값(cPV)의 평균 값으로 나눈 값일 수 있다.

다른 실시 예에서, 모션 비율 계산부(132)는 선택 영역(711C, 712C)에 포함된 노말 픽셀 값들(PV)의 중앙 값 및 보정 픽셀 값(cPV)의 중앙 값의 비율을 모션 비율(721R, 722R)로 획득할 수 있다. 여기서, 중앙 값은 복수의 값들을 크기 순서대로 정렬한 경우 복수의 값들 중에서 가장 중앙에 정렬된 값을 의미할 수 있다. 이와 다른 실시 예에서, 모션 비율 계산부(132)는 선택 영역(711C, 712C)에 포함된 노말 픽셀 값들(PV)의 최빈 값 및 보정 픽셀 값(cPV)의 최빈 값의 비율을 모션 비율(721R, 722R)로 획득할 수 있다.

한편, 모션 비율 계산부(132)는 선택 영역(711C, 712C)에 대한 모션 비율(721R, 722R)을 포함하는 데이터 셋(720)을 생성할 수 있다. 데이터 셋(720)에 포함되는 복수의 영역들은 보정 이미지(710)에 포함되는 복수의 영역들과 같은 위치끼리 서로 대응될 수 있다. 한편, 데이터 셋(720)은 비선택 영역들에 대한 널 값들을 포함할 수 있다. 여기서, 널 값들은 모션 비율이 없는 상태를 나타낼 수 있다. 비선택 영역들은 보정 이미지(710)의 복수의 영역들 중에서 보정 픽셀 값(cPV)을 포함하지 않는 영역일 수 있다.

도 7a의 (2) 및 (3)을 참조하면, 모션 영역 검출부(133)는 보정 이미지(710)의 선택 영역(711C, 712C)에 대한 모션 비율(721R, 722R)에 기초하여, 보정 이미지(710)의 선택 영역(711C, 712C)이 모션 영역 또는 노말 영역인지를 판단하고, 선택 영역(711C, 712C)이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보(731F, 732F)를 획득할 수 있다. 플래그 정보(731F, 732F)는 제1 값 또는 제2 값 중 하나를 포함할 수 있다. 예를 들어, 여기서 제1 값은 1이고 모션 영역을 나타낼 수 있다. 제2 값은 0이고 노말 영역을 나타낼 수 있다. 다만, 이는 일 실시 예일 뿐이며, 제1 값 및 제2 값의 값들은 다양하게 변형되어 실시될 수 있다.

일 실시 예에서, 모션 영역 검출부(133)는 제1 선택 영역(711C)에 대한 모션 비율(721R) 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값 이하이면, 제1 선택 영역(711C)이 노말 영역인 것을 나타내는 제2 값을 포함하는 플래그 정보(731F)를 획득할 수 있다.

일 실시 예에서, 모션 영역 검출부(133)는 제2 선택 영역(712C)에 대한 모션 비율(722R) 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값을 초과하면, 제2 선택 영역(712C)이 모션 영역인 것을 나타내는 제1 값을 포함하는 플래그 정보(732F)를 획득할 수 있다.

예를 들어, 제1 기준 값은 1이고, 제2 기준 값은 0.3 또는 0.5일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 제1 기준 값 및 제2 기준 값은 다양한 값으로 변형되어 실시될 수 있다.

한편, 모션 영역 검출부(133)는 선택 영역(711C, 712C)에 대한 플래그 정보(731F, 732F)를 포함하는 모션 맵(730)을 생성할 수 있다. 모션 맵(730)에 포함되는 복수의 영역들은 보정 이미지(710)에 포함되는 복수의 영역들과 같은 위치끼리 서로 대응될 수 있다. 한편, 모션 맵(730)은 비선택 영역들에 대한 널 값들을 포함할 수 있다. 여기서, 널 값들은 플래그 정보가 없는 상태를 나타낼 수 있다. 비선택 영역들은 보정 이미지(710)의 복수의 영역들 중에서 보정 픽셀 값(cPV)을 포함하지 않는 영역일 수 있다. 여기서, 모션 맵(730)의 복수의 영역들 중에서 비선택 영역에 대응되며 널 값을 포함하는 영역을 널 영역이라 지칭할 수 있다.

도 7b는 본 개시의 일 실시 예에 따른 플래그 정보의 형태를 설명하기 위한 도면이다.

도 7b의 (1)을 참조하면, 일 실시 예에 따른 모션 맵(730)은 같은 색상을 갖는 픽셀 값들을 포함하는 영역 마다 대응되는 하나의 플래그 정보를 포함할 수 있다. 이 경우, 해당 영역에 포함된 픽셀 값들은 해당 영역에 포함된 하나의 플래그 정보가 공통적으로 적용될 수 있다. 도 7b의 (2)를 참조하면, 일 실시 예에 따른 모션 맵(735)은 하나의 픽셀 값 마다 대응되는 하나의 플래그 정보를 포함할 수 있다. 즉, 플래그 정보는 영역 단위로 존재하거나, 또는 픽셀 값 단위로 존재할 수 있다.

도 8a 내지 8c는 본 개시의 일 실시 예에 따른 모션 영역 검출부의 동작을 설명하기 위한 도면이다.

도 8a를 참조하면, 모션 영역 검출부(133)는 제1 커널(830)을 이용해 모션 맵(810)으로부터 널 영역(811c)에 대한 플래그 정보를 포함하는 모션 맵(850)을 생성할 수 있다. 모션 맵(850)은 모션 맵(810)의 널 영역(811c)에 플래그 정보가 채워진 것일 수 있다. 즉, 이미지에 포함된 복수의 영역들 중에서 단노출 픽셀 값을 포함하지 않는 영역에도 해당 영역이 모션 영역 또는 노말 영역인지를 나타내는 플래그 정보를 채울 수 있다.

구체적으로, 모션 영역 검출부(133)는 모션 맵(810)의 널 영역(811c)에 제1 커널(830)의 중심 영역(830c)을 대응시킬 수 있다. 예를 들어, 모션 영역 검출부(133)는 모션 맵(810)의 널 영역(811c)과 제1 커널(830)의 중심 영역(830c)이 겹쳐지도록 제1 커널(830)을 정렬시킬 수 있다.

제1 커널(830)은 미리 설정된 배열 형태에 따라 배열된 중심 영역(830c) 및 주변 영역들을 포함할 수 있다. 일 실시 예에서, 제1 커널(830)의 주변 영역들은 제1 커널(830)의 중심 영역(830c)을 기준으로 상측 방향, 하측 방향, 좌측 방향 및 우측 방향으로 중심 영역(830c)과 가장 가까운 거리에 위치한 영역들을 포함할 수 있다. 여기서, 상측 방향 및 하측 방향은 행 방향이고, 좌측 방향 및 우측 방향은 열 방향일 수 있다. 즉, 제1 커널(830)은 크로스 배열 형태에 따라 배열된 복수의 영역들을 포함할 수 있다. 다만, 이는 일 실시 예일 뿐이며, 주변 영역들의 배열 형태 및 주변 영역들의 개수는 다양하게 변형되어 실시될 수 있다.

모션 영역 검출부(133)는 모션 맵(810)의 널 영역(811c)에 제1 커널(830)의 중심 영역(830c)을 정렬시킬 수 있다. 이 경우, 널 영역(811c)은 제1 커널(830)의 중심 영역(830c)에 대응되고, 널 영역(811c)의 주변 영역들은 제1 커널(830)의 주변 영역들과 대응될 수 있다. 여기서, 널 영역(811c)은 플래그 정보가 존재하지 않는 영역이며, 널 영역(811c)의 주변 영역들은 플래그 정보를 포함하는 영역들을 포함할 수 있다.

모션 영역 검출부(133)는 제1 커널(830)의 중심 영역(830c)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 값에 따라, 모션 맵(810)의 널 영역(811c)이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다.

예를 들어, 제1 커널(830)의 중심 영역(830c)을 기준으로 상측 방향에 위치한 주변 영역은 모션 맵(810)의 널 영역(811c)을 기준으로 상측 방향에 위치한 영역이 대응될 수 있다. 제1 커널(830)의 중심 영역(830c)을 기준으로 하측 방향에 위치한 주변 영역은 모션 맵(810)의 널 영역(811c)을 기준으로 하측 방향에 위치한 영역이 대응될 수 있다. 제1 커널(830)의 중심 영역(830c)을 기준으로 좌측 방향에 위치한 주변 영역은 모션 맵(810)의 널 영역(811c)을 기준으로 좌측 방향에 위치한 영역이 대응될 수 있다. 제1 커널(830)의 중심 영역(830c)을 기준으로 하측 방향에 위치한 주변 영역은 모션 맵(810)의 널 영역(811c)을 기준으로 하측 방향에 위치한 영역이 대응될 수 있다.

일 실시 예에 따른 모션 영역 검출부(133)는 제1 커널(830)의 중심 영역(830c)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수를 초과하면, 모션 맵(810)의 널 영역(811c)이 모션 영역인 것을 나타내는 플래그 정보를 획득할 수 있다.

일 실시 예에 따른 모션 영역 검출부(133)는 제1 커널(830)의 중심 영역(830c)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수 이하이면, 모션 맵(810)의 널 영역(811c)이 노말 영역인 것을 나타내는 플래그 정보를 획득할 수 있다.

여기서, 플래그 정보의 제1 값은 모션 맵(810)의 해당 영역이 모션 영역인 것을 나타내고, 플래그 정보의 제2 값은 모션 맵(810)의 해당 영역이 노말 영역인 것을 나타낼 수 있다. 즉, 모션 영역 검출부(133)는 제1 커널(830)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수를 초과하면, 널 영역(811c)에 대한 플래그 정보를 제1 값으로 채울 수 있다. 한편, 모션 영역 검출부(133)는 제1 커널(830)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수 이하이면, 모션 맵(810)의 널 영역(811c)에 대한 플래그 정보를 제2 값으로 채울 수 있다.

도 8b를 참조하면, 기준 개수는 예를 들어 1개일 수 있다. 예를 들어 도 8b의 (1) 내지 (3)을 참조하면, 제1 커널(831, 832, 833)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수인 1개를 초과할 경우, 제1 커널(841, 842, 843)의 중심 영역에 대응되는 모션 맵(810)의 널 영역(811c)에는 플래그 정보의 제1 값이 채워질 수 있다. 다른 예를 들어, 도 8b의 (4) 및 (5)를 참조하면, 제1 커널(834, 835)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수인 1개 이하인 경우, 제1 커널(844, 845)의 중심 영역에 대응되는 모션 맵(810)의 널 영역(811c)에는 플래그 정보의 제2 값이 채워질 수 있다.

다만, 이는 일 실시 예일 뿐이며, 기준 개수는 2개, 3개 등과 같이 다양하게 변형되어 실시 될 수 있다. 또한, 기준 개수는 제2 커널(930)에 포함된 영역의 개수에 따라 정해질 수 있다.

도 8c를 참조하면, 일 실시 예에 따른 제1 커널(830)의 중심 영역(830c)이 모션 맵(810)의 가장자리에 위치한 영역 상에 정렬될 경우, 제1 커널(830)의 주변 영역들 중 일부 주변 영역이 모션 맵(810)의 복수의 영역들 어디에도 오버랩되지 않는 경우가 발생할 수 있다. 이 경우, 제1 커널(830)의 다른 주변 영역에 대응되는 모션 맵(810)의 영역에 포함된 플래그 정보를 이용할 수 있다.

일 실시 예에서, 모션 영역 검출부(133)는 모션 맵(810)의 널 영역(813c) 상에 커널(830)의 중심 영역(830c)을 정렬시킬 수 있다. 모션 영역 검출부(133)는 커널(830)의 주변 영역들 중 어느 하나의 주변 영역이 모션 맵(810)의 복수의 영역들 중 하나에 대응되지 않는 경우, 커널(830)의 주변 영역들 중 어느 하나의 주변 영역과 반대 방향에 위치한 주변 영역을 선택할 수 있다. 예를 들어, 모션 영역 검출부(133)는 모션 맵(810)을 벗어난 커널(830)의 주변 영역이 커널(830)의 중심 영역(830c)을 기준으로 상측 방향에 위치한 상측 주변 영역인 경우, 커널(830)의 중심 영역(830c)을 기준으로 하측 방향에 위치한 하측 주변 영역을 선택할 수 있다.

이 경우, 모션 영역 검출부(133)는 커널(830)의 하측 주변 영역에 대응되는 모션 맵(810)의 하측 주변 영역(813b)에 포함된 플래그 정보를 커널(830)의 상측 주변 영역에 대응되는 모션 맵(810)의 상측 주변 영역(813t)에 대한 플래그 정보로 획득할 수 있다. 즉, 커널(830)의 중심 영역(830c)에 대응되는 널 영역(813c)을 기준으로 상측 방향에 위치한 상측 주변 영역(813t)이 존재하지 않는 경우, 모션 영역 검출부(133)는 널 영역(813c)을 기준으로 하측 방향에 위치한 하측 주변 영역(813b)에 대한 플래그 정보를 상측 주변 영역(813t)에 대한 플래그 정보로 복사할 수 있다.

이후, 모션 영역 검출부(133)는 제1 커널(830)의 중심 영역(830c)의 주변 영역들에 대응되는 모션 맵(810)의 영역들에 포함된 플래그 정보의 값에 따라, 모션 맵(810)의 널 영역(813c)이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다.

한편, 다시 도 8a를 참조하면, 모션 맵(810)은 제1 영역(810N)과 제2 영역(810M)을 포함할 수 있다. 여기서, 제1 영역(810N)은 실제로 객체의 모션이 발생하지 않은 영역들을 포함하고, 제2 영역(810M)은 실제로 객체의 모션이 발생한 영역들을 포함하는 것을 가정하도록 한다. 제1 영역(810N)은 노말 영역인 것을 나타내는 플래그 정보를 포함하는 영역과 플래그 정보를 포함하지 않는 널 영역을 포함할 수 있다. 제2 영역(810M)은 모션 영역인 것을 나타내는 플래그 정보를 포함하는 영역과 플래그 정보를 포함하지 않는 널 영역을 포함할 수 있다. 여기서, 단노출 픽셀 값은 노말 픽셀 값에 비해 상대적으로 신호대잡음비(Signal to Noise Ratio, SNR)가 낮아서, 단노출 픽셀 값을 이용해 획득되는 플래그 정보가 정확하지 않을 가능성이 있다. 예를 들어, 제1 영역(810N)은 실제로 객체의 모션이 발생하지 않았으나, 이와 다르게 모션 영역인 것을 나타내는 플래그 정보를 포함하는 노이즈 영역(815)을 포함할 수 있다. 노이즈 영역(815)을 제거하는 방법은 도 9a 내지 9c를 참조하여 구체적으로 설명하도록 한다.

도 9a 내지 도 9c는 본 개시의 일 실시 예에 따른 노이즈 필터의 동작을 설명하기 위한 도면이다.

도 9a 내지 도 9c를 참조하면, 본 개시의 일 실시 예에 따른 노이즈 필터(134)는 제2 커널(930)을 이용해 모션 맵(910)으로부터 노이즈를 제거할 수 있다. 여기서, 모션 맵(910)은 제1 영역(910N)과 제2 영역(910M)을 포함할 수 있다. 여기서, 제1 영역(910N)은 실제로 객체의 모션이 발생하지 않은 영역들을 포함하고, 제2 영역(910M)은 실제로 객체의 모션이 발생한 영역들을 포함하는 것을 가정하도록 한다. 이때, 제1 영역(910N)은 실제로 객체의 모션이 발생하지 않았으나, 이와 다르게 모션 영역인 것을 나타내는 플래그 정보를 포함하는 노이즈 영역(915)을 포함하는 것을 가정하도록 한다. 이 경우, 노이즈 필터(134)는 제2 커널(930)을 이용해 모션 맵(910)의 노이즈 영역(915)에 대한 플래그 정보를 정정한 최종 모션 맵(950)을 획득할 수 있다. 이를 위해, 노이즈 필터(134)는 모션 플래그 영역이 노이즈 영역인지 여부를 판단하고, 모션 플래그 영역이 노이즈 영역으로 판명되는 경우 모션 플래그 영역을 노말 플래그 영역으로 정정할 수 있다. 즉, 플래그 정보의 제1 값을 포함하는 영역이 노이즈 영역으로 판명될 경우, 해당 영역의 플래그 정보의 값은 제2 값으로 정정될 수 있다.

구체적으로, 노이즈 필터(134)는 모션 맵(910)의 복수의 영역들 중에서 모션 플래그 영역(911c)에 제2 커널(930)의 중심 영역(930c)을 대응시킬 수 있다. 모션 플래그 영역(911c)은 모션 영역을 나타내는 플래그 정보를 포함하는 영역일 수 있다. 예를 들어, 모션 영역 검출부(133)는 모션 맵(910)의 복수의 영역들 중에서 모션 플래그 영역(911c)에 제2 커널(930)의 중심 영역(930c)이 겹쳐지도록 제2 커널(930)을 정렬시킬 수 있다.

제2 커널(930)은 미리 설정된 배열 형태에 따라 배열된 중심 영역(930c) 및 주변 영역들을 포함할 수 있다. 일 실시 예에서, 제2 커널(930)에 포함된 주변 영역들은 제2 커널(930)에 포함된 중심 영역(930c)을 기준으로 상측 방향, 하측 방향, 좌측 방향 및 우측 방향으로 중심 영역(930c)과 가장 가까운 거리에 위치한 영역들을 포함할 수 있다. 즉, 제2 커널(930)은 크로스 배열 형태에 따라 배열된 복수의 영역들을 포함할 수 있다. 다만, 이는 일 실시 예일 뿐이며, 주변 영역들의 배열 형태 및 주변 영역들의 개수는 다양하게 변형되어 실시될 수 있다.

노이즈 필터(134)는 모션 맵(910)의 복수의 영역들 중에서 제2 커널(930)의 중심 영역(930c)의 주변 영역들에 대응되는 모션 플래그 영역(911c)의 주변 영역들에 포함된 플래그 정보의 값에 따라, 모션 플래그 영역(911c)에 포함된 플래그 정보를 유지하거나 또는 노말 영역인 것을 나타내는 플래그 정보로 변경할 수 있다.

일 실시 예에 따른 노이즈 필터(134)는 모션 맵(910)의 복수의 영역들 중에서 제2 커널(930)의 중심 영역(930c)의 주변 영역들에 대응되는 모션 플래그 영역의 주변 영역에 포함된 모션 영역을 나타내는 플래그 정보의 제1 값의 개수가 기준 개수를 초과하면, 모션 플래그 영역(911c)에 포함된 플래그 정보를 유지할 수 있다. 이 경우, 모션 플래그 영역(911c)에 포함된 플래그 정보는 제1 값으로 유지될 수 있다.

일 실시 예에 따른 노이즈 필터(134)는 모션 맵(910)의 복수의 영역들 중에서 제2 커널(930)의 중심 영역(930c)의 주변 영역들에 대응되는 모션 플래그 영역의 주변 영역에 포함된 모션 영역을 나타내는 플래그 정보의 제1 값의 개수가 기준 개수 이하이면, 모션 플래그 영역(911c)에 포함된 플래그 정보를 노말 영역인 것을 나타내는 플래그 정보로 변경할 수 있다. 이 경우, 모션 플래그 영역(911c)에 포함된 플래그 정보는 제1 값에서 제2 값으로 변경될 수 있다.

도 9b를 참조하면, 기준 개수는 예를 들어 1개일 수 있다. 예를 들어 도 9b의 (1) 내지 (3)을 참조하면, 제2 커널(931, 932, 933)의 주변 영역들에 대응되는 모션 맵(910)의 주변 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수인 1개를 초과할 경우, 제2 커널(941, 942, 943)의 중심 영역에 대응되는 모션 플래그 영역에 포함된 플래그 정보의 제1 값이 동일하게 유지될 수 있다. 다른 예를 들어, 도 9b의 (4) 및 (5)를 참조하면, 제2 커널(934, 935)의 주변 영역들에 대응되는 모션 맵(910)의 영역들에 포함된 플래그 정보의 제1 값의 개수가 기준 개수인 1개 이하인 경우, 제2 커널(944, 945)의 중심 영역에 대응되는 모션 플래그 영역에 포함된 플래그 정보의 제1 값이 제2 값으로 변경될 수 있다.

다만 이는 일 실시 예일 뿐이며, 기준 개수는 2개, 3개 등과 같이 다양하게 변형되어 실시 될 수 있다. 또한, 기준 개수는 제2 커널(930)에 포함된 영역의 개수에 따라 정해질 수 있다.

도 9c를 참조하면, 일 실시 예에 따른 제2 커널(930)의 중심 영역(930c)이 모션 맵(910)의 가장자리에 위치한 영역 상에 정렬될 경우, 제2 커널(930)의 주변 영역들 중 일부 주변 영역이 모션 맵(910)의 복수의 영역들 어디에도 오버랩되지 않는 경우가 발생할 수 있다. 이 경우, 제2 커널(930)의 다른 주변 영역에 대응되는 모션 맵(910)의 영역에 포함된 플래그 정보를 이용할 수 있다.

일 실시 예에서, 노이즈 필터(134)는 모션 맵(910)의 모션 플래그 영역(913c) 상에 제2 커널(930)의 중심 영역(930c)을 정렬시킬 수 있다. 노이즈 필터(134)는 제2 커널(930)의 주변 영역들 중 어느 하나의 주변 영역이 모션 맵(910)의 복수의 영역들 중 하나에 대응되지 않는 경우, 제2 커널(930)의 주변 영역들 중 어느 하나의 주변 영역과 반대 방향에 위치한 주변 영역을 선택할 수 있다. 예를 들어, 노이즈 필터(134)는 모션 맵(910)을 벗어난 제2 커널(930)의 주변 영역이 제2 커널(930)의 중심 영역(930c)을 기준으로 좌측 방향에 위치한 좌측 주변 영역인 경우, 제2 커널(930)의 중심 영역(930c)을 기준으로 우측 방향에 위치한 우측 주변 영역을 선택할 수 있다.

이 경우, 노이즈 필터(134)는 제2 커널(930)의 우측 주변 영역에 대응되는 모션 맵(910)의 우측 주변 영역(913r)에 포함된 플래그 정보를 제2 커널(930)의 좌측 주변 영역에 대응되는 모션 맵(910)의 좌측 주변 영역(913l)에 대한 플래그 정보로 획득할 수 있다. 즉, 제2 커널(930)의 중심 영역(930c)에 대응되는 모션 플래그 영역(913c)을 기준으로 좌측 방향에 위치한 좌측 주변 영역(913l)이 존재하지 않는 경우, 노이즈 필터(134)는 모션 플래그 영역(913c)을 기준으로 우측 방향에 위치한 우측 주변 영역(913r)에 대한 플래그 정보를 좌측 주변 영역(913l)에 대한 플래그 정보로 복사할 수 있다.

이후, 노이즈 필터(134)는 제2 커널(930)의 중심 영역(930c)의 주변 영역들에 대응되는 모션 맵(910)의 주변 영역들에 포함된 플래그 정보의 값에 따라, 모션 플래그 영역(911c)에 포함된 플래그 정보를 유지하거나 또는 노말 영역인 것을 나타내는 플래그 정보로 변경할 수 있다.

도 10a 내지 도 10c는 본 개시의 일 실시 예에 따른 픽셀 보정부의 동작을 설명하기 위한 도면이다.

도 10a 및 도 10b를 참조하면, 본 개시의 일 실시 예에 따른 픽셀 보정부(135)는 이미지(1010) 및 모션 맵(1020)을 이용해 복원 이미지(1030)를 획득할 수 있다.

여기서, 이미지(1010)는 단노출 픽셀 값들(sPV)을 포함하는 상태이거나, 또는 단노출 픽셀 값들(sPV)이 보정된 보정 픽셀 값들을 포함하는 상태의 이미지일 수 있다. 여기서, 모션 맵(1020)은 플래그 정보가 존재하지 않는 널 영역을 포함하는 상태이거나, 널 영역을 포함하지 않는 상태이거나 또는 노이즈 영역이 제거된 상태의 모션 맵일 수 있다. 이하에서는 이미지(1010)는 단노출 픽셀 값들(sPV)을 포함하는 상태의 이미지이고, 모션 맵(1020)은 널 영역에 플래그 정보가 채워진 상태 즉 널 영역을 포함하지 않는 상태의 모션 맵인 것으로 가정하여 설명하도록 한다. 한편, 도 10a의 (2)의 모션 맵(1020)은 픽셀 값 단위로 대응되는 플래그 정보를 포함하는 상태를 나타낸 것이다. 다만, 이는 일 실시 예일 뿐이며, 모션 맵(1020)은 영역 단위로 플래그 정보를 포함하는 형태로 구현될 수 있다. 복원 이미지(1030)는 노말 픽셀 값들 및 복원 픽셀 값들을 포함할 수 있다. 여기서, 복원 이미지(1030)는 이미지(1010)에 포함된 단노출 픽셀 값들이 복원 픽셀 값들로 대체된 이미지일 수 있다.

구체적으로, 픽셀 보정부(135)는 모션 맵(1020)에 포함된 플래그 정보에 기초하여 이미지(1010)에 포함된 단노출 픽셀 값(sPV)을 보정한 복원 픽셀 값(iPV, cPV)을 획득할 수 있다. 예를 들어, 픽셀 보정부(135)는 단노출 픽셀 값(sPV)과 같은 위치를 갖는 플래그 정보에 기초하여, 제1 방식 또는 제2 방식에 따라 단노출 픽셀 값(sPV)을 보정한 복원 픽셀 값(iPV, cPV)을 획득할 수 있다. 또는 픽셀 보정부(135)는 단노출 픽셀 값(sPV)을 포함하는 선택 영역과 같은 영역에 대한 플래그 정보에 기초하여, 제1 방식 또는 제2 방식에 따라 선택 영역에 포함된 단노출 픽셀 값(sPV)을 보정한 복원 픽셀 값(iPV, cPV)을 획득할 수 있다.

이미지(1010)는 복수의 영역들을 포함할 수 있다. 예를 들어, 각 영역들은 2x2의 배열에 따라 배열된 픽셀 값들을 포함할 수 있다. 각 영역들은 같은 색상의 픽셀 값들을 포함할 수 있다.

픽셀 보정부(135)는 단노출 픽셀 값(sPV)을 포함하는 영역을 선택 영역으로 선택할 수 있다. 예를 들어, 제1 단노출 픽셀 값(1011C)을 포함하는 영역이 제1 선택 영역으로 선택되고, 제2 단노출 픽셀 값(1013C)를 포함하는 영역이 제2 선택 영역으로 선택될 수 있다. 예를 들어, 제1 선택 영역은 (3, 3) 내지 (4, 4)의 위치에 배열된 픽셀 값들을 포함하는 영역이고, 제2 선택 영역은 (5, 5) 내지 (6, 6)의 위치에 배열된 픽셀 값들을 포함하는 영역일 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 제1 선택 영역에 대한 플래그 정보(1021C)가 모션 영역을 나타내는 제1 값을 갖는 경우, 제1 선택 영역에 포함된 제1 단노출 픽셀 값(1011C)의 주변 픽셀 값을 이용해 제1 단노출 픽셀 값(1011C)을 보정한 제1 복원 픽셀 값(1031C)을 획득할 수 있다.

구체적인 일 실시 예에서, 픽셀 보정부(135)는 제1 선택 영역에 대한 플래그 정보(1021C)가 모션 영역을 나타내는 제1 값을 갖는 경우, 노말 픽셀 값들(PV) 중에서 제1 단노출 픽셀 값(1011C)과 같은 색상을 갖는 노말 픽셀 값들을 선택할 수 있다. 예를 들어, 제1 단노출 픽셀 값(1011C)이 그린 색상을 갖는 경우, 그린 색상을 갖는 노말 픽셀들이 선택될 수 있다.

그리고, 픽셀 보정부(135)는 선택된 노말 픽셀 값들 중에서 제1 단노출 픽셀 값(1011C)을 기준으로 복수의 방향들로 가장 가까운 거리에 위치한 주변 노말 픽셀 값들과 제1 단노출 픽셀 값(1011C) 사이의 거리 및 주변 노말 픽셀 값들의 가중치 합에 따른 값을 제1 복원 픽셀 값(1031C)으로 획득할 수 있다.

예를 들어, 도 10a 및 도 10b를 참조하여, 주변 노말 픽셀 값들은 제1 단노출 픽셀 값(1011C)을 기준으로, 상측 방향에 위치한 상측 픽셀 값(1031T), 하측 픽셀 값(1031B), 좌측 픽셀 값(1031L) 및 우측 픽셀 값(1031R)을 포함할 수 있다.

이 경우, 픽셀 보정부(135)는 상측 픽셀 값(1031T) 및 제1 단노출 픽셀 값(1011C) 사이의 거리에 따라 상측 픽셀 값(1031T)에 대한 제1 가중치를 결정할 수 있다. 픽셀 보정부(135)는 하측 픽셀 값(1031B) 및 제1 단노출 픽셀 값(1011C) 사이의 거리에 따라 하측 픽셀 값(1031B)에 대한 제2 가중치를 결정할 수 있다. 픽셀 보정부(135)는 좌측 픽셀 값(1031L) 및 제1 단노출 픽셀 값(1011C) 사이의 거리에 따라 좌측 픽셀 값(1031L)에 대한 제3 가중치를 결정할 수 있다. 픽셀 보정부(135)는 우측 픽셀 값(1031R) 및 제1 단노출 픽셀 값(1011C) 사이의 거리에 따라 우측 픽셀 값(1031R)에 대한 제4 가중치를 결정할 수 있다. 여기서 각 가중치는 거리가 증가할수록 작은 값으로 결정될 수 있다. 그리고, 도 10b의 (3)과 같이, 픽셀 보정부(135)는 상측 픽셀 값(1031T)에 제1 가중치를 곱한 값, 하측 픽셀 값(1031B)에 제2 가중치를 곱한 값, 좌측 픽셀 값(1031L)에 제3 가중치를 곱한 값, 및 우측 픽셀 값(1031R)에 제4 가중치를 곱한 값의 합에 따른 값을 제1 복원 픽셀 값(1031C)으로 획득할 수 있다.

이와 같이, 모션 영역은 객체의 모션으로 인한 블러(blur)로 표현되는 영역이기 때문에, 모션 영역에 포함된 단노출 픽셀 값을 단노출 픽셀 값의 주변 픽셀 값들을 이용하여 보간하는 것은 이미지의 화질 저하에 영향을 주지 않을 수 있다.

한편, 도 10b의 (2)와 같이 픽셀 보정부(135)는 제2 선택 영역에 대한 플래그 정보(1023C)가 노말 영역을 나타내는 제2 값을 갖는 경우, 제2 선택 영역에 포함된 제2 단노출 픽셀 값(1013C)에 노출 비율을 곱한 값으로 보정한 제2 복원 픽셀 값(1033C)을 획득할 수 있다. 여기서, 노출 비율은 노말 픽셀 값을 센싱한 제1 노출 시간(ET_N) 및 단노출 픽셀 값을 센싱한 제2 노출 시간(ET_S)의 비율일 수 있다.

도 10a 및 도 10c를 참조하면, 일 실시 예에 따른 제3 단노출 픽셀 값을 포함하는 제3 선택 영역에 대한 플래그 정보가 모션 영역인 것을 나타내고 제3 선택 영역이 이미지(1010)의 가장자리에 위치한 영역일 때, 제3 단노출 픽셀 값을 기준으로 복수의 방향들 중에서 특정한 방향의 주변 노말 픽셀 값이 존재하지 않는 경우가 발생할 수 있다. 이 경우, 특정한 방향의 반대 방향의 주변 노말 픽셀 값을 특정한 방향의 주변 노말 픽셀 값으로 이용할 수 있다. 여기서, 복수의 방향들은 상측 방향, 하측 방향, 좌측 방향 및 우측 방향을 포함할 수 있다.

일 실시 예에서, 픽셀 보정부(135)는 제3 선택 영역에 대한 플래그 정보(1021C)가 모션 영역을 나타내는 제1 값을 갖는 경우, 복수의 픽셀 값들 중에서 제3 선택 영역에 포함된 제3 단노출 픽셀 값과 같은 색상의 노말 픽셀 값들을 선택할 수 있다. 예를 들어, 제3 단노출 픽셀 값 및 선택된 노말 픽셀 값은 그린 색상의 픽셀 값일 수 있다.

그리고, 픽셀 보정부(135)는 선택된 노말 픽셀 값들 중에서 제3 단노출 픽셀 값을 기준으로 복수의 방향들 중 어느 하나의 방향으로 가장 가까운 거리에 위치한 제1 픽셀 값이 존재하지 않는 경우, 어느 하나의 방향과 반대 방향으로 가장 가까운 거리에 위치한 제2 픽셀 값을 제1 픽셀 값으로 획득할 수 있다.

예를 들어, 제3 선택 영역은 (7, 7) 내지 (8, 8)에 위치한 픽셀 값들을 포함하고, 제3 선택 영역에 포함된 단노출 픽셀 값은 (8, 8)에 위치하는 것을 가정하도록 한다. 여기서, 단노출 픽셀 값을 기준으로 같은 색상을 갖는 주변 픽셀 값들은 상측 방향인 (7, 8)에 위치한 상측 픽셀 값(1043T) 및 좌측 방향인 (8, 7)에 위치한 좌측 픽셀 값(1043L)을 포함할 수 있다. 또한, 단노출 픽셀 값을 기준으로 하측 방향에 위치한 하측 픽셀 값(1043B) 및 우측 방향에 위치한 우측 픽셀 값(1043R)은 존재하지 않을 수 있다. 이 경우, 픽셀 보정부(135)는 제3 선택 영역에 포함된 단노출 픽셀 값을 기준으로 하측 픽셀 값(1043B)과 반대 방향에 위치한 상측 픽셀 값(1043T)을 하측 픽셀 값(1043B)으로 획득할 수 있다. 또한, 픽셀 보정부(135)는 제3 선택 영역에 포함된 단노출 픽셀 값을 기준으로 우측 픽셀 값(1043R)과 반대 방향에 위치한 좌측 픽셀 값(1043L)을 우측 픽셀 값(1043R)으로 획득할 수 있다.

그리고, 도 10c의 (2)와 같이 픽셀 보정부(135)는 상측 픽셀 값(1043T), 하측 픽셀 값(1043B), 좌측 픽셀 값(1043L) 및 우측 픽셀 값(1043R) 각각과 제3 단노출 픽셀 값 사이의 거리에 따라 각 가중치를 결정하고, 상측 픽셀 값(1043T), 하측 픽셀 값(1043B), 좌측 픽셀 값(1043L) 및 우측 픽셀 값(1043R) 각각에 대응되는 가중치를 적용한 가중치 합에 따른 값을 제3 복원 픽셀 값(1043C)으로 획득할 수 있다.

본 개시의 일 실시 예에 따르면, 단노출 픽셀 값을 이용해 모션 영역과 노말 영역을 구별하여 검출할 수 있고, 모션 영역과 노말 영역인지 여부에 따라 다른 방식을 통해 단노출 픽셀 값을 정확한 픽셀 값으로 복원할 수 있다. 이에 따라, 노출 시간의 차이를 갖는 픽셀 값들로 인한 화질의 저하 없이 이미지를 복원할 수 있다.

도 11은 본 개시의 일 실시 예에 따른 플래그 정보를 이용해 이미지를 압축하는 방식을 설명하기 위한 도면이다.

도 11을 참조하면, 본 개시의 일 실시 예에 따른 이미지 센서(110)는 시간에 따라 순차적으로 복수의 이미지들(1110, 1120, 1130)을 획득할 수 있다. 복수의 이미지들(1110, 1120, 1130) 각각은 객체를 나타내는 영역(1111, 1121, 1131) 및 배경을 나타내는 영역(1115, 1125, 1135)을 포함할 수 있다. 여기서, 객체는 이미지들(1110, 1120, 1130) 각각이 획득된 시간 동안 우측 방향으로 이동하는 상태일 수 있다. 또한, 이미지들(1110, 1120, 1130) 각각은 제1 노출 시간 동안 센싱된 노말 픽셀 값들 및 제2 노출 시간 동안 센싱된 단노출 픽셀 값들을 포함할 수 있다.

이 경우, 프로세서(130)는 이미지들(1110, 1120, 1130) 각각에 포함된 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여 이미지들(1110, 1120, 1130) 각각에 대한 모션 맵을 생성할 수 있다. 모션 맵은 이미지(1110, 1120, 1130)의 복수의 영역들 각각이 모션 영역 또는 노말 영역인 것을 나타내는 플래그 정보를 포함할 수 있다.

프로세서(130)는 이미지들(1110, 1120, 1130) 각각에 대한 모션 맵에 포함된 플래그 정보를 이용해 이미지들(1110, 1120, 1130)을 압축한 하나의 비디오 데이터를 생성할 수 있다. 예를 들어, 프로세서(130)는 이미지들(1110, 1120, 1130)의 복수의 영역 각각에 대한 플래그 정보의 값에 따라 복수의 영역들 각각이 모션 영역 또는 노말 영역인지 여부를 판단할 수 있다. 그리고, 프로세서(130)는 노말 영역에 포함되는 이미지들(1110, 1120, 1130)의 픽셀 값들 중에서 대표 픽셀 값들을 제외한 나머지 픽셀 값들을 제거함으로써 비디오 데이터를 생성할 수 있다. 이와 같이, 본 개시의 일 실시 예에 따르면 모션 영역 및 노말 영역을 정확하게 검출하여 데이터의 압축율을 향상시키면서도 화질을 향상시킬 수 있다.

도 12는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.

본 개시의 일 실시 예에 따른 전자 장치(100)의 동작 방법은 제1 노출 시간 동안 센싱한 노말 픽셀 값들 및 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 단노출 픽셀 값들을 포함하는 이미지를 획득하는 단계(S1210), 제1 노출 시간 및 제2 노출 시간의 노출 비율, 및 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하는 단계(S1220), 및 플래그 정보에 기초하여, 선택 영역에 포함된 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 단계(S1230)를 포함할 수 있다.

구체적으로, 노말 픽셀 값들 및 단노출 픽셀 값들을 포함하는 이미지를 획득할 수 있다(S1210). 여기서, 노말 픽셀 값들은 제1 노출 시간 동안 센싱한 픽셀 값들일 수 있다. 단노출 픽셀 값들은 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 픽셀 값들일 수 있다.

그리고, 제1 노출 시간 및 제2 노출 시간의 노출 비율, 및 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다(S1220).

이미지의 복수의 영역들 각각은 같은 사이즈를 갖는 영역일 수 있다. 복수의 영역들 각각은 같은 개수의 픽셀 값들을 포함할 수 있다. 선택 영역은 복수의 영역들 중에서 적어도 하나의 단노출 픽셀 값을 포함하는 영역일 수 있다. 모션 영역은 객체의 움직임으로 인해 시간에 따라 픽셀 값들의 변화가 큰 영역을 나타낼 수 있다. 노말 영역은 객체의 움직임이 없어 시간에 따라 픽셀 값들의 변화가 적은 영역을 나타낼 수 있다.

일 실시 예에서, 단노출 픽셀 값들을 노출 비율을 이용해 보정한 보정 픽셀 값들 및 노말 픽셀 값들을 포함하는 보정 이미지를 획득할 수 있다. 보정 이미지는 이미지의 일부 픽셀 값들이 변경된 것이거나, 또는 보정 이미지는 이미지와는 별도로 생성된 것일 수 있다. 보정 이미지의 복수의 영역들 및 이미지의 복수의 영역들은 서로 대응될 수 있다.

그리고, 보정 이미지의 복수의 영역들 중에서 선택 영역에 대응되는 영역에 포함된 노말 픽셀 값들의 평균 값 및 보정 픽셀 값의 평균 값의 비율을 나타내는 모션 비율을 획득할 수 있다. 그리고, 모션 비율에 기초하여 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다.

일 실시 예에서, 모션 비율 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값을 초과하면, 선택 영역이 모션 영역인 것을 나타내는 제1 값을 포함하는 플래그 정보를 획득할 수 있다. 또한, 모션 비율 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값 이하이면, 선택 영역이 노말 영역인 것을 나타내는 제2 값을 포함하는 플래그 정보를 획득할 수 있다. 예를 들어, 제1 기준 값은 1이고, 제2 기준 값은 0.3일 수 있다. 다만, 이는 일 실시 예일 뿐이며, 제1 및 제2 기준 값은 다양한 값으로 변형되어 실시될 수 있다.

그리고, 플래그 정보에 기초하여, 선택 영역에 포함된 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력할 수 있다(S1230).

일 실시 예에서, 플래그 정보가 선택 영역이 모션 영역인 것으로 나타내면, 제1 방식에 따라 단노출 픽셀 값을 이용해 복원 픽셀 값을 획득할 수 있다.

일 실시 예에서, 노말 픽셀 값들 중에서 선택 영역에 포함된 단노출 픽셀 값과 같은 색상의 노말 픽셀 값들을 선택할 수 있다. 이 경우, 선택된 노말 픽셀 값들 중에서 단노출 픽셀 값을 기준으로 복수의 방향들로 가장 가까운 거리에 위치한 주변 노말 픽셀 값들과 단노출 픽셀 값 사이의 거리 및 주변 노말 픽셀 값들의 가중치 합에 따른 값을 복원 픽셀 값으로 획득할 수 있다.

한편, 선택된 노말 픽셀 값들 중에서 단노출 픽셀 값을 기준으로 복수의 방향들 중 어느 하나의 방향으로 가장 가까운 거리에 위치한 제1 주변 노말 픽셀 값이 존재하지 않는 경우, 어느 하나의 방향과 반대 방향으로 가장 가까운 거리에 위치한 제2 주변 노말 픽셀 값을 제1 주변 노말 픽셀 값으로 획득할 수 있다.

일 실시 예에서, 플래그 정보가 선택 영역이 노말 영역인 것으로 나타내면, 제2 방식에 따라 단노출 픽셀 값을 이용해 복원 픽셀 값을 획득할 수 있다. 이 경우, 선택 영역에 포함된 단노출 픽셀 값에 노출 비율을 곱한 값을 복원 픽셀 값으로 획득할 수 있다.

일 실시 예에서, 복수의 영역들 중에서 플래그 정보가 존재하지 않는 널(null) 영역에 커널의 중심 영역을 대응시키고, 복수의 영역들 중에서 커널에 포함된 중심 영역의 주변 영역들에 대응되는 영역들에 포함된 플래그 정보의 개수에 따라, 널 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득할 수 있다.

이 경우, 복수의 영역들 중에서 모션 영역을 나타내는 플래그 정보를 포함하는 모션 플래그 영역에 커널의 중심 영역을 대응시키고, 복수의 영역들 중에서 커널의 주변 영역들에 대응되는 영역들 및 모션 플래그 영역에 포함된 모션 영역을 나타내는 플래그 정보의 개수에 따라, 모션 플래그 영역에 포함된 플래그 정보를 유지하거나 또는 노말 영역인 것을 나타내는 플래그 정보로 변경할 수 있다.

도 13은 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 도면이다.

도 13을 참조하면, 전자 장치(100)는 컴퓨팅 시스템(2000)으로 구현될 수 있다. 컴퓨팅 시스템(2000)은 이미지 센서(2010), 프로세서(2020), 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060)를 포함할 수 있다. 도 13에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060) 등과 통신하거나, 또는 외부 장치와 통신할 수 있는 포트(port)를 더 포함할 수 있다.

이미지 센서(2010)는 노출 값이 개별적으로 적용된 복수의 픽셀을 포함하는 이미지를 획득할 수 있다. 이미지 센서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 또는 이와 다른 통신 링크를 통해서 프로세서(2020)와 연결되어 통신을 수행할 수 있다.

이미지 센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 이미지 센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다. 실시 예에 따라서, 이미지 센서(2010)는 프로세서(2020)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.

프로세서(2020)는 컴퓨팅 시스템(2000)의 전반적인 동작을 제어할 수 있다. 프로세서(2020)는 출력 이미지를 표시하도록 디스플레이 장치(2060)를 제어할 수 있다. 프로세서(2020)는 출력 이미지를 저장 장치(2030)에 저장할 수 있다.

프로세서(2020)는 프로세서(2020)는 중앙 처리 장치(Central Processing Unit, CPU), 어플리케이션 처리 장치(Application Processing Unit, APU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등 중에서 적어도 하나를 포함할 수 있다.

프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040) 및 입출력 장치(2050)에 연결되어 통신을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.

저장 장치(2030)는 이미지 및 모션 맵 등의 데이터를 저장할 수 있다. 여기서, 저장 장치(2030)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우 뿐만 아니라 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive, SSD), 하드 디스크 드라이브(Hard Disk Drive, HDD), 광디스크 등의 모든 형태의 비휘발성 메모리 장치 중 적어도 하나로 구성될 수 있다.

메모리 장치(2040)는 이미지 및 모션 맵 등의 데이터를 저장할 수 있다. 메모리 장치(2040)는 프로세서(2020)가 처리하려는 데이터를 임시적으로 저장하거나, 프로세서(2020)가 처리한 데이터를 임시적으로 저장할 수 있다. 여기서, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우에만 보존될 수 있다. 또는, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동되거나 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.

입출력 장치(2050)는 입력 장치 및 출력 장치를 포함할 수 있다. 입력 장치는 상호작용을 통해 사용자의 명령을 입력할 수 있는 장치이며, 예를 들어 입력 장치는 키보드, 키패드, 마우스, 마이크 등으로 구현될 수 있다. 출력 장치는 데이터를 출력할 수 있는 장치이며, 예를 들어 출력 장치는 프린터, 스피커 등으로 구현될 수 있다.

디스플레이 장치(2060)는 이미지를 시각적으로 출력하는 장치이다. 이를 위해, 디스플레이 장치(2060)는 별도의 백라이트 유닛(예: LED(light emitting diode) 등)을 광원으로 이용하고 액정(Liquid Crystal)의 분자 배열을 제어함으로써 백라이트 유닛에서 방출된 빛이 액정을 통해 투과되는 정도(빛의 밝기 또는 빛의 세기)를 조절하는 LCD(Liquid Crystal Display), 별도의 백라이트 유닛 또는 액정 없이 자발광 소자(예: 크기가 100-200um인 mini LED, 크기가 100um이하인 micro LED, OLED(Organic LED), QLED(Quantum dot LED) 등)를 광원으로 이용하는 디스플레이 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 이 경우, 디스플레이 장치(2060)는 출력 이미지에 대응되는 레드, 그린, 블루 색상의 빛을 외부로 방출시킬 수 있다.

100: 전자 장치
110: 이미지 센서
120: 통신 인터페이스
130: 프로세서

Claims (20)

1. 제1 노출 시간 동안 센싱한 노말 픽셀 값들 및 상기 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 단노출 픽셀 값들을 포함하는 이미지를 획득하는 이미지 센서; 및
   상기 제1 노출 시간 및 상기 제2 노출 시간의 노출 비율, 및 상기 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 상기 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하고,
   상기 플래그 정보에 기초하여, 상기 선택 영역에 포함된 상기 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 프로세서;를 포함하는 전자 장치.
   
2. 제1항에 있어서,
   상기 프로세서는,
   상기 단노출 픽셀 값들을 상기 노출 비율을 이용해 보정한 보정 픽셀 값들 및 상기 노말 픽셀 값들을 포함하는 보정 이미지를 획득하는 노출 보정부;를 포함하는 전자 장치.
   
3. 제2항에 있어서,
   상기 프로세서는,
   상기 보정 이미지의 복수의 영역들 중에서 상기 선택 영역에 대응되는 영역에 포함된 노말 픽셀 값들의 평균 값 및 보정 픽셀 값의 평균 값의 비율을 나타내는 모션 비율을 획득하는 모션 비율 계산부; 및
   상기 모션 비율에 기초하여 상기 선택 영역이 상기 모션 영역 또는 상기 노말 영역 중 하나인 것을 나타내는 상기 플래그 정보를 획득하는 모션 영역 검출부;를 포함하는 전자 장치.
   
4. 제3항에 있어서,
   상기 모션 영역 검출부는,
   상기 모션 비율 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값을 초과하면, 상기 선택 영역이 상기 모션 영역인 것을 나타내는 제1 값을 포함하는 상기 플래그 정보를 획득하고,
   상기 크기 값이 상기 제2 기준 값 이하이면, 상기 선택 영역이 상기 노말 영역인 것을 나타내는 제2 값을 포함하는 상기 플래그 정보를 획득하는 전자 장치.
   
5. 제1항에 있어서,
   상기 프로세서는,
   상기 플래그 정보가 상기 선택 영역이 상기 모션 영역인 것으로 나타내면, 상기 노말 픽셀 값들 중에서 상기 선택 영역에 포함된 상기 단노출 픽셀 값과 같은 색상의 노말 픽셀 값들을 선택하고, 상기 선택된 노말 픽셀 값들 중에서 상기 단노출 픽셀 값을 기준으로 복수의 방향들로 가장 가까운 거리에 위치한 주변 노말 픽셀 값들과 상기 단노출 픽셀 값 사이의 거리 및 상기 주변 노말 픽셀 값들의 가중치 합에 따른 값을 상기 복원 픽셀 값으로 획득하는 픽셀 보정부;를 포함하는 전자 장치.
   
6. 제5항에 있어서,
   상기 복수의 방향들은 상측 방향, 하측 방향, 좌측 방향 및 우측 방향을 포함하고,
   상기 픽셀 보정부는,
   상기 선택된 노말 픽셀 값들 중에서 상기 단노출 픽셀 값을 기준으로 상기 복수의 방향들 중 어느 하나의 방향으로 가장 가까운 거리에 위치한 제1 픽셀 값이 존재하지 않는 경우, 상기 어느 하나의 방향과 반대 방향으로 가장 가까운 거리에 위치한 제2 픽셀 값을 상기 제1 픽셀 값으로 획득하는 전자 장치.
   
7. 제5항에 있어서,
   상기 픽셀 보정부는,
   상기 플래그 정보가 상기 선택 영역이 상기 노말 영역인 것으로 나타내면, 상기 선택 영역에 포함된 상기 단노출 픽셀 값에 상기 노출 비율을 곱한 값을 상기 복원 픽셀 값으로 획득하는 전자 장치.
   
8. 제1항에 있어서,
   상기 프로세서는,
   상기 복수의 영역들 중에서 상기 플래그 정보가 존재하지 않는 널(null) 영역에 제1 커널에 포함된 중심 영역을 대응시키고, 상기 복수의 영역들 중에서 상기 제1 커널에 포함된 상기 중심 영역의 주변 영역들에 대응되는 상기 널 영역의 주변 영역들에 포함된 플래그 정보의 제1 값의 개수에 따라, 상기 널 영역이 상기 모션 영역 또는 상기 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하는 모션 영역 검출부;를 포함하는 전자 장치.
   
9. 제8항에 있어서,
   상기 프로세서는,
   상기 복수의 영역들 중에서 상기 모션 영역을 나타내는 상기 플래그 정보를 포함하는 모션 플래그 영역에 제2 커널에 포함된 중심 영역을 대응시키고, 상기 복수의 영역들 중에서 상기 제2 커널에 포함된 상기 중심 영역의 주변 영역들에 대응되는 상기 모션 플래그 영역의 주변 영역들에 포함된 플래그 정보의 제1 값의 개수에 따라, 상기 모션 플래그 영역에 포함된 상기 플래그 정보를 유지하거나 또는 상기 노말 영역인 것을 나타내는 플래그 정보로 변경하는 노이즈 필터;를 포함하는 전자 장치.
   
10. 제8항에 있어서,
    상기 제1 커널 또는 상기 제2 커널에 포함된 주변 영역들은,
    상기 제1 커널 또는 상기 제2 커널의 중심 영역을 기준으로 상측 방향, 하측 방향, 좌측 방향 및 우측 방향으로 위치한 영역들을 포함하는 전자 장치.
    
11. 제1 노출 시간 동안 센싱한 노말 픽셀 값들 및 상기 제1 노출 시간 보다 작은 제2 노출 시간 동안 센싱한 단노출 픽셀 값들을 포함하는 이미지를 획득하는 단계;
    상기 제1 노출 시간 및 상기 제2 노출 시간의 노출 비율, 및 상기 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 상기 선택 영역이 모션 영역 또는 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하는 단계; 및
    상기 플래그 정보에 기초하여, 상기 선택 영역에 포함된 상기 단노출 픽셀 값을 보정한 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 단계;를 포함하는 전자 장치의 동작 방법.
    
12. 제11항에 있어서,
    상기 플래그 정보를 획득하는 단계는,
    상기 단노출 픽셀 값들을 상기 노출 비율을 이용해 보정한 보정 픽셀 값들 및 상기 노말 픽셀 값들을 포함하는 보정 이미지를 획득하는 단계;
    상기 보정 이미지의 복수의 영역들 중에서 상기 선택 영역에 대응되는 영역에 포함된 노말 픽셀 값들의 평균 값 및 보정 픽셀 값의 평균 값의 비율을 나타내는 모션 비율을 획득하는 단계; 및
    상기 모션 비율에 기초하여 상기 선택 영역이 상기 모션 영역 또는 상기 노말 영역 중 하나인 것을 나타내는 상기 플래그 정보를 획득하는 단계;를 포함하는 전자 장치의 동작 방법.
    
13. 제12항에 있어서,
    상기 플래그 정보를 획득하는 단계는,
    상기 모션 비율 및 제1 기준 값의 차이에 대한 크기 값이 제2 기준 값을 초과하면, 상기 선택 영역이 상기 모션 영역인 것을 나타내는 제1 값을 포함하는 상기 플래그 정보를 획득하는 단계; 및
    상기 크기 값이 상기 제2 기준 값 이하이면, 상기 선택 영역이 상기 노말 영역인 것을 나타내는 제2 값을 포함하는 상기 플래그 정보를 획득하는 단계;를 포함하는 전자 장치의 동작 방법.
    
14. 제11항에 있어서,
    상기 복원 이미지를 출력하는 단계는,
    상기 플래그 정보가 상기 선택 영역이 상기 모션 영역인 것으로 나타내면, 제1 방식에 따라 상기 단노출 픽셀 값을 이용해 상기 복원 픽셀 값을 획득하는 단계; 및
    상기 플래그 정보가 상기 선택 영역이 상기 노말 영역인 것으로 나타내면, 제2 방식에 따라 상기 단노출 픽셀 값을 이용해 상기 복원 픽셀 값을 획득하는 단계;를 포함하는 전자 장치의 동작 방법.
    
15. 제14항에 있어서,
    상기 제1 방식에 따라 상기 단노출 픽셀 값을 이용해 상기 복원 픽셀 값을 획득하는 단계는,
    상기 노말 픽셀 값들 중에서 상기 선택 영역에 포함된 상기 단노출 픽셀 값과 같은 색상의 노말 픽셀 값들을 선택하는 단계; 및
    상기 선택된 노말 픽셀 값들 중에서 상기 단노출 픽셀 값을 기준으로 복수의 방향들로 가장 가까운 거리에 위치한 주변 노말 픽셀 값들과 상기 단노출 픽셀 값 사이의 거리 및 상기 주변 노말 픽셀 값들의 가중치 합에 따른 값을 상기 복원 픽셀 값으로 획득하는 단계;를 포함하는 전자 장치의 동작 방법.
    
16. 제14항에 있어서,
    상기 선택된 노말 픽셀 값들 중에서 상기 단노출 픽셀 값을 기준으로 상기 복수의 방향들 중 어느 하나의 방향으로 가장 가까운 거리에 위치한 제1 픽셀 값이 존재하지 않는 경우, 상기 어느 하나의 방향과 반대 방향으로 가장 가까운 거리에 위치한 제2 픽셀 값을 상기 제1 픽셀 값으로 획득하는 단계;를 더 포함하는 전자 장치의 동작 방법.
    
17. 제14항에 있어서,
    상기 제2 방식에 따라 상기 단노출 픽셀 값을 이용해 상기 복원 픽셀 값을 획득하는 단계는,
    상기 선택 영역에 포함된 상기 단노출 픽셀 값에 상기 노출 비율을 곱한 값을 상기 복원 픽셀 값으로 획득하는 전자 장치의 동작 방법.
    
18. 제11항에 있어서,
    상기 복수의 영역들 중에서 상기 플래그 정보가 존재하지 않는 널(null) 영역에 커널에 포함된 중심 영역을 대응시키고, 상기 복수의 영역들 중에서 상기 커널에 포함된 중심 영역의 주변 영역들에 대응되는 영역들에 포함된 플래그 정보의 값에 따라, 상기 널 영역이 상기 모션 영역 또는 상기 노말 영역 중 하나인 것을 나타내는 플래그 정보를 획득하는 단계; 및
    상기 복수의 영역들 중에서 상기 모션 영역을 나타내는 상기 플래그 정보를 포함하는 모션 플래그 영역에 상기 중심 영역을 대응시키고, 상기 복수의 영역들 중에서 상기 주변 영역들에 대응되는 영역들 및 상기 모션 플래그 영역에 포함된 상기 모션 영역을 나타내는 상기 플래그 정보의 값에 따라, 상기 모션 플래그 영역에 포함된 상기 플래그 정보를 유지하거나 또는 상기 노말 영역인 것을 나타내는 플래그 정보로 변경하는 단계;를 더 포함하는 전자 장치의 동작 방법.
    
19. 서로 다른 노출 시간들 동안 센싱한 노말 픽셀 값들 및 단노출 픽셀 값들을 포함하는 이미지를 외부 장치로부터 수신하는 통신 인터페이스; 및
    상기 노출 시간들의 노출 비율, 및 상기 이미지의 복수의 영역들 중에서 선택 영역에 포함되는 단노출 픽셀 값 및 노말 픽셀 값들을 이용하여, 상기 선택 영역이 모션 영역 또는 노말 영역인지 여부를 판단하고,
    상기 선택 영역이 모션 영역이면, 상기 단노출 픽셀 값을 상기 단노출 픽셀 값의 주변 픽셀 값들을 이용해 보정한 제1 복원 픽셀 값을 획득하고, 상기 선택 영역이 노말 영역이면, 상기 단노출 픽셀 값을 상기 노출 비율을 이용해 보정한 제2 복원 픽셀 값을 획득하고,
    상기 제1 복원 픽셀 값 또는 상기 제2 복원 픽셀 값을 포함하는 복원 이미지를 출력하는 프로세서;를 포함하는 전자 장치.
    
20. 제19항에 있어서,
    상기 단노출 픽셀 값들의 개수는 상기 노말 픽셀 값들의 개수보다 작고,
    상기 단노출 픽셀 값들의 색상은 그린 색상인 전자 장치.

Images