KR20230032359A

KR20230032359A - 전자 장치 및 그 동작 방법

Info

Publication number: KR20230032359A
Application number: KR1020210115123A
Authority: KR
Inventors: 김동익
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2021-08-30
Filing date: 2021-08-30
Publication date: 2023-03-07
Also published as: US20230064910A1; CN115734078A

Abstract

본 기술에 따른 전자 장치는 복수의 노출 값들에 각각 대응되는 복수의 픽셀 그룹들을 포함하는 이미지 센서 및 복수의 픽셀 그룹들에 기초해 획득된 복수의 스케일 이미지들 중에서 최소 노출 값을 갖는 기준 스케일 이미지 및 최소 노출 값과 다른 노출 값을 갖는 선택 스케일 이미지에 공통으로 포함된 객체의 위치 변화를 나타내는 모션 맵을 기준 스케일 이미지 및 선택 스케일 이미지에 대한 가중치로 이용하여, 복수의 스케일 이미지들을 합성한 출력 이미지를 출력하는 컨트롤러를 포함할 수 있다.

Description

전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}

본 발명은 전자 장치에 관한 것으로, 보다 구체적으로 이미지 센서를 포함하는 전자 장치 및 그 동작 방법에 관한 것이다.

최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 카메라, 자율주행 차량 등 다양한 전자 장치에서 이미지 센서의 수요가 증가하고 있다.

특히 최근에는 DR(Dynamic range) 등의 화질 향상을 위해 노출 시간이 다른 여러 장의 원본 이미지들을 하나의 이미지로 합성하는 다양한 기법들이 연구되고 있다. 다만, 객체 또는 이미지 센서 자체가 이동할 경우에는 그 노출 시간에 따라 원본 이미지들 각각에 포함된 객체의 위치가 다르게 나타나며, 이로 인해 하나의 합성 이미지에서 동일한 객체가 다른 위치에서 중복하여 표시되거나, 객체의 이동 과정이 표시되는 일명 고스트 현상이 발생하는 문제가 있다. 이러한 고스트 현상을 해결하기 위한 기술이 요구되고 있다.

본 발명의 실시 예는 객체의 모션에 따른 고스트 현상의 발생을 방지하면서 화질이 향상된 이미지를 출력하는 전자 장치 및 그 동작 방법을 제공한다.

본 발명의 실시 예에 따른 전자 장치는 복수의 노출 값들에 각각 대응되는 복수의 픽셀 그룹들을 포함하는 이미지 센서 및 복수의 픽셀 그룹들 각각의 노출 값에 기초해 획득된 복수의 스케일 이미지들 중에서 최소 노출 값을 갖는 기준 스케일 이미지 및 최소 노출 값과 다른 노출 값을 갖는 선택 스케일 이미지에 공통으로 포함된 객체의 위치 변화를 나타내는 모션 맵을 기준 스케일 이미지 및 선택 스케일 이미지에 대한 가중치로 이용하여, 복수의 스케일 이미지들을 합성한 출력 이미지를 출력하는 컨트롤러를 포함할 수 있다.

본 발명의 실시 예에 따른 전자 장치의 동작 방법은 서로 다른 노출 시간 동안 픽셀 값들을 센싱하는 복수의 픽셀 그룹들로부터 복수의 이미지들을 획득하는 단계, 복수의 이미지들 각각의 노출 시간을 이용하여, 복수의 이미지들을 보정한 복수의 스케일 이미지들을 획득하는 단계, 복수의 스케일 이미지들 중에서 최소 노출 시간을 갖는 기준 스케일 이미지 및 최소 노출 시간과 다른 노출 시간을 갖는 선택 스케일 이미지에 기초하여, 객체의 위치 변화를 나타내는 모션 맵을 생성하는 단계 및 모션 맵을 기준 스케일 이미지 및 선택 스케일 이미지에 대한 가중치로 이용하여 합성한 출력 이미지를 출력하는 단계를 포함할 수 있다.

본 기술은 고스트 현상의 발생을 방지하면서 화질이 향상된 이미지를 출력하는 전자 장치 및 그 동작 방법을 제공할 수 있다. 본 기술에 따르면, 노출 시간이 다른 이미지를 합성한 이미지에 고스트 현상이 발생하는 것을 최소화할 수 있다.

도 1은 본 개시의 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2a는 본 개시의 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 2b은 본 개시의 실시 예에 따른 컨트롤러를 설명하기 위한 도면이다.
도 2c는 본 개시의 실시 예에 따른 스케일러, 전처리부 및 모션 맵 생성부의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 개시의 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 4a 내지 4d는 본 개시의 실시 예에 따른 이미지를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 개시의 실시 예에 따른 스케일 이미지를 설명하기 위한 도면이다.
도 6a는 본 개시의 실시 예에 따른 그레이 스케일로 변환된 스케일 이미지를 설명하기 위한 도면이다.
도 6b는 본 개시의 실시 예에 따른 블록을 설명하기 위한 도면이다.
도 7a 내지 도 7c는 본 개시의 실시 예에 따른 모션 맵을 설명하기 위한 도면이다.
도 8a 내지 8c는 본 개시의 실시 예에 따른 출력 이미지를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 도면이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

도 1은 본 개시의 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 일 실시 예에 따른 전자 장치(100)는 이미지를 획득할 수 있다. 그리고, 전자 장치(100)는 이미지를 처리한 출력 이미지를 저장하거나, 표시하거나 또는 외부 장치로 출력할 수 있다. 일 실시 예에 따른 전자 장치(100)는 호스트(200)의 요청에 따라 호스트(200)로 출력 이미지를 출력할 수 있다.

일 실시 예에서, 전자 장치(100)는 패키징된 모듈, 부품 등의 형태로 구현될 수 있다. 이 경우, 전자 장치(100)는 호스트(200)에 탑재될 수 있다. 호스트(200)는 다양한 전자 장치로 구현될 수 있다. 예를 들어, 호스트(200)는 디지털 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량 등으로 구현될 수 있다.

다른 일 실시 예에서, 전자 장치(100)는 호스트(200)와는 별개의 전자 장치로 구현될 수 있다. 예를 들어, 전자 장치(100)는 촬상 장치, 디지털 카메라, 캠코더, CCTV(Closed-circuit Television), 웹캠, 보안 카메라, 산업용 비전 카메라, 모바일 장치, 스마트폰(smart phone), PC(Personal Computer), 태블릿 PC(tablet personal computer), 노트북(notebook), PDA(personal digital assistant), EDA(enterprise digital assistant), PMP(portable multimedia player), 웨어러블 디바이스(wearable device), 블랙박스, 로봇, 자율주행 차량, 차량용 비전 카메라, 셋톱 박스, 게임 콘솔, 전자 사전, 전자책 리더기, 데스크탑 컴퓨터, 서버, MP3 플레이어, 스마트 의료기기, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 스마트 미러, 스마트 윈도우, 전자 키, 전자 액자, 디지털 광고판, 보안 컨트롤 패널 등일 수 있다. 여기서, 웨어러블 디바이스는 스마트 워치, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 헤드 마운티드 장치(head-mounted-device; HMD), 스킨 패드, 문신, 또는 생체 이식형 회로 등일 수 있다.

전자 장치(100)는 이미지 센서(110) 및 컨트롤러(120)를 포함할 수 있다.

이미지 센서(110)는 로우 이미지(raw Image)를 획득할 수 있다. 구체적으로, 이미지 센서(110)는 호스트(200) 또는 컨트롤러(120)로부터 이미지를 획득하도록 요청하는 커맨드가 수신되면 로우 이미지를 획득할 수 있다. 이를 위해, 이미지 센서(110)는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서 등으로 구현될 수 있다. 그리고, 이미지 센서(110)는 로우 이미지를 컨트롤러(120)로 전달할 수 있다.

이미지 센서(110)는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 매트릭스 형태로 배열될 수 있다. 복수의 픽셀들은 노출 값에 따라 복수의 픽셀 그룹으로 그룹핑될 수 있다. 즉, 이미지 센서(110)는 복수의 픽셀 그룹들을 포함할 수 있다. 복수의 픽셀 그룹들은 복수의 노출 값들에 각각 대응될 수 있다. 즉, 복수의 픽셀 그룹들은 서로 다른 노출 값을 가질 수 있다. 여기서 노출 값은 픽셀이 픽셀 값을 센싱하는 노출 시간을 나타낼 수 있다. 예를 들어, 제1 픽셀 그룹은 복수의 픽셀들 중에서 제1 노출 값을 갖는 픽셀들을 포함할 수 있다. 제2 픽셀 그룹은 복수의 픽셀들 중에서 제2 노출 값을 갖는 픽셀들을 포함할 수 있다.

이미지 센서(110)는 복수의 픽셀들을 통해 픽셀 데이터들을 획득할 수 있다. 픽셀 데이터는 픽셀의 위치, 색상, 노출 값 중 적어도 하나를 포함할 수 있다.

픽셀의 위치는 복수의 픽셀들 중에서 해당 픽셀이 배열된 위치를 나타낼 수 있다. 복수의 픽셀들은 픽셀의 위치에 따라 구별될 수 있다. 픽셀의 위치를 나타내는 어드레스를 통해 해당 위치의 픽셀이 선택될 수 있다.

픽셀의 색상은 해당 픽셀에 대한 빛의 색상을 나타낼 수 있다. 예를 들어, 복수의 픽셀 각각의 색상은 레드(red), 블루(blue) 및 그린(green) 중 하나일 수 있다.

노출 값은 노출 시간을 나타낼 수 있다. 노출 시간은 픽셀이 빛에 노출되는 시간 또는 픽셀이 픽셀 값을 센싱하는 시간을 나타낼 수 있다. 일반적으로, 노출 시간이 감소하면 노출 시간 동안 입사되는 빛의 양이 줄어들기 때문에 픽셀 값은 감소하며, 노출 시간이 증가하면 노출 시간 동안 입사되는 빛의 양이 늘기 때문에 픽셀 값은 증가할 수 있다. 일 실시 예에 따르면 픽셀마다 개별적인 노출 값이 설정될 수 있다. 이 경우, 각 픽셀의 픽셀 값은 각 픽셀에 설정된 노출 값에 대응되는 노출 시간 동안 획득된 값일 수 있다.

컨트롤러(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(120)는 노출 시간을 조절하거나, 이미지를 획득하는 동작을 수행하도록 이미지 센서(110)를 제어할 수 있다.

일 실시 예에서, 컨트롤러(120)는 이미지 센서(110)에 포함된 복수의 픽셀 그룹들을 기초로 복수의 스케일 이미지를 획득할 수 있다. 예를 들어, 컨트롤러(120)는 제1 픽셀 그룹을 통해 획득된 픽셀 값들을 기초로 제1 스케일 이미지를 생성하고, 이미지 센서(110)에 포함된 제2 픽셀 그룹을 통해 획득된 픽셀 값들을 기초로 제2 스케일 이미지를 생성할 수 있다. 여기서, 제1 픽셀 그룹은 제1 노출 값에 대응되고, 제2 픽셀 그룹은 제2 노출 값에 대응될 수 있다. 예를 들어, 제1 픽셀 그룹은 이미지 센서(110)에 포함된 복수의 픽셀들 중에서 제1 노출 값이 설정된 픽셀들을 포함할 수 있다. 제2 픽셀 그룹은 이미지 센서(110)에 포함된 복수의 픽셀들 중에서 제2 노출 값이 설정된 픽셀들을 포함할 수 있다. 여기서, 제1 노출 값 및 제2 노출 값은 서로 다른 값을 가질 수 있다. 예를 들어, 제2 노출 값은 제1 노출 값보다 큰 값일 수 있다.

구체적으로, 컨트롤러(120)는 이미지 센서(110)로부터 로우 이미지를 획득할 수 있다. 로우 이미지는 복수의 픽셀들을 통해 획득된 복수의 픽셀 값들을 포함할 수 있다. 컨트롤러(120)는 하나의 로우 이미지로부터 복수의 이미지들을 획득할 수 있다. 복수의 이미지들 각각은 서로 다른 노출 값을 갖는 이미지일 수 있다. 예를 들어, 제1 이미지는 제1 노출 값이 나타내는 제1 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다. 제2 이미지는 제2 노출 값이 나타내는 제2 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다. 여기서, 제2 노출 값이 제1 노출 값보다 큰 경우를 가정하면, 제2 노출 시간은 제1 노출 시간을 포함할 수 있다. 즉, 제1 노출 시간은 제2 노출 시간의 일부 구간에 중첩될 수 있다.

그리고, 컨트롤러(120)는 복수의 이미지들 각각의 노출 값 또는 노출 시간을 이용하여, 복수의 이미지들을 보정한 복수의 스케일 이미지들을 획득할 수 있다.

일 실시 예에서, 컨트롤러(120)는 제1 스케일 이미지에 대응되는 제1 블록 그룹에서 객체를 나타내는 제1 블록의 위치 및 제2 스케일 이미지에 대응되는 제2 블록 그룹에서 객체를 나타내는 제2 블록의 위치에 기초하여, 모션 맵을 생성할 수 있다. 여기서, 제1 블록 그룹의 블록들 각각은 제1 스케일 이미지의 일 영역에 대응되고, 제2 블록 그룹의 블록들 각각은 제2 스케일 이미지의 일 영역에 대응될 수 있다. 모션 맵은 객체의 모션 또는 객체의 위치 변화를 나타낼 수 있다. 모션 맵은 복수의 모션 값을 포함할 수 있다. 모션 값은 픽셀 값에 대응될 수 있다. 예를 들어, 모션 값 및 픽셀 값은 위치에 따라 서로 대응되는 관계를 가질 수 있다.

이를 위해, 컨트롤러(120)는 제1 스케일 이미지 및 제2 스케일 이미지 중에서 가장 작은 노출 값(최소 노출 값)을 갖는 스케일 이미지를 기준 스케일 이미지로 선택하고, 다른 노출 값을 갖는 스케일 이미지를 타겟 스케일 이미지로 하나씩 선택할 수 있다. 여기서 타겟 스케일 이미지는 선택 스케일 이미지라고 지칭할 수 있다.

한편 상술한 실시 예는 일 실시 예일 뿐 스케일 이미지의 개수는 3개 이상일 수 있다. 이 경우, 컨트롤러(120)는 복수의 스케일 이미지들 중에서 가장 작은 노출 값(즉, 최소 노출 값)을 갖는 기준 스케일 이미지 및 선택된 노출 값을 갖는 스케일 이미지에 기초하여, 객체의 모션을 나타내는 모션 맵을 생성할 수 있다.

일 실시 예에서, 컨트롤러(120)는 모션 맵을 제1 스케일 이미지 및 제2 스케일 이미지에 대한 가중치로 이용하는 가중치 연산에 따라 생성된 출력 이미지를 출력할 수 있다. 한편 이는 일 실시 예일 뿐 스케일 이미지의 개수는 3개 이상일 수 있다. 이 경우, 컨트롤러(120)는 모션 맵을 기준 스케일 이미지 및 선택된 노출 값을 갖는 스케일 이미지에 대한 가중치로 이용하는 가중치 연산에 따라 출력 이미지를 생성할 수 있다. 컨트롤러(120)는 생성된 출력 이미지를 출력할 수 있다.

본 개시에 따르면 객체의 모션에 따른 고스트 현상의 발생을 방지하면서 화질이 향상된 이미지를 출력하는 전자 장치 및 그 동작 방법을 제공할 수 있다. 이하에서는 첨부된 도면을 참조하여 보다 구체적으로 설명하도록 한다.

도 2a는 본 개시의 실시 예에 따른 이미지 센서를 설명하기 위한 도면이다.

도 2a를 참조하면, 이미지 센서(110)는 광학 렌즈(LS), 픽셀 어레이(111), 로우 디코더(112), 타이밍 생성기(113), 신호 변환기(114) 및 출력 버퍼(115)를 포함할 수 있다.

광학 렌즈(LS)는 피사체로부터 반사된 빛을 굴절시킬 수 있다. 광학 렌즈(LS)를 통해 굴절된 빛은 픽셀 어레이(111)로 진행될 수 있다. 즉, 광학 렌즈(LS)는 입사되는 빛을 픽셀 어레이(111)의 각각의 픽셀들로 굴절시킬 수 있다. 광학 렌즈(LS)는 빛의 진행 경로에 배열되는 하나의 렌즈 또는 복수의 렌즈들의 집합체 중 하나일 수 있다. 또한, 광학 렌즈(LS)는 마이크로 렌즈들의 집합체를 포함할 수 있다. 피사체는 이미지 센서(110)의 외부에 존재하는 사물, 동물, 사람, 배경 등 다양한 요소 중 적어도 하나를 포함할 수 있다.

픽셀 어레이(111)는 노출된 빛의 세기 또는 양을 나타내는 전기 신호를 생성할 수 있다.

픽셀 어레이(111)는 복수의 픽셀을 포함할 수 있다. 복수의 픽셀은 로우(row) 방향과 컬럼(column) 방향으로 배열될 수 있다. 픽셀 어레이(111)에 포함되는 복수의 픽셀은 로우 이미지(raw_IMG)에 포함되는 복수의 픽셀에 대응될 수 있다. 픽셀 어레이(111)의 픽셀은 물리적인 영역에 배열된 것이며, 로우 이미지(raw_IMG)의 픽셀은 디지털 영역에 배열된 것일 수 있다. 픽셀 어레이(111)의 픽셀 및 이미지(IMG)의 픽셀은 동일한 배열 위치끼리 대응되는 관계를 가질 수 있다.

예를 들어, 로우 이미지(raw_IMG)의 픽셀 (x, y)은 픽셀 어레이(111)의 픽셀 (x, y)과 서로 대응될 수 있다. 여기서 x 및 y는 자연수이다. 또한, 로우 이미지(raw_IMG)의 픽셀 (x, y)에 대한 픽셀 값은 픽셀 어레이(111)의 픽셀 (x, y)이 노출된 빛의 양에 비례할 수 있다. 이미지의 픽셀 (x, y)에 대한 색상은 픽셀 어레이(111)의 픽셀 (x, y)에 포함된 컬러 필터의 색상과 같은 색상일 수 있다.

픽셀 어레이(111)의 픽셀은 컬러 필터 및 센싱 회로를 포함할 수 있다. 컬러 필터는 센싱 회로의 상부에 배치될 수 있다. 노출 시간 동안에 빛은 컬러 필터를 통과해 센싱 회로에 도달할 수 있다. 픽셀은 컬러 필터의 색상에 따라 레드 픽셀, 블루 픽셀, 그린 픽셀 등으로 지칭할 수 있다.

센싱 회로는 광 감지 소자를 포함할 수 있다. 광 감지 소자는 빛이 입사되면 광전 효과를 이용해 전기 신호를 생성할 수 있다. 예를 들어, 광 감지 소자는 pn 접합 포토 다이오드, PIN(Positive-Intrinsic-Negative) 포토 다이오드, APD(Avalanche Photo Diode), 포토 트랜지스터 등과 같은 다양한 반도체 소자로 구현될 수 있다.

컬러 필터는 레드 컬러 필터, 그린 컬러 필터 및 블루 컬러 필터 중 하나일 수 있다. 레드 컬러 필터는 입사된 빛을 필터링하여 레드 색상을 나타내는 빛을 투과시킬 수 있다. 그린 컬러 필터는 입사된 빛을 필터링하여 그린 색상을 나타내는 빛을 투과시킬 수 있다. 블루 컬러 필터는 입사된 빛을 필터링하여 블루 색상을 나타내는 빛을 투과시킬 수 있다. 한편, 이는 일 실시 예일 뿐, 레드 컬러 필터, 그린 컬러 필터 및 블루 컬러 필터 중 적어도 하나는 화이트 컬러 필터, 시온 컬러 필터, 옐로우 컬러 필터 등과 같은 다른 색상의 컬러 필터로 변형되거나, 다른 색상의 컬러 필터가 추가될 수 있다.

복수의 컬러 필터는 베이어 패턴에 따라 배열될 수 있다. 예를 들어, 레드 컬러 필터, 그린 컬러 필터, 블루 컬러 필터가 단위 영역 마다 배열될 수 있다. 이 경우, 하나의 단위 영역은 좌측 상단 서브 영역, 우측 상단 서브 영역, 좌측 하단 서브 영역, 우측 하단 서브 영역과 같이 4개의 서브 영역으로 구분될 수 있다. 4개의 서브 영역 각각에는 동일한 색상의 컬러 필터가 m x n으로 배열될 수 있다. 여기서, m 및 n은 자연수이다. 예를 들어, 쿼드 베이어 패턴의 경우 4개의 서브 영역 각각에는 동일한 색상의 컬러 필터가 2 x 2로 배열될 수 있다. 일 예를 들어, 대각 방향으로 위치하는 좌측 상단 서브 영역 및 우측 하단 서브 영역 각각에는 그린 컬러 필터가 배열되고, 다른 대각 방향으로 위치하는 우측 상단 서브 영역 및 좌측 하단 서브 영역에는 레드 컬러 필터 및 블루 컬러 필터가 각각 배열될 수 있다.

로우 디코더(112)는 타이밍 생성기(113)로부터 출력된 어드레스와 제어 신호들에 응답하여 픽셀 어레이(111)에 포함된 복수의 픽셀 중에서 어드레스에 대응되는 로우에 위치한 픽셀을 선택할 수 있다. 한편, 타이밍 생성기(113)는 각 픽셀에 대한 노출 값을 설정할 수 있다. 예를 들어, 타이밍 생성기(113)는 컨트롤러(200)의 제어에 따라 각 픽셀에 대한 노출 값을 설정할 수 있다.

신호 변환기(114)는 픽셀 어레이(111)로부터 출력된 신호들 각각에 기초해 복수의 픽셀 각각에 대한 픽셀 값을 획득할 수 있다. 신호 변환기(114)는 타이밍 생성기(113)의 제어에 따라 선택된 로우에 해당하는 픽셀들에 대한 픽셀 값들을 출력 버퍼(115)로 전달할 수 있다.

출력 버퍼(115)는 신호 변환기(114)로부터 순차적으로 전달된 픽셀들에 대한 픽셀 값들을 저장하고, 픽셀들에 대한 픽셀 값들을 포함하는 로우 이미지(raw_IMG)를 출력할 수 있다.

한편, 픽셀 값은 노출 시간 동안 픽셀에 들어오는 빛의 양에 기초하여 획득될 수 있다. 예를 들어, 픽셀 값은 노출 시간 동안 노출된 빛에 의해 축적되는 전하의 양에 비례할 수 있다.

구체적인 예를 들어, 픽셀은 센싱 회로를 통해 입사된 빛의 세기에 대응되는 레벨을 갖는 전류를 발생시킬 수 있다. 픽셀은 노출 시간 동안 발생된 전류를 통해 전하를 축적할 수 있다. 전하는 센싱 회로에 축적될 수 있다. 픽셀은 센싱 회로를 통해, 축적된 전하의 양에 비례하는 레벨을 갖는 전압을 생성할 수 있다. 이때 생성된 전압의 레벨은 픽셀 값을 나타낼 수 있다.

일 실시 예에서, 픽셀 어레이(111)는 복수의 픽셀들을 포함할 수 있다. 픽셀 어레이(111)는 복수의 픽셀들 각각에 설정된 노출 시간 동안 픽셀 값을 획득할 수 있다. 이 경우, 픽셀 어레이(111)는 픽셀 값들을 갖는 픽셀들을 포함하는 하나의 로우 이미지(raw_IMG)를 획득할 수 있다. 이때, 로우 이미지(raw_IMG)는 2 이상의 다른 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다.

일 실시 예에서, 픽셀 어레이(111)는 복수의 픽셀 그룹을 포함할 수 있다. 여기서, 복수의 픽셀 그룹 각각은 서로 다른 노출 시간이 설정될 수 있다. 각 픽셀 그룹은 일정한 간격마다 배열되는 복수의 픽셀을 포함할 수 있다. 각 픽셀은 레드 픽셀, 블루 픽셀 및 그린 픽셀 중 어느 하나일 수 있다.

구체적인 일 실시 예에서, 픽셀 어레이(111)는 제1 픽셀 그룹 및 제2 픽셀 그룹을 포함할 수 있다. 제1 픽셀 그룹은 제1 노출 값이 설정된 복수의 픽셀을 포함할 수 있다. 제2 픽셀 그룹은 제2 노출 값이 설정된 복수의 픽셀을 포함할 수 있다. 각 픽셀 그룹에 포함된 픽셀들은 각각에 설정된 노출 값에 대응되는 노출 시간 동안 빛을 감지할 수 있다. 픽셀 어레이(111)는 각 픽셀 그룹에 포함된 픽셀들 각각을 통해 감지된 빛의 양에 대응되는 픽셀 값을 획득할 수 있다.

다른 실시 예에서, 픽셀 어레이(111)는 제1 픽셀 그룹, 제2 픽셀 그룹과는 다른 적어도 하나의 픽셀 그룹을 더 포함할 수 있다. 이 경우, 다른 픽셀 그룹은 제1 노출 값 및 제2 노출 값과는 상이한 노출 값이 설정된 복수의 픽셀들을 포함할 수 있다. 즉, 서로 상이한 노출 값의 개수에 따라 픽셀 그룹의 개수가 결정될 수 있다.

한편, 상술한 실시 예에서는 이미지 센서(110)는 하나의 센서를 통해 단위 시간 동안 하나의 로우 이미지(raw_IMG)를 획득하는 모노 타입을 설명하였으나, 이는 일 실시 예일 뿐이며, 이미지 센서(110)는 복수의 센서를 통해 단위 시간 동안 복수의 로우 이미지(raw_IMG)를 획득하는 멀티플 타입으로 구현되는 것 또한 가능하다.

이를 위해, 이미지 센서(110)는 복수의 픽셀 어레이(111)를 포함할 수 있다. 각 픽셀 어레이(111) 상에는 전술한 광학 렌즈(LS)가 배치될 수 있다. 로우 디코더(112)는 타이밍 생성기(113)로부터 출력된 어드레스와 제어 신호들에 응답하여 어드레스에 대응되는 로우에 위치한 셀을 선택할 수 있다. 신호 변환기(114)는 픽셀 어레이(111)로부터 출력된 신호들 각각에 기초해 복수의 픽셀 각각에 대한 픽셀 값을 획득할 수 있다. 신호 변환기(114)는 타이밍 생성기(113)의 제어에 따라 선택된 로우에 해당하는 픽셀들에 대한 픽셀 값들을 출력 버퍼(115)로 전달할 수 있다. 출력 버퍼(115)는 신호 변환기(114)로부터 순차적으로 전달된 픽셀들에 대한 픽셀 값들을 저장하고, 픽셀들에 대한 픽셀 값들을 포함하는 로우 이미지(raw_IMG)를 출력할 수 있다. 즉, 이미지 센서(110)는 복수의 픽셀 어레이(111)의 개수와 동일한 개수의 로우 이미지(raw_IMG)를 출력할 수 있다.

도 2b은 본 개시의 실시 예에 따른 컨트롤러를 설명하기 위한 도면이다.

도 2b를 참조하면, 컨트롤러(120)는 이미지 추출부(121), 스케일러(123), 모션 맵 생성부(127) 및 이미지 합성부(129)를 포함할 수 있다. 또한, 컨트롤러(120)는 이미지 선택부(125) 및 전처리부(126) 중에서 적어도 하나를 더 포함할 수 있다. 여기서, 이미지 추출부(121), 스케일러(123), 모션 맵 생성부(127) 및 이미지 합성부(129)는 컨트롤러(120)가 해당 동작을 수행하도록 하는 소프트웨어 모듈로 구현될 수 있으나, 이에 한정되지 아니하고 해당 동작을 수행하는 하드웨어 모듈(예를 들어, 회로 등)로 구현되는 것 또한 가능하다.

이미지 추출부(121)는 이미지 센서(110)로부터 수신된 로우 이미지(raw_IMG)를 복수의 이미지(IMG)로 분리할 수 있다. 구체적으로, 이미지 추출부(121)는 이미지 센서(110)로부터 수신된 로우 이미지(raw_IMG)로부터 노출 값(ET)에 따라 복수의 이미지들(IMG)을 생성할 수 있다. 이미지 추출부(121)에서 생성된 복수의 이미지들(IMG)은 스케일러(123)로 전달될 수 있다.

일 실시 예에서, 로우 이미지(raw_IMG)가 제1 노출 값에 따라 획득된 픽셀 값들 및 제2 노출 값에 따라 획득된 픽셀 값들을 포함할 경우, 이미지 추출부(121)는 픽셀 어레이(111)를 통해 획득된 로우 이미지(raw_IMG)에 포함된 픽셀 값들 중에서, 제1 픽셀 그룹을 통해 제1 노출 값에 따라 획득된 픽셀 값들을 포함하는 제1 이미지 및 제2 픽셀 그룹을 통해 제2 노출 값에 따라 획득된 픽셀 값들을 포함하는 제2 이미지를 생성할 수 있다.

일 실시 예에서, 로우 이미지(raw_IMG)가 제1 노출 값에 따라 획득된 픽셀 값들, 제2 노출 값에 따라 획득된 픽셀 값들, 제3 노출 값에 따라 획득된 픽셀 값들을 포함할 경우, 이미지 추출부(121)는 픽셀 어레이(111)를 통해 획득된 로우 이미지(raw_IMG)에 포함된 픽셀 값들 중에서, 제1 노출 값에 따라 획득된 픽셀 값들을 포함하는 제1 이미지를 생성하고, 제2 노출 값에 따라 획득된 픽셀 값들을 포함하는 제2 이미지를 생성하고, 제3 노출 값에 따라 획득된 픽셀 값들을 포함하는 제3 이미지를 생성할 수 있다.

스케일러(123)는 복수의 이미지들(IMG)을 수신할 수 있다. 스케일러(123)는 각 이미지(IMG)에 대한 노출 값(ET)을 수신할 수 있다.

구체적으로, 복수의 이미지들 각각은 복수의 픽셀 값들을 포함할 수 있다. 복수의 이미지들 각각은 서로 다른 노출 값에 따라 획득된 픽셀 값들을 포함할 수 있다. 예를 들어, 복수의 이미지들은 제1 노출 값을 갖는 제1 이미지, 제2 노출 값을 갖는 제2 이미지, 제3 노출 값을 갖는 제3 이미지 및 제4 노출 값을 갖는 제4 이미지를 포함할 수 있다. 구체적으로 제1 이미지는 제1 픽셀 그룹을 통해 제1 노출 값이 나타내는 제1 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다. 제2 이미지는 제2 픽셀 그룹을 통해 제2 노출 값이 나타내는 제2 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다. 제3 이미지는 제3 픽셀 그룹을 통해 제3 노출 값이 나타내는 제3 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다. 제4 이미지는 제4 픽셀 그룹을 통해 제4 노출 값이 나타내는 제4 노출 시간 동안 획득된 픽셀 값들을 포함할 수 있다. 여기서, 노출 값과 노출 시간은 서로 비례하는 관계인 것으로 가정하도록 한다. 본 개시에서는 특별한 설명이 없는 한 제1 노출 값, 제2 노출 값, 제3 노출 값, 제4 노출 값의 순서로 더 큰 값인 것으로 가정하여 설명하도록 한다.

스케일러(123)는 서로 다른 노출 값을 갖는 복수의 이미지들(IMG)을 보정하여, 서로 다른 노출 값에 대응되는 복수의 스케일 이미지들(SIMG)을 생성할 수 있다. 이는 복수의 이미지들(IMG) 의 서로 동일한 영역을 비교하면, 노출 값이 작을수록 픽셀 값이 작고, 노출 값이 클수록 픽셀 값이 큰 경향을 나타내기 때문이다. 즉, 노출 값이 상이한 이미지들을 동등한 조건으로 조정하기 위함이다.

일 실시 예에서, 스케일러(123)는 제1 이미지의 픽셀 값들을 보정하여, 보정된 픽셀 값들을 포함하는 제1 스케일 이미지를 생성할 수 있다. 스케일러(123)는 제2 이미지의 픽셀 값들을 보정하여, 보정된 픽셀 값들을 포함하는 제2 스케일 이미지를 생성할 수 있다. 또한, 스케일러(123)는 제3 이미지의 픽셀 값들을 보정하여, 보정된 픽셀 값들을 포함하는 제3 스케일 이미지를 생성할 수 있다. 스케일러(123)는 제4 이미지의 픽셀 값들을 보정하여, 보정된 픽셀 값들을 포함하는 제4 스케일 이미지를 생성할 수 있다.

일 실시 예에서, 스케일러(123)는 복수의 이미지들(IMG) 각각의 노출 값 중 가장 큰 노출 값을 각 이미지의 노출 값으로 나눈 노출 비율을 산출할 수 있다. 스케일러(123)는 노출 비율을 각 이미지에 포함된 픽셀 값들 각각에 곱하는 연산을 통해, 각 이미지의 픽셀 값들이 보정된 픽셀 값들을 획득할 수 있다. 스케일러(123)는 보정된 픽셀 값들을 포함하는 스케일 이미지(SIMG)를 획득할 수 있다. 보다 구체적인 내용은 도 5a 및 도 5b를 참조하여 설명하도록 한다.

스케일러(123)는 복수의 이미지들(IMG) 각각의 노출 값을 이용하여, 복수의 이미지들(IMG) 각각의 픽셀들의 픽셀 값들을 보정하고, 복수의 이미지들(IMG) 각각의 픽셀들의 색상을 그레이 스케일로 변환한 복수의 스케일 이미지들(SIMG)을 획득할 수 있다. 픽셀들의 색상은 레드, 그린, 블루와 같은 3개의 채널이며, 그레이 스케일은 흑백의 단일 채널일 수 있다. 보다 구체적인 내용은 도 6a를 참조하여 설명하도록 한다.

이미지 선택부(125)는 복수의 스케일 이미지(SIMG) 중에서 최소 노출 값을 갖는 스케일 이미지를 기준 스케일 이미지(SIMG_R)로 결정할 수 있다. 이미지 선택부(125)는 복수의 스케일 이미지(SIMG) 중에서 기준 스케일 이미지(SIMG_R)와는 다른 하나 이상의 스케일 이미지를 타겟 스케일 이미지(SIMG_T)로 결정할 수 있다. 각 타겟 스케일 이미지(SIMG_T)에 대해서는 대응되는 하나의 모션 맵이 생성될 수 있다.

전처리부(126)는 복수의 스케일 이미지들(SIMG)에 대해 전처리를 수행할 수 있다. 복수의 스케일 이미지들(SIMG)은 기준 스케일 이미지(SIMG_R) 및 하나 이상의 타겟 스케일 이미지(SIMG_T)를 포함할 수 있다. 이는 객체의 모션을 정확하게 나타내는 모션 맵을 생성하거나, 모션 맵을 생성하는데 요구되는 연산량을 줄이기 위한 것일 수 있다.

일 실시 예에서, 전처리부(126)는 복수의 스케일 이미지들(SIMG)의 색상을 그레이 스케일로 변환한 그레이 스케일 이미지들을 획득할 수 있다. 여기서, 복수의 스케일 이미지들(SIMG)의 색상은 레드 색상, 그린 색상 및 블루 색상의 3개의 채널로 구성될 수 있다. 그레이 스케일 이미지들은 기준 그레이 스케일 이미지(GSIMG_R) 및 하나 이상의 타겟 그레이 스케일 이미지(GSIMG_T)를 포함할 수 있다. 예를 들어, 전처리부(126)는 기준 스케일 이미지(SIMG_R)의 색상을 그레이 스케일로 변환한 기준 그레이 스케일 이미지(GSIMG_R)를 획득할 수 있다. 전처리부(126)는 타겟 스케일 이미지(SIMG_T)의 색상을 그레이 스케일로 변환한 타겟 그레이 스케일 이미지(GSIMG_T)를 획득할 수 있다.

한편, 본 개시의 일 실시 예에 따르면 전처리부(126)는 생략되어 실시될 수 있다. 이 경우, 이미지 선택부(125)는 모션 맵 생성부(127)로 기준 스케일 이미지(SIMG_R) 및 하나 이상의 타겟 스케일 이미지(SIMG_T)를 전달할 수 있다.

모션 맵 생성부(127)는 타겟 스케일 이미지(SIMG_T) 각각에 대한 모션 맵을 생성할 수 있다. 또는, 모션 맵 생성부(127)는 타겟 그레이 스케일 이미지(GSIMG_T) 각각에 대한 모션 맵을 생성할 수 있다. 이하에서는 설명의 편의를 위해 타겟 스케일 이미지(SIMG_T) 각각에 대한 모션 맵을 생성하는 내용에 대해 설명하도록 한다.

일 실시 예에서, 모션 맵 생성부(127)는 제1 블록 그룹에서 객체를 나타내는 제1 블록의 위치 및 제2 블록 그룹에서 객체를 나타내는 제2 블록의 위치에 기초하여, 객체의 모션을 나타내는 모션 맵을 생성할 수 있다.

여기서, 제1 블록 그룹은 제1 스케일 이미지에 대응될 수 있다. 제1 블록 그룹에 포함되는 복수의 블록들 중에서 어느 하나의 블록은 제1 스케일 이미지의 일 영역에 대응될 수 있다. 예를 들어, 제1 블록 그룹은 복수의 제1 블록들을 포함할 수 있다. 제1 스케일 이미지는 복수의 제1 영역들을 포함할 수 있다. 여기서, 제1 블록은 제1 영역과 대응될 수 있다. 제1 블록은 제1 영역에 포함된 픽셀 값들을 기초로 산출된 블록 값을 가질 수 있다. 즉, 하나의 블록 값은 복수의 픽셀 값을 이용해 산출된 값일 수 있다. 한편, 제2 블록 그룹은 제2 스케일 이미지에 대응될 수 있다. 제2 블록 그룹은 복수의 제2 블록들을 포함할 수 있다. 제2 스케일 이미지는 복수의 제2 영역을 포함할 수 있다. 제2 블록은 제2 영역과 대응될 수 있다. 제2 블록은 제2 영역에 포함된 픽셀 값들을 기초로 산출된 블록 값을 가질 수 있다.

모션 맵은 복수의 스케일 이미지(SIMG) 중 기준 스케일 이미지(SIMG_R)를 제외한 나머지 타겟 스케일 이미지(SIMG_T) 각각에 대해 생성될 수 있다. 즉, 모션 맵의 개수는 복수의 스케일 이미지(SIMG)의 개수에서 하나를 뺀 개수일 수 있다. 한편, 모션 맵의 생성에 이용되는 스케일 이미지들(SIMG)은 그레이 스케일로 변환된 그레이 스케일 이미지일 수 있다.

모션 맵은 제1 블록 그룹(또는 제2 블록 그룹)에 대응될 수 있다. 모션 맵은 복수의 모션 값을 포함할 수 있다. 각 모션 값은 제1 블록 그룹(또는 제2 블록 그룹)에 포함된 각 블록에 대응될 수 있다. 여기서, 모션 값은 해당 블록이 나타내는 위치에서 객체의 모션이 발생한 정도를 나타낼 수 있다. 모션 값은 해당 블록에 포함된 블록 값에 기초해 산출되는 값일 수 있다.

모션 값은 가중치 연산에 대한 가중치로 이용될 수 있다. 구체적으로, 모션 값은 블록에 대응되는 이미지의 일 영역과 대응되는 위치 관계를 가질 수 있다. 이 경우, 모션 값은 대응되는 이미지의 일 영역에 포함되는 픽셀 값들에 대한 가중치로 이용될 수 있다. 모션 값은 큰 값을 가질수록 객체의 모션이 발생한 정도가 크다는 것을 나타낼 수 있다. 즉, 모션 값이 클수록 객체가 멀리 또는 빠르게 이동했다는 것을 나타낼 수 있다.

한편, 제1 스케일 이미지 및 제2 스케일 이미지 중에서, 작은 노출 값을 갖는 스케일 이미지가 기준 스케일 이미지(SIMG_R)로 미리 결정되고, 다른 하나의 스케일 이미지가 타겟 스케일 이미지(SIMG_T)로 미리 결정된 것일 수 있다.

일 실시 예에서, 모션 맵 생성부(127)는 기준 스케일 이미지(SIMG_R)에 포함된 객체 및 선택된 노출 값을 갖는 스케일 이미지(SIMG)에 포함된 객체의 위치 사이의 거리에 기초하여, 모션 맵을 생성할 수 있다.

구체적인 일 실시 예에서, 모션 맵 생성부(127)는 거리가 최소 기준 값보다 크고 최대 기준 값보다 작거나 같은 경우에, 거리가 증가할수록 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값을 더 큰 값으로 조정할 수 있다. 즉, 객체의 위치에 대응되는 모션 값은 거리에 비례하는 값일 수 있다. 일 실시 예에서, 모션 맵 생성부(127)는 거리가 최소 기준 값보다 작거나 같으면, 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값을 0의 값으로 조정할 수 있다. 일 실시 예에서, 모션 맵 생성부(127)는 거리가 최대 기준 값보다 크면, 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값을 1의 값으로 조정할 수 있다.

이미지 합성부(129)는 모션 맵(Motion map)을 복수의 스케일 이미지들(SIMG) 중에서 기준 스케일 이미지 및 선택된 노출 값을 갖는 스케일 이미지에 대한 가중치로 이용하는 가중치 연산에 따라 출력 이미지(Out_IMG)를 생성할 수 있다. 이미지 합성부(129)는 출력 이미지(Out_IMG)를 출력할 수 있다.

일 실시 예에서, 이미지 합성부(129)는 모션 값이 증가할수록, 기준 스케일 이미지의 픽셀 값들에 대한 가중치를 증가시킬 수 있다. 이미지 합성부(129)는 모션 값이 증가할수록, 타겟 스케일 이미지의 픽셀 값들에 대한 가중치를 감소시킬 수 있다. 이미지 합성부(129)는 모션 값이 증가할수록, 기준 스케일 이미지의 픽셀 값들에 대한 가중치를 증가시키고, 타겟 스케일 이미지의 픽셀 값들에 대한 가중치를 감소시키는 가중치 연산에 따라 출력 이미지를 생성할 수 있다.

이와 관련하여, 이미지들의 합성에 따라 출력 이미지(Out_IMG)를 생성할 경우, 모션 값이 큰 위치에서 고스트 현상이 발생할 가능성이 높아지게 된다. 본 개시에 따르면 모션 값이 큰 위치에서는 작은 노출 값을 갖는 기준 스케일 이미지에 대한 가중치를 큰 값으로 적용하며, 큰 노출 값을 갖는 스케일 이미지에 대한 가중치는 작은 값으로 적용함으로써, 고스트 현상의 발생을 방지할 수 있다.

도 2c는 본 개시의 실시 예에 따른 스케일러, 전처리부 및 모션 맵 생성부의 세부 구성을 설명하기 위한 도면이다.

도 2c의 (1)을 참조하면, 스케일러(123)는 최대 노출 값 결정부(123-1), 노출 값 비율 계산부(123-3), 픽셀 값 보정부(123-5)를 포함할 수 있다.

최대 노출 값 결정부(123-1)는 복수의 노출 값들 중에서 가장 큰 값을 최대 노출 값으로 결정할 수 있다. 최대 노출 값 결정부(123-1)는 최대 노출 값에 대한 정보를 출력할 수 있다.

일 실시 예에서, 복수의 노출 값들이 제1 노출 값 및 제2 노출 값을 포함하는 경우를 가정하도록 한다. 이 경우, 최대 노출 값 결정부(123-1)는 제1 노출 값 및 제2 노출 값 중에서 가장 큰 값을 최대 노출 값으로 결정할 수 있다.

노출 값 비율 계산부(123-3)는 최대 노출 값이 복수의 노출 값들 각각으로 나누어진 비율 값에 대한 정보를 출력할 수 있다.

일 실시 예에서, 복수의 노출 값들이 제1 노출 값 및 제2 노출 값을 포함하는 경우를 가정하도록 한다. 이 경우, 노출 값 비율 계산부(123-3)는 최대 노출 값이 제1 노출 값으로 나누어진 제1 비율 값에 대한 정보 및 최대 노출 값이 제2 노출 값으로 나누어진 제2 비율 값에 대한 정보를 출력할 수 있다.

픽셀 값 보정부(123-5)는 복수의 이미지들 각각을 보정하여 복수의 스케일 이미지를 생성할 수 있다. 제1 이미지를 예로 들면, 픽셀 값 보정부(123-5)는 제1 이미지에 포함된 픽셀 값들에 제1 이미지에 대응되는 제1 비율을 곱하여 제1 스케일 이미지를 생성할 수 있다. 이 경우, 제1 스케일 이미지에 포함된 픽셀 값들은 제1 이미지의 픽셀 값들에 제1 노출 비율 값으로 각각 곱해진 값들일 수 있다.

일 실시 예에서, 복수의 노출 값들이 제1 노출 값 및 제2 노출 값을 포함하는 경우를 가정하도록 한다. 이 경우, 픽셀 값 보정부(123-5)는 제1 이미지의 픽셀 값들이 제1 비율 값으로 곱해진 값들로 제1 이미지의 픽셀 값들이 보정된 제1 스케일 이미지를 생성할 수 있다. 픽셀 값 보정부(123-5)는 제2 이미지의 픽셀 값들이 제2 비율 값으로 곱해진 값들로 제2 이미지의 픽셀 값들이 보정된 제2 스케일 이미지를 생성할 수 있다.

도 2c의 (2)를 참조하면, 일 실시 예에서 전처리부(126)는 그레이 스케일 변환부(126-1)를 포함할 수 있다.

그레이 스케일 변환부(126-1)는 복수의 스케일 이미지 각각의 색상을 그레이 스케일 색상으로 변환할 수 있다. 구체적으로, 그레이 스케일 변환부(126-1)는 스케일 이미지의 색상을 그레이 스케일 색상으로 변환한 픽셀 값들을 포함하는 그레이 스케일 이미지를 생성할 수 있다.

일 실시 예에서, 그레이 스케일 변환부(126-1)는 제1 스케일 이미지의 일 영역에 포함된 레드 색상, 그린 색상 및 블루 색상의 픽셀 값들을 이용해 획득된 그레이 스케일 색상의 픽셀 값을 각각 포함하는 제1 그레이 스케일 이미지를 생성할 수 있다. 그레이 스케일 변환부(126-1)는 제2 스케일 이미지의 일 영역에 포함된 레드 색상, 그린 색상 및 블루 색상의 픽셀 값들을 이용해 획득된 그레이 스케일 색상의 픽셀 값을 각각 포함하는 제2 그레이 스케일 이미지를 생성할 수 있다. 이 경우, 도 2c의 (3)의 블록 값 계산부(127-1)는 제1 그레이 스케일 이미지의 일 영역에 포함된 픽셀 값들의 평균 값을 제1 블록 그룹에 포함되는 일 블록의 블록 값으로 각각 산출하고, 제2 그레이 스케일 이미지의 일 영역에 포함된 픽셀 값들의 평균 값을 제2 블록 그룹에 포함되는 일 블록의 블록 값으로 각각 산출할 수 있다.

일 실시 예에서, 전처리부(126)는 피라미드 이미지 생성부(126-3)를 포함할 수 있다.

피라미드 이미지 생성부(126-3)는 복수의 스케일 이미지의 해상도를 감소시킨 복수의 피라미드 이미지들을 생성할 수 있다. 또는, 피라미드 이미지 생성부(126-3)는 복수의 그레이 스케일 이미지의 해상도를 감소시킨 복수의 피라미드 이미지들을 생성할 수 있다.

일 실시 예에서, 피라미드 이미지 생성부(126-3)는 제1 스케일 이미지의 해상도를 감소시킨 제1 피라미드 이미지 및 제2 스케일 이미지의 해상도를 감소시킨 제2 피라미드 이미지를 획득할 수 있다. 제1 피라미드 이미지는 복수의 제1 피라미드 영역들을 포함할 수 있다. 제1 스케일 이미지는 복수의 제1 영역들을 포함할 수 있다. 제1 영역은 제1 피라미드 영역에 대응될 수 있다. 제1 영역에 포함된 픽셀 값들의 개수는 제1 피라미드 영역에 포함된 픽셀 값들의 개수보다 많을 수 있다. 제2 피라미드 이미지는 복수의 제2 피라미드 영역들을 포함할 수 있다. 제2 영역은 제2 피라미드 영역에 대응될 수 있다. 제2 영역에 포함된 픽셀 값들의 개수는 제2 피라미드 영역에 포함된 픽셀 값들의 개수보다 많을 수 있다. 이 경우, 도 2c의 (3)의 블록 값 계산부(127-1)는 제1 피라미드 이미지의 일 영역에 포함된 픽셀 값들을 이용해, 제1 피라미드 블록 그룹에 포함되는 각 블록의 블록 값을 산출할 수 있다. 블록 값 계산부(127-1)는 제2 피라미드 이미지에 포함된 픽셀 값들을 이용해, 제2 피라미드 블록 그룹에 포함되는 각 블록의 블록 값을 산출할 수 있다.

도 2c의 (3)을 참조하면, 모션 맵 생성부(127)는 블록 값 계산부(127-1), 블록 위치 검출부(127-3), 블록 거리 계산부(127-5) 및 모션 값 계산부(127-7)를 포함할 수 있다.

블록 값 계산부(127-1)는 스케일 이미지에 포함된 픽셀 값들을 이용하여 블록들의 블록 값을 산출할 수 있다. 하나의 블록은 스케일 이미지에 포함된 복수의 영역 중 한 영역에 대응될 수 있다. 하나의 블록의 블록 값은 스케일 이미지에 포함된 복수의 영역 중 한 영역에 포함된 픽셀 값들을 이용해 산출될 수 있다.

일 실시 예에서, 블록 값 계산부(127-1)는 제1 스케일 이미지에 포함된 픽셀 값들을 이용해, 제1 블록 그룹에 포함되는 각 블록의 블록 값을 산출할 수 있다. 블록 값 계산부(127-1)는 제2 스케일 이미지에 포함된 픽셀 값들을 이용해, 제2 블록 그룹에 포함되는 각 블록의 블록 값을 산출할 수 있다.

일 실시 예에서, 블록 값 계산부(127-1)는 제1 스케일 이미지의 일 영역에 포함된 픽셀 값들의 평균 값을 제1 블록 그룹에 포함되는 일 블록의 블록 값으로 산출할 수 있다. 블록 값 계산부(127-1)는 제2 스케일 이미지의 일 영역에 포함된 픽셀 값들의 평균 값을 제2 블록 그룹에 포함되는 일 블록의 블록 값으로 산출할 수 있다. 여기서, 일 영역은 각각의 블록에 대응될 수 있다.

블록 위치 검출부(127-3)는 각 블록 그룹에서 객체를 나타내는 블록을 판단할 수 있다.

일 실시 예에서, 블록 위치 검출부(127-3)는 각 블록 그룹에 포함된 복수의 블록들 중에서 어느 하나의 블록의 블록 값을 선택하고, 선택된 블록의 블록 값과 인접한 블록의 블록 값의 차이가 기준 값을 초과할 경우 선택된 블록을 객체를 나타내는 블록으로 판단할 수 있다.

일 실시 예에서, 블록 위치 검출부(127-3)는 기준 스케일 이미지에 대응되는 제1 블록 그룹 및 타겟 스케일 이미지에 대응되는 제2 블록 그룹을 비교할 수 있다. 블록 위치 검출부(127-3)는 제1 블록 그룹에 포함된 블록들의 블록 값들과 제2 블록 그룹에 포함된 블록들의 블록 값들을 같은 위치의 블록끼리 차분할 수 있다. 차분한 결과 값들 중에서 0에 가까운 값은 객체의 이동이 없는 영역이거나 객체가 존재하지 않는 배경 영역인 것을 나타낼 수 있다. 차분한 결과 값들 중에서 기준 값 보다 큰 값은 객체의 이동이 발생한 영역을 나타낼 수 있다. 블록 위치 검출부(127-3)는 차분한 결과 값들 중에서 기준 값 보다 큰 값을 갖는 위치의 블록을 객체를 나타내는 블록으로 판단할 수 있다.

일 실시 예에서, 블록 위치 검출부(127-3)는 제1 피라미드 블록 그룹에서 객체를 나타내는 블록 값을 갖는 제1 피라미드 블록을 판단하고, 제2 피라미드 블록 그룹에서 객체를 나타내는 블록 값을 갖는 제2 피라미드 블록을 판단할 수 있다. 블록 위치 검출부(127-3)는 제1 블록 그룹에 포함된 블록들 중에서 제1 피라미드 블록의 위치에 대응되는 블록을 제1 블록으로 결정하고, 제2 블록 그룹에 포함된 블록들 중에서 제2 피라미드 블록의 위치에 대응되는 블록을 제2 블록으로 결정할 수 있다.

블록 거리 계산부(127-5)는, 제1 블록 그룹에 포함된 블록들 중에서 객체를 나타내는 블록 값을 갖는 제1 블록의 위치 및 제2 블록 그룹에 포함된 블록들 중에서 객체를 나타내는 블록 값을 갖는 제2 블록의 위치 사이의 거리를 산출할 수 있다. 여기서, 제1 블록의 위치는 제1 블록 그룹에 포함된 복수의 블록들과의 관계에서 제1 블록의 상대적인 위치를 나타낼 수 있다. 제2 블록의 위치는 제2 블록 그룹에 포함된 복수의 블록들과의 관계에서 제2 블록의 상대적인 위치를 나타낼 수 있다.

모션 값 계산부(127-7)는 제1 블록 그룹에 포함된 블록들 중에서 객체를 나타내는 제1 블록의 위치 및 제2 블록 그룹에 포함된 블록들 중에서 객체를 나타내는 제2 블록의 위치 사이의 거리에 기초하여, 모션 맵에 포함될 모션 값을 산출할 수 있다.

일 실시 예에서, 모션 값 계산부(127-7)는 제1 블록 및 제2 블록 사이의 거리가 최소 기준 값보다 크고 최대 기준 값보다 작거나 같은 경우에, 거리에 비례하는 값을 모션 값으로 산출할 수 있다. 모션 값 계산부(127-7)는 거리가 최소 기준 값보다 작거나 같으면, 0의 값을 모션 값으로 산출할 수 있다. 모션 값 계산부(127-7)는 거리가 최대 기준 값보다 크면, 1의 값을 모션 값으로 산출할 수 있다.

도 3은 본 개시의 실시 예에 따른 전자 장치의 동작 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 전자 장치(100)의 동작 방법은 각각 다른 노출 시간이 설정된 복수의 이미지들을 획득하는 단계(S310), 복수의 이미지들의 노출 시간을 기초로, 복수의 스케일 이미지들을 획득하는 단계(S320), 복수의 스케일 이미지들 각각에 포함된 객체의 위치를 기초로 모션 맵을 생성하는 단계(S330) 및 복수의 스케일 이미지들과 모션 맵의 가중치 연산을 통해 출력 이미지를 생성하는 단계(S340)를 포함할 수 있다.

구체적으로, 각각 다른 노출 시간이 설정된 복수의 이미지들을 획득할 수 있다(S310). 즉, 복수의 픽셀 그룹들로부터 복수의 이미지들을 획득할 수 있다. 복수의 픽셀 그룹들 각각은 서로 다른 노출 시간 동안 픽셀 값들을 센싱할 수 있다.

일 실시 예에서, 복수의 이미지들을 획득하는 단계는, 복수의 픽셀들을 포함하는 픽셀 어레이(111)를 통해 복수의 픽셀들 각각에 개별적으로 설정된 노출 시간 동안 픽셀 값들을 획득하는 단계 및 복수의 픽셀들 중에서 동일한 노출 시간 동안 획득된 픽셀 값들을 갖는 픽셀들을 각각 포함하는 복수의 이미지들을 획득하는 단계를 포함할 수 있다.

그리고, 복수의 이미지들의 노출 시간을 기초로, 복수의 스케일 이미지들을 획득할 수 있다(S320). 즉, 복수의 이미지들 각각의 노출 시간을 이용하여, 복수의 이미지들을 보정한 복수의 스케일 이미지들을 획득할 수 있다.

일 실시 예에서, 복수의 스케일 이미지들을 획득하는 단계는, 복수의 이미지들 각각의 노출 시간 중 가장 큰 노출 시간을 복수의 이미지들 중에서 선택된 이미지의 노출 시간으로 나눈 비율을 선택된 이미지에 포함된 픽셀들의 픽셀 값들 각각에 곱하는 연산을 통해, 선택된 이미지의 픽셀들을 보정한 스케일 이미지를 획득하는 것을 포함할 수 있다.

일 실시 예에서, 복수의 스케일 이미지들을 획득하는 단계는, 복수의 이미지들 각각의 노출 시간을 이용하여, 복수의 이미지들 각각의 픽셀들의 픽셀 값들을 보정하고, 복수의 이미지들 각각의 픽셀들의 색상을 그레이 스케일로 변환한 복수의 스케일 이미지들을 획득하는 것을 포함할 수 있다.

그리고, 복수의 스케일 이미지들 각각에 포함된 객체의 위치를 기초로 모션 맵을 생성할 수 있다(S330). 즉, 복수의 스케일 이미지들 중에서 최소 노출 시간을 갖는 기준 스케일 이미지 및 선택 스케일 이미지에 기초하여, 객체의 위치 변화를 나타내는 모션 맵을 생성할 수 있다. 선택 스케일 이미지는 복수의 스케일 이미지들 중에서 최소 노출 시간과는 다른 노출 시간을 갖는 스케일 이미지일 수 있다.

일 실시 예에서, 모션 맵을 생성하는 단계는, 기준 스케일 이미지에 포함된 객체 및 선택된 노출 시간을 갖는 스케일 이미지에 포함된 객체의 위치 차이에 기초하여, 모션 맵을 생성할 수 있다. 여기서, 위치 차이는 거리를 나타낼 수 있다.

모션 맵을 생성하는 단계는, 위치 차이가 최소 기준 값보다 크고 최대 기준 값보다 작거나 같으면, 위치 차이가 커지면 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값이 더 큰 값이 되도록 조정하는 것을 포함할 수 있다.

일 실시 예에서, 모션 맵을 생성하는 단계는, 위치 차이가 최소 기준 값보다 작거나 같으면, 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값을 0의 값으로 조정하는 것을 포함할 수 있다.

일 실시 예에서, 모션 맵을 생성하는 단계는, 위치 차이가 최대 기준 값보다 크면, 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값을 1의 값으로 조정하는 것을 포함할 수 있다.

일 실시 예에서, 모션 맵을 생성하는 단계는, 기준 스케일 이미지를 미리 설정된 해상도로 줄인 기준 피라미드 이미지를 생성하고, 선택된 노출 시간을 갖는 스케일 이미지를 미리 설정된 해상도로 줄인 피라미드 이미지를 생성하는 단계 및 기준 피라미드 이미지에 포함된 객체 및 피라미드 이미지에 포함된 객체의 위치 차이에 기초하여, 모션 맵을 생성하는 단계를 포함할 수 있다.

그리고, 복수의 스케일 이미지들과 모션 맵의 가중치 연산을 통해 출력 이미지를 생성할 수 있다(S340). 즉, 기준 스케일 이미지 및 선택 스케일 이미지에 대한 가중치로 이용하여 합성한 출력 이미지를 출력할 수 있다.

도 4a 내지 4d는 본 개시의 실시 예에 따른 이미지를 설명하기 위한 도면이다. 여기서, 도 4a 내지 도 4d는 이미지(400) 및 제1 내지 제4 이미지(410 내지 440)의 일부분을 도시한 것이다.

도 4a 내지 도 4d를 참조하면, 본 개시의 일 실시 예에 따른 컨트롤러(120)는 베이어 패턴에 따라 배열된 컬러 필터를 갖는 이미지 센서(110)를 통해 이미지(400)를 획득할 수 있다.

이 경우, 이미지(400)는 베이어 패턴에 따라 배열된 복수의 픽셀을 포함할 수 있다. 베이어 패턴은 단위 영역에서 레드 픽셀(R), 블루 픽셀(B)이 서로 대각 방향에 위치하고, 그린 픽셀(Gr, Gb)이 나머지 위치에 배열되는 방식을 나타낼 수 있다.

일 실시 예에서, 이미지(400)는 복수의 단위 영역을 포함할 수 있다. 각각의 단위 영역은 2 x 2로 배열된 4개의 서브 영역을 포함할 수 있다. 예를 들어, 하나의 단위 영역은 좌측 상단 서브 영역, 우측 상단 서브 영역, 좌측 하단 서브 영역, 우측 하단 서브 영역을 포함할 수 있다. 각각의 서브 영역은 m x n으로 배열된 동일한 색상의 픽셀들을 포함할 수 있다. 여기서, m 및 n은 자연수이다. 구체적인 예를 들어, m 및 n은 2인 쿼드 베이어 패턴의 경우를 예로 들기로 한다. 이 경우, 좌측 상단 서브 영역에는 제1 그린 픽셀(Gr)이 2 x 2로 배열될 수 있다. 우측 상단 서브 영역에는 레드 픽셀(R)이 2 x 2로 배열될 수 있다. 좌측 하단 서브 영역에는 블루 픽셀(B)이 2 x 2로 배열될 수 있다. 우측 하단 서브 영역에는 제2 그린 픽셀(Gb)이 2 x 2로 배열될 수 있다. 다만, 이는 일 실시 예일 뿐이며, m 및 n은 각각 다양한 자연수로 변형될 수 있다.

각 서브 영역 내에서 상대적으로 동일한 위치에 위치한 픽셀들은 서로 동일한 노출 값이 설정될 수 있다. 예를 들어, 각 서브 영역 내에서 (1, 1)에 위치한 픽셀들은 제1 노출 값(ET_1)이 설정되고, (2, 1)에 위치한 픽셀들은 제2 노출 값(ET_2)이 설정되고, (1, 2)에 위치한 픽셀들은 제3 노출 값(ET_3)이 설정되고, (2, 2)에 위치한 픽셀들은 제4 노출 값(ET_4)이 설정될 수 있다. 일 예에서, 제1 노출 값(ET_1), 제2 노출 값(ET_2), 제3 노출 값(ET_3), 제4 노출 값(ET_4)의 순으로 더 큰 노출 값을 가질 수 있다. 각 픽셀은 각 픽셀에 설정된 노출 값이 나타내는 노출 시간 동안에 획득된 픽셀 값을 포함할 수 있다.

컨트롤러(120)는 이미지(400)에서 동일한 노출 값이 설정된 픽셀들에 기초하여, 복수의 이미지(410 내지 440)을 획득할 수 있다. 한편, 이러한 동작은 컨트롤러(120)에 포함된 전처리부에서 수행되는 동작일 수 있다.

도 4a를 참조하여, 컨트롤러(120)는 이미지(400)에 포함된 복수의 픽셀들 중에서 제1 노출 값(ET_1)이 설정된 픽셀들(41Gr, 41R, 41B, 41Gb)을 추출할 수 있다. 컨트롤러(120)는 추출된 픽셀들(41Gr, 41R, 41B, 41Gb)과 대응되는 영역에 추출된 픽셀들(41Gr, 41R, 41B, 41Gb)을 반복하여 배치한 제1 이미지(410)를 획득할 수 있다. 추출된 픽셀들(41Gr, 41R, 41B, 41Gb)과 대응되는 영역은 추출된 픽셀들(41Gr, 41R, 41B, 41Gb) 중 하나가 위치한 서브 영역들 (41-1, 41-2, 41-3, 41-4)일 수 있다.

도 4b를 참조하여, 컨트롤러(120)는 이미지(400)에 포함된 복수의 픽셀들 중에서 제2 노출 값(ET_2)이 설정된 픽셀들(42Gr, 42R, 42B, 42Gb)을 추출할 수 있다. 컨트롤러(120)는 추출된 픽셀들(42Gr, 42R, 42B, 42Gb)과 대응되는 영역에 추출된 픽셀들(42Gr, 42R, 42B, 42Gb)을 반복하여 배치한 제2 이미지(420)를 획득할 수 있다. 추출된 픽셀들(42Gr, 42R, 42B, 42Gb)과 대응되는 영역은 추출된 픽셀들(42Gr, 42R, 42B, 42Gb) 중 하나가 위치한 서브 영역들 (42-1, 42-2, 42-3, 42-4)일 수 있다.

도 4c를 참조하여, 컨트롤러(120)는 이미지(400)에 포함된 복수의 픽셀들 중에서 제3 노출 값(ET_3)이 설정된 픽셀들(43Gr, 43R, 43B, 43Gb)을 추출할 수 있다. 컨트롤러(120)는 추출된 픽셀들(43Gr, 43R, 43B, 43Gb)과 대응되는 영역에 추출된 픽셀들(43Gr, 43R, 43B, 43Gb)을 반복하여 배치한 제3 이미지(430)를 획득할 수 있다. 추출된 픽셀들(43Gr, 43R, 43B, 43Gb)과 대응되는 영역은 추출된 픽셀들(43Gr, 43R, 43B, 43Gb) 중 하나가 위치한 서브 영역들 (43-1, 43-2, 43-3, 43-4)일 수 있다.

도 4d를 참조하여, 컨트롤러(120)는 이미지(400)에 포함된 복수의 픽셀들 중에서 제4 노출 값(ET_4)이 설정된 픽셀들(44Gr, 44R, 44B, 44Gb)을 추출할 수 있다. 컨트롤러(120)는 추출된 픽셀들(44Gr, 44R, 44B, 44Gb)과 대응되는 영역에 추출된 픽셀들(44Gr, 44R, 44B, 44Gb)을 반복하여 배치한 제4 이미지(440)를 획득할 수 있다. 추출된 픽셀들(44Gr, 44R, 44B, 44Gb)과 대응되는 영역은 추출된 픽셀들(44Gr, 44R, 44B, 44Gb) 중 하나가 위치한 서브 영역들 (44-1, 44-2, 44-3, 44-4)일 수 있다.

도 5a 및 도 5b는 본 개시의 실시 예에 따른 스케일 이미지를 설명하기 위한 도면이다.

도 5a를 참조하면, 컨트롤러(120)는 이미지 센서(110)로부터 획득된 픽셀들의 픽셀 값에 기초해, 각각 다른 노출 값(ET_1~ET_n)이 설정된 복수의 이미지들(IMG_1~IMG_n)을 획득할 수 있다. 예를 들어, 컨트롤러(120)는 이미지 센서(110)로부터 획득된 복수의 픽셀 값들 중에서 제1 노출 값(ET_1)이 나타내는 제1 노출 시간 동안 획득된 픽셀 값들을 포함하는 제1 이미지(IMG_1)를 획득할 수 있다. 컨트롤러(120)는 이미지 센서(110)로부터 획득된 복수의 픽셀 값들 중에서 제2 노출 값(ET_2)이 나타내는 제2 노출 시간 동안 획득된 픽셀 값들을 포함하는 제2 이미지(IMG_2)를 획득할 수 있다.

컨트롤러(120)는 노출 값이 서로 다른 복수의 이미지들의 픽셀 값을 보정한 복수의 스케일 이미지들을 생성할 수 있다. 일 실시 예에서, 컨트롤러(120)는 복수의 이미지들 각각의 노출 값 중 가장 큰 노출 값을 복수의 이미지들 중에서 선택된 이미지의 노출 값으로 나눈 비율을 선택된 이미지에 포함된 픽셀들의 픽셀 값들 각각에 곱하는 연산을 통해, 선택된 이미지의 픽셀들을 보정한 스케일 이미지를 획득할 수 있다. 한편, 이러한 동작은 컨트롤러(120)에 포함된 스케일러(123)에서 수행되는 동작일 수 있다.

예를 들어, 도 5a 및 도 5b를 참조하여, 제1 노출 값(ET_1)에서 제n 노출 값(ET_n)으로 갈수록 큰 노출 값인 것으로 가정하도록 한다. 컨트롤러(120)는 제1 내지 제n 이미지(IMG_1~IMG_n) 각각의 노출 값과 픽셀 값들에 기초하여 제1 내지 제n 이미지(IMG_1~IMG_n)을 보정한 제1 내지 제n 스케일 이미지(SIMG_1~SIMG_n)을 획득할 수 있다. 여기서, 제k 이미지(IMG_k, 510)로부터 제k 스케일 이미지(SIMG_k, 520)을 획득하는 경우에 대해 설명하도록 한다. 컨트롤러(120)는 제k 이미지(IMG_k, 510)에 포함된 픽셀들 각각의 픽셀 값(PV_K, 511)에 노출 값의 비율을 곱하는 연산을 통해 보정된 픽셀 값(521)을 갖는 픽셀들을 포함하는 제k 스케일 이미지(SIMG_k, 520)를 획득할 수 있다. 여기서, 제k 이미지(IMG_k, 510)에 대한 노출 값의 비율은 가장 큰 노출 값인 제n 노출 값(ET_n)을 제k 이미지(IMG_k, 510)의 제k 노출 값(ET_k)을 나눈 값일 수 있다. 이와 같은 방식을 반복하여 컨트롤러(120)는 제1 내지 제n 스케일 이미지(SIMG_1~SIMG_n)를 획득할 수 있다.

일 실시 예에 따르면, 컨트롤러(120)는 복수의 이미지들(IMG_1~IMG_n) 각각의 노출 값(ET_1~ET_n)을 이용하여, 복수의 이미지들(IMG_1~IMG_n) 각각의 픽셀들의 픽셀 값들을 보정하고, 복수의 이미지들(IMG_1~IMG_n) 각각의 픽셀들의 색상을 그레이 스케일로 변환한 복수의 스케일 이미지들(SIMG_1~SIMG_n)을 획득할 수 있다. 여기서, 스케일 이미지(SIMG_1~SIMG_n)는 그레이 스케일 색상 공간을 갖는 이미지일 수 있다. 그레이 스케일은 흑백(또는 회색 음영)과 같은 단일 채널의 색상을 나타낼 수 있다. 이 경우, 픽셀의 픽셀 값은 빛의 밝기 또는 양을 나타낼 수 있다. 이에 대해서는 도 6a를 참조하여 구체적으로 설명하도록 한다.

도 6a는 본 개시의 실시 예에 따른 그레이 스케일로 변환된 스케일 이미지를 설명하기 위한 도면이다.

도 6a를 참조하면, 컨트롤러(120)는 복수의 이미지들(610) 각각의 픽셀들의 색상을 그레이 스케일로 변환한 복수의 스케일 이미지들(620)을 획득할 수 있다. 여기서, 복수의 이미지들(610)은 레드 픽셀(R), 그린 픽셀(Gr, Gb), 블루 픽셀(B)을 포함할 수 있다. 한편, 이러한 동작은 컨트롤러(120)에 포함된 스케일러(123)에서 수행되는 동작일 수 있다.

한편, 복수의 이미지들(610)은 도 5a 및 도 5b에서 설명한 복수의 이미지들(IMG_1~IMG_n) 각각의 노출 값(ET_1~ET_n)을 이용하여 픽셀 값들이 보정된 이미지일 수 있다. 즉, 도 5a 및 도 5b에서 설명한 바와 같이, 컨트롤러(120)는 먼저 복수의 이미지들 각각의 노출 값을 이용하여 픽셀 값들을 보정한 후, 도 6a와 같이 복수의 이미지들 각각에 포함된 픽셀들의 색상을 그레이 스케일로 변환하여 복수의 스케일 이미지들을 획득할 수 있다. 다만, 이는 일 실시 예일 뿐이며, 컨트롤러(120)는 먼저 도 6a와 같이 복수의 이미지들 각각에 포함된 픽셀들의 색상을 그레이 스케일로 변환한 후, 도 5a 및 도 5b와 같이 그레이 스케일로 변환된 복수의 이미지들 각각의 노출 값(ET_1~ET_n)을 이용하여 픽셀 값들을 보정함으로써 복수의 스케일 이미지들을 획득할 수 있다.

일 예를 들어, 컨트롤러(120)는 이미지(610)의 단위 서브 영역(611)에 포함된 레드 픽셀(R), 그린 픽셀(Gr, Gb), 블루 픽셀(B)의 픽셀 값들에 개별적인 가중치를 곱한 가중치 연산을 통해 단위 서브 영역(611)과 대응되는 영역(621)의 그레이 스케일로 변환된 픽셀 값을 획득할 수 있다. 그리고, 컨트롤러(120)는 변환된 픽셀 값을 갖는 휘도 픽셀들(Y)을 포함하는 스케일 이미지(620)를 획득할 수 있다. 여기서, 단위 서브 영역(611)은 레드 픽셀(R), 그린 픽셀(Gr, Gb), 블루 픽셀(B)들이 하나씩 포함되는 영역일 수 있다. 이때, 스케일 이미지(620)는 전술한 스케일 이미지(520)와 구별하기 위해 그레이 스케일 이미지라 지칭할 수 있다.

컨트롤러(120)는 단위 서브 영역(611)에 포함된 레드 픽셀(R), 그린 픽셀(Gr, Gb), 블루 픽셀(B)을 그레이 스케일로 변환할 경우, 다음과 같은 가중치 연산을 통해 단위 서브 영역(611)과 대응되는 영역(621)의 휘도 픽셀(Y)을 산출할 수 있다.

일 예를 들어, (0.257 x 레드 픽셀(R)의 픽셀 값) + (0.504 × 그린 픽셀들(Gr, Gb)의 픽셀 값의 합(또는 평균)) + (0.098 × 블루 픽셀(B)의 픽셀 값) + 16의 연산 결과를 휘도 픽셀(Y)의 픽셀 값으로 산출할 수 있다. 다른 예를 들어, (0.299 x 레드 픽셀(R)의 픽셀 값) + (0.587 x 그린 픽셀(Gr, Gb)의 합(또는 평균) + (0.114 x 블루 픽셀(B)의 픽셀 값)의 연산 결과를 휘도 픽셀(Y)의 픽셀 값으로 산출할 수 있다. 한편, 상술한 예들은 일 실시 예일 뿐이며, 다양한 가중치를 적용한 가중치 연산을 통해 휘도 픽셀(Y)의 픽셀 값을 산출할 수 있다.

도 6b는 본 개시의 실시 예에 따른 블록을 설명하기 위한 도면이다.

도 6b를 참조하면, 본 개시의 일 실시 예에 따른 컨트롤러(120)는 그레이 스케일 이미지(630)에 포함된 복수의 영역들 각각의 블록 값을 획득할 수 있다. 구체적으로, 그레이 스케일 이미지(630)에 포함된 복수의 영역들 각각은 M x N의 휘도 픽셀들(Y)의 픽셀 값들을 포함할 수 있다. 여기서, 복수의 영역들 중 어느 하나의 영역(631)은 어느 하나의 블록(641)에 대응될 수 있다. 즉, 컨트롤러(120)는 어느 하나의 영역(631)에 포함된 픽셀 값들을 이용해 어느 하나의 영역(631)에 대응되는 블록(641)의 블록 값을 산출할 수 있다. 여기서, M, N은 자연수이다. 예를 들어, 하나의 블록은 8 x 8, 16 x 16, 32 x 32, 64 x 64 등의 휘도 픽셀들(Y)을 포함할 수 있다. 그레이 스케일 이미지(630)는 블록 이미지(640)에 대응될 수 있다. 그레이 스케일 이미지(630)에 포함된 M x N의 휘도 픽셀들(631)은 블록 이미지(640)에 포함된 블록(641)에 대응될 수 있다.

여기서, 블록은 블록 값을 포함할 수 있다. 블록 값은 블록에 대응되는 영역에 포함된 휘도 픽셀들(Y)의 평균 픽셀 값, 또는 휘도 픽셀들(Y)의 픽셀 값들의 중앙 값 중 하나일 수 있다.

컨트롤러(120)는 블록의 블록 값에 기초하여 객체를 식별할 수 있다. 예를 들어, 일 실시 예에서, 컨트롤러는 하나의 블록의 블록 값을 기준으로 미리 설정된 값 이내의 블록 값을 갖는 인접한 위치의 블록들을 하나의 객체로 식별할 수 있다. 컨트롤러(120)는 식별된 객체의 위치를 해당 블록의 위치로 판단할 수 있다. 또는 컨트롤러(120)는 식별된 객체의 위치를 해당 블록과 대응되는 픽셀의 위치로 판단할 수 있다. 이외에도 컨트롤러(120)는 실시간 컴퓨터 비전을 분석하기 위한 프로그래밍 라이브러리(예: OpenCV, Python 등), Sobel 필터 또는 Fuzzy 필터 등의 다양한 색상 필터 또는 캐니 에지 검출(Canny Edge Detection), 색채기반, 템플릿 기반, 배경 차분화 방법 등의 다양한 알고리즘 등을 이용하여 객체를 식별할 수 있다. 한편, 상술한 실시 예는 일 실시 예일 뿐이며, 도 6a의 이미지(610)를 그레이 스케일로 변환하지 않고, 이미지(610)의 복수의 픽셀들을 블록으로 그룹핑할 수 있다.

도 7a 내지 도 7c는 본 개시의 실시 예에 따른 모션 맵을 설명하기 위한 도면이다.

도 7a를 참조하면, 컨트롤러(120)는 복수의 스케일 이미지(710, 720) 중에서 가장 작은 노출 값을 갖는 스케일 이미지(GSIMG_1)를 기준 스케일 이미지(710)로 선택할 수 있다. 여기서 기준 스케일 이미지(710)는 노출 값이 가장 작은 스케일 이미지(GSIMG_1)이며, 기준 스케일 이미지(710)은 다른 스케일 이미지(GSIMG_k)에 포함된 객체의 위치를 비교하기 위한 기준이 되는 이미지일 수 있다.

컨트롤러(120)는 복수의 스케일 이미지(710, 720) 중에서 기준 스케일 이미지(710)를 제외한 나머지 스케일 이미지(720)를 하나씩 기준 스케일 이미지(710)와 비교하여 나머지 스케일 이미지(720) 각각에 대한 모션 맵(730)을 획득할 수 있다.

예를 들어, 복수의 스케일 이미지 중에서 가장 작은 제1 노출 값을 갖는 제1 스케일 이미지는 기준 스케일 이미지로 선택될 수 있다. 제1 노출 값 보다 큰 제2 노출 값을 갖는 제2 스케일 이미지 및 기준 스케일 이미지를 이용해 제2 스케일 이미지에 대응되는 제2 모션 맵을 생성할 수 있다. 제1 노출 값 보다 큰 제3 노출 값을 갖는 제3 스케일 이미지 및 기준 스케일 이미지를 이용해 제3 스케일 이미지에 대응되는 제3 모션 맵을 생성할 수 있다. 제1 노출 값 보다 큰 제4 노출 값을 갖는 제4 스케일 이미지 및 기준 스케일 이미지를 이용해 제4 스케일 이미지에 대응되는 제4 모션 맵을 생성할 수 있다. 즉, 제1 스케일 이미지에 대응되는 제1 모션 맵은 생략될 수 있다.

이하에서는 설명의 편의를 위해 나머지 스케일 이미지들(720)은 하나의 스케일 이미지를 기준으로 설명하도록 한다.

여기서, 컨트롤러(120)는 기준 스케일 이미지(710)에 포함된 객체의 위치를 스케일 이미지(720)에 포함된 객체의 위치와 비교하여, 스케일 이미지(720)에 대한 모션 맵(730)을 획득할 수 있다. 한편, 이러한 동작은 컨트롤러(120)에 포함된 모션 맵 생성부(127)에서 수행되는 동작일 수 있다.

일 실시 예에서, 컨트롤러(120)는 기준 스케일 이미지(710)를 미리 설정된 해상도로 감소한 기준 피라미드 이미지(715)를 생성하고, 선택된 노출 값을 갖는 스케일 이미지(720)를 미리 설정된 해상도로 감소한 피라미드 이미지(725)를 생성할 수 있다. 여기서, 기준 피라미드 이미지(715) 및 피라미드 이미지(725)는 기준 스케일 이미지(710) 및 스케일 이미지(720)의 해상도를 단계적으로 축소시킨 이미지일 수 있다. 여기서, 해상도는 로우 방향으로 배치된 픽셀의 개수 및 컬럼 방향으로 배치된 픽셀의 개수를 나타낼 수 있다.

예를 들어, 컨트롤러(120)는 기준 스케일 이미지(710) 및 스케일 이미지(720)에 대해 가우시안 필터를 적용하고, 해상도를 1/2로 축소시킨 기준 피라미드 이미지(715) 및 피라미드 이미지(725)를 획득할 수 있다. 이미지의 해상도는 로우 방향 및 컬럼 방향으로 짝수 또는 홀수 번째 픽셀을 제거함으로써 축소될 수 있다. 여기서, 기준 스케일 이미지(710) 및 스케일 이미지(720)은 제1 레벨이며, 해상도가 1/2로 축소된 기준 피라미드 이미지(715) 및 피라미드 이미지(725)는 제2 레벨이며, 해상도가 1/4로 축소된 기준 피라미드 이미지(715) 및 피라미드 이미지(725)는 제3 레벨이며, 해상도가 1/8로 축소된 기준 피라미드 이미지(715) 및 피라미드 이미지(725)는 제4 레벨일 수 있다. 이와 같은 방식으로 이미지의 해상도가 반복적으로 축소될 수 있으며, 이미지의 레벨은 이미지의 해상도가 축소된 정도를 나타낼 수 있다.

컨트롤러(120)는 동일한 레벨의 기준 피라미드 이미지(715) 및 피라미드 이미지(725)의 블록을 비교하여 객체의 위치 변화를 판단할 수 있다. 컨트롤러(120)는 상위 레벨의 기준 피라미드 이미지(715) 및 피라미드 이미지(725)에서 객체의 위치를 판단하고, 상위 레벨에서 판단된 객체의 위치를 기초로 하여 상위 레벨의 직전 하위 레벨의 기준 피라미드 이미지(715) 및 피라미드 이미지(725)에서 객체의 위치를 판단할 수 있다. 이와 같은 과정을 반복함으로써 컨트롤러(120)는 최하위 레벨에 대한 기준 스케일 이미지(710) 및 스케일 이미지(720)에서 객체의 위치를 판단할 수 있다.

예를 들어, 컨트롤러(120)는 제3 레벨의 기준 피라미드 이미지(715) 및 피라미드 이미지(725) 각각에 포함된 블록들의 블록 값에 기초하여 식별되는 객체의 위치를 판단할 수 있다. 그리고, 컨트롤러(120)는 제2 레벨의 기준 피라미드 이미지(715) 및 피라미드 이미지(725) 각각에 포함된 블록들 중에서 제3 레벨에서 판단된 객체의 위치에 대응되는 블록들의 블록 값에 기초하여 식별되는 객체의 위치를 판단할 수 있다. 그리고, 컨트롤러(120)는 제1 레벨의 기준 스케일 이미지(710) 및 스케일 이미지(720) 각각에 포함된 블록들 중에서 제2 레벨에서 판단된 객체의 위치에 대응되는 블록들의 블록 값에 기초하여 식별되는 객체의 위치를 판단할 수 있다. 이와 같이 해상도가 작은 상위 레벨에서 객체의 위치를 판단한 후, 객체의 위치를 해상도가 더 큰 하위 레벨에서 이용함으로써 객체의 위치 판단에 요구되는 연산량을 감소시키고 빠른 이미지 분석이 가능해질 수 있다.

도 7b를 참조하면, 컨트롤러(120)는 기준 스케일 이미지(710) 및 선택된 스케일 이미지(720)를 비교하여 객체의 위치 차이를 판단할 수 있다. 여기서, 기준 스케일 이미지(710)는 제1 스케일 이미지일 수 있다. 선택된 스케일 이미지(720)는 제2 스케일 이미지 내지 제n 스케일 이미지 중에서 하나일 수 있다. 제1 스케일 이미지는 가장 작은 노출 값인 제1 노출 값을 갖는 픽셀들의 픽셀 값이 보정된 이미지이고, 제2 스케일 이미지는 제1 노출 값 보다 큰 제2 노출 값을 갖는 픽셀들의 픽셀 값이 보정된 이미지이며, 제n 스케일 이미지는 제1 노출 값 보다 큰 제n 노출 값을 갖는 픽셀들의 픽셀 값이 보정된 이미지일 수 있다.

예를 들어, 기준 스케일 이미지(710)에 포함된 블록 중에서 객체 A를 나타내는 블록(711)의 위치가 (5, 4)이고, 스케일 이미지(720)에 포함된 블록 중에서 동일한 객체 A를 나타내는 블록(723)의 위치가 (2, 2)인 경우를 가정하도록 한다. 이 경우, 컨트롤러(120)는 (2, 2) 위치의 블록(723)에 대해 객체의 위치가 (5, 4)에서 (2, 2)으로 변화한 경우 객체의 위치 차이는 (5-2)^2 + (4-2)^2 = 13과 같이 산출할 수 있다. 컨트롤러(120)는 (7, 2) 블록 등과 같이 객체가 존재하지 않는 블록(725)에 대해서는 위치 차이는 0의 값을 적용할 수 있다. 또한, 컨트롤러(120)는 객체 A가 존재했으나 현재 존재하지 않는 (5, 4) 위치의 블록(721)에 대한 객체의 위치 차이는 (2, 2) 위치의 블록(723)과 같은 13의 값을 적용할 수 있다. 다만, 이는 일 실시 예일 뿐이며, 객체가 존재하지 않는 블록(725), 객체 A가 존재했으나 현재 존재하지 않는 블록(721)에 대해 적용되는 값은 임의의 다른 값이 적용되는 것으로 변형될 수 있다.

한편, 도 7c를 참조하면, 컨트롤러(120)는 도 7b에서 설명한 방식으로 계산된 값을 도 7c의 식에 대입함으로써 산출되는 값을 통해 모션 맵을 산출할 수 있다. 여기서, 모션 맵에 포함되는 블록의 위치 (X, Y)의 모션 값(MV_XY)은 가중치로 이용될 수 있다. 예를 들어, 모션 값(MV_XY)은 0 이상이고 1 이하의 범위에 속하는 값을 가질 수 있다.

일 실시 예에서, 컨트롤러(120)는 블록의 위치 (X, Y)에서 객체의 위치 차이(D_XY)가 최소 기준 값(Min)보다 크고 최대 기준 값(Max)보다 작거나 같으면, 위치 차이(D_XY)가 커질수록 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값(MV_XY)이 더 큰 값이 되도록 조정할 수 있다.

일 실시 예에서, 컨트롤러(120)는 위치 차이(D_XY)가 최소 기준 값(Min)보다 작거나 같으면, 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값(MV_XY)을 0의 값으로 조정할 수 있다. 즉 위치 차이(D_XY)가 최소 기준 값(Min) 이하일 경우, 모션 값(MV_XY)은 최소 값으로 0의 값을 가질 수 있다.

일 실시 예에서, 컨트롤러(120)는 위치 차이(D_XY)가 최대 기준 값(Max)보다 크면, 모션 맵에 포함되는 복수의 모션 값들 중에서 객체의 위치에 대응되는 모션 값(MV_XY)을 1의 값으로 조정할 수 있다. 즉 위치 차이(D_XY)가 최대 기준 값(Max)을 초과할 경우, 모션 값(MV_XY)은 최대 값으로 1의 값을 가질 수 있다.

한편, 컨트롤러(120)는 산출된 모션 값(MV_XY)에 대해 노이즈 제거 처리를 수행할 수 있다. 예를 들어, 컨트롤러(120)는 모션 값(MV_XY)에 대해 오프닝 처리를 수행한 후 클로징 처리를 수행할 수 있다. 여기서, 오프닝(opening) 처리는 침식(Erosion) 연산 다음에 팽창(Dilation) 연산을 수행하는 것이며, 클로징(closing) 처리는 팽창(Dilation) 연산 다음에 침식(Erosion) 연산을 수행하는 것일 수 있다.

도 8a 내지 8c는 본 개시의 실시 예에 따른 출력 이미지를 설명하기 위한 도면이다.

도 8a를 참조하면, 컨트롤러(120)는 복수의 스케일 이미지(SIMG_1~SIMG_4) 중에서 가장 작은 노출 값을 갖는 제1 스케일 이미지를 기준 스케일 이미지(810)로 선택할 수 있다. 컨트롤러(120)는 모션 맵(825, 835, 845)을 기준 스케일 이미지(810) 및 나머지 스케일 이미지(820, 830, 840) 각각에 대한 가중치로 이용하는 가중치 연산을 수행하여 출력 이미지(850)를 생성할 수 있다. 한편, 이러한 동작은 컨트롤러(120)에 포함된 이미지 합성부(129)에서 수행되는 동작일 수 있다.

모션 맵(825, 835, 845)은 도 7a 내지 7c에서 전술한 바와 같이 나머지 스케일 이미지(820, 830, 840) 중 하나와 기준 스케일 이미지(810)을 비교한 결과로 생성될 수 있다. 모션 맵(825, 835, 845)의 생성에 이용되는 기준 스케일 이미지(810) 및 나머지 스케일 이미지(820, 830, 840)은 그레이 스케일로 변환된 이미지일 수 있다.

구체적인 예를 들어, 컨트롤러(120)는 제2 스케일 이미지(820)에 대응되는 제2 모션 맵(825)을 기준 스케일 이미지(810) 및 제2 스케일 이미지(820)에 대한 가중치로 이용하는 제1 가중치 연산을 수행할 수 있다. 컨트롤러(120)는 제3 스케일 이미지(830)에 대응되는 제3 모션 맵(835)을 기준 스케일 이미지(810) 및 제3 스케일 이미지(830)에 대한 가중치로 이용하는 제2 가중치 연산을 수행할 수 있다. 컨트롤러(120)는 제4 스케일 이미지(840)에 대응되는 제4 모션 맵(845)을 기준 스케일 이미지(810) 및 제4 스케일 이미지(840)에 대한 가중치로 이용하는 제3 가중치 연산을 수행할 수 있다. 컨트롤러(120)는 제1 내지 제3 가중치 연산의 평균을 통해 출력 이미지(850)를 생성할 수 있다.

한편, 상술한 실시 예는 복수의 스케일 이미지(SIMG_1~SIMG_4)의 개수가 4개인 경우 즉 다른 값을 갖는 노출 값이 4개인 것을 가정한 것이며, 이는 노출 값의 개수 등에 따라 다양하게 변형되어 실시될 수 있다.

일 실시 예에서, 컨트롤러(120)는 도 8b와 같은 수학식을 통해 모션 맵(Motion_map_i)을 기준 스케일 이미지(SIMG_1) 및 나머지 스케일 이미지(SIMG_i) 각각에 대한 가중치로 이용하는 가중치 연산을 수행하여 출력 이미지(Out_Img)를 생성할 수 있다. 여기서 n은 복수의 스케일 이미지의 개수, 또는 다른 값을 갖는 노출 값의 개수일 수 있다.

출력 이미지(Out_Img)는 모션 값이 큰 위치에서는 가장 작은 노출 값을 갖는 기준 스케일 이미지(SIMG_1)에 대한 가중치가 큰 값으로 적용되며, 스케일 이미지(SIMG_i)에 대한 가중치가 작은 값이 적용된 가중치 연산을 통해 합성된 이미지일 수 있다.

도 8c를 참조하면, 스케일 이미지(860) 및 모션 맵(870)은 서로 대응되는 위치 관계에 있는 값들을 이용하여 가중치 연산이 수행될 수 있다. 여기서, 스케일 이미지(860)는 기준 스케일 이미지 또는 모션 맵(870)에 대응되는 스케일 이미지일 수 있다. 모션 맵(870)은 도 6a 내지 8c에서 전술한 바와 같이 픽셀에 대응되는 블록을 기반으로 산출된 모션 값을 포함할 수 있다. 스케일 이미지(860)에 포함된 픽셀의 픽셀 값과 모션 맵(870)에 포함된 모션 값은 서로 대응되는 위치 관계에 있는 값들에 대해 연산될 수 있다. 예를 들어, 스케일 이미지(860)에 포함된 제1 영역(861)과 모션 맵(870)의 제1 모션 값(871)이 서로 대응되는 위치 관계에 있는 경우, 제1 영역(861)에 포함된 픽셀들의 픽셀 값에는 제1 모션 값(871)을 곱하는 연산이 수행될 수 있다.

이상과 같은 본 개시에 따르면 고스트 현상의 발생을 방지하면서 화질이 향상된 이미지를 출력하는 전자 장치(100) 및 그 동작 방법을 제공할 수 있다. 또한, 노출 시간이 다른 이미지를 합성한 이미지에 고스트 현상이 발생하는 것을 최소화할 수 있다.

도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 도면이다.

도 9를 참조하면, 전자 장치(100)는 컴퓨팅 시스템(2000)으로 구현될 수 있다. 컴퓨팅 시스템(2000)은　이미지　센서(2010), 프로세서(2020), 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060)를 포함할 수 있다. 도 9에는 도시되지 않았지만, 컴퓨팅 시스템(2000)은 저장 장치(2030), 메모리 장치(2040), 입출력 장치(2050) 및 디스플레이 장치(2060) 등과 통신하거나, 또는 외부 장치와 통신할 수 있는 포트(port)를 더 포함할 수 있다.

이미지 센서(2010)는 노출 값이 개별적으로 적용된 복수의 픽셀을 포함하는 이미지를 획득할 수 있다. 이미지　센서(2010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 또는 이와 다른 통신 링크를 통해서 프로세서(2020)와 연결되어 통신을 수행할 수 있다.

이미지　센서(2010)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어,　이미지　센서(2010)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 구현될 수 있다. 실시 예에 따라서,　이미지　센서(2010)는 프로세서(2020)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.

프로세서(2020)는　컴퓨팅 시스템(2000)의 전반적인 동작을 제어할 수 있다. 프로세서(2020)는 출력 이미지를 표시하도록 디스플레이 장치(2060)를 제어할 수 있다. 프로세서(2020)는 출력 이미지를 저장 장치(2030)에 저장할 수 있다.

프로세서(2020)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 중앙 처리 장치(Central Processing Unit, CPU), 어플리케이션 처리 장치(Application Processing Unit, APU), 그래픽 처리 장치(Graphic Processing Unit, GPU) 등 중에서 적어도 하나를 포함할 수 있다.

프로세서(2020)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(2030), 메모리 장치(2040) 및 입출력 장치(2050)에 연결되어 통신을 수행할 수 있다. 본 발명의 실시 예에 따르면, 프로세서(2020)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.

프로세서(2020)는 이미지의 노출 값에 따라 스케일 이미지를 획득할 수 있다. 프로세서(2020)는 가장 작은 노출 값을 갖는 스케일 이미지를 기준 스케일 이미지로 선택하고, 기준 스케일 이미지 및 다른 노출 값을 갖는 스케일 이미지를 비교하여 모션 맵을 생성할 수 있다. 프로세서(2020)는 모션 맵을 기준 스케일 이미지 및 다른 노출 값을 갖는 스케일 이미지에 대한 가중치로 이용하는 가중치 연산을 통해 출력 이미지를 생성할 수 있다.

저장 장치(2030)는 출력 이미지 등의 데이터를 저장할 수 있다. 여기서, 저장 장치(2030)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우 뿐만 아니라 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 저장 장치(2030)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive, SSD), 하드 디스크 드라이브(Hard Disk Drive, HDD), 광디스크 등의 모든 형태의 비휘발성 메모리 장치 중 적어도 하나로 구성될 수 있다.

메모리 장치(2040)는 출력 이미지 등의 데이터를 저장할 수 있다. 메모리 장치(2040)는 프로세서(2020)가 처리하려는 데이터를 임시적으로 저장하거나, 프로세서(2020)가 처리한 데이터를 임시적으로 저장할 수 있다. 여기서, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동될 경우에만 보존될 수 있다. 또는, 메모리 장치(2040)에 저장된 데이터는 컴퓨팅 시스템(2000)이 구동되거나 구동되지 않는 경우에도 보존될 수 있다. 예를 들어, 메모리 장치(2040)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.

입출력 장치(2050)는 입력 장치 및 출력 장치를 포함할 수 있다. 입력 장치는 상호작용을 통해 사용자의 명령을 입력할 수 있는 장치이며, 예를 들어 입력 장치는 키보드, 키패드, 마우스, 마이크 등으로 구현될 수 있다. 출력 장치는 데이터를 출력할 수 있는 장치이며, 예를 들어 출력 장치는 프린터, 스피커 등으로 구현될 수 있다.

디스플레이 장치(2060)는 출력 이미지 등의 데이터를 시각적으로 출력하는 장치이다. 이를 위해, 디스플레이 장치(2060)는 별도의 백라이트 유닛(예: LED(light emitting diode) 등)을 광원으로 이용하고 액정(Liquid Crystal)의 분자 배열을 제어함으로써 백라이트 유닛에서 방출된 빛이 액정을 통해 투과되는 정도(빛의 밝기 또는 빛의 세기)를 조절하는 LCD(Liquid Crystal Display), 별도의 백라이트 유닛 또는 액정 없이 자발광 소자(예: 크기가 100-200um인 mini LED, 크기가 100um이하인 micro LED, OLED(Organic LED), QLED(Quantum dot LED) 등)를 광원으로 이용하는 디스플레이 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 이 경우, 디스플레이 장치(2060)는 출력 이미지에 대응되는 레드, 그린, 블루 색상의 빛을 외부로 방출시킬 수 있다.

100: 전자 장치
110: 이미지 센서
120: 컨트롤러

Claims

복수의 노출 값들에 각각 대응되는 복수의 픽셀 그룹들을 포함하는 이미지 센서; 및
상기 복수의 픽셀 그룹들에 기초해 획득된 복수의 스케일 이미지들 중에서 최소 노출 값을 갖는 기준 스케일 이미지 및 상기 최소 노출 값과 다른 노출 값을 갖는 선택 스케일 이미지에 공통으로 포함된 객체의 위치 변화를 나타내는 모션 맵을 상기 기준 스케일 이미지 및 상기 선택 스케일 이미지에 대한 가중치로 이용하여, 상기 복수의 스케일 이미지들을 합성한 출력 이미지를 출력하는 컨트롤러;를 포함하는 전자 장치.
제1항에 있어서,
상기 컨트롤러는,
상기 복수의 픽셀 그룹들 각각의 노출 값에 기초해 복수의 이미지들을 획득하는 이미지 추출부; 및
상기 복수의 노출 값들 중 최대 노출 값 및 상기 복수의 이미지들 각각의 노출 값의 비율을 이용해 상기 복수의 이미지들을 보정한 상기 복수의 스케일 이미지들을 획득하는 스케일러;를 포함하는 전자 장치.
제1항에 있어서,
상기 컨트롤러는,
상기 기준 스케일 이미지에 포함된 복수의 제1 영역들 중에서 상기 객체를 나타내는 제1 영역 및 상기 선택 스케일 이미지에 포함된 복수의 제2 영역들 중에서 상기 객체를 나타내는 제2 영역의 거리를 획득하는 블록 거리 계산부; 및
상기 거리에 기초하여 산출된 모션 값을 포함하는 상기 모션 맵을 획득하는 모션 값 계산부;를 포함하는 전자 장치.
제3항에 있어서,
상기 모션 값 계산부는,
상기 거리가 최소 기준 값을 초과하고 최대 기준 값 이하이면, 상기 거리에 비례하는 값을 상기 모션 값으로 산출하고,
상기 거리가 최소 기준 값 이하이면, 0의 값을 상기 모션 값으로 산출하고,
상기 거리가 최대 기준 값을 초과하면, 1의 값을 상기 모션 값으로 산출하는 전자 장치.
제3항에 있어서,
상기 컨트롤러는,
상기 모션 값이 증가할수록, 상기 기준 스케일 이미지에 포함된 픽셀 값들 중에서 상기 모션 값에 대응되는 픽셀 값들에 대한 가중치를 증가시키고, 상기 선택 스케일 이미지에 포함된 픽셀 값들 중에서 상기 모션 값에 대응되는 픽셀 값들에 대한 가중치를 감소시키는 가중치 연산에 따라 합성한 상기 출력 이미지를 생성하는 이미지 합성부;를 포함하는 전자 장치.
제3항에 있어서,
상기 컨트롤러는,
상기 기준 스케일 이미지에 포함된 상기 복수의 제1 영역들 각각에 포함된 픽셀 값들의 평균 값 또는 중앙 값을 상기 복수의 제1 영역들 각각의 블록 값으로서 획득하고, 상기 선택 스케일 이미지에 포함된 상기 복수의 제2 영역들 각각에 포함된 픽셀 값들의 평균 값 또는 중앙 값을 상기 복수의 제2 영역들 각각의 블록 값으로서 획득하는 블록 값 계산부;를 포함하는 전자 장치.
제6항에 있어서,
상기 컨트롤러는,
상기 복수의 제1 영역들 중 제1 선택 영역의 블록 값과 상기 제1 선택 영역으로부터 미리 설정된 거리 이내에 위치한 제1 주변 영역들의 블록 값들 각각의 차이가 기준 값을 초과하면, 상기 제1 선택 영역을 상기 객체를 나타내는 상기 제1 영역으로 판단하고, 상기 복수의 제2 영역들 중 제2 선택 영역의 블록 값과 상기 제2 선택 영역으로부터 상기 미리 설정된 거리 이내에 위치한 제2 주변 영역들의 블록 값들 각각의 차이가 상기 기준 값을 초과하면, 상기 제2 선택 영역을 상기 객체를 나타내는 상기 제2 영역으로 판단하는 블록 위치 검출부;를 포함하는 전자 장치.
제3항에 있어서,
상기 컨트롤러는,
상기 기준 스케일 이미지의 해상도를 감소시킨 기준 피라미드 이미지 및 상기 선택 스케일 이미지의 해상도를 감소시킨 선택 피라미드 이미지를 획득하는 피라미드 이미지 생성부; 및
상기 기준 피라미드 이미지에 포함된 복수의 제1 피라미드 영역들 중에서 상기 객체를 나타내는 제1 피라미드 영역 및 상기 선택 피라미드 이미지에 포함된 복수의 제2 피라미드 영역들 중에서 상기 객체를 나타내는 제2 피라미드 영역을 판단하고,
상기 복수의 제1 영역들 중에서 상기 제1 피라미드 영역에 대응되는 영역을 상기 제1 영역으로 판단하고, 상기 복수의 제2 영역들 중에서 상기 제2 피라미드 영역에 대응되는 영역을 상기 제2 영역으로 판단하는 블록 위치 검출부;를 포함하는 전자 장치.
제1항에 있어서,
상기 컨트롤러는,
상기 복수의 스케일 이미지들 각각에 포함된 레드 색상에 대한 픽셀 값, 그린 색상에 대한 픽셀 값 및 블루 색상에 대한 픽셀 값을 그레이 스케일에 대한 픽셀 값으로 변환한 복수의 그레이 스케일 이미지들을 획득하는 그레이 스케일 변환부;를 포함하는 전자 장치.
제9항에 있어서,
상기 컨트롤러는,
상기 복수의 그레이 스케일 이미지들 중에서 최소 노출 값을 갖는 기준 그레일 스케일 이미지에 포함된 복수의 제1 영역들 중에서 상기 객체를 나타내는 제1 영역 및 선택 그레이 스케일 이미지에 포함된 복수의 제2 영역들 중에서 상기 객체를 나타내는 제2 영역 사이의 거리를 획득하는 블록 거리 계산부; 및
상기 거리에 기초하여 산출된 모션 값을 포함하는 상기 모션 맵을 획득하는 모션 값 계산부;를 포함하는 전자 장치.
서로 다른 노출 시간 동안 픽셀 값들을 센싱하는 복수의 픽셀 그룹들로부터 복수의 이미지들을 획득하는 단계;
상기 복수의 이미지들 각각의 노출 시간을 이용하여, 상기 복수의 이미지들을 보정한 복수의 스케일 이미지들을 획득하는 단계;
상기 복수의 스케일 이미지들 중에서 최소 노출 시간을 갖는 기준 스케일 이미지 및 상기 최소 노출 시간과 다른 노출 시간을 갖는 선택 스케일 이미지에 기초하여, 객체의 위치 변화를 나타내는 모션 맵을 생성하는 단계; 및
상기 모션 맵을 상기 기준 스케일 이미지 및 상기 선택 스케일 이미지에 대한 가중치로 이용하여 합성한 출력 이미지를 출력하는 단계;를 포함하는 전자 장치의 동작 방법.
제11항에 있어서,
상기 복수의 스케일 이미지들을 획득하는 단계는,
상기 복수의 이미지들 각각의 노출 시간 중 최대 노출 시간 및 상기 복수의 이미지들 각각의 노출 시간의 비율을 이용해, 상기 복수의 이미지들을 보정한 상기 복수의 스케일 이미지들을 획득하는 전자 장치의 동작 방법.
제11항에 있어서,
상기 복수의 스케일 이미지들을 획득하는 단계는,
상기 복수의 이미지들 각각의 노출 시간을 이용하여, 상기 복수의 이미지들을 보정한 복수의 보정 이미지들을 획득하고, 상기 보정 이미지들을 그레이 스케일로 변환한 상기 복수의 스케일 이미지들을 획득하는 전자 장치의 동작 방법.
제11항에 있어서,
상기 모션 맵을 생성하는 단계는,
상기 기준 스케일 이미지 및 상기 선택 스케일 이미지에 공통으로 포함된 상기 객체의 위치 변화에 기초하여 산출된 모션 값을 포함하는 상기 모션 맵을 생성하는 전자 장치의 동작 방법.
제14항에 있어서,
상기 모션 맵을 생성하는 단계는,
상기 위치 변화가 최소 기준 값을 초과하고 최대 기준 값 이하이면, 상기 위치 변화에 비례하는 값을 상기 모션 값으로 산출하는 단계;를 포함하는 전자 장치의 동작 방법.
제14항에 있어서,
상기 모션 맵을 생성하는 단계는,
상기 위치 변화가 최소 기준 값 이하이면, 0의 값을 상기 모션 값으로 산출하는 단계;를 포함하는 전자 장치의 동작 방법.
제14항에 있어서,
상기 모션 맵을 생성하는 단계는,
상기 위치 차이가 최대 기준 값을 초과하면, 1의 값을 상기 모션 값으로 산출하는 단계;를 포함하는 전자 장치의 동작 방법.
제11항에 있어서,
상기 모션 맵을 생성하는 단계는,
상기 기준 스케일 이미지의 해상도를 감소시킨 기준 피라미드 이미지 및 상기 선택 스케일 이미지의 해상도를 감소시킨 선택 피라미드 이미지를 획득하는 단계;
상기 기준 피라미드 이미지에 포함된 복수의 제1 피라미드 영역들 중에서 상기 객체를 나타내는 제1 피라미드 영역 및 상기 선택 피라미드 이미지에 포함된 복수의 제2 피라미드 영역들 중에서 상기 객체를 나타내는 제2 피라미드 영역을 판단하는 단계; 및
상기 기준 스케일 이미지에 포함된 복수의 제1 영역들 중에서 상기 제1 피라미드 영역에 대응되는 영역 및 상기 선택 스케일 이미지에 포함된 복수의 제2 영역들 중에서 상기 제2 피라미드 영역에 대응되는 영역의 위치 차이를 상기 위치 변화로서 판단하는 단계;를 포함하는 전자 장치의 동작 방법.
제11항에 있어서,
상기 복수의 이미지들을 획득하는 단계는,
상기 복수의 픽셀 그룹들에 포함된 제1 픽셀 그룹으로부터 제1 노출 시간 동안 센싱된 픽셀 값들을 포함하는 제1 이미지를 획득하는 단계; 및
상기 복수의 픽셀 그룹들에 포함된 제2 픽셀 그룹으로부터 상기 제1 노출 시간을 포함하는 제2 노출 시간 동안 센싱된 픽셀 값들을 포함하는 제2 이미지를 획득하는 단계;를 포함하는 전자 장치의 동작 방법.