KR20180065891A - 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법 - Google Patents

Abstract

본 발명의 이미지 처리 장치는 액티브 픽셀 센서 어레이와 이미지 프로세서를 포함한다. 액티브 픽셀 센서 어레이는 타깃에 대응하는 신호들을 생성하도록 구성되는 복수의 픽셀들을 포함한다. 이미지 프로세서는 상기 신호들 중, 2개의 신호들의 세기 차이에 기초하여 상기 타깃에 관한 깊이 맵을 생성하도록 구성된다. 본 발명의 이미지 처리 장치에 의해 생성된 깊이 맵은 타깃의 프로파일을 나타내므로, 깊이 맵을 생성하기 위한 별도의 장치 없이 깊이 맵을 생성할 수 있으며, 이미지 처리 장치의 연산 속도를 향상시킬 수 있다.

Description

깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 그 동작 방법{IMAGE PROCESSING DEVICE CONFIGURED TO GENERATE DEPTH MAP AND METHOD OF OPERATING THE SAEM}

본 발명은 이미지 처리 장치에 관한 것으로, 좀 더 상세하게는, 깊이 맵을 생성하도록 구성된 이미지 처리 장치 및 깊이 맵 추출 방법에 관한 것이다.

근래에 들어 스마트 폰, 웨어러블 장치 등과 같은 전자 기기가 널리 이용되고 있다. 이러한 전자 기기들은 이미지 또는 동영상을 촬영하여 사용자에게 제공하기 위한 이미지 처리 장치를 대부분 포함한다. 이미지 처리 장치에 널리 이용되는 소자로써, CMOS (complementary metal-oxide semiconductor) 기반의 이미지 센서가 이용되고 있다. CMOS 이미지 센서는 반도체 공정의 미세화 및 디지털 신호처리 기술의 발전에 힘입어 그 성능이 지속적으로 향상되어 왔다.

한편, 3D 입체 영상을 구현하기 위한 기술로써, 적어도 2개 이상의 카메라(렌즈)를 사용하는 다시점 기반의 3D 입체 영상 구현 기법이 있다. 그러나, 다시점 기반의 3D 입체 영상 구현 기법은 광학적 정합이 어려울 뿐만 아니라, 여러 대의 카메라가 요구되는 문제가 있다.

3D 입체 영상을 구현하기 위한 다른 예로써, TOF (time of flight) 방식 방식이 있다. 이는 카메라에 LED 등을 부착하여 특정 파장대의 빛을 타깃으로 방사한 뒤, 타깃으로부터 반사된 신호와 방사 신호 사이의 시간 지연 값에 기초하여 타깃의 깊이 정보를 획득한다. 그러나 TOF 방식은, 측정 거리의 제한, 및 실외나 태양광 등 강한 빛의 주변환경에서는 사용하기 어렵다는 단점이 있다. 뿐만 아니라, 별도의 빔 생성 장치와 이미지 센서의 픽셀 인근에 반사광(반사파)를 수신하기 위한 별도의 셀이 추가로 필요하다는 문제도 있다

본 발명의 목적은 깊이 맵을 생성하기 위한 별도의 장치 없이 기존의 이미지 센서를 이용하여 깊이 맵을 제공하는데 있다.

본 발명의 실시 예에 따른 이미지 처리 장치는, 타깃에 대응하는 복수의 신호들을 생성하도록 구성되는 복수의 픽셀들을 포함하는 액티브 픽셀 센서 어레이, 그리고 상기 신호들 중, 2개의 신호들의 세기 차이에 기초하여 상기 타깃에 관한 깊이 맵을 생성하도록 구성되는 이미지 프로세서를 포함할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 3 픽셀을 포함하되, 상기 이미지 프로세서는 상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 2 픽셀에 대응하는 제 2 신호 사이의 제 1 차이, 상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 2 차이에 기초하여 깊이 맵을 생성할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 2 행에 배치되는 제 4 픽셀 내지 제 6 픽셀을 더 포함하되, 상기 이미지 프로세서는 상기 제 4 픽셀에 대응하는 제 4 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이, 상기 제 5 픽셀에 대응하는 상기 제 5 신호와 상기 제 6 픽셀에 대응하는 제 6 신호 사이의 제 4 차이에 기초하여 깊이 맵을 생성할 수 있다. 그리고, 상기 프로세서는, 상기 제 3 차이 및 상기 제 4 차이를 계산할 시, 상기 제 1 신호와 상기 제 4 신호의 차이를 반영할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 4 픽셀을 포함하되, 상기 이미지 프로세서는 상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이, 상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 4 픽셀에 대응하는 제 4 신호 사이의 제 2 차이에 기초하여 깊이 맵을 생성할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 5 픽셀을 포함하되, 상기 이미지 프로세서는 상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이, 상기 제 3 픽셀에 대응하는 상기 제 3 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이에 기초하여 깊이 맵을 생성할 수 있다.

본 발명의 다른 실시 예에 따른 복수의 픽셀들을 포함하는 액티브 픽셀 센서 어레이를 포함하는 이미지 센서를 이용하여 깊이 맵을 생성하는 방법은, 상기 복수의 픽셀들로부터 타깃에 대응하는 복수의 신호들을 출력하는 단계, 상기 복수의 신호들 중 선택된 2개의 신호들에 기초하여 깊이 맵 프로파일 데이터를 생성하는 단계, 그리고 상기 깊이 맵 프로파일 데이터에 기초하여 상기 타깃에 관한 깊이 맵을 생성하는 단계를 포함할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 3 픽셀을 포함하되, 상기 깊이 맵 프로파일 데이터를 생성하는 단계는, 상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 2 픽셀에 대응하는 제 2 신호 사이의 제 1 차이를 계산하는 단계, 상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 2 차이를 계산하는 단계, 그리고 상기 제 1 차이와 상기 제 2 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 포함할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 2 행에 배치되는 제 4 픽셀 내지 제 6 픽셀을 더 포함하되, 상기 깊이 맵 프로파일 데이터를 생성하는 단계는 상기 제 4 픽셀에 대응하는 제 4 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이를 계산하는 단계, 상기 제 5 픽셀에 대응하는 상기 제 5 신호와 상기 제 6 픽셀에 대응하는 제 6 신호 사이의 제 4 차이를 계산하는 단계, 그리고 상기 제 3 차이와 상기 제 4 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 더 포함할 수 있다. 그리고, 상기 제 3 차이 및 상기 제 4 차이를 계산하는 단계는 상기 제 1 신호와 상기 제 4 신호의 차이를 고려하여 실행될 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 4 픽셀을 포함하되, 상기 깊이 맵 프로파일 데이터를 생성하는 단계는, 상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이를 계산하는 단계, 상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 4 픽셀에 대응하는 제 4 신호 사이의 제 2 차이를 계산하는 단계, 그리고 상기 제 1 차이와 상기 제 2 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 포함할 수 있다.

예를 들어, 상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 5 픽셀을 포함하되, 상기 깊이 맵 프로파일 데이터를 생성하는 단계는, 상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이를 계산하는 단계, 상기 제 3 픽셀에 대응하는 상기 제 3 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이를 계산하는 단계, 그리고 상기 제 1 차이와 상기 제 2 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 포함할 수 있다.

본 발명에 의하면, 깊이 맵을 생성하기 위한 별도의 장치 없이 기존의 이미지 센서를 이용하여 깊이 맵을 생성할 수 있다.

별도의 장치 없이 간단한 연산을 이용하여 타깃의 깊이 맵을 생성하기 때문에, 이미지 처리 장치의 제조 단가가 절감될 수 있으며, 이미지 처리 장치의 연산 속도가 향상될 수 있다.

도 1은 본 발명의 실시 예에 따른 이미지 처리 장치(100)의 예시적인 구성을 보여주는 블록도이다.
도 2a 내지 도 2c는 본 발명의 실시 예에 따른 이미지 처리 장치가 이미지 데이터로부터 깊이 맵을 생성하는 것을 개념적으로 보여주기 위한 도면들이다.
도 3은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다.
도 4는 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다.
도 5는 본 발명의 또 다른 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른 이미지 처리 장치의 동작 방법을 개념적으로 보여주기 위한 도면이다.
도 8은 본 발명의 실시 예에 따라 생성된 깊이 맵 프로파일 데이터를 이용하여 깊이 맵을 생성하는 것을 예시적으로 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따라 깊이 맵 동영상 또는 3차원 동영상을 생성하는 것을 개념적으로 보여주기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 깊이 맵을 생성하는 과정을 보여주는 순서도이다.
도 11은 본 발명의 실시 예에 따른 이미지 처리 장치가 적용된 전자 기기를 예시적으로 보여주는 블록도이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들이 상세하게 설명된다. 이하의 설명에서, 상세한 구성들 및 구조들과 같은 세부적인 사항들은 단순히 본 발명의 실시 예들의 전반적인 이해를 돕기 위하여 제공된다. 그러므로 본 발명의 기술적 사상 및 범위로부터의 벗어남 없이 본문에 기재된 실시 예들의 변형들은 통상의 기술자 의해 수행될 수 있다. 더욱이, 명확성 및 간결성을 위하여 잘 알려진 기능들 및 구조들에 대한 설명들은 생략된다. 본 명세서에서 사용된 용어들은 본 발명의 기능들을 고려하여 정의된 용어들이며, 특정 기능에 한정되지 않는다. 용어들의 정의는 상세한 설명에 기재된 사항을 기반으로 결정될 수 있다.

이하의 도면들 또는 상세한 설명에서의 모듈들은 도면에 도시되거나 또는 상세한 설명에 기재된 구성 요소 이외에 다른 것들과 연결될 수 있다. 모듈들 또는 구성 요소들 사이의 연결은 각각 직접적 또는 비직접적일 수 있다. 모듈들 또는 구성 요소들 사이의 연결은 각각 통신에 의한 연결이거나 또는 물리적인 접속일 수 있다.

상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 계층(layer) 등의 용어를 참조하여 설명되는 구성 요소들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(Micro Electro Mechanical System; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.

다르게 정의되지 않는 한, 본문에서 사용되는 기술적 또는 과학적인 의미를 포함하는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자에 의해 이해될 수 있는 의미를 갖는다. 일반적으로 사전에서 정의된 용어들은 관련된 기술 분야에서의 맥락적 의미와 동등한 의미를 갖도록 해석되며, 본문에서 명확하게 정의되지 않는 한, 이상적 또는 과도하게 형식적인 의미를 갖도록 해석되지 않는다.

도 1은 본 발명의 실시 예에 따른 이미지 처리 장치(100)의 예시적인 구성을 보여주는 블록도이다. 이미지 처리 장치(100)는 렌즈(110), 액티브 픽셀 센서 어레이(120), 디지털 신호 변환기(130), 메모리(140), 및 이미지 프로세서(150)를 포함할 수 있다. 예를 들어, 액티브 픽셀 센서 어레이(120)와 디지털 신호 변환기(130)는 이미지 센서로 칭해질 수 있다. 다만, 이는 편의에 따라 명명된 것이며, 회로 설계 및 병합(merging), 패킹징(packaging) 공정 등에 따라 다르게 칭해지거나 분류될 수 있다.

렌즈(110)는 적어도 하나의 광원으로부터 방출된 후 타깃(미도시)에 의해 반사된 빛을 수집할 수 있다. 여기서, 적어도 하나 이상의 광원은 태양광, 또는 본 발명의 이미지 처리 장치(100)를 탑재한 전자 기기의 플래시일 수 있다.

액티브 픽셀 센서 어레이(120)는 광신호를 전기적 신호로 변환시키도록 구성된 복수의 픽셀들을 포함할 수 있다. 예를 들어, 변환된 전기적 신호는 전류 또는 전압일 수 있다. 각각의 픽셀은 적어도 하나의 광 통과 필터(light pass filter) 및 적어도 하나의 광 감지 센서(photo sensitive sensor)를 포함할 수 있다. 예를 들어, 광 감지 센서는 CMOS 기반의 센서일 수 있으나, 이에 한정되지 않는다. 각각의 광 통과 필터는 적색 광, 녹색 광, 및 청색 광 중 어느 하나를 통과시킬 수 있다. 예를 들어, 액티브 픽셀 센서 어레이(120)는 행과 열 방향을 따라 배치된 복수의 픽셀들을 포함할 수 있다.

디지털 신호 변환기(140)는 액티브 픽셀 센서 어레이(120)에 의해 출력되는 전기적 신호를 처리하고, 디지털 신호인 이미지 데이터로 변환시키도록 구성될 수 있다. 예를 들어, 예를 들어, 디지털 신호 변환기(140)는 상관 이중 샘플러(Correlate Double Sampler), 아날로그-디지털 컨버터 등을 포함할 수 있다.

상관 이중 샘플러는 액티브 픽셀 센서 어레이(120)로부터 출력되는 전기적 신호에 대해 상관 이중 샘플링을 수행할 수 있다. 예를 들어, 상관 이중 샘플러는 별도로 제공되는 기준 신호와 액티브 픽셀 센서 어레이(120)로부터 출력되는 전기적 신호의 차이를 감지하고, 차이에 기초하여 아날로그 신호(즉, 상관 이중 샘플링 신호)를 생성할 수 있다. 아날로그-디지털 컨버터는 상관 이중 샘플러로부터 출력되는 상관 이중 샘플링 신호를 디지털 신호인 이미지 데이터로 변환할 수 있다.

메모리(140)는 디지털 신호 변환기(130)로부터 출력되는 이미지 데이터를 저장할 수 있다. 나아가, 메모리(140)는 이미지 프로세서(150)에 의해 처리되는 데이터를 저장할 수 있다. 예를 들어, 디지털 신호 변환기(130)로부터 출력되어 메모리(140)에 저장되는 이미지 데이터는, 액티브 픽셀 센서 어레이(120)를 구성하는 각각의 픽셀로부터 출력되는 전기적 신호의 세기에 관한 정보를 포함할 수 있다. 그리고, 이미지 프로세서(150)에 의해 처리되는 데이터는 전기적 신호의 세기에 관한 정보로부터 추출된, 깊이 맵에 관한 정보를 포함할 수 있다.

메모리(140)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM), 캐시 메모리 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있으나, 이에 한정되지 않는다.

이미지 프로세서(150)는 디지털 신호 변환기(130)로부터 출력된 데이터에 대한 다양한 연산을 수행할 수 있다. 예를 들어, 이미지 프로세서(150)는 촬영된 타깃에 관한 정보를 디스플레이 장치로 출력하기 위한 연산을 수행할 수 있다.

나아가, 이미지 프로세서(150)는 불량 픽셀 보정(bad pixel correction), 디모자이크(demosaic), 노이즈 필터링(noise filtering), 렌즈 쉐이딩 보정 (Lens Shading Correction), 감마 보정(Gamma Correction), 엣지 인핸스먼트(Edge Enhancement) 등과 같은 동작들을 수행할 수 있다. 다만, 이는 예시적이며, 이미지 프로세서(150)는 사용자에게 타깃의 온전한 이미지를 제공하기 위한 다양한 동작들을 더 수행할 수 있다.

이미지 프로세서(150)는 디지털 신호 변환기(130)로부터 출력된 이미지 데이터로부터 타깃의 깊이 맵을 생성하도록 구성될 수 있다. 이미지 데이터는 각각의 픽셀로부터 출력된 전기적 신호(즉, 전류 또는 전압)의 크기에 관한 정보를 포함할 수 있다. 본 발명의 이미지 프로세서(140)는 서로 인접한 두 픽셀들로부터 출력된 전기적 신호의 차이 값에 기초하여 깊이 맵을 생성할 수 있다. 그러므로, 깊이 맵을 생성하기 위한 별도의 장치 없이, 이미지 데이터만을 이용하여 깊이 맵을 생성할 수 있는 장점이 있다. 이러한 스킴에 대해서는 상세하게 후술될 것이다.

이미지 프로세서(150)는 본 발명의 깊이 맵을 생성하는 스킴을 실행하도록 구현된 깊이 맵 생성기(152)를 포함할 수 있다. 즉, 깊이 맵 생성기(152)는 하드웨어로 구현된 구성 요소일 수 있다. 그러나, 깊이 맵 생성기(152)의 구성은 이에 한정되지 않는다. 예를 들어, 다른 실시 예에서, 깊이 맵 생성기(152)는 소프트웨어 또는 펌웨어로 구현될 수 있으며, 메모리(140)에 로딩되어 이미지 프로세서(150)에 의해 구동될 수도 있다.

도 2a 내지 도 2c는 본 발명의 실시 예에 따른 이미지 처리 장치가 이미지 데이터로부터 깊이 맵을 생성하는 것을 개념적으로 보여주기 위한 도면들이다. 설명의 이해를 돕기 위해 도 1을 함께 참조하여 설명하기로 한다. X축에 표시된 X1, X2, X3, X4는 액티브 픽셀 센서 어레이를 구성하는 픽셀의 위치에 대응한다. 다만, 도시의 간략화를 위해, 하나의 행에 배치되는 4개의 픽셀들만을 고려하기로 한다.

도 2a를 참조하면, Y축은 픽셀로부터 타깃까지의 거리를 나타낸다. 제 1 픽셀의 위치(X1)로부터 타깃까지의 거리는 R1이고, 제 2 픽셀의 위치(X2)로부터 타깃까지의 거리는 R2이고, 제 3 픽셀(X3)의 위치로부터 타깃까지의 거리는 R3이고, 제 4 픽셀의 위치(X4)로부터 타깃까지의 거리는 R4이다. 타깃의 표면은 타원의 형태를 취하고 있으므로, X축 방향을 따라 이동할수록, 픽셀로부터 타깃까지의 거리는 급격히 증가한다. 즉, △R1<△R2<△R3이다.

도 2b를 참조하면, Y축은 픽셀로부터 출력되는 전기적 신호(예를 들어, 전류 또는 전압) 를 나타낸다. 제 1 픽셀에서의 감지에 대응하는 제 1 신호는 I1이고, 제 2 픽셀에서의 감지에 대응하는 신호는 I2이고, 제 3 픽셀에서의 감지에 대응하는 신호는 I3이고, 제 4 픽셀에서의 감지에 대응하는 신호는 I4이다.

일반적으로, 빛의 세기는 거리의 제곱에 반비례하므로, 광원으로부터의 거리가 늘어날수록, 빛의 세기는 크게 감소한다. 즉, △I1<△I2<△I3이다. 만일, 제 4 픽셀로부터 타깃까지의 거리가, 제 1 픽셀로부터 타깃까지의 거리의 2배라고 가정하면, 제 4 픽셀로 입사되는 빛의 세기는, 제 1 픽셀로 입사되는 빛의 세기의 1/4배일 것이다. 그러므로, 제 4 픽셀에서의 감지에 대응하는 제 4 신호(I4)의 크기는 제 1 픽셀에서의 감지에 대응하는 제 1 신호(I1)의 크기의 1/4배일 것이다.

다만, 픽셀의 구성, 제조 공정 과정, 주변 환경의 요인과 같은 다양한 이유로 인하여, 제 4 픽셀에서의 감지에 대응하는 제 4 신호(I4)의 크기는 제 1 픽셀에서의 감지에 대응하는 제 1 신호(I1)의 크기의 정확히 1/4배는 아닐 수 있다. 다만, 빛의 세기는 거리의 제곱에 반비례하는 원칙은 픽셀로부터 출력되는 신호의 크기에도 반영될 것이므로, 도 2b에 도시된 곡선의 프로파일(profile)은 대체로 유지될 것이다.

도 2c는 서로 인접하는 두 픽셀들로부터 출력되는 신호들의 세기 차이를 보여주는 그래프이다. 도 2b에 도시된 것과 같이, X축 방향으로 진행할수록 신호의 크기가 크게 감소하므로, 서로 인접하는 두 픽셀들로부터 출력되는 신호 값들의 차이는 크게 증가한다. 예를 들어, 제 1 픽셀에서의 감지에 대응하는 제 1 신호(I1)와 제 2 픽셀에서의 감지에 대응하는 제 2 신호(I2)의 세기 차이는 매우 작다. 그러나, 제 3 픽셀에서의 감지에 대응하는 제 3 신호(I3)와 제 4 픽셀에서의 감지에 대응하는 제 4 신호(I4)의 세기 차이는 매우 크다.

도 2c에 도시된 그래프의 파형(프로파일)을 보면, 도 2a에 도시된 타깃의 아웃라인과 매우 유사함을 알 수 있다. 즉, 깊이 맵 생성기(152)는 도 2c에 도시된 그래프의 형태(프로파일)로부터 추출되는 정보를 깊이 맵으로 직접 이용할 수 있다. 또는, 깊이 맵 생성기(152)는 도 2c에 도시된 그래프의 형태를 디스플레이 장치 등을 이용하여 사용자에게 제공함으로써, 3차원 이미지가 제공될 수 있다.

비록, 도 2c에 도시된 그래프의 형태(프로파일)가 도 2a에 도시된 타깃의 아웃라인과 정확히 일치하지는 않지만, 도 2a, 2c의 두 그래프들의 파형은 매우 유사함일 알 수 있다. 즉, 본 발명의 실시 예에 의하면, 깊이 맵을 생성하기 위한 별도의 장치 없이, 매우 간단한 연산만을 이용하여 타깃의 깊이 맵을 생성할 수 있는 장점이 있다.

도 3은 본 발명의 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다. 더 나은 이해를 돕기 위해 도 1을 함께 참조하여 설명하기로 한다.

액티브 픽셀 센서 어레이(120)를 구성하는 복수의 픽셀들 중, 일부의 픽셀들(PX1~PXn)이 도시되었다. 다만, 도시의 간략화를 위해 도 3에는 액티브 픽셀 센서 어레이(120)로부터 수신된 전기적 신호를 처리하는 디지털 신호 변환기는 도시되지 않았다. 각각의 픽셀은 이미지 데이터를 출력할 수 있으며, 이미지 데이터는 픽셀과 타깃 사이의 거리에 관한 정보(즉, 전류 또는 전압의 크기)를 포함할 수 있다.

메모리(140)에는 이미지 데이터를가 저장될 수 있다. 예를 들어, 원본 데이터는 디지털 신호 변환기(130)로부터 출력된 이미지 데이터에 기초하여 생성될 수 있다. 원본 데이터는 픽셀의 주소에 관한 정보, 및 전기적 신호(예컨대, 전류 또는 전압)의 크기에 관한 정보를 포함할 수 있다. 예를 들어, 제 1 픽셀(PX1)로부터 출력된 이미지 데이터에 기초하여, 제 1 픽셀(PX1)의 주소에 관한 정보(X1), 및 제 1 신호(I1)가 생성될 수 있다. 나머지 픽셀들(PX2~PXn) 도 유사하다.

깊이 맵 생성기(152)는 원본 데이터에 대해 깊이 맵 프로파일링(depth map profiling)을 수행할 수 있다. 깊이 맵 생성기(152)는 서로 인접한 두 픽셀들에서의 감지에 대응하는 신호들의 세기 차이를 계산할 수 있다. 예를 들어, 깊이 맵 생성기(152)는 제 1 픽셀(PX1)에서의 감지에 대응하는 제 1 신호(I1)와 제 2 픽셀에서의 감지에 대응하는 제 2 신호(I2)의 크기 차이(즉, I1-I2)를 계산할 수 있다. 여기서, X'1은 제 1 픽셀(PX1)의 주소(X1)와 제 2 픽셀(PX2)의 주소(X2)와 관련됨을 나타낸다. 이러한 동작은 제 2 픽셀(PX2)과 제 3 픽셀(PX3)에 대해서도 수행되며, 나머지 픽셀들에 대해서도 유사하게 수행된다. 결과적으로, 타깃의 아웃라인 (또는 깊이)에 관한 깊이 맵 프로파일 데이터가 생성될 수 있다.

깊이 맵 생성기(152)는 깊이 맵 프로파일 데이터를 이용하여 깊이 맵을 생성할 수 있다. 예를 들어, 이미지 처리 장치(100)에 의해 촬영되어 사용자에게 이미지를 제공함에 있어서, 깊이 맵을 반영하여 좀 더 입체감 있는 이미지를 제공할 수 있다.

도 4는 본 발명의 다른 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다. 본 실시 예에서, 앞서 도 3을 통하여 설명된 실시 예와는 달리, 서로 인접하지 않은 두 픽셀들에서의 감지에 대응하는 전기적 신호들이 이용된다. 더 나은 이해를 돕기 위해 도 1을 함께 참조하여 설명하기로 한다.

본 실시 예에서, 깊이 맵 생성기(152)는 하나의 픽셀을 사이에 두고 배치된 두 픽셀들(예컨대, 제 1 픽셀(PX1)에서의 감지에 대응하는 전기적 신호와 제 3 픽셀(PX3)에서의 감지에 대응하는 전기적 신호의 세기 차이를 계산할 수 있다. 예를 들어, 깊이 맵 생성기(152)는 제 1 픽셀(PX1)에서의 감지에 대응하는 제 1 신호(I1)와 제 3 픽셀(PX3)에서의 감지에 대응하는 제 3 신호(I3)의 세기 차이(즉, I1-I3)를 계산할 수 있다. 여기서, X'1은 제 1 픽셀(PX1)의 주소(X1)와 제 3 픽셀(PX3)의 주소(X3)와 관련됨을 나타낸다. 이러한 동작은 제 2 픽셀(PX2)과 제 4 픽셀(PX4)에 대해서도 수행되며, 나머지 픽셀들에 대해서도 유사하게 수행된다. 결과적으로, 타깃의 아웃라인 (또는 깊이)에 관한 깊이 맵 프로파일 데이터가 생성될 수 있다.

본 실시 예에서, 하나의 픽셀을 사이에 두고 배치되는 두 픽셀들로부터 출력되는 전기적 신호들의 세기 차이에 기초하여 깊이 맵이 생성되는 예가 설명되었으나, 이에 한정되지 않는다. 예를 들어, 다른 실시 예들에서, 둘 또는 그 이상의 픽셀들을 사이에 두고 배치되는 두 픽셀들로부터 출력되는 전기적 신호들의 세기 차이게 기초하여 깊이 맵이 생성될 수 있다.

도 5는 본 발명의 또 다른 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다. 도시의 간략화를 위해, 이미지 처리 장치(100)의 구성 요소들 중 액티브 픽셀 센서 어레이(120), 메모리(140), 및 깊이 맵 생성기(152)만 도시되었다. 액티브 픽셀 센서 어레이(120)를 구성하는 픽셀들 중, 제 1 행에 배치되는 픽셀들(PX11~PX1n), 및 제 2 행에 배치되는 픽셀들(PX21~PX2n)이 도시되었다. (X11, I11)에서 X11은 픽셀(PX11)의 주소를 나타낸다. I11은 픽셀(PX11)로부터 출력되는 전기적 신호(예컨대, 전류 또는 전압)의 크기를 나타내며, 다른 픽셀들도 유사하다.

앞선 실시 예들에서는 설명된, 하나의 행에 배치된 픽셀들로부터 출력된 전기적 신호들에 기초하여 깊이 맵이 생성되는 것이 설명되는 것과는 달리, 복수의 행들에 배치된 픽셀들로부터 출력된 신호들에 기초하여 깊이 맵을 생성하는 경우, 추가적인 연산이 필요할 수 있다. 즉, 제 1 행의 픽셀들(PX11~PX1n)에 의해 감지된 신호와, 제 2 행의 픽셀들(PX21~PX2n)에 의해 감지된 신호의 차이를 깊이 맵에 반영할 필요가 있다.

예를 들어, 제 1 행의 픽셀들(PX11, PX12)에서의 감지에 대응하는 신호들의 세기를 각각 4, 3이라하고, 제 2 행의 픽셀들(PX21, PX22) 에서의 감지에 대응하는 신호들의 세기를 각각 2, 1이라 가정하자. 이 경우, 제 1 행의 픽셀들(PX11, PX12) 에서의 감지에 대응하는 신호들의 세기 차이는 1이고, 제 2 행의 픽셀들(PX21, PX22) 에서의 감지에 대응하는 신호들의 세기 차이도 1이다. 즉, 1행의 픽셀들에서 감지된 신호들과 2행의 픽셀들에서 감지된 신호들 사이에 깊이 정보가 제대로 반영되지 않는 문제가 있다.

그러므로, 깊이 맵 생성기(152)는 제 1 행의 픽셀들 중 어느 하나(예컨대, PX11)와 이와 인접한 제 2 행의 픽셀들 중 어느 하나(PX12)에서의 감지에 대응하는 신호의 세기 차이를 깊이 맵 프로파일 데이터에 반영할 수 있다. 예를 들어, 제 1 행의 픽셀들(PX11, PX12, PX13, PX14)에서의 감지에 대응하는 신호들의 세기가 각각 4, 3, 4, 3이고, 제 2 행의 픽셀들(PX21, PX22, PX23, PX24)에서의 감지에 대응하는 신호들의 세기가 각각 2, 1, 2, 1인 경우를 가정하자.

만일, 열 방향으로 상대적인 깊이 차이를 반영하지 않는다면, 깊이 맵 프로파일 데이터(I'11, I'12, I'13)는 각각 '1', '-1', '1'이고, 깊이 맵 프로파일 데이터(I'21, I'22, I'23)도 각각 '1', '-1', '1'이다. 즉, 제 1 행의 픽셀들(PX11, PX12, PX13, PX14)에 의해 감지된 타깃의 깊이와, 제 2 행의 픽셀들(PX21, PX22, PX23, PX24)에 의해 감지된 타깃의 깊이는 동일하다는 의미가 되지만, 이는 타깃의 올바른 프로파일(또는 깊이 정보)를 제공하지 않는다.

그러나, 열 방향으로 상대적인 깊이 차이를 반영한다면, 올바른 깊이 정보가 제공될 수 있다. 예를 들어, 제 2 행의 픽셀들(PX21, PX22, PX23, PX24)에 의해 감지된 신호들에 기초하여 프로파일링 수행 시, 픽셀(PX11)과 픽셀(PX21)의 신호 세기 차이를 반영한다면, 깊이 맵 프로파일 데이터(I'11, I'12, I'13)는 각각 '1', '-1', '1'이고, 깊이 맵 프로파일 데이터(I'21, I'22, I'23)은 각각 '-1', '-3', '-1'이다. 즉, 제 1 행의 픽셀들(PX11, PX12, PX13)에 의해 감지된 타깃의 부분보다, 제 2 행의 픽셀들(PX21, PX22, PX23)에 의해 감지된 타깃의 부분이 전체적으로 더 깊다는 것을 알 수 있다.

비록 도시의 간략화를 위해 2개의 행들로 이루어진 픽셀들을 예로 들어 설명하였으나, 본 실시 예는, 그 이상의 행들로 이루어진 픽셀들의 경우에도 동일하게 적용될 것이다.

도 6은 본 발명의 또 다른 실시 예에 따른 이미지 처리 장치의 동작을 개념적으로 보여주기 위한 도면이다. 본 실시 예에서는 깊이 맵의 화소수를 감소시키는 기법이 설명될 것이다.

제 1 내지 제 n 픽셀들(PX1~PXn)의 주소는 각각 X1~Xn이고, 제 1 내지 제 n 픽셀들(PX1~PXn)에서의 감지에 대응하는 전기적 신호들의 세기는 각각 I1~In이다. 본 실시 예에서, 깊이 맵 생성기(152)는 전기적 신호들(I1~In) 중 일부만를 이용할 수 있으며, 나머지 일부는 이용하지 않을 수 있다.

예를 들어, 깊이 맵 생성기(152)는 제 1 픽셀(PX1)에서의 감지에 대응하는 전기적 신호(I1)와 제 3 픽셀(PX3)에서의 감지에 대응하는 전기적 신호(I3)의 크기 차이에 기초하여 깊이 맵 프로파일 데이터(I'11)를 생성할 수 있다. 유사하게, 깊이 맵 생성기(152)는 제 1 픽셀(PX3)에서의 감지에 대응하는 전기적 신호(I3)와 제 5 픽셀(PX5)에서의 감지에 대응하는 전기적 신호(I3)의 세기 차이에 기초하여 깊이 맵 프로파일 데이터(I'33)를 생성할 수 있다. 다른 깊이 맵 프로파일 데이터도 유사한 방식으로 생성된다.

이러한 스킴에 의하면, 픽셀들 중 짝수 번째 열에 배치되는 픽셀들(PX2, PX4, PX6 등)로부터 출력된 전기적 신호들은 고려되지 않는다. 즉, 이러한 스킴에 의하면, 화소수가 대략 1/2로 감소된 것과 유사한 깊이 맵을 획득할 수 있다.

도 7은 본 발명의 또 다른 실시 예에 따른 이미지 처리 장치의 동작 방법을 개념적으로 보여주기 위한 도면이다. 본 실시 예에서는, 행 방향뿐만 아니라, 열 방향으로도 확장된 깊이 맵의 화소수를 감소시키는 기법이 설명될 것이다.

제 1 행의 픽셀들(PX11~PX1n)의 주소는 각각 X11~X1n이고, 픽셀들(PX11~PX1n)에서의 감지에 대응하는 전기적 신호들은 각각 I11~I1n이다. 제 2 행의 픽셀들(PX21~PX2n)의 주소는 각각 X21~X2n이고, 픽셀들(PX21~PX2n)에서의 감지에 대응하는 전기적 신호들은 각각 I21~I2n이다. 제 3 행의 픽셀들(PX31~PX3n)의 주소는 각각 X31~X3n이고, 픽셀들(PX31~PX3n)에서의 감지에 대응하는 전기적 신호들은 각각 I31~I3n이다.

본 실시 예에서, 행 방향으로 배치되는 픽셀들 중 짝수 번째 열들에 배치되는 픽셀들(예컨대, PX12, PX14, PX16 등)에서의 감지에 대응하는 전기적 신호들은 고려되지 않는다. 유사하게, 짝수 행(즉, 2행, 4행, 6행 등)에 배치되는 픽셀들에서의 감지에 대응하는 전기적 신호들도 고려되지 않는다. 고려되지 않는 픽셀과 관련된 원본 데이터는 도면에 'X'로 표시되었다.

깊이 맵 생성기(152)는 액티브 픽셀 센서 어레이(120)의 제 1 행에 배치되는 픽셀들과 관련된 깊이 맵 생성 연산을 수행할 수 있다. 깊이 맵 생성기(152)는 픽셀들(PX11, PX13)에서의 감지에 대응하는 신호들(I11, I13)의 크기 차이를 계산하여, 프로파일 데이터 (X'11, I'11)을 생성 할 수 있다. 깊이 맵 생성기(152)는 픽셀들(PX13, PX15)에서의 감지에 대응하는 신호들(I13, I15)의 크기 차이를 계산하여, 프로파일 데이터 (X'13, I'13)을 생성 할 수 있다. 이러한 동작은 나머지 픽셀들(예컨대, PX15, PX17, PX19 등)에 대해서도 유사하게 수행된다.

깊이 맵 생성기(152)는 액티브 픽셀 센서 어레이(120)의 제 3 행에 배치되는 픽셀들과 관련된 깊이 맵 생성 연산을 수행할 수 있다. 깊이 맵 생성기(152)는 픽셀들(PX31, PX33)에서의 감지에 대응하는 신호들(I31, I33)의 크기 차이를 계산하여, 프로파일 데이터 (X'31, I'31)을 생성 할 수 있다. 깊이 맵 생성기(152)는 픽셀들(PX33, PX35)에서의 감지에 대응하는 신호들(I33, I35)의 크기 차이를 계산하여, 프로파일 데이터 (X'33, I'33)을 생성 할 수 있다. 이러한 동작은 나머지 픽셀들(예컨대, PX35, PX37, PX39 등)에 대해서도 유사하게 수행된다.

한편, 제 1 행의 픽셀들과 관련된 깊이 맵 프로파일 데이터와, 제 2 행의 픽셀들과 관련된 깊이 맵 프로파일 데이터 사이의 상대적인 깊이 차이를 깊이 맵 프로파일 데이터에 반영할 필요가 있다. 이는, 신호 세기 차이들(I'31, I'33, I'35 등)을 계산할 시에, 제 1 행의 픽셀(PX11)에서 감지된 신호와 제 3 행의 픽셀(PX13)에서 감지된 신호의 세기 차이를 반영함으로써, 해결될 수 있다. 이러한 스킴은 앞서 도 5에서 설명한 것과 유사하므로, 중복되는 설명은 생략하기로 한다.

도 8은 본 발명의 실시 예에 따라 생성된 깊이 맵 프로파일 데이터를 이용하여 깊이 맵을 생성하는 것을 예시적으로 보여주는 도면이다. 더 나은 이해를 돕기 위해 도 1, 3~8을 함께 참조하기로 한다.

앞서 도 3 내지 도 7을 통하여 설명된 실시 예들에 따라, 깊이 맵 프로파일 데이터가 생성될 수 있다. 깊이 맵 프로파일 데이터는 액티브 픽셀 센서 어레이(120)를 구성하는 픽셀들로부터 출력된 전기적 신호들 모두 혹은 일부에 기초하여 생성될 수 있다.

깊이 맵 생성기(152)는 깊이 맵 프로파일 데이터의 픽셀 주소들과 전기적 신호의 세기 차이들을 이용하여 깊이 맵 또는 3차원 이미지를 생성할 수 있다. 도 8에 도시된 그래프에서, x축과 Y축은 픽셀의 주소를 나타낸다. 도면에 도시된 바와 같이, 서로 인접한 두 픽셀들에서의 감지에 대응하는 전기적 신호들의 차이만을 이용하여, 타깃의 깊이 맵이 생성됨을 알 수 있다. 이러한 깊이 맵 또는 3차원 이미지는 별도의 디스플레이 장치를 통하여 사용자에게 제공될 수 있다.

도 9는 본 발명의 실시 예에 따라 깊이 맵 동영상 또는 3차원 동영상을 생성하는 것을 개념적으로 보여주기 위한 도면이다.

도 9를 참조하면, 시간의 흐름에 따라 생성된 복수의 프레임들이 도시되었다. 각각의 프레임은 액티브 픽셀 센서 어레이(도 1, 120)를 구성하는 픽셀들에 각각 대응하는 복수의 유닛들을 포함할 수 있다. 각각의 유닛은 픽셀의 주소와 신호의 세기에 대한 정보를 포함할 수 있다. 여기서, 신호의 세기는 픽셀에서의 감지에 대응하는 전기적 신호의 크기를 의미할 수 있다.

깊이 맵 생성기(152)는 시간의 흐름에 따라 생성되는 프레임들 각각에 대하여, 앞선 실시 예들에서 설명된 깊이 맵 프로파일링을 수행할 수 있다. 그 결과, 각각의 프레임에 대한 깊이 맵이 생성될 수 있으므로, 깊이 맵 동영상 또는 타깃의 3차원 동영상이 생성될 수 있다.

도 10은 본 발명의 실시 예에 따른 깊이 맵을 생성하는 과정을 보여주는 순서도이다. 설명의 이해를 돕기 위해 도 1을 함께 참조하여 설명하기로 한다.

S110 단계에서, 복수의 픽셀들로부터 타깃에 대응하는 복수의 신호들이 출력될 수 있다. 픽셀들로부터 출력된 신호란, 픽셀이 타깃을 감지/촬영함으로써 생성된 전기적 신호(예컨대, 전류 또는 전압)를 의미할 수 있다. 예를 들어, 이미지 프로세세(150)는 픽셀들로부터 출력되는 전기적 신호와 픽셀들의 주소에 관한 원본 데이터를 테이블로써 관리할 수 있다. 원본 데이터는 메모리(140)에 저장될 수 있다. 예를 들어, 복수의 픽셀들 각각은 CMOS를 기반으로 할 수 있다.

S120에서, 원본 데이터의 복수의 신호들 중 두 픽셀들에서의 감지에 대응하는 2개의 신호들의 세기 차이가 계산될 수 있다. 2개의 신호들의 세기 차이 값의 집합은 깊이 맵 프로파일 데이터를 구성할 수 있다. 2개의 신호들의 세기 차이 값의 집합은, 앞서 도 2a 내지 도 2c를 통하여 설명된 것과 같이, 타깃의 실제 깊이 맵의 형태와 대체로 유사한 형태를 갖는다.

다른 실시 예에서, 서로 인접한 두 픽셀들에서의 감지에 대응하는 신호들을 사용하는 대신에, 적어도 하나의 픽셀을 사이에 두고 인접한 두 픽셀들 사이에서의 감지에 대응하는 신호들이 사용될 수도 있다. (도 4 참조). 또 다른 실시 예에서, 깊이 맵의 화소수 감소 기법을 사용하기 위해, 깊이 맵 프로파일링 과정에서, 전체 픽셀들 중 일부의 픽셀들에서의 감지에 대응하는 신호들만 사용될 수 있다. (도 6, 7 참조)

S130 단계에서, 깊이 맵 프로파일 데이터에 기초하여 깊이 맵이 생성될 수 있다. 예를 들어, 깊이 맵은, 더욱 입체감 있는 이미지를 제공하기 위해 타깃의 이미지에 더해질 수 있다. 또는 깊이 맵은 타깃 표면의 3차원 이미지를 생성하는데 이용될 수 있다. 예를 들어, 깊이 맵을 이용하여 생성된 이미지 및 3차원 영상 등은 디스플레이 장치를 통하여 사용자에게 시작적으로 제공될 수 있다.

도 11은 본 발명의 실시 예에 따른 이미지 처리 장치가 적용된 전자 기기를 예시적으로 보여주는 블록도이다. 예를 들어, 전자 기기(1000)는 스마트폰, 태블릿 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 웨어러블(Wearable) 기기로 구현될 수 있다. 나아가, 전자 기기(1000)는 무인 경비 시스템, 사물 인터넷, 자율 주행 자동차를 운영하는데 필요한 다양한 유형의 전자 기기들 중 하나로 구현될 수 있다

전자 기기(1000)는 이미지 처리 장치(1100), 메인 프로세서(1200), 워킹 메모리(1300), 스토리지(1400), 디스플레이(1500), 통신 블록(1600), 및 유저 인터페이스(1700)를 포함할 수 있다.

이미지 처리 장치(1100)는 앞서 도 1 내지 도 10을 통하여 설명된 스킴을 실행하도록 구현된 이미지 처리 장치일 수 있다.

한편, 깊이 맵 생성 스킴은 이미지 프로세서(1120) 대신에, 메인 프로세서(1200)에 의해 소프트웨어 또는 펌웨어로서 수행될 수도 있다. 이 경우, 깊이 맵 생성 스킴을 실현하는 펌웨어 또는 소프트웨어인 깊이 맵 생성기(1310)는 워킹 메모리(1300)에 로딩될 수 있으며, 메인 프로세서(1200)는 깊이 맵 생성기(1310)를 구동할 수 있다. 이 경우, 깊이 맵 생성 스킴은 메인 프로세서(1200)에 의해 구동/처리되기 때문에, 프로세서(1120)는 생략될 수 있다.

워킹 메모리(1300)는 전자 기기(1000)의 동작에 이용되는 데이터를 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 이미지 프로세서(1120)에 의해 처리된 데이터을 일시적으로 저장할 수 있다. 예를 들어, 워킹 메모리(1300)는 DRAM (Dynamic RAM), SDRAM (Synchronous RAM) 등과 같은 휘발성 메모리, 및/또는 PRAM (Phase-change RAM), MRAM (Magneto-resistive RAM), ReRAM (Resistive RAM), FRAM (Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다.

스토리지(1400)는 깊이 맵 생성 스킴을 수행하기 위한 펌웨어 또는 소프트웨어를 저장할 수 있다. 깊이 맵 생성 스킴을 수행하기 위한 펌웨어 또는 소프트웨어는 메인 프로세서(1200)의 요청 또는 명령에 따라 스토리지(1400)로부터 읽혀질 수 있으며, 워킹 메모리(1300)에 로딩될 수 있다. 스토리지(1400)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다.

디스플레이(1500)는 디스플레이 패널 및 DSI (display serial interface) 주변 회로를 포함할 수 있다. 예를 들어, 디스플레이 패널은 LCD (Liquid Crystal Display) 장치, LED (Light Emitting Diode) 표시 장치, OLED (Organic LED) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치 등과 같은 다양한 장치로 구현될 수 있다. 메인 프로세서(1200)에 내장된 DSI 호스트는 DSI를 통하여 디스플레이 패널과 시리얼 통신을 수행할 수 있다. DSI 주변 회로는 디스플레이 패널을 구동하는데 필요한 타이밍 컨트롤러, 소스 드라이버 등을 포함할 수 있다.

통신 블록(1600)은 안테나를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(1600)의 송수신기(1610) 및 MODEM (Modulator/Demodulator, 1620)은 LTE (Long Term Evolution), WIMAX (Worldwide Interoperability for Microwave Access), GSM (Global System for Mobile communication), CDMA (Code Division Multiple Access), Bluetooth, NFC (Near Field Communication), Wi-Fi (Wireless Fidelity), RFID (Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.

유저 인터페이스(1700)는 키보드, 마우스, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 자이로스코프 센서, 진동 센서, 가속 센서 등과 같은 입력 인터페이스들 중 적어도 하나를 포함할 수 있다.

전자 기기(1000)의 구성 요소들은 USB (Universal Serial Bus), SCSI (Small Computer System Interface), PCIe (Peripheral Component Interconnect Express), M-PCIe (Mobile PCIe), ATA (Advanced Technology Attachment), PATA (Parallel ATA), SATA (Serial ATA), SAS (Serial Attached SCSI), IDE (Integrated Drive Electronics), EIDE (Enhanced IDE), NVMe (Nonvolatile Memory Express), UFS (Universal Flash Storage) 등과 같은 다양한 인터페이스 규약 중 하나 이상에 의거하여 데이터를 교환할 수 있다.

이상 설명된 깊이 맵 생성 알고리즘에 의하면, TOF (time of flight) 방식에서 요구되는 별도의 장치 없이, 기존의 CMOS 기반의 이미지 센서만을 이용하여 타깃의 깊이 맵이 생성될 수 있다. 인접한 픽셀들에 대응하는 신호들의 세기 차이를 이용하기 때문에, 연산/회로의 구성을 단순화시킬 수 있으므로, 깊이 맵을 생성하는데 있어서 이미지 처리 장치의 동작 속도가 향상될 수 있다.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 위에서 설명한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.

100: 이미지 처리 장치 110: 렌즈
120: 액티브 픽셀 센서 어레이 130: 디지털 신호 변환기
140: 메모리 150: 이미지 프로세서
152: 깊이 맵 생성기 1000: 전자 기기
1100: 이미지 처리 장치 1200: 메인 프로세서
1300: 워킹 메모리 1400: 스토리지
1500: 디스플레이 1600: 통신 블록
1700: 유저 인터페이스

Claims (15)

1. 타깃에 대응하는 복수의 신호들을 생성하도록 구성되는 복수의 픽셀들을 포함하는 액티브 픽셀 센서 어레이; 그리고
   상기 신호들 중, 2개의 신호들의 세기 차이에 기초하여 상기 타깃에 관한 깊이 맵을 생성하도록 구성되는 이미지 프로세서를 포함하는 이미지 처리 장치.
2. 제 1 항에 있어서,
   상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 3 픽셀을 포함하되,
   상기 이미지 프로세서는:
   상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 2 픽셀에 대응하는 제 2 신호 사이의 제 1 차이, 상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 2 차이에 기초하여 깊이 맵을 생성하는 이미지 처리 장치.
3. 제 2 항에 있어서,
   상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 2 행에 배치되는 제 4 픽셀 내지 제 6 픽셀을 더 포함하되,
   상기 이미지 프로세서는:
   상기 제 4 픽셀에 대응하는 제 4 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이, 상기 제 5 픽셀에 대응하는 상기 제 5 신호와 상기 제 6 픽셀에 대응하는 제 6 신호 사이의 제 4 차이에 기초하여 깊이 맵을 생성하는 이미지 처리 장치.
4. 제 3 항에 있어서,
   상기 프로세서는, 상기 제 3 차이 및 상기 제 4 차이를 계산할 시, 상기 제 1 신호와 상기 제 4 신호의 차이를 반영하는 이미지 처리 장치.
5. 제 1 항에 있어서,
   상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 4 픽셀을 포함하되,
   상기 이미지 프로세서는:
   상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이, 상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 4 픽셀에 대응하는 제 4 신호 사이의 제 2 차이에 기초하여 깊이 맵을 생성하는 이미지 처리 장치.
6. 제 1 항에 있어서,
   상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 5 픽셀을 포함하되,
   상기 이미지 프로세서는:
   상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이, 상기 제 3 픽셀에 대응하는 상기 제 3 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이에 기초하여 깊이 맵을 생성하는 이미지 처리 장치.
7. 제 1 항에 있어서,
   상기 신호들을 디지털 신호로 변환하는 디지털 신호 변환기를 더 포함하는 이미지 처리 장치.
8. 제 1 항에 있어서,
   상기 복수의 픽셀들 각각은 CMOS 기반의 센서를 포함하는 이미지 처리 장치.
9. 복수의 픽셀들을 포함하는 액티브 픽셀 센서 어레이를 포함하는 이미지 센서를 이용하여 깊이 맵을 생성하는 방법에 있어서:
   상기 복수의 픽셀들로부터 타깃에 대응하는 복수의 신호들을 출력하는 단계;
   상기 복수의 신호들 중 선택된 2개의 신호들에 기초하여 깊이 맵 프로파일 데이터를 생성하는 단계; 그리고
   상기 깊이 맵 프로파일 데이터에 기초하여 상기 타깃에 관한 깊이 맵을 생성하는 단계를 포함하는 방법.
10. 제 9 항에 있어서,
    상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 3 픽셀을 포함하되,
    상기 깊이 맵 프로파일 데이터를 생성하는 단계는:
    상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 2 픽셀에 대응하는 제 2 신호 사이의 제 1 차이를 계산하는 단계;
    상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 2 차이를 계산하는 단계; 그리고
    상기 제 1 차이와 상기 제 2 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 포함하는 방법.
11. 제 10 항에 있어서,
    상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 2 행에 배치되는 제 4 픽셀 내지 제 6 픽셀을 더 포함하되,
    상기 깊이 맵 프로파일 데이터를 생성하는 단계는:
    상기 제 4 픽셀에 대응하는 제 4 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이를 계산하는 단계;
    상기 제 5 픽셀에 대응하는 상기 제 5 신호와 상기 제 6 픽셀에 대응하는 제 6 신호 사이의 제 4 차이를 계산하는 단계; 그리고
    상기 제 3 차이와 상기 제 4 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 더 포함하는 방법.
12. 제 11 항에 있어서,
    상기 제 3 차이 및 상기 제 4 차이를 계산하는 단계는 상기 제 1 신호와 상기 제 4 신호의 차이를 고려하여 실행되는 방법.
13. 제 11 항에 있어서,
    상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 4 픽셀을 포함하되,
    상기 깊이 맵 프로파일 데이터를 생성하는 단계는:
    상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이를 계산하는 단계;
    상기 제 2 픽셀에 대응하는 상기 제 2 신호와 상기 제 4 픽셀에 대응하는 제 4 신호 사이의 제 2 차이를 계산하는 단계; 그리고
    상기 제 1 차이와 상기 제 2 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 포함하는 방법.
14. 제 11 항에 있어서,
    상기 액티브 픽셀 센서 어레이는 상기 복수의 픽셀들 중 제 1 행에 배치되는 제 1 픽셀 내지 제 5 픽셀을 포함하되,
    상기 깊이 맵 프로파일 데이터를 생성하는 단계는:
    상기 제 1 픽셀에 대응하는 제 1 신호와 상기 제 3 픽셀에 대응하는 제 3 신호 사이의 제 1 차이를 계산하는 단계;
    상기 제 3 픽셀에 대응하는 상기 제 3 신호와 상기 제 5 픽셀에 대응하는 제 5 신호 사이의 제 3 차이를 계산하는 단계; 그리고
    상기 제 1 차이와 상기 제 2 차이에 기초하여 상기 깊이 맵을 생성하는 단계를 포함하는 방법.
15. 제 11 항에 있어서,
    상기 복수의 픽셀들 각각은 CMOS 기반의 센서를 포함하는 방법.

Images