KR20160099948A

KR20160099948A - 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치

Info

Publication number: KR20160099948A
Application number: KR1020150022298A
Authority: KR
Inventors: 왕태식
Original assignee: 삼성전자주식회사
Priority date: 2015-02-13
Filing date: 2015-02-13
Publication date: 2016-08-23
Also published as: CN105898281B; JP2016149765A; JP6731738B2; US10337861B2; US20160239974A1; DE102016100031A1; CN105898281A; KR102272254B1

Abstract

본 발명은 깊이 맵을 생성하는 영상 생성 장치를 제공한다. 영상 생성 장치는 렌즈가 제 1 위치에 있을 때 위상 검출 픽셀들에 의해 생성된 제 1 위상 신호들 및 렌즈가 제 2 위치에 있을 때 위상 검출 픽셀들에 의해 생성된 제 2 위상 신호들에 각각 기초하여 제 1 및 제 2 위상 차들을 산출하는 위상 차 산출부, 및 제 1 및 제 2 위상 차들에 각각 기초하여 위상 검출 픽셀들과 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 제 1 및 제 2 깊이 데이터에 기초하여 깊이 맵을 생성하는 깊이 맵 생성부를 포함한다. 본 발명에 따르면, 영상 생성 장치에 의해 차지되는 면적 또는 부피가 감소하고, 좀 더 높은 신뢰성을 갖는 깊이 맵이 생성된다.

Description

위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치{IMAGE GENERATING DEVICE FOR GENERATING DEPTH MAP WITH PHASE DETECTION PIXEL}

본 발명은 영상 기술에 관한 것으로, 좀 더 구체적으로는 깊이 맵(Depth Map)을 생성하기 위한 장치에 관한 것이다.

근래 다양한 유형의 영상 기술들이 이용되고 있다. 다양한 종류의 전자 장치들이 널리 이용되고 있고, 대부분의 전자 장치들은 영상을 표시하거나 생성하기 위해 영상 처리들을 수행할 수 있다. 이를 위해, 대부분의 전자 장치들은 표시 장치, 영상 촬영 장치, 영상 생성 장치, 영상 처리 장치 등을 포함할 수 있다.

특히, 깊이 맵은 근래 이용되고 있는 영상 기술들 중 하나이다. 깊이 맵은 객체와 영상 생성 장치(예컨대, 이미지 센서를 포함하는 카메라) 사이의 거리에 관한 정보를 포함한다. 깊이 맵은 3차원 영상을 생성하기 위해 이용될 수 있다. 3차원 영상은 영화, 비디오 게임 등을 좀 더 흥미롭게 만들기 위해 이용될 수 있다.

깊이 맵을 생성하기 위해, 다양한 유형의 장치들 및 방법들이 이용되고 있다. 예로서, 깊이 맵은 특정 파형을 갖는 빛을 객체로 조사(Emission)한 후 반사된 빛의 파형을 관찰하는 방법, 객체로 조사된 빛이 되돌아오는 데에 걸리는 시간을 측정하는 방법, 둘 이상의 카메라들을 통해 스테레오(Stereo) 정보를 얻는 방법 등과 같은 다양한 방법들에 의해 얻어질 수 있다. 그러나, 깊이 맵을 얻기 위한 대부분의 방법들은 추가의 센서(Sensor) 또는 장치를 요구하거나, 영상 정합(Image Registration)과 같은 추가의 영상 처리를 필요로 한다.

따라서, 높은 처리 성능을 갖는 전자 장치에 대한 요구가 증가함에도 불구하고 전자 장치의 크기가 점점 감소함에 따라, 깊이 맵을 얻기 위한 대부분의 방법들은 근래 이용되고 있는 전자 장치들에 의해 채용되기 어렵다. 즉, 적은 면적 또는 부피를 차지하는 장치 또는 회로를 이용함으로써 깊이 맵을 얻기 위한 방법이 필요하다.

적은 면적 또는 부피를 차지하고 효율적으로 깊이 맵을 생성할 수 있는 영상 생성 장치가 제공된다. 본 발명의 실시 예에 따르면, 추가의 센서 또는 장치 없이 깊이 맵이 생성될 수 있다. 본 발명의 실시 예에서, 서로 다른 위치들로 이동할 수 있는 렌즈를 통해 여러 깊이 데이터가 생성될 수 있다.

본 발명의 일 실시 예에 따른 영상 생성 장치는 객체에 대응하는 영상 신호들을 생성하도록 구성되는 복수의 이미지 센서 픽셀, 및 영상들 사이의 위상 차를 산출하기 위해 이용되는 제 1 및 제 2 위상 신호들을 생성하도록 구성되는 복수의 위상 검출 픽셀을 포함하는 이미지 센서; 렌즈와 객체 사이의 거리를 조절하기 위해 렌즈의 위치를 조절하도록 구성되는 렌즈 구동부; 렌즈가 제 1 위치에 있을 때 생성된 제 1 위상 신호들에 기초하여 제 1 위상 차들을 산출하고, 렌즈가 제 1 위치와 다른 제 2 위치에 있을 때 생성된 제 2 위상 신호들에 기초하여 제 2 위상 차들을 산출하도록 구성되는 위상 차 산출부; 및 제 1 및 제 2 위상 차들에 각각 기초하여 복수의 위상 검출 픽셀과 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 제 1 및 제 2 깊이 데이터에 기초하여 깊이 맵을 생성하도록 구성되는 깊이 맵 생성부를 포함할 수 있다.

본 발명의 일 실시 예에 따른 영상 생성 장치는, 제 1 위상 차들에 기초하여, 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 위상 차 예측부를 더 포함할 수 있다.

본 발명의 일 실시 예에서, 렌즈가 렌즈 구동부의 제어에 따라 제 1 위치에서 제 2 위치로 이동함에 따라, 제 1 위상 차들은 제 2 위상 차들보다 먼저 산출될 수 있다. 본 발명의 일 실시 예에서, 위상 차 예측부는 렌즈가 제 2 위치로 이동하기 전 또는 이동할 때 제 2 위상 차들로서 산출될 값들을 예측하도록 구성될 수 있다.

본 발명의 일 실시 예에서, 위상 차 예측부에 의해 예측된 값들과 위상 차 산출부에 의해 산출된 제 2 위상 차들 사이의 차이가 기준 값보다 큰 경우, 깊이 맵 생성부는 그 차이를 참조하여 깊이 맵을 생성하도록 구성될 수 있다.

본 발명의 일 실시 예에서, 복수의 위상 검출 픽셀 각각은 복수의 이미지 센서 픽셀 중에서 두 개의 이미지 센서 픽셀들에 대응하도록 구성될 수 있다.

본 발명의 일 실시 예에서, 복수의 위상 검출 픽셀은 복수의 이미지 센서 픽셀과 중첩되지 않도록 복수의 이미지 센서 픽셀의 위치들과 다른 위치들에 배치될 수 있다.

본 발명의 일 실시 예에 따른 영상 생성 장치는, 영상 신호들을 처리함으로써, 객체를 촬영한 영상과 관련된 공간 주파수의 정보를 생성하도록 구성되는 공간 주파수 산출부를 더 포함할 수 있다.

본 발명의 일 실시 예에서, 공간 주파수 산출부는 렌즈가 제 1 위치에 있을 때 제 1 공간 주파수 정보를 생성하고, 렌즈가 제 2 위치에 있을 때 제 2 공간 주파수 정보를 생성하도록 구성될 수 있다.

본 발명의 일 실시 예에서, 공간 주파수 산출부는 제 1 및 제 2 공간 주파수 정보에 기초하여, 렌즈가 제 1 위치에서 제 2 위치로 이동할 때 공간 주파수 값이 변한 방향 및 양 중 적어도 하나를 획득하도록 더 구성될 수 있다. 본 발명의 일 실시 예에서, 깊이 맵 생성부는 공간 주파수 값이 변한 방향 및 양 중 적어도 하나를 참조하여 깊이 맵을 생성하도록 구성될 수 있다.

본 발명의 일 실시 예에서, 이미지 센서, 렌즈 구동부, 위상 차 산출부, 및 깊이 맵 생성부는 하나의 이미지 센서 칩에 구현될 수 있다.

본 발명의 다른 실시 예에 따른 영상 생성 장치는 이미지 센서에 포함되는 복수의 위상 검출 픽셀에 의해 생성된 제 1 및 제 2 위상 신호들을 제공받고, 객체로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동하도록 구성되는 렌즈가 제 1 위치에 있을 때 생성된 제 1 위상 신호들에 기초하여 제 1 위상 차들을 산출하고, 렌즈가 제 1 위치와 다른 제 2 위치에 있을 때 생성된 제 2 위상 신호들에 기초하여 제 2 위상 차들을 산출하도록 구성되는 위상 차 산출부; 제 1 및 제 2 위상 차들 중 적어도 하나에 기초하여 객체에 대한 초점을 맞추기 위한 렌즈의 초점 위치를 산출하고, 렌즈를 초점 위치로 이동시키기 위해 렌즈 구동 신호를 생성하도록 구성되는 렌즈 위치 제어부; 및 제 1 및 제 2 위상 차들에 각각 기초하여 복수의 위상 검출 픽셀과 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 제 1 및 제 2 깊이 데이터에 기초하여 깊이 맵을 생성하도록 구성되는 깊이 맵 생성부를 포함할 수 있다.

본 발명의 다른 실시 예에서, 제 1 위치 및 제 2 위치 중 하나는 초점 위치에 대응할 수 있다.

본 발명의 다른 실시 예에 따른 영상 생성 장치는, 제 1 위상 차들에 기초하여, 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 위상 차 예측부; 및 이미지 센서에 포함되는 복수의 이미지 센서 픽셀에 의해 생성된 영상 신호들을 처리함으로써, 객체를 촬영한 영상과 관련된 공간 주파수의 정보를 생성하도록 구성되는 공간 주파수 산출부를 더 포함할 수 있다.

본 발명의 다른 실시 예에 따른 영상 생성 장치는 위상 차 예측부에 의해 예측된 값들, 위상 차 산출부에 의해 산출된 제 2 위상 차들, 및 렌즈가 제 1 위치에서 제 2 위치로 이동할 때 공간 주파수 값이 변한 방향 중 적어도 하나에 기초하여, 제 1 위상 차들에 관한 제 1 신뢰도 수준 및 제 2 위상 차들에 관한 제 2 신뢰도 수준을 산출하도록 구성되는 신뢰도 수준 산출부를 더 포함할 수 있다.

본 발명의 다른 실시 예에서, 깊이 맵 생성부는 제 1 및 제 2 깊이 데이터에 제 1 및 제 2 신뢰도 수준들을 반영함으로써 깊이 맵을 생성하도록 구성될 수 있다.

본 발명의 다른 실시 예에 따른 영상 생성 장치는 이미지 센서에 포함되는 복수의 이미지 센서 픽셀에 의해 생성된 영상 신호들에 기초하여 생성된 객체 영상, 및 깊이 맵에 대해 영상 정합을 수행함으로써 깊이 맵의 해상도를 변경시키도록 구성되는 깊이 맵 후처리부를 더 포함할 수 있다.

본 발명의 다른 실시 예에서, 위상 차 산출부, 렌즈 위치 제어부, 및 깊이 맵 생성부는, 어플리케이션 프로세서를 포함하는 연산 처리 장치에 구현될 수 있다.

본 발명의 또 다른 실시 예에 따라 깊이 맵을 생성하도록 구성되는 영상 생성 장치는 객체로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동하도록 구성되는 렌즈가 제 1 위치에 있을 때 복수의 위상 검출 픽셀에 의해 생성된 제 1 위상 신호들 및 렌즈가 제 1 위치와 다른 제 2 위치에 있을 때 복수의 위상 검출 픽셀에 의해 생성된 제 2 위상 신호들에 각각 기초하여 제 1 및 제 2 위상 차들을 산출하도록 구성되는 위상 차 산출부; 및 제 1 및 제 2 위상 차들에 각각 기초하여 복수의 위상 검출 픽셀과 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 제 1 및 제 2 깊이 데이터에 기초하여 깊이 맵을 생성하도록 구성되는 깊이 맵 생성부를 포함할 수 있다.

본 발명의 또 다른 실시 예에 따른 영상 생성 장치는, 제 1 위상 차들에 기초하여, 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 위상 차 예측부를 더 포함할 수 있다. 본 발명의 또 다른 실시 예에서, 위상 차 예측부에 의해 예측된 값들이 위상 차 산출부에 의해 산출된 제 2 위상 차들과 다른 경우: 위상 차 산출부는 렌즈가 제 1 및 제 2 위치들과 다른 제 3 위치에 있을 때 복수의 위상 검출 픽셀에 의해 생성된 제 3 위상 신호들에 기초하여 제 3 위상 차들을 산출하도록 더 구성되고; 깊이 맵 생성부는 제 3 위상 차들에 기초하여 복수의 위상 검출 픽셀과 객체 사이의 거리에 관한 제 3 깊이 데이터를 생성하고, 제 1 내지 제 3 깊이 데이터에 기초하여 깊이 맵을 생성하도록 더 구성될 수 있다.

본 발명의 또 다른 실시 예에 따른 영상 생성 장치는 렌즈가 제 1 위치에 있을 때 복수의 이미지 센서 픽셀에 의해 생성된 제 1 영상 신호들을 처리함으로써 객체를 촬영한 제 1 영상과 관련된 제 1 공간 주파수 정보를 생성하고, 렌즈가 제 2 위치에 있을 때 복수의 이미지 센서 픽셀에 의해 생성된 제 2 영상 신호들을 처리함으로써 객체를 촬영한 제 2 영상과 관련된 제 2 공간 주파수 정보를 생성하고, 제 1 및 제 2 공간 주파수 정보에 기초하여 공간 주파수 값이 변한 방향을 획득하도록 구성되는 공간 주파수 산출부; 및 공간 주파수 값이 변한 방향에 기초하여, 제 1 위상 차들에 관한 제 1 신뢰도 수준 및 제 2 위상 차들에 관한 제 2 신뢰도 수준을 산출하도록 구성되는 신뢰도 수준 산출부를 더 포함할 수 있다. 본 발명의 또 다른 실시 예에서, 깊이 맵 생성부는 제 1 및 제 2 깊이 데이터에 제 1 및 제 2 신뢰도 수준들을 반영함으로써 깊이 맵을 생성하도록 구성될 수 있다.

본 발명의 실시 예에 따르면, 영상 생성 장치에 의해 차지되는 면적 또는 부피가 감소할 수 있다. 나아가, 본 발명의 실시 예에 따르면, 여러 깊이 데이터를 참조하여 오차를 보정함으로써, 좀 더 높은 신뢰성을 갖는 깊이 맵이 생성될 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 생성 장치를 포함하는 영상 생성 시스템의 구성을 보여주는 블록도이다.
도 2 내지 도 4 각각은 본 발명의 실시 예에 따라 위상 검출 픽셀을 포함하는 이미지 센서의 구성을 보여주는 개념도이다.
도 5 및 도 6 각각은 위상 검출 픽셀이 이용되는 과정을 보여주는 개념도이다.
도 7은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다.
도 8은 도 7의 영상 생성 장치의 동작을 설명하는 흐름도이다.
도 9는 도 7의 영상 생성 장치의 동작을 설명하는 개념도이다.
도 10 내지 도 17은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다.
도 18은 본 발명의 실시 예에 따른 영상 생성 장치를 포함하는 전자 시스템의 구성 및 그것의 인터페이스들을 보여주는 블록도이다.

전술한 특성 및 이하 상세한 설명은 모두 본 발명의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 발명은 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 발명을 완전히 개시하기 위한 예시이며, 본 발명이 속하는 기술 분야의 통상의 기술자들에게 본 발명을 전달하기 위한 설명이다. 따라서, 본 발명의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 발명의 구현이 가능함을 분명히 할 필요가 있다.

본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 발명의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.

본 명세서에서 사용되는 용어들은 본 발명이 속하는 기술 분야의 통상의 기술자들이 일반적으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 발명의 실시 예가 설명된다.

도 1은 본 발명의 실시 예에 따른 영상 생성 장치를 포함하는 영상 생성 시스템의 구성을 보여주는 블록도이다. 도 1을 참조하면, 영상 생성 시스템(1000)은 객체(1100) 및 영상 생성 장치(1300)를 포함할 수 있다. 객체(1100)는 촬영 대상이다. 영상 생성 장치(1300)의 동작에 의해, 객체(1100)에 관한 영상(IMG)이 생성될 수 있다.

실시 예로서, 영상 생성 장치(1300)는 렌즈(1310), 이미지 센서 칩(Image Sensor Chip; 1330), 및 영상 신호 처리기(1350)를 포함할 수 있다. 다만, 영상 생성 장치(1300)는 도 1에 나타내지 않은 다른 구성 요소를 더 포함할 수 있다. 도 1에 나타낸 영상 생성 장치(1300)는 본 발명의 이해를 돕기 위한 예시일 뿐이다. 영상 생성 장치(1300)는 객체(1100)에 관한 영상(IMG)을 생성할 수 있다.

렌즈(1310)는 하나 이상의 광원들로부터 방출된 후 객체(1100)에 의해 반사된 빛을 제공받을 수 있다. 실시 예로서, 영상 생성 장치(1300)는 하나 이상의 렌즈들을 포함할 수 있다. 렌즈(1310)를 통과한 빛은 이미지 센서 칩(1330)으로 제공될 수 있다.

이미지 센서 칩(1330)은 렌즈(1310)로부터 제공받은 빛에 기초하여 하나 이상의 영상 신호들을 생성할 수 있다. 영상 신호들은 객체(1100)에 관한 영상(IMG)을 생성하기 위해 이용되는 정보를 포함할 수 있다. 영상 신호들에 기초하여, 객체(1100)에 관한 영상(IMG)이 생성될 수 있다. 영상 신호들은 영상 신호 처리기(1350)로 제공될 수 있다.

예로서, 이미지 센서 칩(1330)은 이미지 센서 픽셀을 포함할 수 있다. 이미지 센서 픽셀은 하나 이상의 광 통과 필터(Light Pass Filter)들 및 하나 이상의 광 감지 센서(Photo-sensitive Sensor)들을 포함할 수 있다. 예로서, 광 통과 필터들 각각은 적색 광, 녹색 광, 및 청색 광 중 하나를 통과시킬 수 있으나, 본 발명은 이 예로 한정되지 않는다. 광 감지 센서는 광 통과 필터를 통과한 빛의 특성(예컨대, 세기)에 대응하는 전기 특성(예컨대, 전압)을 갖는 전기 신호(즉, 영상 신호)를 생성할 수 있다. 예로서, 하나 이상의 광 통과 필터들 및 하나 이상의 광 감지 센서들은 픽셀(Pixel) 단위로 배치될 수 있다. 예로서, 하나의 영상 신호가 각 픽셀에 대응하여 생성될 수 있다.

다만, 본 발명은 위 예들로 한정되지 않는다. 광 통과 필터의 구성, 광 통과 필터 및 광 감지 센서의 배치, 및 영상 신호의 생성은 필요에 따라 다양한 방식들로 구현될 수 있다. 또한, 예로서, 이미지 센서 칩(1330)은 적외광(Infrared Light) 통과 필터, 적외광 센서 등과 같은 다양한 구성 요소들을 더 포함할 수 있다.

나아가, 본 발명의 실시 예에서, 이미지 센서 칩(1330)은 위상 검출 픽셀을 더 포함할 수 있다. 위상 검출 픽셀은 위상 차 자동 초점 맞춤(Phase Difference Auto-focusing)을 수행하기 위해 이용될 수 있다. 위상 검출 픽셀은 위상 신호를 생성할 수 있다. 위상 신호는 영상들 사이의 위상 차를 산출하기 위해 이용될 수 있다. 본 발명의 실시 예에서, 위상 차는 객체에 대한 초점 맞춤, 및 객체와 이미지 센서 사이의 거리의 측정에 이용될 수 있다. 위상 검출 픽셀은 도 2 내지 도 6에 대한 설명들과 함께 더 언급된다.

영상 신호 처리기(1350)는 이미지 센서 칩(1330)에 의해 생성된 영상 신호들 및 위상 신호들을 제공받을 수 있다. 영상 신호 처리기(1350)는 영상 신호들을 처리하기 위한 연산들을 수행할 수 있다. 객체(1100)에 관한 영상(IMG)은 영상 신호들에 기초하여 생성될 수 있다. 그러나, 영상 신호들은 객체(1100)에 관한 영상(IMG)을 생성하는 데에 적절하지 않을 수 있다. 적절한 영상(IMG)을 생성하기 위해, 영상 신호 처리기(1350)는 영상 신호 처리를 수행할 수 있다.

예로서, 영상 신호 처리기(1350)는 불량 픽셀 보정(Bad Pixel Correction), 디모자이크(Demosaic), 노이즈 제거(Noise Reduction), 렌즈 쉐이딩 보정(Lens Shading Correction), 감마 보정(Gamma Correction), 엣지 인핸스먼트(Edge Enhancement) 등과 같은 영상 신호 처리들을 수행할 수 있다. 다만, 본 발명은 이 예들로 한정되지 않는다. 영상 신호 처리기(1350)는 다른 영상 신호 처리들을 더 수행할 수 있다.

영상 신호 처리기(1350)는 위상 신호들을 처리함으로써 객체(1100)에 대한 초점을 맞출 수 있다. 나아가, 본 발명의 실시 예에서, 영상 신호 처리기(1350)는 위상 신호들을 처리함으로써 깊이 맵(Depth Map; DM)을 생성할 수 있다. 깊이 맵은 객체(1100)와 이미지 센서 사이의 거리에 관한 정보를 보여주는 영상이다. 위상 신호의 처리, 초점 맞춤, 및 깊이 맵의 생성이 영상 신호 처리기(1350)에 의해 수행되는 것으로 설명되었다. 그러나, 뒤에서 더 언급되겠지만, 위상 신호의 처리, 초점 맞춤, 및 깊이 맵의 생성 중 적어도 하나는 이미지 센서 칩(1330)에 의해 수행될 수 있다.

영상 신호 처리기(1350)는 하드웨어로 구현될 수 있다. 예로서, 영상 신호 처리기(1350)는 영상 신호 처리를 수행하기 위한 아날로그 회로들 또는 논리 회로들을 포함할 수 있다. 또는, 영상 신호 처리기(1350)는 연산 처리 장치로 구현될 수 있다. 예로서, 영상 신호 처리기(1350)는, 어플리케이션 프로세서(Application Processor)를 포함하는 연산 처리 장치에 구현될 수 있다. 연산 처리 장치는 ROM(Read-only Memory)에 저장된 명령어 코드(Instruction Code) 또는 RAM(Random Access Memory)에 로드된 프로그램 코드를 실행함으로써 영상 신호 처리를 수행할 수 있다. 다만, 이 예들은 본 발명을 한정하기 위한 것은 아니다.

실시 예로서, 도 1에 나타낸 것과 같이, 영상 신호 처리기(1350)는 이미지 센서 칩(1330)과 함께 동일한 장치에 포함될 수 있다. 이 실시 예에서, 예로서, 영상 생성 장치(1300)는 디지털 카메라, 스마트폰, 태블릿, 웨어러블(Wearable) 장치 등과 같이 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)를 포함하는 휴대용 전자 장치로 구현될 수 있다.

다른 실시 예로서, 도 1에 나타낸 것과 달리, 영상 신호 처리기(1350)를 포함하는 장치는 이미지 센서 칩(1330)을 포함하는 장치와 별개로 제공될 수 있다. 이 실시 예에서, 예로서, 이미지 센서 칩(1330)을 포함하는 장치는 단순히 촬영 장치일 수 있고, 영상 신호 처리기(1350)를 포함하는 장치는 하나 이상의 프로세서들을 포함하는 컴퓨팅 장치일 수 있다. 즉, 본 발명의 실시 예들은 다양한 방식들로 구현될 수 있고, 도 1에 나타낸 구성으로 한정되지 않는다.

실시 예로서, 도 1에 나타낸 것과 같이, 영상 신호 처리기(1350)는 이미지 센서 칩(1330)과 별개로 제공되는 영상 신호 처리 회로, 영상 신호 처리 칩, 또는 영상 신호 처리 장치일 수 있다. 이 실시 예에서, 영상 생성 장치(1300)가 휴대용 전자 장치인 경우, 이미지 센서 칩(1330)은 영상 신호 처리기(1350)와 별개로 제공되고, 영상 신호 처리기(1350)는 어플리케이션 프로세서에 포함될 수 있다.

다른 실시 예로서, 도 1에 나타낸 것과 달리, 영상 신호 처리기(1350)의 일부 또는 전부는 이미지 센서 칩(1330)에 포함될 수 있다. 이 실시 예에서, 이미지 센서 칩(1330)은 영상 신호를 생성함은 물론, 영상 신호 처리를 수행할 수 있다. 즉, 본 발명의 실시 예들은 다양한 구성들로 구현될 수 있고, 도 1에 나타낸 구성으로 한정되지 않는다. 도 1은 본 발명의 이해를 돕기 위한 예시적인 구성을 보여준다.

아래에서 언급되는 본 발명의 실시 예에 따른 "영상 생성 장치"의 구성 요소들은 이미지 센서 칩(1330) 또는 영상 신호 처리기(1350)에 구현되거나, 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 또는, "영상 생성 장치"의 구성 요소들은 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)와 별개로 제공될 수 있다. 본 발명의 실시 예들은 다양한 구성들로 구현될 수 있다. 본 발명의 실시 예들에 따른 구성들은 도 7 내지 도 17에 대한 설명들과 함께 언급된다.

도 2 내지 도 4 각각은 본 발명의 실시 예에 따라 위상 검출 픽셀을 포함하는 이미지 센서의 구성을 보여주는 개념도이다. 본 발명의 실시 예에 따라 위상 검출 픽셀을 포함하는 이미지 센서(1331)는 도 1의 이미지 센서 칩(1330)에 포함될 수 있다.

도 2를 참조하면, 이미지 센서(1331)는 픽셀 어레이(PA)를 포함할 수 있다. 픽셀 어레이(PA)는 픽셀 단위(PX)로 형성될 수 있다. 이미지 센서(1331)는 복수의 이미지 센서 픽셀 및 복수의 위상 검출 픽셀을 포함할 수 있다. 복수의 이미지 센서 픽셀은 객체에 대응하는 영상 신호들을 생성할 수 있다. 복수의 위상 검출 픽셀은 영상들 사이의 위상 차를 산출하기 위해 이용되는 위상 신호들을 생성할 수 있다. 복수의 이미지 센서 픽셀 및 복수의 위상 검출 픽셀은 픽셀 단위(PX)로 배치될 수 있다. 복수의 이미지 센서 픽셀 및 복수의 위상 검출 픽셀의 배치는 도 3 및 도 4를 참조하여 설명된다.

실시 예로서, 복수의 위상 검출 픽셀 각각은 복수의 이미지 센서 픽셀 중에서 두 개의 이미지 센서 픽셀에 대응하도록 구성될 수 있다. 도 2 및 도 3을 함께 참조하면, 복수의 이미지 센서 픽셀 각각은 하나의 픽셀 단위(PX)에 대응할 수 있다. 나아가, 복수의 위상 검출 픽셀(PPX1, PPXn) 각각은 두 개의 픽셀 단위들에 대응할 수 있다. 즉, 예로서, 두 개의 이미지 센서 픽셀들은 하나의 위상 검출 픽셀(PPX1)로서 이용될 수 있다. 이 실시 예에서, 하나의 픽셀 단위(PX)는 이미지 센서 픽셀뿐만 아니라 위상 검출 픽셀로서 이용될 수 있다.

위 실시 예에서, 모든 이미지 센서 픽셀들이 위상 검출 픽셀들로서 이용될 수 있다. 또는, 복수의 이미지 센서 픽셀의 일부는 위상 검출 픽셀로서 이용되지 않을 수 있다. 예로서, 복수의 이미지 센서 픽셀의 개수가 p개인 경우, 복수의 위상 검출 픽셀의 개수는 (p/2)개 이하일 수 있다(즉, n≤(p/2)).

다른 실시 예로서, 복수의 위상 검출 픽셀은 복수의 이미지 센서 픽셀과 중첩되지 않도록 배치될 수 있다. 도 4를 참조하면, 하얀 사각형은 이미지 센서 픽셀(IPX)을 나타내고, 음영으로 표시된 사각형은 위상 검출 픽셀(PPX)을 나타낸다. 즉, 복수의 위상 검출 픽셀은 복수의 이미지 센서 픽셀의 위치들과 다른 위치들에 배치될 수 있다. 이 실시 예에서, 위상 검출 픽셀은 이미지 센서 픽셀로서 이용되지 않을 수 있다. 예로서, 위상 검출 픽셀은 백색 광 센서를 포함할 수 있으나, 본 발명은 이 예로 한정되지 않는다.

위 실시 예에서, 픽셀 어레이(PA)에 포함되는 픽셀들 중 일부는 이미지 센서 픽셀들로서 이용될 수 있다. 나아가, 이미지 센서 픽셀들로서 이용되지 않는 픽셀들은 위상 검출 픽셀들로서 이용될 수 있다. 필요에 따라, 픽셀 어레이(PA)에 포함되는 모든 픽셀들이 위상 검출 픽셀들로서 이용될 수 있다.

본 발명의 실시 예에서, 위상 검출 픽셀들의 구성, 개수, 배치, 및 위치는 필요에 따라 다양하게 변경 또는 수정될 수 있다. 도 2 내지 도 4는 복수의 위상 검출 픽셀을 포함하는 이미지 센서(1331)의 예시적인 구성을 보여줄 뿐이고, 본 발명을 한정하기 위한 것은 아니다. 이미지 센서(1331)는 도 2 내지 도 4에 나타낸 것과 다르게 구현될 수 있다.

도 5 및 도 6 각각은 위상 검출 픽셀이 이용되는 과정을 보여주는 개념도이다. 예로서, 영상 생성 장치(1300, 도 1 참조)에 포함되는 렌즈(1310)는 이동 가능하도록 구성될 수 있다. 구체적으로, 렌즈(1310)는 객체(1100)로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동할 수 있다. 이로써, 렌즈(1310)와 객체(1100) 사이의 거리가 조절될 수 있다. 렌즈(1310)의 위치에 따라 객체(1100)에 대한 초점이 맞거나 흐려질 수 있다.

먼저, 도 5가 참조된다. 첫 번째 경우(CASE 1)를 참조하면, 렌즈(1310)와 객체(1100) 사이의 거리가 상대적으로 가깝다. 첫 번째 경우(CASE 1)에서, 렌즈(1310)는 초점 위치(In-focus Position)에서 벗어나 있다. 초점 위치는 객체(1100)에 대한 초점을 맞추기 위한 렌즈(1310)의 위치이다. 렌즈(1310)가 초점 위치에서 벗어나 있기 때문에, 이미지 센서 칩(1330, 도 1 참조)에 포함되는 이미지 센서(1331)에 맺힌 영상들 사이에 위상 차(D1)가 발생할 수 있다. 따라서, 첫 번째 경우(CASE 1)에서, 객체(1100)에 대한 초점이 흐려질 수 있다(Defocused).

두 번째 경우(CASE 2)를 참조하면, 렌즈(1310)가 초점 위치에 놓여 있다. 렌즈(1310)가 초점 위치에 놓인 경우, 이미지 센서(1331)에 맺힌 영상들 사이의 위상 차가 0일 수 있다. 따라서, 두 번째 경우(CASE 2)에서, 객체(1100)에 대한 초점이 맞을 수 있다(Focused).

세 번째 경우(CASE 3)를 참조하면, 렌즈(1310)와 객체(1100) 사이의 거리가 상대적으로 멀다. 세 번째 경우(CASE 3)에서, 렌즈(1310)는 초점 위치에서 벗어나 있다. 렌즈(1310)가 초점 위치에서 벗어나 있기 때문에, 이미지 센서(1331)에 맺힌 영상들 사이에 위상 차(D3)가 발생할 수 있다. 따라서, 세 번째 경우(CASE 3)에서, 객체(1100)에 대한 초점이 흐려질 수 있다.

이미지 센서(1331)에 포함되는 복수의 위상 검출 픽셀은 객체에 대한 초점을 맞추기 위해 이용될 수 있다. 위에서 언급된 것과 같이, 복수의 위상 검출 픽셀은 위상 신호들을 생성할 수 있다. 위상 신호들은 이미지 센서(1331)에 맺힌 영상들의 위치들에 관한 정보를 포함할 수 있다. 따라서, 위상 신호들은 영상들 사이의 위상 차들을 산출하기 위해 이용될 수 있다. 산출된 위상 차들에 기초하여, 렌즈(1310)의 초점 위치가 산출될 수 있다. 예로서, 위상 차를 0으로 만드는 렌즈(1310)의 위치가 초점 위치일 수 있다.

본 발명의 실시 예에서, 복수의 위상 검출 픽셀은 객체에 대한 초점 맞춤뿐만 아니라, 객체(1100)와 이미지 센서(1331) 사이의 거리의 측정에도 이용될 수 있다. 예로서, 객체(1100)와 이미지 센서(1331) 사이의 거리를 측정하기 위해, 이미지 센서(1331)에 맺힌 영상들 사이의 위상 차들, 렌즈(1310)와 이미지 센서(1331) 사이의 거리, 렌즈(1310)의 크기, 렌즈(1310)의 초점 위치 등과 같은 추가의 정보들이 참조될 수 있다.

예로서, 특정 초점 위치, 특정 위상 차 등과 같은 특정 조건들에 대응하는 객체(1100)와 이미지 센서(1331) 사이의 거리에 관한 정보가 미리 준비될 수 있다. 영상 생성 장치(1300)는 특정 조건들 및 미리 준비된 객체(1100)와 이미지 센서(1331) 사이의 거리에 관한 정보를 (예로서, 룩-업 테이블(Look-up Table)로서) 저장할 수 있다. 영상 생성 장치(1300)는 초점 위치, 위상 차 등과 같은 조건들을 산출하고, 저장된 정보를 참조하여 산출된 조건들에 대응하는 객체(1100)와 이미지 센서(1331) 사이의 거리를 획득할 수 있다.

다른 예로서, 영상 생성 장치(1300)는 위상 차, 렌즈(1310)와 이미지 센서(1331) 사이의 거리 등과 같은 조건들을 산출할 수 있다. 영상 생성 장치(1300)는 산출된 조건들에 대해 수학적인 연산(예컨대, 변의 길이 및 변들 사이의 각을 이용하는 삼각 함수 연산 등)을 수행할 수 있다. 이로써, 영상 생성 장치(1300)는 객체(1100)와 이미지 센서(1331) 사이의 거리를 산출할 수 있다.

위 예들에 따르면, 객체(1100)와 이미지 센서(1331) 사이의 절대 거리가 산출될 수 있다. 반면, 추가의 정보들이 충분히 준비되지 않은 경우, 위상 차에 기초하여 객체(1100)와 이미지 센서(1331) 사이의 상대 거리가 산출될 수 있다. 객체(1100)와 이미지 센서(1331) 사이의 거리에 관한 정보를 보여주는 깊이 맵은 절대 거리 또는 상대 거리에 기초하여 생성될 수 있다.

다만, 위 예들은 본 발명의 이해를 돕기 위한 것이고, 본 발명을 한정하기 위한 것은 아니다. 객체(1100)와 이미지 센서(1331) 사이의 거리는 다양한 처리들에 의해 산출될 수 있다. 특히, 이미지 센서(1331)에 맺힌 영상들 사이의 위상 차들, 렌즈(1310)와 이미지 센서(1331) 사이의 거리, 렌즈(1310)의 크기, 렌즈(1310)의 초점 위치 등과 같은 추가의 정보들이 이용되는 경우, 좀 더 정확한 절대 거리가 산출될 수 있다.

다음으로, 도 6이 참조된다. 객체(1100)와 이미지 센서(1331) 사이의 거리가 산출되면, 영상 생성 장치(1300)는 깊이 맵을 생성할 수 있다. 위에서 언급된 것과 같이, 이미지 센서(1331)의 픽셀 어레이(PA)는 복수의 위상 검출 픽셀(PPX)을 포함할 수 있다. 본 발명의 실시 예에서, 복수의 위상 검출 픽셀(PPX)에 의해, 객체(1100)의 전 부분에 관한 깊이 맵이 생성될 수 있다. 즉, 본 발명의 실시 예에서, 객체(1100)의 어느 한 지점 또는 부분과 이미지 센서(1331) 사이의 거리가 산출되는 것이 아니라, 객체(1100)의 전 부분과 이미지 센서(1331) 사이의 거리가 산출될 수 있다. 따라서, 영상 생성 장치(1300)는 객체(1100)의 전 부분에 관한 깊이 맵을 생성할 수 있다.

다만, 도 6은 본 발명의 이해를 돕기 위한 예시적인 개념도일 뿐이고, 본 발명을 한정하기 위한 것은 아니다. 위에서 언급된 것과 같이, 위상 검출 픽셀들은 다양한 형태들로 구현될 수 있다. 위상 검출 픽셀들의 구성, 개수, 배치, 및 위치는 필요에 따라 다양하게 변경 또는 수정될 수 있다.

도 7은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 8은 도 7의 영상 생성 장치의 동작을 설명하는 흐름도이다. 도 9는 도 7의 영상 생성 장치의 동작을 설명하는 개념도이다.

도 7을 참조하면, 영상 생성 장치(100)는 위상 차 산출부(103) 및 깊이 맵 생성부(104)를 포함할 수 있다. 영상 생성 장치(100)는 본 발명의 실시 예에 따라 깊이 맵(DM)을 생성할 수 있다. 본 발명의 실시 예를 설명하기 위해, 도 7 내지 도 9가 함께 참조된다.

S110 단계에서, 렌즈(1310)가 제 1 위치로 이동할 수 있다. 위에서 언급된 것과 같이, 렌즈(1310)는 객체(1100)로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동할 수 있다. 이로써, 렌즈(1310)와 객체(1100) 사이의 거리가 조절될 수 있다. 시각 't1'에서, 렌즈(1310)는 렌즈 위치 제어 신호에 응답하여 제 1 위치로 이동할 수 있다. 예로서, 제 1 위치는 고정된 위치일 수 있다. 또는, 제 1 위치는 필요에 따라 조절 가능한 위치일 수 있다. 제 1 위치는 다양하게 선택 또는 결정될 수 있다.

S120 단계에서, 제 1 위상 신호들(PS1)이 생성될 수 있다. 렌즈(1310)가 제 1 위치에 있을 때, 객체(1100)가 촬영될 수 있다. 이미지 센서(1331)는 렌즈(1310)를 통해 객체(1100)로부터 반사된 빛을 제공받을 수 있다. 이미지 센서(1331)에 포함되는 복수의 위상 검출 픽셀은 제 1 위상 신호들(PS1)을 생성할 수 있다. 제 1 위상 신호들(PS1)은 렌즈(1310)가 제 1 위치에 있을 때 이미지 센서(1331)에 맺힌 영상들의 위치들에 관한 정보를 포함할 수 있다.

S130 단계에서, 제 1 위상 차들(PD1)이 산출될 수 있다. 위상 차 산출부(103)는 이미지 센서(1331)로부터 제 1 위상 신호들(PS1)을 제공받을 수 있다. 위상 차 산출부(103)는 제 1 위상 신호들(PS1)에 기초하여 제 1 위상 차들(PD1)을 산출할 수 있다. 제 1 위상 차들(PD1)은 렌즈(1310)가 제 1 위치에 있을 때 이미지 센서(1331)에 맺힌 영상들에 관한 위상 차들이다.

S140 단계에서, 제 1 깊이 데이터(DD1)가 생성될 수 있다. 제 1 깊이 데이터(DD1)는 이미지 센서(1331)의 복수의 위상 검출 픽셀과 객체(1100) 사이의 거리에 관한 데이터이다. 깊이 맵 생성부(104)는 위상 차 산출부(103)로부터 제 1 위상 차들(PD1)을 제공받을 수 있다. 깊이 맵 생성부(104)는 제 1 위상 차들(PD1)에 기초하여 제 1 깊이 데이터(DD1)를 생성할 수 있다. 예로서, 깊이 맵 생성부(104)는 제 1 위상 차들(PD1)뿐만 아니라, 렌즈(1310)와 이미지 센서(1331) 사이의 거리, 렌즈(1310)의 크기, 렌즈(1310)의 초점 위치 등과 같은 추가의 정보들을 더 참조하여 제 1 깊이 데이터(DD1)를 생성할 수 있다.

예로서, 깊이 맵(DM)은 제 1 깊이 데이터(DD1)에만 기초하여 생성될 수 있다. 그러나, 객체(1100)가 촬영되는 환경에 따라, 제 1 깊이 데이터(DD1)가 부정확한 거리 데이터를 포함할 가능성이 있다. 제 1 깊이 데이터(DD1)가 부정확한 거리 데이터를 포함하는 경우, 깊이 맵(DM)이 정확히 생성되지 않을 수 있다. 따라서, 본 발명의 실시 예에서, 좀 더 높은 신뢰성을 갖는 깊이 맵(DM)을 생성하기 위해, 다른 깊이 데이터가 더 생성될 수 있다.

S150 단계에서, 렌즈(1310)가 제 2 위치로 이동할 수 있다. 제 2 위치는 제 1 위치와 다른 위치이다. 시각 't2'에서, 렌즈(1310)는 렌즈 위치 제어 신호에 응답하여 제 2 위치로 이동할 수 있다. 예로서, 제 2 위치는 고정된 위치일 수 있다. 또는, 제 2 위치는 필요에 따라 조절 가능한 위치일 수 있다. 제 2 위치는 다양하게 선택 또는 결정될 수 있다.

실시 예로서, 제 1 위치 및 제 2 위치 중 하나는 초점 위치에 대응할 수 있다. 이 실시 예에 따르면, 렌즈(1310)의 초점 위치에 관한 정보가 깊이 데이터의 생성과 함께 획득될 수 있다. 그러나, 본 발명은 이 실시 예로 한정되지 않는다. 제 1 위치 및 제 2 위치 각각은 초점 위치가 아닌 임의의 위치일 수 있다.

도 9를 참조하면, 렌즈(1310)가 제 1 위치에서 제 2 위치로 이동하는 경우, 렌즈(1310)와 이미지 센서(1331) 사이의 거리가 가까워진다. 그러나, 본 발명은 도 9에 의해 한정되지 않는다. 필요에 따라, 렌즈(1310)가 제 1 위치에서 제 2 위치로 이동하는 경우, 렌즈(1310)와 이미지 센서(1331) 사이의 거리가 멀어질 수 있다. 도 9는 본 발명의 이해를 돕기 위한 예시를 보여준다.

S160 단계에서, 제 2 위상 신호들(PS2)이 생성될 수 있다. 렌즈(1310)가 제 2 위치에 있을 때, 객체(1100)가 촬영될 수 있다. 이미지 센서(1331)는 렌즈(1310)를 통해 객체(1100)로부터 반사된 빛을 제공받을 수 있다. 이미지 센서(1331)에 포함되는 복수의 위상 검출 픽셀은 제 2 위상 신호들(PS2)을 생성할 수 있다. 제 2 위상 신호들(PS2)은 렌즈(1310)가 제 2 위치에 있을 때 이미지 센서(1331)에 맺힌 영상들의 위치들에 관한 정보를 포함할 수 있다.

S170 단계에서, 제 2 위상 차들(PD2)이 산출될 수 있다. 위상 차 산출부(103)는 이미지 센서(1331)로부터 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(103)는 제 2 위상 신호들(PS2)에 기초하여 제 2 위상 차들(PD2)을 산출할 수 있다. 제 2 위상 차들(PD2)은 렌즈(1310)가 제 2 위치에 있을 때 이미지 센서(1331)에 맺힌 영상들에 관한 위상 차들이다.

S180 단계에서, 제 2 깊이 데이터(DD2)가 생성될 수 있다. 제 2 깊이 데이터(DD2)는 이미지 센서(1331)의 복수의 위상 검출 픽셀과 객체(1100) 사이의 거리에 관한 데이터이다. 깊이 맵 생성부(104)는 위상 차 산출부(103)로부터 제 2 위상 차들(PD2)을 제공받을 수 있다. 깊이 맵 생성부(104)는 제 2 위상 차들(PD2)에 기초하여 제 2 깊이 데이터(DD2)를 생성할 수 있다. 예로서, 깊이 맵 생성부(104)는 제 2 위상 차들(PD2)뿐만 아니라, 렌즈(1310)와 이미지 센서(1331) 사이의 거리, 렌즈(1310)의 크기, 렌즈(1310)의 초점 위치 등과 같은 추가의 정보들을 더 참조하여 제 2 깊이 데이터(DD2)를 생성할 수 있다.

S190 단계에서, 깊이 맵(DM)이 생성될 수 있다. 깊이 맵(DM)은 제 1 깊이 데이터(DD1) 및 제 2 깊이 데이터(DD2)에 기초하여 생성될 수 있다. 깊이 맵 생성부(104)는 제 1 깊이 데이터(DD1) 및 제 2 깊이 데이터(DD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위에서 언급된 것과 같이, 제 1 깊이 데이터(DD1)가 부정확한 거리 데이터를 포함할 가능성이 있다. 따라서, 본 발명의 실시 예에서, 깊이 맵 생성부(104)는 제 2 깊이 데이터(DD2)를 더 생성할 수 있다. 여러 깊이 데이터(DD1, DD2)가 참조되는 경우, 제 1 깊이 데이터(DD1) 또는 제 2 깊이 데이터(DD2)에 포함되는 부정확한 거리 데이터(즉, 오차)가 보정될 수 있다. 본 발명의 실시 예에 따른 영상 생성 장치(100)는 여러 깊이 데이터(DD1, DD2)를 참조하여 좀 더 높은 신뢰성을 갖는 깊이 맵(DM)을 생성할 수 있다. 제 1 깊이 데이터(DD1) 및 제 2 깊이 데이터(DD2)를 참조하여 깊이 맵(DM)을 생성하는 처리는 도 13 내지 도 17에 대한 설명과 함께 더 언급된다.

도 7 내지 도 9에 대한 설명들에서, 렌즈(1310)가 제 1 위치 및 제 2 위치로 이동하고 두 개의 깊이 데이터(DD1, DD2)가 생성되는 것으로 언급되었다. 그러나, 필요에 따라, 깊이 맵(DM)을 좀 더 정확히 생성하기 위해, 세 개 이상의 렌즈 위치 및 세 개 이상의 깊이 데이터가 이용될 수 있다. 도 7 내지 도 9는 본 발명의 이해를 돕기 위한 예시일 뿐이고, 본 발명을 한정하기 위한 것은 아니다.

나아가, 도 7 내지 도 9에 대한 설명들에서, 렌즈(1310)가 제 1 위치에 있을 때 수행되는 처리들이 완료된 후 렌즈(1310)가 제 2 위치로 이동하는 것으로 언급되었다. 그러나, 본 발명의 실시 예에 따른 처리들의 수행의 순서는 영상 생성 장치(100)의 설계에 따라 변경 또는 수정될 수 있다.

예로서, 렌즈(1310)는 제 1 위상 신호들(PS1), 제 1 위상 차들(PD1), 또는 제 1 깊이 데이터(DD1)가 생성되는 동안 또는 생성되기 전에 제 2 위치로 이동할 수 있다. 예로서, 위상 차 산출부(103)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 동시에 산출하거나, 제 1 위상 차들(PD1)보다 제 2 위상 차들(PD2)을 먼저 산출할 수 있다. 예로서, 깊이 맵 생성부(104)는 제 1 깊이 데이터(DD1) 및 제 2 깊이 데이터(DD2)를 동시에 생성하거나, 제 1 깊이 데이터(DD1)보다 제 2 깊이 데이터(DD2)를 먼저 생성할 수 있다.

본 발명의 실시 예에서, 영상 생성 장치(100)는 여러 깊이 데이터(DD1, DD2)에 기초하여 깊이 맵(DM)을 생성하는 것으로 충분하다. 도 7 내지 도 9에 대한 설명들에서 언급된 처리 순서는 필요에 따라 다양하게 변경 또는 수정될 수 있다. 본 발명은 도 7 내지 도 9에 대한 설명에 의해 한정되지 않는다.

본 발명의 실시 예에 따른 영상 생성 장치(100)는 ToF(Time-of-Flight) 센서, 적외광 센서, 스테레오(Stereo) 카메라 등과 같은 추가의 장치를 요구하지 않는다. 따라서, 본 발명의 실시 예에 따른 영상 생성 장치(100)는 적은 면적 또는 부피를 차지하면서도 깊이 맵(DM)을 생성할 수 있다. 나아가, 본 발명의 실시 예에 따르면, 여러 깊이 데이터(DD1, DD2)를 참조하여 오차를 보정함으로써, 좀 더 높은 신뢰성을 갖는 깊이 맵(DM)이 생성될 수 있다.

도 10은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 10을 참조하면, 영상 생성 장치(2300)는 렌즈(2310), 이미지 센서 칩(2330), 및 영상 신호 처리기(2350)를 포함할 수 있다. 나아가, 이미지 센서 칩(2330)은 이미지 센서(2331), 렌즈 구동부(2332), 위상 차 산출부(2333), 및 깊이 맵 생성부(2334)를 포함할 수 있다.

렌즈(2310)의 구성 및 기능은 도 1 내지 도 9에 대한 설명들에서 언급된 렌즈(1310)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 렌즈(2310)의 구성 및 기능에 관한 중복되는 설명들은 생략된다. 렌즈(2310)를 통과한 빛은 이미지 센서 칩(2330)의 이미지 센서(2331)로 제공될 수 있다.

이미지 센서(2331)는 복수의 이미지 센서 픽셀 및 복수의 위상 검출 픽셀을 포함할 수 있다. 복수의 이미지 센서 픽셀은 객체에 대응하는 영상 신호들을 생성할 수 있다. 복수의 위상 검출 픽셀은 영상들 사이의 위상 차들을 산출하기 위해 이용되는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 생성할 수 있다. 제 1 위상 신호들(PS1)은 렌즈(2310)가 제 1 위치에 있을 때 생성되고, 제 2 위상 신호들(PS2)은 렌즈(2310)가 제 2 위치에 있을 때 생성될 수 있다.

이미지 센서(2331)의 구성 및 기능은 도 1 내지 도 9에 대한 설명들에서 언급된 이미지 센서(1331)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 이미지 센서(2331)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

렌즈 구동부(2332)는 렌즈 위치 제어 신호(LN)를 생성할 수 있다. 렌즈 위치 제어 신호(LN)는 렌즈(2310)의 위치를 조절하기 위해 이용되는 신호이다. 렌즈 위치 제어 신호(LN)에 응답하여, 렌즈(2310)는 객체로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동할 수 있다. 이로써, 렌즈(2310)와 객체 사이의 거리가 조절될 수 있다. 예로서, 렌즈 구동부(2332)는 영상 신호 처리기(2350)로부터 제공된 렌즈 구동 신호(LD)에 기초하여 렌즈 위치 제어 신호(LN)를 생성할 수 있다. 그러나, 도 10에 나타낸 것과 달리, 렌즈 구동부(2332)는 렌즈 구동 신호(LD) 없이 스스로 렌즈(2310)의 위치를 제어하기 위한 연산을 수행함으로써 렌즈 위치 제어 신호(LN)를 생성할 수 있다.

위상 차 산출부(2333)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(2334)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(2333) 및 깊이 맵 생성부(2334)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(2333) 및 깊이 맵 생성부(2334)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

예로서, 필요에 따라, 영상 신호 처리기(2350)는 깊이 맵 생성부(2334)에 의해 생성된 깊이 맵(DM)에 대해 영상 신호 처리를 수행할 수 있다. 이로써, 영상 신호 처리기(2350)는 좀 더 적절하게 처리된 깊이 맵(DM')을 생성할 수 있다. 그러나, 도 10에 나타낸 것과 달리, 영상 신호 처리 없이, 깊이 맵 생성부(2334)에 의해 생성된 깊이 맵(DM)이 영상 생성 장치(2300)로부터 직접 출력될 수 있다.

예로서, 영상 신호 처리기(2350)는 렌즈 구동부(2332)를 제어하기 위한 렌즈 구동 신호(LD)를 생성할 수 있다. 그러나, 도 10에 나타낸 것과 달리, 렌즈 구동부(2332) 없이, 영상 신호 처리기(2350)가 직접 렌즈(2310)의 위치를 제어할 수 있다. 즉, 도 10은 본 발명의 이해를 돕기 위한 예시적인 구성을 보여주고, 본 발명을 한정하기 위한 것은 아니다. 본 발명의 실시 예는 도 10에 나타낸 것과 다른 구성으로 구현될 수 있다.

영상 신호 처리기(2350)의 구성 및 기능은 도 1의 영상 신호 처리기(1350)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 영상 신호 처리기(2350)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

도 10에 나타낸 실시 예에 따르면, 위상 차 산출부(2333) 및 깊이 맵 생성부(2334)는 이미지 센서 칩(2330)에서 구현될 수 있다. 실시 예로서, 이미지 센서(2331), 렌즈 구동부(2332), 위상 차 산출부(2333), 및 깊이 맵 생성부(2334)는 하나의 이미지 센서 칩(2330)에 구현될 수 있다.

다만, 본 발명은 도 10에 의해 한정되지 않는다. 영상 생성 장치(2300)는 도 10에 나타내지 않은 다른 구성 요소들을 더 포함하거나, 도 10에 나타낸 구성 요소들 중 하나 이상을 포함하지 않을 수 있다. 도 10은 영상 생성 장치(2300)의 예시적인 구성을 보여준다.

도 11은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 11을 참조하면, 영상 생성 장치(3300)는 렌즈(3310), 이미지 센서 칩(3330), 및 영상 신호 처리기(3350)를 포함할 수 있다. 나아가, 영상 신호 처리기(3350)는 위상 차 산출부(3353), 깊이 맵 생성부(3354), 및 렌즈 위치 제어부(3355)를 포함할 수 있다.

렌즈(3310)의 구성 및 기능은 도 1 내지 도 9에 대한 설명들에서 언급된 렌즈(1310)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 렌즈(3310)의 구성 및 기능에 관한 중복되는 설명들은 생략된다. 렌즈(3310)를 통과한 빛은 이미지 센서 칩(3330)으로 제공될 수 있다.

이미지 센서 칩(3330)은 이미지 센서(1331, 도 2 내지 도 6 참조)를 포함할 수 있다. 이미지 센서(1331)는 복수의 이미지 센서 픽셀 및 복수의 위상 검출 픽셀을 포함할 수 있다. 복수의 이미지 센서 픽셀은 객체에 대응하는 영상 신호들을 생성할 수 있다. 복수의 위상 검출 픽셀은 영상들 사이의 위상 차들을 산출하기 위해 이용되는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 생성할 수 있다. 제 1 위상 신호들(PS1)은 렌즈(3310)가 제 1 위치에 있을 때 생성되고, 제 2 위상 신호들(PS2)은 렌즈(3310)가 제 2 위치에 있을 때 생성될 수 있다. 이미지 센서(1331)의 구성 및 기능은 도 1 내지 도 9에 대한 설명들에서 언급되었다.

위상 차 산출부(3353)는 이미지 센서 칩(3330)으로부터 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(3353)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(3354)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(3353) 및 깊이 맵 생성부(3354)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(3353) 및 깊이 맵 생성부(3354)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

렌즈 위치 제어부(3355)는 렌즈 구동 신호(LD)를 생성할 수 있다. 렌즈 구동 신호(LD)는 렌즈(3310)를 이동시키기 위해 이용되는 신호이다. 렌즈 구동 신호(LD)에 응답하여, 렌즈(3310)는 객체로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동할 수 있다. 이로써, 렌즈(3310)와 객체 사이의 거리가 조절될 수 있다. 그러나, 도 11에 나타낸 것과 달리, 렌즈 위치 제어부(3355)는 렌즈(3310)의 위치를 직접 제어하지 않을 수 있다. 예로서, 렌즈 위치 제어부(3355)는 다른 구성 요소(예컨대, 도 10의 렌즈 구동부(2332))를 제어함으로써 렌즈(3310)의 위치를 간접적으로 제어할 수 있다.

예로서, 렌즈 위치 제어부(3355)는 렌즈(3310)의 초점 위치를 산출할 수 있다. 위에서 언급된 것과 같이, 초점 위치는 객체에 대한 초점을 맞추기 위한 렌즈(3310)의 위치이다. 렌즈 위치 제어부(3355)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중 적어도 하나에 기초하여 초점 위치를 산출할 수 있다. 예로서, 렌즈 위치 제어부(3355)는 위상 차를 0으로 만드는 렌즈(3310)의 위치를 초점 위치로서 산출할 수 있다. 렌즈(3310)가 초점 위치로 이동할 필요가 있는 경우, 렌즈 위치 제어부(3355)는 렌즈(3310)를 초점 위치로 이동시키기 위한 렌즈 구동 신호(LD)를 생성할 수 있다.

다만, 위에서 언급된 것과 달리, 초점 위치는 이미지 센서 칩(3330)에서 산출될 수 있다. 이미지 센서 칩(3330)이 별도의 렌즈 위치 제어부를 포함하는 경우, 이미지 센서 칩(3330)은 산출된 초점 위치로 렌즈(3310)를 이동시키기 위해 렌즈 구동 신호를 생성할 수 있다. 본 발명의 실시 예는 도 11에 나타낸 것과 다른 구성으로 변경 또는 수정될 수 있다.

예로서, 도 11에 나타낸 것과 달리, 필요에 따라, 영상 신호 처리기(3350)는 깊이 맵 생성부(3354)에 의해 생성된 깊이 맵(DM)에 대해 다양한 종류의 영상 신호 처리들을 수행할 수 있다. 이로써, 좀 더 적절하게 처리된 깊이 맵(DM)이 생성될 수 있다. 즉, 도 11은 본 발명의 이해를 돕기 위한 예시적인 구성을 보여주고, 본 발명을 제한하기 위한 것은 아니다. 본 발명의 실시 예는 도 11에 나타낸 것과 다른 구성으로 구현될 수 있다.

도 11에 나타낸 실시 예에 따르면, 위상 차 산출부(3353) 및 깊이 맵 생성부(3354)는 영상 신호 처리기(3350)에서 구현될 수 있다. 예로서, 영상 신호 처리기(3350)는, 어플리케이션 프로세서를 포함하는 연산 처리 장치에 구현될 수 있다. 실시 예로서, 위상 차 산출부(3353), 깊이 맵 생성부(3354), 및 렌즈 위치 제어부(3355)는, 어플리케이션 프로세서를 포함하는 연산 처리 장치에 구현될 수 있다.

다만, 본 발명은 도 11에 의해 한정되지 않는다. 영상 생성 장치(3300)는 도 11에 나타내지 않은 다른 구성 요소들을 더 포함하거나, 도 11에 나타낸 구성 요소들 중 하나 이상을 포함하지 않을 수 있다. 도 11은 영상 생성 장치(3300)의 예시적인 구성을 보여준다.

도 12는 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 12를 참조하면, 영상 생성 장치(4300)는 렌즈(4310), 이미지 센서 칩(4330), 영상 신호 처리기(4350), 위상 차 산출부(4373), 및 깊이 맵 생성부(4374)를 포함할 수 있다.

렌즈(4310)의 구성 및 기능은 도 1 내지 도 9에 대한 설명들에서 언급된 렌즈(1310)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 렌즈(4310)의 구성 및 기능에 관한 중복되는 설명들은 생략된다. 렌즈(4310)를 통과한 빛은 이미지 센서 칩(4330)으로 제공될 수 있다.

이미지 센서 칩(4330)은 이미지 센서(1331, 도 2 내지 도 6 참조)를 포함할 수 있다. 이미지 센서(1331)는 복수의 이미지 센서 픽셀 및 복수의 위상 검출 픽셀을 포함할 수 있다. 복수의 이미지 센서 픽셀은 객체에 대응하는 영상 신호들을 생성할 수 있다. 복수의 위상 검출 픽셀은 영상들 사이의 위상 차들을 산출하기 위해 이용되는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 생성할 수 있다. 제 1 위상 신호들(PS1)은 렌즈(4310)가 제 1 위치에 있을 때 생성되고, 제 2 위상 신호들(PS2)은 렌즈(4310)가 제 2 위치에 있을 때 생성될 수 있다. 이미지 센서(1331)의 구성 및 기능은 도 1 내지 도 9에 대한 설명들에서 언급되었다.

영상 신호 처리기(4350)는 객체에 관한 적절한 영상을 생성하기 위해 영상 신호 처리를 수행할 수 있다. 영상 신호 처리기(4350)의 구성 및 기능은 도 1의 영상 신호 처리기(1350)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 영상 신호 처리기(4350)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

위상 차 산출부(4373)는 이미지 센서 칩(4330)으로부터 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(4373)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(4374)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(4373) 및 깊이 맵 생성부(4374)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(4373) 및 깊이 맵 생성부(4374)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

예로서, 필요에 따라, 영상 신호 처리기(4350)는 깊이 맵 생성부(4374)에 의해 생성된 깊이 맵(DM)에 대해 영상 신호 처리를 수행할 수 있다. 이로써, 영상 신호 처리기(4350)는 좀 더 적절하게 처리된 깊이 맵(DM')을 생성할 수 있다. 그러나, 도 12에 나타낸 것과 달리, 영상 신호 처리 없이, 깊이 맵 생성부(4374)에 의해 생성된 깊이 맵(DM)이 영상 생성 장치(4300)로부터 직접 출력될 수 있다.

도 12에 나타낸 실시 예에 따르면, 위상 차 산출부(4373) 및 깊이 맵 생성부(4374)는 이미지 센서 칩(4330) 및 영상 신호 처리기(4350)와 별개로 제공될 수 있다. 또는, 도 10 내지 도 12에 나타낸 것과 달리, 위상 차 산출부(103) 및 깊이 맵 생성부(104)는 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 즉, 본 발명의 실시 예에 따른 위상 차 산출부(103) 및 깊이 맵 생성부(104)는 다양한 구성들로 구현될 수 있다.

본 발명은 도 12에 의해 한정되지 않는다. 영상 생성 장치(4300)는 도 12에 나타내지 않은 다른 구성 요소들을 더 포함하거나, 도 12에 나타낸 구성 요소들 중 하나 이상을 포함하지 않을 수 있다. 도 12는 영상 생성 장치(4300)의 예시적인 구성을 보여준다.

위에서 언급된 것과 같이, 본 발명의 실시 예에 따른 영상 생성 장치는 객체를 촬영함과 동시에 깊이 맵을 생성할 수 있다. 다른 예로서, 본 발명의 실시 예에 따른 영상 생성 장치는 DMA(Direct Memory Access) 동작을 통해 메모리 장치 또는 저장 장치에 직접 접근할 수 있다. 메모리 장치 또는 저장 장치는 미리 생성된 위상 정보를 저장할 수 있다. 이 예에서, 영상 생성 장치는 메모리 장치 또는 저장 장치에 저장된 위상 정보에 기초하여 깊이 맵을 생성할 수 있다. 이 예에서, 영상 생성 장치는 렌즈, 및 이미지 센서 칩의 일부 기능을 포함하지 않을 수 있다. 본 발명의 실시 예는 다양한 구성들로 변경 또는 수정될 수 있다.

도 13은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 13을 참조하면, 영상 생성 장치(200)는 위상 차 산출부(203), 깊이 맵 생성부(204), 및 위상 차 예측부(206)를 포함할 수 있다.

위상 차 산출부(203), 깊이 맵 생성부(204), 및 위상 차 예측부(206)는 이미지 센서 칩(1330, 도 1 참조) 또는 영상 신호 처리기(1350, 도 1 참조)에 구현되거나, 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 또는, 위상 차 산출부(203), 깊이 맵 생성부(204), 및 위상 차 예측부(206)는 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)와 별개로 제공될 수 있다.

위상 차 산출부(203)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(203)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(204)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(203) 및 깊이 맵 생성부(204)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(203) 및 깊이 맵 생성부(204)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

위상 차 예측부(206)는 제 1 위상 차들(PD1)에 기초하여, 제 2 위상 차들(PD2)로서 산출될 값들을 예측할 수 있다. 위상 차 예측부(206)는 예측된 값들(PV)을 깊이 맵 생성부(204)로 제공할 수 있다. 깊이 맵 생성부(204)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)과 함께, 예측된 값들(PV)을 참조하여 깊이 맵(DM)을 생성할 수 있다.

제 1 위상 차들(PD1)은 렌즈(1310, 도 1 참조)가 제 1 위치에 있을 때 산출될 수 있다. 제 1 위상 차들(PD1)에 기초하여, 렌즈(1310)의 초점 위치, 객체와 이미지 센서(1331, 도 2 내지 도 6 참조) 사이의 거리, 렌즈(1310)와 이미지 센서(1331) 사이의 거리 등과 같은 촬영 환경들이 획득될 수 있다. 촬영 환경들이 획득되면, 렌즈(1310)가 제 2 위치로 이동했을 때 제 2 위상 차들(PD2)로서 산출될 값들이 예측될 수 있다.

예로서, 렌즈(1310)가 제 1 위치에서 제 2 위치로 이동함에 따라, 제 1 위상 차들(PD1)은 제 2 위상 차들(PD2)보다 먼저 산출될 수 있다. 위상 차 예측부(206)는 렌즈(1310)가 제 2 위치로 이동하기 전에 미리 제 2 위상 차들(PD2)로서 산출될 값들을 예측할 수 있다. 또는, 위상 차 예측부(206)는 렌즈(1310)가 제 2 위치로 이동할 때 제 2 위상 차들(PD2)로서 산출될 값들을 예측할 수 있다. 다만, 이 예는 본 발명의 이해를 돕기 위한 것이고, 본 발명을 제한하기 위한 것은 아니다.

몇몇 경우, 위상 차 예측부(206)에 의해 예측된 값들(PV)은 위상 차 산출부(203)에 의해 산출된 제 2 위상 차들(PD2)과 다를 수 있다. 예로서, 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중 적어도 하나가 오차를 포함하는 경우, 예측된 값들(PV)이 제 2 위상 차들(PD2)과 다를 수 있다. 따라서, 예측된 값들(PV)이 제 2 위상 차들(PD2)과 다른 경우, 오차가 보정될 필요가 있다.

실시 예로서, 예측된 값들(PV)과 제 2 위상 차들(PD2) 사이의 차이가 기준 값보다 큰 경우, 오차를 보정하기 위한 처리가 수행될 수 있다. 기준 값은 고정된 값 또는 조절 가능한 값일 수 있다. 기준 값은 필요에 따라 다르게 선택될 수 있다. 다른 실시 예로서, 예측된 값들(PV)이 제 2 위상 차들(PD2)과 다른 경우, 오차를 보정하기 위한 처리가 수행될 수 있다.

오차를 보정하기 위한 처리는 다양한 방법들로 수행될 수 있다. 실시 예로서, 오차를 보정하기 위해, 깊이 맵 생성부(204)는 예측된 값들(PV)과 제 2 위상 차들(PD2) 사이의 차이를 참조하여 깊이 맵(DM)을 생성할 수 있다. 예로서, 깊이 맵 생성부(204)는 예측된 값들(PV)과 제 2 위상 차들(PD2)의 평균에 기초하여 깊이 맵(DM)을 생성할 수 있다.

다른 예로서, 깊이 맵 생성부(204)는 위상 차들이 좀 더 정확하게 산출될 수 있도록 만드는 렌즈(1310)의 위치에 관한 정보를 수집할 수 있다. 예로서, 깊이 맵 생성부(204)는 반복되는 촬영 중 주기적으로 또는 특정 조건이 충족되는 시점마다 정보를 수집할 수 있다. 깊이 맵 생성부(204)는 수집된 정보에 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 각각의 신뢰도를 판별할 수 있다. 깊이 맵 생성부(204)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중에서 좀 더 높은 신뢰도를 갖는 위상 차들에 더 높은 가중치를 할당하고, 제 1 위상 차들(PD1)과 제 2 위상 차들(PD2)의 가중 평균을 산출할 수 있다. 깊이 맵 생성부(204)는 산출된 가중 평균에 기초하여 깊이 맵(DM)을 생성할 수 있다.

다른 실시 예로서, 오차를 보정하기 위해, 위상 차 산출부(203)는 다른 위상 차들을 더 산출할 수 있다. 예로서, 렌즈(1310)는 제 1 위치 및 제 2 위치와 다른 제 3 위치로 이동할 수 있다. 렌즈(1310)가 제 3 위치에 있을 때, 이미지 센서(1331)의 복수의 위상 검출 픽셀은 제 3 위상 신호들을 생성할 수 있다. 위상 차 산출부(203)는 제 3 위상 신호들에 기초하여 제 3 위상 차들을 산출할 수 있다. 깊이 맵 생성부(204)는 제 1 위상 차들(PD1), 제 2 위상 차들(PD2), 및 제 3 위상 차들에 기초하여 깊이 맵(DM)을 생성할 수 있다.

제 3 위상 차들이 더 산출된 경우, 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중 어떤 위상 차들이 좀 더 높은 신뢰도를 갖는지 여부가 판별될 수 있다. 예로서, 제 3 위상 차들이 제 2 위상 차들(PD2)보다 제 1 위상 차들(PD1)과 좀 더 비슷한 경우, 제 1 위상 차들(PD1)은 제 2 위상 차들(PD2)보다 좀 더 높은 신뢰도를 갖는 것으로 간주될 수 있다. 이 예에서, 깊이 맵 생성부(204)는 제 1 위상 차들(PD1) 및 제 3 위상 차들에 더 높은 가중치를 할당하고, 제 1 위상 차들(PD1), 제 2 위상 차들(PD2), 및 제 3 위상 차들의 가중 평균을 산출할 수 있다. 깊이 맵 생성부(204)는 산출된 가중 평균에 기초하여 깊이 맵(DM)을 생성할 수 있다. 필요에 따라, 위상 차 산출부(203)는 제 3 위상 차들 외에 다른 위상 차들을 더 산출할 수 있다.

다만, 위에서 언급된 실시 예들은 본 발명의 이해를 돕기 위한 예시들일 뿐이다. 오차를 보정하기 위한 조건 및 처리는 다양하게 변경 또는 수정될 수 있다. 본 발명은 위에서 언급된 실시 예들로 한정되지 않는다.

도 14는 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 14를 참조하면, 영상 생성 장치(300)는 위상 차 산출부(303), 깊이 맵 생성부(304), 및 공간 주파수(Spatial Frequency) 산출부(307)를 포함할 수 있다.

위상 차 산출부(303), 깊이 맵 생성부(304), 및 공간 주파수 산출부(307)는 이미지 센서 칩(1330, 도 1 참조) 또는 영상 신호 처리기(1350, 도 1 참조)에 구현되거나, 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 또는, 위상 차 산출부(303), 깊이 맵 생성부(304), 및 공간 주파수 산출부(307)는 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)와 별개로 제공될 수 있다.

위상 차 산출부(303)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(303)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(304)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(303) 및 깊이 맵 생성부(304)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(303) 및 깊이 맵 생성부(304)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

실시 예로서, 공간 주파수 산출부(307)는 영상 신호(IS)를 제공받을 수 있다. 영상 신호(IS)는 이미지 센서(1331, 도 2 내지 도 6 참조)에 포함되는 복수의 이미지 센서 픽셀에 의해 생성될 수 있다. 위에서 언급된 것과 같이, 영상 신호(IS)는 객체에 관한 영상을 생성하기 위해 이용될 수 있다. 공간 주파수 산출부(307)는 영상 신호(IS)를 처리함으로써, 객체를 촬영한 영상과 관련된 공간 주파수의 정보를 생성할 수 있다.

영상의 공간 주파수는 그 영상을 생성하기 위해 촬영된 객체에 대한 초점이 맞았는지 여부와 관련될 수 있다. 객체에 대한 초점이 흐려졌을 때 촬영된 영상의 공간 주파수 성분들은 낮은 주파수 영역에 집중적으로 분포한다. 반면, 객체에 대한 초점이 맞았을 때 촬영된 영상의 공간 주파수 성분들은 낮은 주파수 영역에서 높은 주파수 영역까지 고르게 분포한다.

실시 예로서, 공간 주파수 산출부(307)는 렌즈(1310, 도 1 참조)가 제 1 위치에 있을 때 제 1 공간 주파수 정보를 생성할 수 있다. 공간 주파수 산출부(307)는 렌즈(1310)가 제 2 위치에 있을 때 제 2 공간 주파수 정보를 생성할 수 있다. 렌즈(1310)의 위치가 제 1 위치에서 제 2 위치로 변경됨에 따라, 제 1 공간 주파수 정보는 제 2 공간 주파수 정보와 다를 수 있다.

공간 주파수 산출부(307)는 제 1 공간 주파수 정보 및 제 2 공간 주파수 정보에 기초하여, 렌즈(1310)가 제 1 위치에서 제 2 위치로 이동할 때 공간 주파수 값이 변한 방향(즉, 높은 주파수 영역의 공간 주파수 성분들의 증가 또는 감소)을 획득할 수 있다. 공간 주파수 산출부(307)는 제 1 공간 주파수 정보 및 제 2 공간 주파수 정보에 기초하여, 렌즈(1310)가 제 1 위치에서 제 2 위치로 이동할 때 공간 주파수 값이 변한 양을 획득할 수 있다. 공간 주파수 산출부(307)는 제 1 공간 주파수 정보, 제 2 공간 주파수 정보, 공간 주파수 값이 변한 방향, 공간 주파수 값이 변한 양 등을 포함하는 공간 주파수 정보(SF)를 깊이 맵 생성부(304)로 제공할 수 있다.

깊이 맵 생성부(304)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)과 함께, 공간 주파수 정보(SF)를 참조하여 깊이 맵(DM)을 생성할 수 있다. 특히, 깊이 맵 생성부(304)는 공간 주파수 값이 변한 방향 및 양 중 적어도 하나를 참조할 수 있다. 공간 주파수는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 각각의 신뢰도를 판별하기 위해 이용될 수 있다. 공간 주파수의 이용은 도 15 및 도 16에 관한 설명들에서 더 언급된다.

도 15는 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 15를 참조하면, 영상 생성 장치(400)는 위상 차 산출부(403), 깊이 맵 생성부(404), 공간 주파수 산출부(407), 및 신뢰도 수준 산출부(408)를 포함할 수 있다.

위상 차 산출부(403), 깊이 맵 생성부(404), 공간 주파수 산출부(407), 및 신뢰도 수준 산출부(408)는 이미지 센서 칩(1330, 도 1 참조) 또는 영상 신호 처리기(1350, 도 1 참조)에 구현되거나, 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 또는, 위상 차 산출부(403), 깊이 맵 생성부(404), 공간 주파수 산출부(407), 및 신뢰도 수준 산출부(408)는 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)와 별개로 제공될 수 있다.

위상 차 산출부(403)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(403)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(404)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(403) 및 깊이 맵 생성부(404)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(403) 및 깊이 맵 생성부(404)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

공간 주파수 산출부(407)는 이미지 센서(1331, 도 5 참조)의 복수의 이미지 센서 픽셀에 의해 생성된 영상 신호(IS)를 제공받을 수 있다. 공간 주파수 산출부(407)는 영상 신호(IS)를 처리함으로써, 공간 주파수 정보(SF)를 생성할 수 있다. 공간 주파수 산출부(407)는 공간 주파수 정보(SF)를 깊이 맵 생성부(404)로 제공할 수 있다.

예로서, 공간 주파수 산출부(407)는 렌즈(1310, 도 1 참조)가 제 1 위치에 있을 때 생성된 제 1 영상 신호들을 처리함으로써, 객체를 촬영한 제 1 영상과 관련된 제 1 공간 주파수 정보를 생성할 수 있다. 공간 주파수 산출부(407)는 렌즈(1310)가 제 2 위치에 있을 때 생성된 제 2 영상 신호들을 처리함으로써, 객체를 촬영한 제 2 영상과 관련된 제 2 공간 주파수 정보를 생성할 수 있다. 공간 주파수 산출부(407)는 제 1 공간 주파수 정보 및 제 2 공간 주파수 정보에 기초하여, 공간 주파수 값이 변한 방향 및 양 중 적어도 하나를 획득할 수 있다.

공간 주파수 산출부(407)의 구성 및 기능은 도 14에 관한 설명에서 언급된 공간 주파수 산출부(307)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 공간 주파수 산출부(407)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

신뢰도 수준 산출부(408)는 제 1 위상 차들(PD1)에 관한 제 1 신뢰도 수준을 산출할 수 있다. 신뢰도 수준 산출부(408)는 제 2 위상 차들(PD2)에 관한 제 2 신뢰도 수준을 산출할 수 있다. 위에서 언급된 것과 같이, 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중 적어도 하나가 오차를 포함할 수 있다. 신뢰도 수준 산출부(408)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 포함되는 오차들에 관한 신뢰도 수준들(RL)을 산출할 수 있다. 예로서, 오차의 크기가 작을수록, 신뢰도 수준이 높을 수 있다.

실시 예로서, 신뢰도 수준 산출부(408)는 공간 주파수 값이 변한 방향에 기초하여 신뢰도 수준들(RL)을 산출할 수 있다. 예로서, 렌즈(1310)가 제 1 위치에서 제 2 위치로 이동함에 따라 렌즈(1310)의 위치가 초점 위치에 가까워지면, 높은 주파수 영역의 공간 주파수 성분들이 증가한다. 그런데, 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중 적어도 하나가 오차를 포함하는 경우, 렌즈(1310)의 위치가 초점 위치에 가까워졌음에도 불구하고 높은 주파수 영역의 공간 주파수 성분들이 감소하는 것처럼 보일 수 있다. 이 경우, 제 1 위상 차들(PD1) 또는 제 2 위상 차들(PD2)은 낮은 신뢰도 수준을 가질 수 있다.

예로서, 신뢰도 수준 산출부(408)는 위상 차들이 좀 더 정확하게 산출될 수 있도록 만드는 렌즈(1310)의 위치에 관한 정보를 수집할 수 있다. 예로서, 신뢰도 수준 산출부(408)는 반복되는 촬영 중 주기적으로 또는 특정 조건이 충족되는 시점마다 정보를 수집할 수 있다. 신뢰도 수준 산출부(408)는 수집된 정보에 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2) 중에서 낮은 신뢰도 수준을 가질 위상 차들을 선택할 수 있다.

다른 예로서, 렌즈(1310)가 제 1 위치 및 제 2 위치와 다른 제 3 위치에 있을 때, 제 3 위상 차들이 더 생성될 수 있다. 신뢰도 수준 산출부(408)는 제 1 위상 차들(PD1), 제 2 위상 차들(PD2), 및 제 3 위상 차들을 비교함으로써, 낮은 신뢰도 수준을 가질 위상 차들을 선택할 수 있다. 나아가, 신뢰도 수준 산출부(408)는 선택되지 않은 위상 차들에 대해 높은 신뢰도 수준을 산출할 수 있다.

실시 예로서, 깊이 맵 생성부(404)는 제 1 위상 차들(PD1)에 기초하여 생성된 제 1 깊이 데이터 및 제 2 위상 차들(PD2)에 기초하여 생성된 제 2 깊이 데이터에 제 1 신뢰도 수준 및 제 2 신뢰도 수준을 반영함으로써, 깊이 맵(DM)을 생성할 수 있다. 예로서, 깊이 맵 생성부(404)는 좀 더 높은 신뢰도 수준을 갖는 위상 차들에 더 높은 가중치를 할당하고 가중 평균을 산출할 수 있다. 깊이 맵 생성부(404)는 산출된 가중 평균에 기초하여 깊이 맵(DM)을 생성할 수 있다.

도 16은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 16을 참조하면, 영상 생성 장치(500)는 위상 차 산출부(503), 깊이 맵 생성부(504), 위상 차 예측부(506), 공간 주파수 산출부(507), 및 신뢰도 수준 산출부(508)를 포함할 수 있다.

위상 차 산출부(503), 깊이 맵 생성부(504), 위상 차 예측부(506), 공간 주파수 산출부(507), 및 신뢰도 수준 산출부(508)는 이미지 센서 칩(1330, 도 1 참조) 또는 영상 신호 처리기(1350, 도 1 참조)에 구현되거나, 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 또는, 위상 차 산출부(503), 깊이 맵 생성부(504), 위상 차 예측부(506), 공간 주파수 산출부(507), 및 신뢰도 수준 산출부(508)는 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)와 별개로 제공될 수 있다.

위상 차 산출부(503)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(503)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(504)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(503) 및 깊이 맵 생성부(504)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(503) 및 깊이 맵 생성부(504)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

위상 차 예측부(506)는 제 1 위상 차들(PD1)에 기초하여, 제 2 위상 차들(PD2)로서 산출될 값들을 예측할 수 있다. 위상 차 예측부(506)는 예측된 값들(PV)을 깊이 맵 생성부(504)로 제공할 수 있다. 위상 차 예측부(506)의 구성 및 기능은 도 13의 위상 차 예측부(206)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 위상 차 예측부(506)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

공간 주파수 산출부(507)는 영상 신호(IS)를 제공받을 수 있다. 영상 신호(IS)는 이미지 센서(1331, 도 2 내지 도 6 참조)에 포함되는 복수의 이미지 센서 픽셀에 의해 생성될 수 있다. 공간 주파수 산출부(507)는 영상 신호(IS)를 처리함으로써, 객체를 촬영한 영상과 관련된 공간 주파수의 정보(SF)를 생성할 수 있다. 공간 주파수 산출부(507)의 구성 및 기능은 도 14의 공간 주파수 산출부(307)의 구성 및 기능 또는 도 15의 공간 주파수 산출부(407)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 공간 주파수 산출부(507)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

신뢰도 산출부(508)는 제 1 위상 차들(PD1)에 관한 제 1 신뢰도 수준을 산출할 수 있다. 신뢰도 수준 산출부(508)는 제 2 위상 차들(PD2)에 관한 제 2 신뢰도 수준을 산출할 수 있다. 실시 예로서, 신뢰도 산출부(508)는 위상 차 예측부(506)에 의해 예측된 값들(PV), 제 1 위상 차들(PD1), 제 2 위상 차들(PD2), 공간 주파수 정보(SF) 중 적어도 하나에 기초하여 신뢰도 수준들(RL)을 산출할 수 있다. 신뢰도 산출부(508)의 구성 및 기능은 도 15의 신뢰도 산출부(408)의 구성 및 기능을 포함할 수 있다. 설명의 편의를 위해, 신뢰도 산출부(508)의 구성 및 기능에 관한 중복되는 설명들은 생략된다.

렌즈(1310, 도 1 참조)의 이동 방향과 공간 주파수의 변화 사이에 일관성(Consistency)이 있어야 한다. 나아가, 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)이 오차를 포함하지 않고, 위상 차 예측부(506)에 의해 예측된 값들(PV)과 제 2 위상 차들(PD2)이 동일한 것이 바람직하다. 렌즈(1310)의 이동 방향과 공간 주파수의 변화 사이에 일관성이 없거나, 예측된 값들(PV)이 제 2 위상 차들(PD2)과 다른 경우, 신뢰도 수준 산출부(508)는 비일관성 및 오차를 참조하여 신뢰도 수준들(RL)을 산출할 수 있다.

깊이 맵 생성부(504)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)과 함께, 신뢰도 수준들(RL)에 기초하여 깊이 맵(DM)을 생성할 수 있다. 실시 예로서, 깊이 맵 생성부(504)는 제 1 위상 차들(PD1)에 기초하여 생성된 제 1 깊이 데이터 및 제 2 위상 차들(PD2)에 기초하여 생성된 제 2 깊이 데이터에 제 1 신뢰도 수준 및 제 2 신뢰도 수준을 반영함으로써, 깊이 맵(DM)을 생성할 수 있다. 이 실시 예는 도 15에 대한 설명과 함께 언급되었다.

위상 차 산출부(503), 깊이 맵 생성부(504), 위상 차 예측부(506), 공간 주파수 산출부(507), 및 신뢰도 수준 산출부(508) 각각은 아날로그 회로, 논리 회로 등의 하드웨어로 구현될 수 있다. 또는, 위상 차 산출부(503), 깊이 맵 생성부(504), 위상 차 예측부(506), 공간 주파수 산출부(507), 및 신뢰도 수준 산출부(508)의 기능들은 소프트웨어에 의해 구현될 수 있다.

본 발명의 실시 예에 따른 영상 생성 장치는 적은 면적 또는 부피를 차지할 수 있다. 나아가, 본 발명의 실시 예에 따르면, 여러 깊이 데이터를 참조하여 오차를 보정함으로써, 좀 더 높은 신뢰성을 갖는 깊이 맵이 생성될 수 있다.

도 17은 본 발명의 실시 예에 따른 영상 생성 장치의 구성을 보여주는 블록도이다. 도 17을 참조하면, 영상 생성 장치(600)는 위상 차 산출부(603), 깊이 맵 생성부(604), 및 깊이 맵 후처리부(609)를 포함할 수 있다.

위상 차 산출부(603), 깊이 맵 생성부(604), 및 깊이 맵 후처리부(609)는 이미지 센서 칩(1330, 도 1 참조) 또는 영상 신호 처리기(1350, 도 1 참조)에 구현되거나, 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)에 분산되어 구현될 수 있다. 또는, 위상 차 산출부(603), 깊이 맵 생성부(604), 및 깊이 맵 후처리부(609)는 이미지 센서 칩(1330) 및 영상 신호 처리기(1350)와 별개로 제공될 수 있다.

위상 차 산출부(603)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)을 제공받을 수 있다. 위상 차 산출부(603)는 제 1 위상 신호들(PS1) 및 제 2 위상 신호들(PS2)에 각각 기초하여 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)을 산출할 수 있다. 깊이 맵 생성부(604)는 제 1 위상 차들(PD1) 및 제 2 위상 차들(PD2)에 기초하여 깊이 맵(DM)을 생성할 수 있다.

위상 차 산출부(603) 및 깊이 맵 생성부(604)의 구성들 및 기능들은 각각 도 7 내지 도 9에 대한 설명들에서 언급된 위상 차 산출부(103) 및 깊이 맵 생성부(104)의 구성들 및 기능들을 포함할 수 있다. 설명의 편의를 위해, 위상 차 산출부(603) 및 깊이 맵 생성부(604)의 구성들 및 기능들에 관한 중복되는 설명들은 생략된다.

깊이 맵 후처리부(609)는 깊이 맵(DM)의 해상도를 변경시킬 수 있다. 실시 예로서, 깊이 맵 후처리부(609)는 객체 영상 및 깊이 맵(DM)에 대해 영상 정합을 수행할 수 있다. 객체 영상은 이미지 센서(1331, 도 2 내지 도 6 참조)에 포함되는 복수의 이미지 센서 픽셀에 의해 생성된 영상 신호들에 기초하여 생성된 영상이다. 깊이 맵 후처리부(609)는 영상 정합을 수행함으로써, 변경된 해상도를 갖는 깊이 맵(DM')을 생성할 수 있다.

예로서, 도 4에 나타낸 것과 같이, 복수의 위상 검출 픽셀이 복수의 이미지 센서 픽셀과 중첩되지 않도록 구성되는 경우, 깊이 맵(DM)은 객체 영상의 것보다 낮은 해상도를 가질 수 있다. 깊이 맵 후처리부(609)는 객체 영상을 참조하여, 깊이 데이터가 획득되지 않은 영상 영역에 대응하는 깊이 데이터를 추정할 수 있다. 예로서, 깊이 맵 후처리부(609)는 객체 영상에 포함되는 엣지(Edge) 성분들을 추출하고 엣지 성분들과 깊이 맵(DM)에 대해 영상 정합을 수행함으로써, 깊이 데이터가 획득되지 않은 영상 영역에 대응하는 깊이 데이터를 추정할 수 있다.

위 예에서, 깊이 맵 후처리부(609)는 깊이 맵(DM) 및 추정된 깊이 데이터에 기초하여, 변경된 해상도를 갖는 깊이 맵(DM')을 생성할 수 있다. 예로서, 깊이 맵(DM)의 해상도를 높임으로써, 깊이 맵(DM')은 객체 영상의 것과 동일한 해상도를 가질 수 있다.

그러나, 본 발명은 위 예로 한정되지 않는다. 깊이 맵 후처리부(609)는 깊이 맵(DM)의 해상도를 다양하게 변경시킬 수 있다. 깊이 맵(DM')은 객체 영상의 것과 다른 해상도를 가질 수 있다. 깊이 맵(DM)의 해상도는 높아지거나 낮아질 수 있다. 나아가, 도 3에 나타낸 것과 같이, 하나의 픽셀 단위가 이미지 센서 픽셀뿐만 아니라 위상 검출 픽셀로서 이용되는 경우에도, 깊이 맵(DM)의 해상도를 변경시키기 위해 깊이 맵 후처리부(609)가 이용될 수 있다.

예로서, 깊이 맵 후처리부(609)는 특정 조건이 충족되면 동작하도록 구성될 수 있다. 이 예에서, 영상 생성 장치(600)는 깊이 맵 후처리부(609)가 동작할지 여부를 판별하기 위해 이용되는 판별 로직 또는 회로를 더 포함할 수 있다. 다른 예로서, 영상 생성 장치(600)는 추가의 제어 신호 선로 또는 유저 인터페이스를 더 포함할 수 있다. 영상 생성 장치(600)는 추가의 제어 신호 선로 또는 유저 인터페이스를 통해 깊이 맵 후처리부(609)를 동작시키기 위한 명령을 제공받을 수 있다.

도 18은 본 발명의 실시 예에 따른 영상 생성 장치를 포함하는 전자 시스템의 구성 및 그것의 인터페이스들을 보여주는 블록도이다. 전자 시스템(5000)은 MIPI(Mobile Industry Processor Interface) 연합(Alliance)에 의해 제안된 인터페이스를 이용하거나 지원할 수 있는 데이터 처리 장치로 구현될 수 있다. 예로서, 전자 시스템(5000)은 휴대용 통신 단말기, PDA(Personal Digital Assistant), PMP(Portable Media Player), 스마트폰, 또는 웨어러블 장치 등과 같은 전자 장치로 구현될 수 있다.

전자 시스템(5000)은 어플리케이션 프로세서(5100), 디스플레이(5220), 및 이미지 센서(5230)를 포함할 수 있다. 어플리케이션 프로세서(5100)는 DigRF 마스터(5110), DSI(Display Serial Interface) 호스트(5120), CSI(Camera Serial Interface) 호스트(5130), 물리 계층(5140), 및 영상 신호 처리기(5150)를 포함할 수 있다.

DSI 호스트(5120)는 DSI에 따라 디스플레이(5220)의 DSI 장치(5225)와 통신할 수 있다. 예로서, DSI 호스트(5120)에는 광 시리얼라이저(SER)가 구현될 수 있다. 예로서, DSI 장치(5225)에는 광 디시리얼라이저(DES)가 구현될 수 있다.

CSI 호스트(5130)는 CSI에 따라 이미지 센서(5230)의 CSI 장치(5235)와 통신할 수 있다. 예로서, CSI 호스트(5130)에는 광 디시리얼라이저(DES)가 구현될 수 있다. 예로서, CSI 장치(5235)에는 광 시리얼라이저(SER)가 구현될 수 있다. 영상 신호 처리기(5150)는 메모리(에컨대, 워킹 메모리(5250) 또는 어플리케이션 프로세서(5100)에 내장된 메모리) 및 버스를 통해 CSI 호스트(5130)와 통신할 수 있다.

영상 신호 처리기(5150) 및 이미지 센서(5230) 중 적어도 하나는 도 7 내지 도 17에 대한 설명들에서 언급된 본 발명의 실시 예들 중 적어도 하나에 따라 구성될 수 있다. 예로서, 도 10에서 설명한 것과 같이, 이미지 센서(5230)는 렌즈를 둘 이상의 위치들 각각으로 이동시키고, 복수의 위상 검출 픽셀을 이용하여 여러 깊이 데이터를 생성하고, 여러 깊이 데이터에 기초하여 깊이 맵을 생성할 수 있다. 예로서, 도 11에서 설명한 것과 같이, 영상 신호 처리기(5150)는 렌즈를 둘 이상의 위치들 각각으로 이동시키기 위해 렌즈 구동 신호를 생성하고, 복수의 위상 검출 픽셀을 이용하여 생성된 여러 깊이 데이터에 기초하여 깊이 맵을 생성할 수 있다. 본 발명의 실시 예들에 관한 자세한 설명들은 생략된다.

전자 시스템(5000)은 어플리케이션 프로세서(5100)와 통신하는 RF(Radio Frequency) 칩(5240)을 더 포함할 수 있다. RF 칩(5240)은 물리 계층(5242), DigRF 슬레이브(5244), 및 안테나(5246)를 포함할 수 있다. 예로서, RF 칩(5240)의 물리 계층(5242)과 어플리케이션 프로세서(5100)의 물리 계층(5140)은 MIPI 연합에 의해 제안된 DigRF 인터페이스에 의해 서로 데이터를 교환할 수 있다.

전자 시스템(5000)은 워킹 메모리(Working Memory; 5250) 및 임베디드(Embedded)/카드 스토리지(5255)를 더 포함할 수 있다. 워킹 메모리(5250) 및 임베디드/카드 스토리지(5255)는 어플리케이션 프로세서(5100)로부터 제공받은 데이터를 저장할 수 있다. 나아가, 워킹 메모리(5250) 및 임베디드/카드 스토리지(5255)는 저장된 데이터를 어플리케이션 프로세서(5100)로 제공할 수 있다.

워킹 메모리(5250)는 어플리케이션 프로세서(5100)에 의해 처리된 또는 처리될 데이터를 일시적으로 저장할 수 있다. 워킹 메모리(5250)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, 또는 플래시(Flash) 메모리, PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다. 임베디드/카드 스토리지(5255)는 전원 공급 여부와 관계없이 데이터를 저장할 수 있다.

전자 시스템(5000)은 Wimax(World Interoperability for Microwave Access; 5260), WLAN(Wireless Local Area Network; 5262), UWB(Ultra Wideband; 5264) 등과 같은 통신 모듈을 통해 외부 시스템과 통신할 수 있다. 전자 시스템(5000)은 음성 정보를 처리하기 위한 스피커(5270) 및 마이크(5275)를 더 포함할 수 있다. 나아가, 전자 시스템(5000)은 위치 정보를 처리하기 위한 GPS(Global Positioning System) 장치(5280)를 더 포함할 수 있다. 전자 시스템(5000)은 주변 장치들과의 연결을 관리하기 위한 브릿지(Bridge) 칩(5290)을 더 포함할 수 있다.

각각의 개념도에 나타낸 구성은 단지 개념적인 관점에서 이해되어야 한다. 본 발명의 이해를 돕기 위해, 개념도에 나타낸 구성 요소 각각의 형태, 구조, 크기 등은 과장 또는 축소되어 표현되었다. 실제로 구현되는 구성은 각각의 개념도에 나타낸 것과 다른 물리적 형상을 가질 수 있다. 각각의 개념도는 구성 요소의 물리적 형상을 제한하기 위한 것이 아니다.

각각의 블록도에 나타낸 장치 구성은 발명의 이해를 돕기 위한 것이다. 각각의 블록은 기능에 따라 더 작은 단위의 블록들로 형성될 수 있다. 또는, 복수의 블록들은 기능에 따라 더 큰 단위의 블록을 형성할 수 있다. 즉, 본 발명의 기술 사상은 블록도에 도시된 구성에 의해 한정되지 않는다.

이상에서 본 발명에 대한 실시 예를 중심으로 본 발명이 설명되었다. 다만, 본 발명이 속하는 기술 분야의 특성상, 본 발명이 이루고자 하는 목적은 본 발명의 요지를 포함하면서도 위 실시 예들과 다른 형태로 달성될 수 있다. 따라서, 위 실시 예들은 한정적인 것이 아니라 설명적인 측면에서 이해되어야 한다. 즉, 본 발명의 요지를 포함하면서 본 발명과 같은 목적을 달성할 수 있는 기술 사상은 본 발명의 기술 사상에 포함되는 것으로 해석되어야 한다.

따라서, 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 수정 또는 변형된 기술 사상은 본 발명이 청구하는 보호 범위에 포함되는 것이다. 또한, 본 발명의 보호 범위는 위 실시 예들로 한정되는 것이 아니다.

100 : 영상 생성 장치
103 : 위상 차 산출부 104 : 깊이 맵 생성부
200 : 영상 생성 장치 203 : 위상 차 산출부
204 : 깊이 맵 생성부 206 : 위상 차 예측부
300 : 영상 생성 장치 303 : 위상 차 산출부
304 : 깊이 맵 생성부 307 : 공간 주파수 산출부
400 : 영상 생성 장치
403 : 위상 차 산출부 404 : 깊이 맵 생성부
407 : 공간 주파수 산출부 408 : 신뢰도 수준 산출부
500 : 영상 생성 장치 503 : 위상 차 산출부
504 : 깊이 맵 생성부 506 : 위상 차 예측부
507 : 공간 주파수 산출부 508 : 신뢰도 수준 산출부
600 : 영상 생성 장치 603 : 위상 차 산출부
604 : 깊이 맵 생성부 609 : 깊이 맵 후처리부
1000 : 영상 생성 시스템 1100 : 객체
1300 : 영상 생성 장치 1310 : 렌즈
1330 : 이미지 센서 칩 1331 : 이미지 센서
1350 : 영상 신호 처리기
2300 : 영상 생성 장치 2310 : 렌즈
2330 : 이미지 센서 칩 2331 : 이미지 센서
2332 : 렌즈 구동부 2333 : 위상 차 산출부
2334 : 깊이 맵 생성부 2350 : 영상 신호 처리기
3300 : 영상 생성 장치 3310 : 렌즈
3330 : 이미지 센서 칩 3350 : 영상 신호 처리기
3353 : 위상 차 산출부 3354 : 깊이 맵 생성부
3355 : 렌즈 위치 제어부
4300 : 영상 생성 장치 4310 : 렌즈
4330 : 이미지 센서 칩 4350 : 영상 신호 처리기
4373 : 위상 차 산출부 4374 : 깊이 맵 생성부
5000 : 전자 시스템 5100 : 어플리케이션 프로세서
5110 : DigRF 마스터 5120 : DSI 호스트
5130 : CSI 호스트 5140 : 물리 계층
5150 : 영상 신호 처리기
5220 : 디스플레이 5225 : DSI 장치
5230 : 이미지 센서 5235 : CSI 장치
5240 : RF 칩 5242 : 물리 계층
5244 : DigRF 슬레이브 5246 : 안테나
5250 : 워킹 메모리 5255 : 임베디드/카드 스토리지
5260 : Wimax 5262 : WLAN
5264 : UWB 5270 : 스피커
5275 : 마이크 5280 : GPS
5290 : 브릿지 칩

Claims

객체에 대응하는 영상 신호들을 생성하도록 구성되는 복수의 이미지 센서 픽셀, 및 영상들 사이의 위상 차를 산출하기 위해 이용되는 제 1 및 제 2 위상 신호들을 생성하도록 구성되는 복수의 위상 검출 픽셀을 포함하는 이미지 센서;
렌즈와 상기 객체 사이의 거리를 조절하기 위해 상기 렌즈의 위치를 조절하도록 구성되는 렌즈 구동부;
상기 렌즈가 제 1 위치에 있을 때 생성된 상기 제 1 위상 신호들에 기초하여 제 1 위상 차들을 산출하고, 상기 렌즈가 상기 제 1 위치와 다른 제 2 위치에 있을 때 생성된 상기 제 2 위상 신호들에 기초하여 제 2 위상 차들을 산출하도록 구성되는 위상 차 산출부; 및
상기 제 1 및 제 2 위상 차들에 각각 기초하여 상기 복수의 위상 검출 픽셀과 상기 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 상기 제 1 및 제 2 깊이 데이터에 기초하여 깊이 맵을 생성하도록 구성되는 깊이 맵 생성부를 포함하는 영상 생성 장치.
제 1 항에 있어서,
상기 제 1 위상 차들에 기초하여, 상기 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 위상 차 예측부를 더 포함하는 영상 생성 장치.
제 2 항에 있어서,
상기 렌즈가 상기 렌즈 구동부의 제어에 따라 상기 제 1 위치에서 상기 제 2 위치로 이동함에 따라, 상기 제 1 위상 차들은 상기 제 2 위상 차들보다 먼저 산출되고,
상기 위상 차 예측부는 상기 렌즈가 상기 제 2 위치로 이동하기 전 또는 이동할 때 상기 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 영상 생성 장치.
제 2 항에 있어서,
상기 위상 차 예측부에 의해 예측된 값들과 상기 위상 차 산출부에 의해 산출된 상기 제 2 위상 차들 사이의 차이가 기준 값보다 큰 경우, 상기 깊이 맵 생성부는 상기 차이를 참조하여 상기 깊이 맵을 생성하도록 구성되는 영상 생성 장치.
제 1 항에 있어서,
상기 복수의 위상 검출 픽셀 각각은 상기 복수의 이미지 센서 픽셀 중에서 두 개의 이미지 센서 픽셀들에 대응하도록 구성되는 영상 생성 장치.
제 1 항에 있어서,
상기 복수의 위상 검출 픽셀은 상기 복수의 이미지 센서 픽셀과 중첩되지 않도록 상기 복수의 이미지 센서 픽셀의 위치들과 다른 위치들에 배치되는 영상 생성 장치.
제 1 항에 있어서,
상기 영상 신호들을 처리함으로써, 상기 객체를 촬영한 영상과 관련된 공간 주파수의 정보를 생성하도록 구성되는 공간 주파수 산출부를 더 포함하는 영상 생성 장치.
제 7 항에 있어서,
상기 공간 주파수 산출부는 상기 렌즈가 상기 제 1 위치에 있을 때 제 1 공간 주파수 정보를 생성하고, 상기 렌즈가 상기 제 2 위치에 있을 때 제 2 공간 주파수 정보를 생성하도록 구성되는 영상 생성 장치.
제 8 항에 있어서,
상기 공간 주파수 산출부는 상기 제 1 및 제 2 공간 주파수 정보에 기초하여, 상기 렌즈가 상기 제 1 위치에서 상기 제 2 위치로 이동할 때 공간 주파수 값이 변한 방향 및 양 중 적어도 하나를 획득하도록 더 구성되고,
상기 깊이 맵 생성부는 상기 공간 주파수 값이 변한 방향 및 양 중 적어도 하나를 참조하여 상기 깊이 맵을 생성하도록 구성되는 영상 생성 장치.
제 1 항에 있어서,
상기 이미지 센서, 상기 렌즈 구동부, 상기 위상 차 산출부, 및 상기 깊이 맵 생성부는 하나의 이미지 센서 칩에 구현되는 영상 생성 장치.
이미지 센서에 포함되는 복수의 위상 검출 픽셀에 의해 생성된 제 1 및 제 2 위상 신호들을 제공받고, 객체로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동하도록 구성되는 렌즈가 제 1 위치에 있을 때 생성된 상기 제 1 위상 신호들에 기초하여 제 1 위상 차들을 산출하고, 상기 렌즈가 상기 제 1 위치와 다른 제 2 위치에 있을 때 생성된 상기 제 2 위상 신호들에 기초하여 제 2 위상 차들을 산출하도록 구성되는 위상 차 산출부;
상기 제 1 및 제 2 위상 차들 중 적어도 하나에 기초하여 상기 객체에 대한 초점을 맞추기 위한 상기 렌즈의 초점 위치를 산출하고, 상기 렌즈를 상기 초점 위치로 이동시키기 위해 렌즈 구동 신호를 생성하도록 구성되는 렌즈 위치 제어부; 및
상기 제 1 및 제 2 위상 차들에 각각 기초하여 상기 복수의 위상 검출 픽셀과 상기 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 상기 제 1 및 제 2 깊이 데이터에 기초하여 깊이 맵을 생성하도록 구성되는 깊이 맵 생성부를 포함하는 영상 생성 장치.
제 11 항에 있어서,
상기 제 1 위치 및 상기 제 2 위치 중 하나는 상기 초점 위치에 대응하는 영상 생성 장치.
제 11 항에 있어서,
상기 제 1 위상 차들에 기초하여, 상기 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 위상 차 예측부; 및
상기 이미지 센서에 포함되는 복수의 이미지 센서 픽셀에 의해 생성된 영상 신호들을 처리함으로써, 상기 객체를 촬영한 영상과 관련된 공간 주파수의 정보를 생성하도록 구성되는 공간 주파수 산출부를 더 포함하는 영상 생성 장치.
제 13 항에 있어서,
상기 위상 차 예측부에 의해 예측된 값들, 상기 위상 차 산출부에 의해 산출된 상기 제 2 위상 차들, 및 상기 렌즈가 상기 제 1 위치에서 상기 제 2 위치로 이동할 때 공간 주파수 값이 변한 방향 중 적어도 하나에 기초하여, 상기 제 1 위상 차들에 관한 제 1 신뢰도 수준 및 상기 제 2 위상 차들에 관한 제 2 신뢰도 수준을 산출하도록 구성되는 신뢰도 수준 산출부를 더 포함하는 영상 생성 장치.
제 14 항에 있어서,
상기 깊이 맵 생성부는 상기 제 1 및 제 2 깊이 데이터에 상기 제 1 및 제 2 신뢰도 수준들을 반영함으로써 상기 깊이 맵을 생성하도록 구성되는 영상 생성 장치.
제 11 항에 있어서,
상기 이미지 센서에 포함되는 복수의 이미지 센서 픽셀에 의해 생성된 영상 신호들에 기초하여 생성된 객체 영상, 및 상기 깊이 맵에 대해 영상 정합을 수행함으로써 상기 깊이 맵의 해상도를 변경시키도록 구성되는 깊이 맵 후처리부를 더 포함하는 영상 생성 장치.
제 11 항에 있어서,
상기 위상 차 산출부, 상기 렌즈 위치 제어부, 및 상기 깊이 맵 생성부는, 어플리케이션 프로세서를 포함하는 연산 처리 장치에 구현되는 영상 생성 장치.
깊이 맵을 생성하도록 구성되는 영상 생성 장치에 있어서,
객체로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동하도록 구성되는 렌즈가 제 1 위치에 있을 때 복수의 위상 검출 픽셀에 의해 생성된 제 1 위상 신호들 및 상기 렌즈가 상기 제 1 위치와 다른 제 2 위치에 있을 때 상기 복수의 위상 검출 픽셀에 의해 생성된 제 2 위상 신호들에 각각 기초하여 제 1 및 제 2 위상 차들을 산출하도록 구성되는 위상 차 산출부; 및
상기 제 1 및 제 2 위상 차들에 각각 기초하여 상기 복수의 위상 검출 픽셀과 상기 객체 사이의 거리에 관한 제 1 및 제 2 깊이 데이터를 생성하고, 상기 제 1 및 제 2 깊이 데이터에 기초하여 상기 깊이 맵을 생성하도록 구성되는 깊이 맵 생성부를 포함하는 영상 생성 장치.
제 18 항에 있어서,
상기 제 1 위상 차들에 기초하여, 상기 제 2 위상 차들로서 산출될 값들을 예측하도록 구성되는 위상 차 예측부를 더 포함하고,
상기 위상 차 예측부에 의해 예측된 값들이 상기 위상 차 산출부에 의해 산출된 상기 제 2 위상 차들과 다른 경우:
상기 위상 차 산출부는 상기 렌즈가 상기 제 1 및 제 2 위치들과 다른 제 3 위치에 있을 때 상기 복수의 위상 검출 픽셀에 의해 생성된 제 3 위상 신호들에 기초하여 제 3 위상 차들을 산출하도록 더 구성되고;
상기 깊이 맵 생성부는 상기 제 3 위상 차들에 기초하여 상기 복수의 위상 검출 픽셀과 상기 객체 사이의 거리에 관한 제 3 깊이 데이터를 생성하고, 상기 제 1 내지 제 3 깊이 데이터에 기초하여 상기 깊이 맵을 생성하도록 더 구성되는 영상 생성 장치.
제 18 항에 있어서,
상기 렌즈가 상기 제 1 위치에 있을 때 복수의 이미지 센서 픽셀에 의해 생성된 제 1 영상 신호들을 처리함으로써 상기 객체를 촬영한 제 1 영상과 관련된 제 1 공간 주파수 정보를 생성하고, 상기 렌즈가 상기 제 2 위치에 있을 때 상기 복수의 이미지 센서 픽셀에 의해 생성된 제 2 영상 신호들을 처리함으로써 상기 객체를 촬영한 제 2 영상과 관련된 제 2 공간 주파수 정보를 생성하고, 상기 제 1 및 제 2 공간 주파수 정보에 기초하여 공간 주파수 값이 변한 방향을 획득하도록 구성되는 공간 주파수 산출부; 및
상기 공간 주파수 값이 변한 방향에 기초하여, 상기 제 1 위상 차들에 관한 제 1 신뢰도 수준 및 상기 제 2 위상 차들에 관한 제 2 신뢰도 수준을 산출하도록 구성되는 신뢰도 수준 산출부를 더 포함하고,
상기 깊이 맵 생성부는 상기 제 1 및 제 2 깊이 데이터에 상기 제 1 및 제 2 신뢰도 수준들을 반영함으로써 상기 깊이 맵을 생성하도록 구성되는 영상 생성 장치.