KR20160074223A

KR20160074223A - 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법

Info

Publication number: KR20160074223A
Application number: KR1020140183281A
Authority: KR
Inventors: 서은성; 김영운; 문영섭; 정유경
Original assignee: 엘지이노텍 주식회사
Priority date: 2014-12-18
Filing date: 2014-12-18
Publication date: 2016-06-28
Also published as: CN105721854B; US20160182896A1; CN105721854A; US10057563B2; EP3035679A1; KR102283423B1

Abstract

실시예의 영상 획득 장치는 고정 초점 거리를 갖는 렌즈로부터 획득된 광학 정보를 출력하는 광학부; 광학 정보를 전기적 신호로 변환하며, 복수의 위상차 검출 화소를 포함하는 이미지 센서부; 이미지 센서부에서 변환된 전기적 신호를 영상 처리하여 관심 영상 정보를 생성하는 영상 정보 처리부; 기준 영상 정보에 대한 깊이 값을 매칭하여 저장한 메모리부; 관심 영상 정보에 상응하는 기준 영상 정보에 매칭된 깊이 값을 메모리부로부터 추출하는 연산부; 및 연산부에서 추출된 깊이 값을 출력하는 영상 정보 출력부; 를 포함하여, 하나의 영상 획득 장치만으로 깊이 정보를 용이하게 획득할 수 있다.

Description

영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법{IMAGE PICK-UP APPARATUS, PORTABLE TERMINAL INCLUDING THE SAME AND IMAGE PICK-UP METHOD USING THE APPARATUS}

실시예는 위상차 검출 화소를 포함하는 영상 획득 장치와 이를 포함하는 휴대용 단말기 및 위상차 검출 화소를 포함하는 영상 획득 장치를 이용한 영상 획득 방법에 관한 것이다.

촬상 장치의 영상으로부터 3차원 공간상의 깊이 지도(Depth Map), 즉 3차원 공간에서의 피사체와의 거리를 얻기 위한 방법으로는 스테레오(Stereo) 카메라를 이용하는 방법, 레이저 스캔을 이용하는 방법, TOF(Time of Flight)를 이용하는 방법 등이 알려지고 있다.

이러한 방법 중 스테레오 카메라를 이용하는 방법은 사람이 두 눈을 이용하여 입체를 인지하는 과정을 하드웨어적으로 구현한 것으로서, 동일한 피사체를 두 개의 카메라로 촬영하여 획득한 한 쌍의 이미지에 대한 해석과정을 통해 공간에서의 깊이(또는 거리)에 대한 정보를 추출하는 방법이다.

스테레오 카메라를 이용하여 거리 정보를 얻기 위해서는 두 개의 카메라를 필요로 하며, 두 개의 카메라로부터 각각 획득한 영상의 동일한 에피폴라 선(Epipolar Line) 상의 양안 차를 계산하여 거리 또는 깊이 정보를 얻을 수 있다.

하지만, 종래의 깊이 지도(depth map) 추출은 두 개의 카메라로 영상을 각각 찍은 후, 두 영상의 매칭(Matching)성을 측정하여 깊이 또는 거리(depth) 정보를 얻을 수 있으므로, 두 개의 카메라의 정밀한 배치(align) 작업이 필요하다.

또한, 두 개의 카메라가 적절한 위치에 배치되었다 하더라도, 각각의 카메라에 대한 Rotation, Translation, Focal length, Skew angle, Principal Point 등의 기하학적 정보가 필요하며, 이러한 기하학적 정보를 바탕으로 하여 두 개의 카메라에서 획득한 두 영상의 에피폴라 선(epipolar line)을 맞춘 후 거리 정보를 얻을 수 있다.

두 개의 카메라를 이용하여 위와 같은 방법으로 거리 정보를 얻기 위해서는 다수회의 보정(Calibration) 작업이 필요하며, 정확한 거리 정보를 얻기 위해서는 환경의 변화에 의한 기구적인 변형이 있을 때마다 보정 작업을 다시 수행해 주어야 하는 문제점이 있다.

실시예는 스테레오 카메라를 사용하지 않고, 이미지 센서부에 포함된 위상차 검출 화소를 통하여 얻은 영상 정보를 이용하여 깊이 값을 찾는 영상 획득 장치와 이를 이용하여 깊이 값을 출력하는 영상 획득 방법 및 이러한 장치를 이용한 휴대용 단말기를 제공한다.

실시예는 고정 초점 거리를 갖는 렌즈로부터 획득된 광학 정보를 출력하는 광학부; 상기 광학 정보를 전기적 신호로 변환하며, 복수의 위상차 검출 화소를 포함하는 이미지 센서부; 상기 이미지 센서부에서 변환된 상기 전기적 신호를 영상 처리하여 관심 영상 정보를 생성하는 영상 정보 처리부; 기준 영상 정보에 대한 깊이 값을 매칭하여 저장한 메모리부; 상기 관심 영상 정보에 상응하는 상기 기준 영상 정보에 매칭된 상기 깊이 값을 상기 메모리부로부터 추출하는 연산부; 및 상기 연산부에서 추출된 상기 깊이 값을 출력하는 영상 정보 출력부; 를 포함하는 영상 획득 장치를 제공한다.

상기 복수의 위상차 검출 화소는 일측에 편향된 쉴드 영역을 갖는 제1 그룹화소; 및 타측에 편향된 쉴드 영역을 갖는 제2 그룹화소; 를 포함할 수 있다.

상기 관심 영상 정보는 서로 동일한 휘도 레벨을 갖는 상기 제1 그룹화소의 제1 전기적 신호 및 상기 제2 그룹화소의 제2 전기적 신호 간의 위상차를 포함할 수 있다.

상기 제1 그룹화소는 행 방향으로 일정 간격 이격되어 제1 배열라인으로 배치되고, 상기 제2 그룹화소는 상기 행 방향으로 일정 간격 이격되어 제2 배열라인으로 배치되며, 상기 제1 배열라인과 상기 제2 배열라인은 열 방향으로 교차되어 배치될 수 있다.

상기 이미지 센서부는 상기 복수의 위상차 검출 화소와 함께 격자 패턴으로 배치된 복수의 이미지 검출 화소를 더 포함할 수 있다.

상기 영상 정보 출력부는 상기 복수의 이미지 검출 화소에 대해 생성된 이미지 정보를 출력할 수 있다.

상기 영상 정보 출력부는 상기 연산부에서 추출된 상기 깊이 값을 포함한 깊이 지도를 출력할 수 있다.

다른 실시예는 상술한 실시예의 영상 획득 장치; 및 상기 영상 획득 장치에서 출력하는 상기 깊이 값을 포함하는 영상을 표시하는 디스플레이 장치; 를 포함하는 휴대용 단말기를 제공한다.

또 다른 실시예는 상술한 실시예의 영상 획득 장치를 이용한 영상 획득 방법에 있어서, 광학 정보를 획득하는 단계; 상기 광학 정보를 전기적 신호로 변환하는 단계; 상기 변환된 전기적 신호를 영상 처리하는 단계; 상기 영상 처리된 관심 영상 정보를 상기 메모리부에 저장된 상기 기준 영상 정보와 비교하여 상응하는 깊이 값을 추출하는 단계; 및 상기 추출된 깊이 값을 제공하는 단계; 를 포함하는 영상 획득 방법을 제공한다.

상기 깊이 값을 제공하는 단계는 상기 추출된 깊이 값을 이용한 깊이 지도를 제공하는 단계를 포함할 수 있다.

실시예에 따른 영상 획득 장치는 이미지 센서부에 복수의 위상차 검출 화소를 포함하여 이러한 위상차 검출 화소에서 획득된 위상차 값으로부터 피사체의 깊이 정보를 알 수 있으며, 또한 이를 이용한 영상획득방법은 두 개의 카메라를 사용하지 않고 용이하게 깊이 지도를 얻을 수 있다.

도 1은 일 실시예에 따른 영상 획득 장치의 블록도를 나타낸 도면이고,
도 2는 광학부의 일 실시예를 나타낸 도면이고,
도 3a 내지 3b는 위상차 검출 화소의 일 실시예를 나타낸 도면이고,
도 4는 위상차 검출 화소의 작동 방식을 간략히 나타낸 도면이고,
도 5a 내지 5c는 피사체의 거리에 따른 위상차 검출 화소에서 생성된 영상 정보의 관계를 나타낸 도면이고,
도 6은 위상차 검출 화소의 영상 정보로부터 위상차를 얻는 방법을 나타낸 도면이고,
도 7은 일 실시예의 영상 장치에서 위상차 값에 따른 거리 정보를 나타낸 도면이고.
도 8은 이미지 센서의 일 실시예를 나타낸 도면이고,
도 9는 일 실시예의 휴대용 단말기의 블럭도를 나타낸 도면이고,
도 10은 영상 획득 방법의 일 실시예를 플로우 차트로 나타낸 도면이다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 실시예를 첨부한 도면을 참조하여 설명한다.

이하에서 이용되는 "제1" 및 "제2," "상부" 및 "하부" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.

도면에서 각 구성요소의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장되거나 생략되거나 또는 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것은 아니다.

도 1은 일 실시예에 따른 영상 획득 장치의 개략적인 구성을 나타낸 블록도이다.

도 1에 도시된 영상 획득 장치(200)는 광학부(110), 이미지 센서부(100), 영상 정보 처리부(130), 메모리부(150), 연산부(170) 및 영상 정보 출력부(190)를 포함할 수 있다.

광학부(110)는 복수의 렌즈를 포함할 수 있으며, 피사체에 대한 영상을 획득하기 위하여 외부로부터 입사되는 빛을 흡수하여 이미지 센서부(100)로 출력하도록 할 수 있다. 즉, 광학부(110)는 렌즈로부터 획득된 광학정보를 출력하는 것일 수 있다.

도 2는 광학부(110)의 일 실시예에 대한 도면이다.

도 2에서는 렌즈 경통(118)에 배치되는 4 개의 렌즈(111, 112, 114, 116)를 도시하고 있으나, 광학부(110)를 구성하는 렌즈의 개수는 이에 한정하지 않으며, 광학부(110)에는 단수 또는 복수의 렌즈가 배치될 수 있다.

복수의 렌즈(111, 112, 114, 116)는 순차적으로 적층되어 배치될 수 있으며, 복수의 렌즈들(111, 112, 114, 116) 사이에는 스페이서(미도시)가 배치될 수 있다. 스페이서는 복수의 렌즈들(111, 112, 114, 116) 사이를 이격시켜, 렌즈들(111, 112, 114, 116) 사이의 간격을 유지시킬 수 있다.

렌즈 경통(118)은 원통형 또는 사각형의 형상을 가질 수 있으나, 이에 한정하지 않는다.

실시예의 광학부(110)는 고정 초점 거리를 갖는 렌즈를 포함할 수 있다.

즉, 렌즈 경통(118)은 광학부(110) 내의 특정위치에 고정되어 배치되며 포커싱(focusing)을 위한 렌즈 경통(118)의 이동이 이루어지지 않는 것일 수 있다.

또한, 광학부(110)에 포함되는 복수의 렌즈(111, 112, 114, 116) 중 적어도 하나는 이미지 센서부(100)로 광을 집광시키는 것일 수 있다.

이때 렌즈(111, 112, 114, 116)는 피사체의 한 지점에서부터 많은 양의 빛을 끌어들이고, 끌어드린 빛을 한 지점으로 모을 수 있도록 입사된 빛을 굴절시키는 것일 수 있다.

이렇게 한 지점으로 모아진 빛은 하나의 상을 맺히게 할 수 있으며, 이미지 센서부(100)에서 한 점으로 모아져서 하나의 이미지가 형성될 경우 피사체는 렌즈의 초점거리에 위치하는 것이라고 할 수 있다.

광학부(110)로부터 출력된 광학 정보는 이미지 센서부(100)로 전달될 수 있다.

이미지 센서부(100)는 광학부(110)의 렌즈를 통하여 입사된 피사체의 광학 정보를 수신하여 전기 신호로 광전 변환하는 촬상 소자(Image sensor)를 포함할 수 있다. 이미지 센서부(100)의 촬상 소자는 CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서일 수 있다.

이미지 센서부(100)는 복수의 위상차 검출 화소를 포함할 수 있다.

도 3a는 위상차 검출 화소(10)의 일 실시예에 대한 평면도를 나타낸 것이다.

위상차 검출 화소(10)는 화소의 개구부를 수직 방향으로 분할하여 구분된 영역 중 일부 영역이 차폐되어 제한된 수광 영역을 가질 수 있다. 이때, 위상차 검출 화소(10)의 차폐된 부분(10A-1, 10B-1)은 서로 다른 방향으로 편향되어 배치된 것일 수 있다.

예를 들어, 위상차 검출화소(10)는 차폐된 영역이 좌측으로 편향된 제1 그룹화소(10A)와 차폐된 영역이 우측으로 편향된 제2 그룹화소(10B)를 포함할 수 있다.

도 3b는 위상차 검출 화소(10A, 10B)의 구성을 개략적으로 나타낸 도면이다.

위상차 검출 화소(10A, 10B)는 마스크층(11), 마이크로 렌즈(13) 및 포토 다이오드(15)를 포함할 수 있다.

마스크층(11)은 위상차 검출 화소(10A, 10B)에서의 차폐 영역을 형성할 수 있다. 마스크층(11)은 메탈 마스크로 구현될 수 있으며, 마스크층(11)에 의하여 빛을 입사시킬 수 있는 개구부와 빛이 차단되는 차폐 영역을 구분할 수 있다.

예를 들어, 마스크층(11)에 의하여 차폐된 면적에 따라 이미지 센서부의 포토다이오드(15)로 입사되는 빛의 양을 조절할 수 있다.

마이크로 렌즈(13)는 입사되는 광학 신호를 위상차 검출 화소(10A, 10B)의 중심부로 집중시켜 포토 다이오드(15)로 전달되게 할 수 있다. 마이크로 렌즈(13)는 입사되는 광학 신호를 위상차 검출 화소(10A, 10B)로 집중시키기 위하여 포토 다이오드(15)에 대한 상대적인 위치가 변경될 수 있다.

포토 다이오드(15)는 입사되는 광학 신호를 전기 신호로 변환할 수 있다.

도 3b에서 간략히 도시된 바와 같이 제1 그룹화소(10A)와 제2 그룹 화소(10B)로 각각 입사되는 빛은 마이크로 렌즈(13)를 통하여 집중된 빛이 마스크층(11)이 배치되지 않은 수광 영역을 통하여 광학 신호를 각각의 포토 다이오드(15)로 전달하게 되며 이로부터 위상차 검출을 위한 한 쌍의 상(image)을 얻을 수 있다.

도 3a 내지 3b는 위상차 검출 화소(10A, 10B)의 일 실시예를 도시하였으나, 위상차 검출 화소(10A, 10B)의 실시예는 이에 한정하지 않으며, 화소의 개구부를 수평 방향으로 구분하여 분할한 일부 영역이 차폐된 위상차 검출 화소(10)를 포함할 수 있다.

도 4는 상술한 구성을 갖는 위상차 검출 화소 중 제1 그룹화소(10A)의 작동 방식을 간략히 나타낸 도면이다.

도 4를 참조하면, 위상차 검출 화소(10A)에서 좌측으로 편향된 영역이 차폐된 경우, 빛(R)이 위상차 검출 화소의 좌측으로부터 입사될 때 마이크로렌즈(13)는 빛을 이미지센서부의 중심으로 모으기 위하여 이동되게 되며, 이때 마이크로렌즈(13)에 의하여 집중된 빛은 위상차 검출 화소(10A)에 포함되는 포토 다이오드(15)의 우측으로 치우쳐서 모아지게 된다. 이때, 차폐 영역이 빛이 입사되는 방향으로 치우쳐 있으므로, 입사되는 빛은 가려지지 않고 대부분 포토 다이오드(15)로 공급될 수 있다.

이와 달리, 동일한 위상차 검출 화소(10A)에서 빛(R)이 위상차 검출 화소의 우측으로부터 입사되는 경우 마이크로렌즈(13)에 의하여 입사된 빛은 포토다이오드(15)의 좌측으로 치우쳐서 모아지게 된다. 이러한 경우 차폐 영역이 빛이 모아지는 방향으로 치우쳐 있으므로 입사되는 빛의 대부분이 차폐되게 된다.

복수의 위상차 검출 화소(10)를 포함하는 이미지 센서부(100)에서 변환된 전기적 신호는 영상 정보 처리부(130)에 공급될 수 있다.

영상 정보 처리부(130)는 이미지 센서부(100)에서 공급된 전기적 신호로부터 영상 정보를 생성하고 생성된 정보를 영상 정보 출력부(190)에 공급할 수 있다.

이미지 센서부(100)에서 변환된 전기적 신호로부터 생성된 영상정보는 제1 그룹화소(10A)로 공급된 광학 신호를 처리한 영상 정보와 제2 그룹화소(10B)로 공급된 광학 신호를 처리한 영상정보를 포함할 수 있으며, 또한 두 개의 위상차 검출 화소 그룹(10A, 10B)의 영상 정보로부터 위상차 값을 추출한 정보를 포함할 수 있다.

위와 같이 영상 정보 처리부(130)에서 생성된 영상 정보를 관심 영상정보라고 할 때, 예를 들어 이러한 관심 영상 정보는 서로 동일한 휘도 레벨을 갖는 제1 그룹화소(10A)의 제1 전기적 신호와 제2 그룹화소(10B)의 제2 전기적 신호 간의 위상차를 포함하는 것일 수 있다.

메모리부(150)는 기준 영상 정보에 대한 깊이(Depth) 값을 매칭하여 저장할 수 있다.

기준 영상 정보는 위상차 검출 화소를 포함하는 이미지 센서부를 갖는 영상 획득 장치에 있어서, 서로 다른 차폐 영역을 갖는 위상차 검출 화소로부터 얻은 한 쌍의 이미지의 위상차 값과 이러한 위상차 값을 가지는 경우에 대응한 영상 획득 장치와 피사체와의 거리를 매칭하여 저장한 데이터 값에 해당한다.

메모리부(150)에 저장된 기준 영상 정보와 이에 매칭되는 깊이(depth) 값은 look-up table 형태로 저장될 수 있다.

메모리부(150)에 저장된 look-up table의 데이터는 초점 거리 정보를 알고 있는 고정 초점 렌즈를 포함하는 광학부를 갖는 영상 획득 장치에 대한 데이터 값을 저장한 것일 수 있다.

예를 들어 고정 초점 렌즈의 초점 거리로부터 이격 되어 있는 거리 정보를 알고 있는 피사체에 대하여, 이를 촬영한 영상 정보 중 서로 다른 위상차 검출 화소그룹으로부터 획득된 영상 정보 즉 위상차 값을 구하고 이를 피사체의 거리 정보와 매칭하여 데이터로 저장할 수 있다.

실시예의 영상 획득 장치(200)는 영상 정보 처리부(130)에서 처리된 관심 영상 정보에 상응하는 깊이 값을 추출하는 연산부(170)를 포함할 수 있다.

영상 정보 처리부(130)에서 처리된 관심 영상 정보는 제1 그룹화소(10A)와 제2 그룹화소(10B)의 영상 정보를 비교하여 얻은 위상차 값일 수 있다.

이러한 관심 영상 정보는 메모리부(150)에 저장된 기준 영상 정보 값과 비교될 수 있으며, 관심 영상 정보와 일치되는 기준 영상 정보에서의 매칭된 깊이 값을 메모리부(150)에 저장된 데이터로부터 찾아 관심 영상 정보에 대한 깊이 값을 추출할 수 있다.

따라서, 연산부(170)는 피사체에 대한 깊이 정보를 얻기 위하여 메모리부(150)에 저장된 데이터와 비교하여 판단한 후 해당되는 깊이 값을 찾아 이를 추출하는 것일 수 있다.

연산부(170)에서 추출된 깊이 값은 영상 정보 출력부(190)에서 출력될 수 있다.

영상 정보 출력부(190)는 깊이 값(Depth Value)을 외부 기기로 전달하는 것일 수 있다.

또한, 영상 정보 출력부(190)는 영상 정보 처리부(130)에서 공급되는 깊이 값이 반영된 화상 영상 정보를 표시할 수 있다.

영상 정보 출력부(190)는 사용자에게 시각적인 영상 정보를 제공할 수 있으며, 이러한 영상 정보를 표시하기 위하여 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED)등으로 이루어진 표시부를 포함할 수 있다.

영상 정보 출력부(190)로 표시되는 영상 정보는 깊이 값이 반영된 깊이 지도(depth map) 이미지일 수 있으며, 또한, 이를 포함한 이미지 영상 정보가 표시될 수 있다.

도 5a 내지 5c는 복수의 위상차 검출 화소(10A, 10B)를 포함하는 실시예의 영상획득장치(200)에 있어서, 피사체의 거리에 따른 이미지 센서부(100)에서 형성되는 영상 정보의 관계를 나타낸 도면이다. 즉, 도 5a 내지 5c는 실시예의 영상획득장치(200)에서 깊이 정보를 추출하는 원리를 간략히 나타낸 것이다.

도 5a는 초점 위치(F)에 피사체(O)가 위치하는 경우를 나타낸 것이다.

도 5a의 (a)도면을 참조하면, 피사체(O)에서 복수의 렌즈를 포함하는 광학부(110)를 통과한 빛은 이미지센서부(100)에 모아지게 된다. 도 5a의 경우, 피사체(O)의 위치가 초점 위치(F)와 일치되므로, 광학부(110)에서 획득된 빛은 이미지 센서부(100) 상의 한 점으로 모아지게 된다.

도 5a의 (b)도면은 이미지센서부(100)의 위상차 검출 화소(10A, 10B)에서 획득된 광학 정보에 대한 휘도 분포를 나타낸 것이다.

도 5a와 같은 초점 위치(F)에 피사체(O)가 배치되는 경우 두 개의 위상차 검출 화소그룹(10A, 10B)에 공급되는 광학 정보의 휘도값 분포는 동일하게 나타나는 것을 알 수 있다.

즉, 이미지센서부(100)의 중심으로 빛이 모아져서 입사되므로, 위상차 검출 화소(10A, 10B)의 마이크로렌즈(13)의 배치가 변경되지 않으므로 위상차 검출 화소(10A, 10B)의 차폐 영역의 방향에 관계없이 동일한 광학 정보를 얻을 수 있게 되는 것이다.

따라서, 서로 다른 차폐영역을 갖는 위상차 검출 화소(10A, 10B)로부터 얻어지는 두 개의 이미지가 일치되는 경우라면 피사체(O)가 영상 획득 장치로부터 렌즈의 초점 거리만큼 떨어진 위치(F)에 이격 되어 있음을 알 수 있다.

도 5b의 경우 초점위치(F)보다 피사체(O)가 영상 획득 장치로부터 먼 거리에 있는 경우로서 피사체(O)에 대한 이미지는 이미지 센서부(100)의 위치보다 앞쪽에서 한 점으로 모아져 초점이 맞게 되고 이미지 센서부(100) 상에서는 초점이 맞지 않는 이미지가 맺히게 된다.

도 5b의 (a)도면을 참조하면, 광학부(110)로부터 출력된 빛 중 광학부(110)의 좌측(도면에서 아래쪽)으로 치우친 빛은 이미지센서부(100)의 우측으로 치우쳐서 공급되며, 광학부(110)의 우측(도면에서 위쪽)으로 치우쳐서 출력된 빛은 이미지센서부(100)의 좌측으로 치우쳐서 공급되게 된다.

예를 들어 도 5b의 경우, 도 4의 도면에서 설명한 위상차 검출화소의 작동 원리로 인하여 위상차 검출 화소(10A, 10B)에 포함되는 마이크로렌즈(13)의 이동이 일어나게 된다. 이때, 위상차 검출 화소(10A, 10B)의 마이크로렌즈(13)로 인하여 포토 다이오드(15)의 중심 영역으로 빛을 모아지도록 하게 되므로, 제1 그룹화소(10A)들에 공급되는 광학 정보는 이미지 센서부(100)의 우측에 배치된 화소들에서 높은 휘도 값을 나타내며, 반대로 제2 그룹화소(10B)들에 공급되는 광학 정보는 이미지 센서부(100)의 좌측에 배치된 화소들에서 높은 휘도 값을 나타내게 된다.

즉, 도시된 도 5b의 (b) 그래프와 같이 이미지 센서부(100)의 중심 화소(C)를 기준으로 각 위상차 검출 화소(10A, 10B)에 공급되는 광학 정보는 반대방향으로 치우친 휘도 분포를 가지게 된다.

따라서, 도 5b의 경우 이미지 센서부(100) 상에서는 한 점으로 빛이 모아지지 않으므로 초점이 맞지 않는 두 개의 이미지가 생성되며, 이러한 두 개의 이미지에서 위상차를 구할 수 있고, 두 이미지의 위상차 값으로부터 광학부(110)로부터 피사체(O)가 이격된 거리 정보를 구할 수 있다.

도 5c는 초점위치(F)보다 피사체(O)가 영상 획득 장치와 가까운 위치에 배치되는 경우이다. 이때 피사체(O)에 대해서는 이미지 센서부(100)의 위치보다 뒤쪽에서 초점이 맞는 이미지가 맺히게 되며, 이미지 센서부(100)의 위치에서는 초점이 맞지 않는 이미지가 형성되게 된다.

도 5c의 (a)도면을 참조하면, 광학부(110)로부터 출력된 빛 중 광학부(110)의 좌측(도면의 아래쪽)으로 치우친 빛은 이미지센서부(100)의 좌측으로 치우쳐서 공급되며, 광학부(110)의 우측(도면의 위쪽)으로 치우쳐서 출력된 빛은 이미지센서부(100)의 우측으로 치우쳐서 공급되게 된다.

예를 들어, 도 5c의 경우에도 위상차 검출 화소(10A, 10B)에 포함되는 마이크로렌즈(13)의 이동이 일어나게 되며, 도 5b의 경우와는 반대로 제1 그룹화소(10A)들에 공급되는 광학 정보는 이미지 센서부(100)의 좌측에 배치된 화소들에서 높은 휘도 값을 나타내며, 제2 그룹화소(10B)들에 공급되는 광학 정보는 이미지 센서부(100)의 우측에 배치된 화소들에서 높은 휘도 값을 나타내게 된다.

즉, 도시된 도 5c의 (b) 그래프와 같이 이미지 센서부의 중심 화소(C)를 기준으로 각 위상차 검출 화소(10A, 10B)에 공급되는 광학 정보는 반대방향으로 치우친 휘도 분포를 가지며, 이는 도 5b의 (b) 그래프와는 다른 경향을 나타내게 된다.

또한, 도 5b의 경우와 마찬가지로 도 5c의 경우에서도 이미지 센서부(100)에서는 한 점으로 빛이 모아지지 않으므로 초점이 맞지 않는 두 개의 이미지가 생성되며, 이러한 두 개의 이미지에서 위상차를 구할 수 있고, 두 이미지의 위상차 값으로부터 광학부(110)로부터 피사체(O)가 이격된 거리 정보를 구할 수 있다.

도 6은 두 개의 서로 다른 위상차 검출 화소그룹(10A, 10B)에서의 화소별 휘도 값의 분포 그래프를 간략히 나타낸 것이다.

도 6에서 X축은 위상차 검출 화소의 위치를 나타내며, Y축은 각 위상차 검출 화소에 공급되는 광학 정보의 휘도 값을 나타낸다.

도 6의 그래프에서 (a)와 (b)는 서로 다른 위상차 검출 화소그룹(10A, 10B)에서 처리된 영상 정보일 수 있으며, 이때 동일한 휘도값을 가진 지점에서의 두 그래프의 화소의 차이(pixel)가 위상차 값이 될 수 있다.

예를 들어, 도 6의 그래프에서 휘도가 가장 높은 두 개의 지점의 거리인 d가 두 개의 위상차 검출 화소그룹(10A, 10B)의 위상차에 해당할 수 있다.

도 7은 위상차 값인 화소의 차이(pixel)와 피사체의 거리의 관계를 나타낸 그래프이다.

도 7은 일 실시예로 300mm의 고정 초점 거리를 갖는 렌즈를 포함하는 영상 획득 장치에서의 위상차 값과 거리의 관계를 나타낸 것이다. 이때 위상차가 없는 경우, 즉 X축이 0인 지점에서 피사체까지의 거리는 300mm일 수 있다.

따라서, 300mm의 초점 거리를 갖는 고정 초점 렌즈를 포함하는 영상 획득 장치(200)를 사용한 경우, 도 7에 도시된 그래프의 관계로부터 두 개의 위상차 검출 화소그룹(10A, 10B)으로부터 획득된 영상 정보 중 위상차 값에 대한 거리 정보를 확인할 수 있다.

도 7의 그래프를 참조할 때 피사체가 초점거리의 안쪽인 근거리에 배치될수록 두 개의 위상차 화소그룹의 위상차 값은 점점 커지게 되고, 피사체가 초점거리 밖으로 멀어지게 배치될 경우는 위상차 값은 음(-)의 값으로 점차적으로 커지게 된다.

또한, 도 7에서 피사체가 초점 거리보다 먼 위치에 배치될 때가 초점 거리보다 가까운 위치에 배치될 때와 비교하여 상대적으로 거리의 변화에 따른 위상차 값의 변화가 작게 나타나는 것을 알 수 있다. 이는 피사체에서 광학부로 획득된 빛이 광학부의 렌즈의 양측, 예를 들어 렌즈의 좌측과 우측으로 입사하는 빛의 각도의 변화가 거리가 멀어질수록 점차적으로 작아지기 때문이다.

도 8은 이미지 센서부(100)의 일 실시예를 나타낸 도면이다.

이미지 센서부(100)에 포함되는 화소수는 도면에 도시된 것에 한정되지 않으며, 이미지 센서부(100)에 포함되는 전체 화소수는 도면에 도시된 것 보다 적거나 많을 수 있다.

이미지 센서부(100)는 복수의 위상차 검출 화소(10)와 함께 격자 패턴으로 배치된 복수의 이미지 검출 화소(50)를 포함할 수 있다.

이미지 검출 화소(50)는 촬상된 화상의 영상 정보를 생성하기 위한 전기 신호를 생성하는 화소일 수 있다.

이미지 검출 화소(50)는 다수 개의 컬러 화소가 격자 단위를 이루고 이러한 격자 단위가 반복되어 격자 패턴 형태로 배치될 수 있다. 컬러 화소의 경우 빨강(Red), 초록(Green), 파랑(Blue)을 포함할 수 있으나 이에 한정되지 않는다.

도 8에서 도시된 R, G, B는 각각 빨강(Red), 초록(Green), 파랑(Blue)을 각각 나타내며, 격자 단위(A)는 4개의 화소가 2행 2열로 배치된 베이어 배열(Bayer Arrangement)일 수 있으나, 격자 패턴을 이루는 격자 단위는 3행 3열 또는 4행 4열의 격자 단위일 수 있으며, 이에 한정하지 않는다.

이미지 검출 화소(50)가 2행 2열의 격자 단위(A)가 반복되어 격자 패턴을 이루는 경우, 격자 단위(A)를 구성하는 4개의 화소에서 대각선으로 마주보는 2 개의 화소에는 G 화소가 배치되고, 나머지 2개의 화소에는 각각 R과 B 화소가 배치될 수 있다.

위상차 검출 화소(10)는 이미지 검출 화소(50)의 격자 단위(A)에서 G 화소 위치에 배치될 수 있다.

이미지 센서부(100)의 실시예에서 제1 그룹화소(10A)는 행 방향으로 일정 간격 이격되어 제1 배열라인(L1)으로 배치되고, 제2 그룹화소(10B)는 행 ?항으로 일정 간격 이격되어 제2 배열라인(L2)으로 배치되며, 제1 배열라인(L1)과 제2 배열라인(L2)은 열 방향으로 교차되어 배치될 수 있다.

하지만, 이미지 센서부(100)에서의 위상차 검출 화소(10)의 배치는 도 8 및 상술한 실시예에 한정하지 않으며, 제1 그룹화소(10A)들 사이의 이격된 간격 또는 제1 그룹화소(10A)와 제2 그룹화소(10B)의 배치 형태는 다양할 수 있다.

또한, 도 1에 도시된 실시예의 영상 획득 장치(200)에서 영상 정보 출력부(190)는 위상차 검출 화소의 영상 정보와 함께, 이미지 검출 화소(50)에 대해 생성된 이미지 정보를 출력할 수 있다.

즉, 영상 출력부(190)는 위상차 값으로부터 구한 깊이 값을 출력할 수 있고, 깊이 값을 매핑한 깊이 지도(Depth map) 영상을 출력할 수도 있으며, 또한 이미지 검출 화소(50)로부터 생성된 피사체에 대한 이미지 정보도 출력할 수 있다.

실시예에 따른 영상 획득 장치(200)의 경우 이미지 센서부(100)에 복수의 위상차 검출 화소(10)를 포함함으로써, 스테레오 카메라를 이용하는 경우와 같이 두 개의 영상 정보를 각각 얻을 수 있으며, 이로부터 위상차를 검출하여 위상차 값에 상응하는 깊이 값을 메모리부(150)에 저장된 데이터로부터 얻을 수 있으므로, 용이하게 깊이 값 및 깊이 지도를 구할 수 있는 효과가 있다.

예를 들어, 실시예와 같이 위상차 검출 화소(10)를 포함하는 이미지 센서부(100)가 장착된 카메라를 사용하는 경우, 두 개의 카메라 없이도 3차원 영상을 위한 깊이 또는 거리 정보를 얻을 수 있다.

이하 상술한 영상 획득 장치(200)를 포함한 휴대용 단말기와 실시예의 영상 획득장치(200)를 이용한 영상 획득 방법에 대해 첨부된 도면을 참조하여 다음과 같이 설명하지만, 실시예는 이에 국한되지 않는다.

도 9는 일 실시예의 휴대용 단말기(300)의 개략적인 구성을 블럭도로 나타낸 도면이다.

실시예의 휴대용 단말기(300)는 상술한 실시예의 영상 획득 장치(200)와 실시예의 영상 획득 장치(200)에서 출력하는 깊이 값을 포함한 영상을 표시하는 디스플레이부(230) 및 영상 획득 장치의 동작을 조절하는 입력부(250)를 포함할 수 있다.

휴대용 단말기(300)는 영상 획득 장치(200)로부터 입력되는 정보를 디스플레이부(230)로 전달하여 외부로 출력하거나, 또는 영상 획득 장치(200)의 거리 값에 대한 정보를 휴대용 단말기의 다른 기능에 이용되도록 제공하는 제어부(210)를 더 포함할 수 있다.

제어부(210)는 거리 값과 이미지 정보를 출력하여 휴대용 단말기(300)의 메모리에 저장되게 하거나, 휴대용 단말기에 저장된 다른 정보와 같이 이용되도록 할 수 있다.

제어부(210)는 휴대용 단말기(300)의 전반적인 동작을 제어하는 것일 수 있으며, 예를 들어, 영상 획득 장치(200)에서 획득한 영상정보를 디스플레이부(230)로 표시하여 출력하게 할 수 있으며, 영상 획득 장치(200)에서 획득된 깊이 또는 거리 값을 데이터화하여 휴대용 단말기 제어부에 입력되는 다른 정보와 혼합된 정보로 이용되게 할 수도 있다.

디스플레이부(230)는 영상 획득 장치(200)에서 획득된 영상을 사용자가 확인할 수 있도록 표시하는 장치일 수 있으며, 휴대용 단말기의 전면에 배치될 수 있다. 디스플레이부(230)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 등이 포함될 수 있으나, 이에 한정하지 않는다.

입력부(250)는 영상 획득 장치(200) 및 디스플레이부(230)를 포함한 휴대용 단말기(300)의 동작을 조절하는 것일 수 있으며, 입력부(250)는 터치입력부 또는 버튼입력부 등을 포함할 수 있다. 입력부(250)의 정보 입력 방법은 터치(Touch), 탭(Tap), 드래그(Drag), 제스쳐(Gesture) 등을 포함할 수 있으나, 휴대용 단말기(300)의 동작을 조절할 수 있는 방법은 제한 없이 사용될 수 있다.

도 10은 실시예에 따른 영상 획득 방법의 플로우차트를 나타낸 도면이다.

도 10을 참조하면, 실시예의 영상 획득 방법은 광학정보를 획득하는 단계(S1000), 광학정보를 전기적 신호로 변환하는 단계(S1100), 변환된 전기적 신호를 영상 처리하는 단계(S1200), 기준 영상 정보와 비교하여 깊이 값을 추출하는 단계(S1300) 및 영상 정보를 출력하는 단계(S1400)를 포함할 수 있다.

광학 정보를 획득하는 단계(S1000)는 실시예의 영상 획득 장치(200)의 광학부(110)에서 출력되는 광 신호를 생성하는 단계일 수 있다.

전기적 신호로 변환하는 단계(1200)는 광학부(110)에서 출력된 광학 정보가 이미지 센서부(100)에 입력되고, 이미지 센서부(100)에서 광학 정보를 전기적 신호로 광전 변환하는 단계를 포함할 수 있다.

이미지 센서부(100)에서의 전기적 신호로 변환하는 단계는 이미지 검출 화소(50)와 위상차 검출 화소(10)로 입력된 광학 정보를 전기적 신호로 변환하는 단계일 수 있다.

영상 처리 단계(S1200)는 이미지 센서부(100)에서 변환된 전기적 신호를 화상 영상 정보와 깊이 정보 획득을 위한 위상차 검출용 영상 정보로 처리하는 단계일 수 있다.

기준 영상 정보와 비교하여 깊이 값을 추출하는 단계(S1300)에서는 영상 획득 장치(200)의 메모리부(150)에 저장된 기준 영상 정보와 영상 처리 단계에서 처리된 위상차 검출 화소(10)의 영상 정보를 비교하여 이에 상응하는 깊이 값을 저장된 look up table에서 검색하여 추출하는 단계일 수 있다.

영상 정보 출력 단계(S1400)는 추출된 영상 정보를 제공하는 단계일 수 있다. 즉, 영상 처리된 위상차 검출 화소(10)의 정보에 대한 깊이 값을 제공하는 것일 수 있으며, 또한 이미지 검출 화소(50)의 화상 영상 정보를 제공하는 단계를 포함할 수 있다.

또한, 영상 정보 출력단계(S1400)에서 깊이 값을 제공하는 경우에 있어서, 깊이 값을 매핑한 깊이 지도를 제공하는 단계를 포함할 수 있다.

실시예에 따른 영상 획득 방법의 경우 위상차 검출 화소(10)를 포함하는 이미지 센서부(100)에서 처리된 영상 정보로부터 피사체에 대한 위상차 값을 추출하고 이를 메모리부(150)의 기준 정보와 비교하여 피사체의 깊이 정보를 얻을 수 있으므로, 스테레오 카메라를 사용하여 깊이 지도(depth map)를 획득한 종래의 방법과 비교하여 하나의 영상 획득 장치로부터 깊이 지도를 얻을 수 있는 효과가 있다.

즉, 실시예의 경우 피사체에 대한 3차원 영상 정보를 하나의 영상 획득 장치를 이용하여서도 용이하게 획득할 수 있게 된다.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 위상차 검출 화소 50 : 이미지 검출 화소
100 : 이미지 센서부 110 : 광학부
200 : 영상 획득 장치 300 : 휴대용 단말기

Claims

고정 초점 거리를 갖는 렌즈로부터 획득된 광학 정보를 출력하는 광학부;
상기 광학 정보를 전기적 신호로 변환하며, 복수의 위상차 검출 화소를 포함하는 이미지 센서부;
상기 이미지 센서부에서 변환된 상기 전기적 신호를 영상 처리하여 관심 영상 정보를 생성하는 영상 정보 처리부;
기준 영상 정보에 대한 깊이 값을 매칭하여 저장한 메모리부;
상기 관심 영상 정보에 상응하는 상기 기준 영상 정보에 매칭된 상기 깊이 값을 상기 메모리부로부터 추출하는 연산부; 및
상기 연산부에서 추출된 상기 깊이 값을 출력하는 영상 정보 출력부; 를 포함하는 영상 획득 장치.
제 1항에 있어서, 상기 복수의 위상차 검출 화소는 일측에 편향된 쉴드 영역을 갖는 제1 그룹화소; 및
타측에 편향된 쉴드 영역을 갖는 제2 그룹화소; 를 포함하는 영상 획득 장치.
제 2항에 있어서, 상기 관심 영상 정보는 서로 동일한 휘도 레벨을 갖는 상기 제1 그룹화소의 제1 전기적 신호 및 상기 제2 그룹화소의 제2 전기적 신호 간의 위상차를 포함하는 영상 획득 장치.
제 2항에 있어서, 상기 제1 그룹화소는 행 방향으로 일정 간격 이격되어 제1 배열라인으로 배치되고, 상기 제2 그룹화소는 상기 행 방향으로 일정 간격 이격되어 제2 배열라인으로 배치되며, 상기 제1 배열라인과 상기 제2 배열라인은 열 방향으로 교차되어 배치된 영상 획득 장치.
제 1항에 있어서, 상기 이미지 센서부는 상기 복수의 위상차 검출 화소와 함께 격자 패턴으로 배치된 복수의 이미지 검출 화소를 더 포함하는 영상 획득 장치.
제 5항에 있어서, 상기 영상 정보 출력부는 상기 복수의 이미지 검출 화소에 대해 생성된 이미지 정보를 출력하는 영상 획득 장치.
제 1항에 있어서, 상기 영상 정보 출력부는 상기 연산부에서 추출된 상기 깊이 값을 포함한 깊이 지도를 출력하는 영상 획득 장치.
제 1항 내지 제 7항 중 어느 한 항의 영상 획득 장치; 및
상기 영상 획득 장치에서 출력하는 상기 깊이 값을 포함하는 영상을 표시하는 디스플레이 장치; 를 포함하는 휴대용 단말기.
제 1항 내지 제 7항 중 어느 한 항의 영상 획득 장치를 이용한 영상 획득 방법에 있어서,
광학 정보를 획득하는 단계;
상기 광학 정보를 전기적 신호로 변환하는 단계;
상기 변환된 전기적 신호를 영상 처리하는 단계;
상기 영상 처리된 관심 영상 정보를 상기 메모리부에 저장된 상기 기준 영상 정보와 비교하여 상응하는 깊이 값을 추출하는 단계; 및
상기 추출된 깊이 값을 제공하는 단계; 를 포함하는 영상 획득 방법.
제 9항에 있어서, 상기 깊이 값을 제공하는 단계는 상기 추출된 깊이 값을 이용한 깊이 지도를 제공하는 단계를 포함하는 영상 획득 방법.