KR20200108736A

KR20200108736A - Camera module

Info

Publication number: KR20200108736A
Application number: KR1020190027787A
Authority: KR
Inventors: 이창혁; 김대근
Original assignee: 엘지이노텍 주식회사
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2020-09-21

Abstract

An embodiment of the present invention discloses a camera module including a light output unit to output an optical signal to an object, an optical unit to transmit the optical signal reflected from the object, a sensor to receive the optical signal having passed through the optical unit, and a control unit to acquire depth information of the object by using the optical signal received from the sensor. The sensor includes: a first row area including an active area in which a light receiving unit is disposed, and a non-active area other than the active area, and formed by alternatively disposing the active area and the non-active area; and a second row area in which an active area and a non-active area are alternatively disposed in a row direction, and the active area is disposed at a non-overlap area with the active area of the first row area in a column area. Light reaching the active area of the first row area is controlled to reach the non-active area of the first row area or the non-active area of the second row area through first shifting control, and the light reaching the second row area is controlled to reach the non-active area of the second row area or the non-active area of the first row area under first shifting control.

Description

Camera module {CAMERA MODULE}

본 발명은 깊이 정보를 추출하는 카메라 모듈에 관한 것이다.The present invention relates to a camera module for extracting depth information.

3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다. 3D content is applied in many fields such as education, manufacturing, and autonomous driving, as well as games and culture, and depth map is required to obtain 3D content. Depth information is information representing a distance in space, and represents perspective information of another point with respect to one point of a 2D image.

깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 빛을 쏘아서 반사되어 오는 빛의 정보를 이용하여 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다. As a method of obtaining depth information, a method of projecting infrared (IR) structured light onto an object, a method of using a stereo camera, a method of using a time of flight (TOF), and the like are used. According to the TOF method, the distance to an object is calculated using information of light reflected by emitting light. The biggest advantage of the ToF method is that it provides fast, real-time distance information for 3D space. In addition, users can obtain accurate distance information without applying a separate algorithm or performing hardware correction. In addition, accurate depth information can be obtained by measuring a very close subject or measuring a moving subject.

미국 등록특허 6437307호US Patent No. 6437307

본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈을 제공하는데 있다.An object of the present invention is to provide a camera module for extracting depth information using a TOF method.

실시예에 따르면, 객체로 광 신호를 출력하는 광출력부; 상기 객체로부터 반사된 상기 광 신호를 투과시키는 광학부; 상기 광학부를 투과한 상기 광 신호를 수신하는 센서; 및 상기 센서로 수신된 상기 광 신호를 이용하여 상기 객체의 깊이 정보를 획득하는 제어부;를 포함하고 상기 센서는 수광 소자가 배치되는 유효 영역과 상기 유효 영역 이외의 비유효 영역을 포함하고, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되는 제1 행 영역과, 행 방향으로 상기 유효 영역과 상기 비유효 영역이 교번하여 배치되고 열 방향으로 상기 제1 행 영역의 유효 영역과 중첩되지 않은 위치에 유효 영역이 배치되는 제2 행 영역을 포함하고, 상기 제1 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역 또는 상기 제2 행 영역의 비유효 영역에 도달하도록 제어되고,상기 제2 행 영역의 유효 영역에 도달하는 광은 제1 시프팅 제어에 의해 상기 제2 행 영역의 비유효 영역 또는 상기 제1 행 영역의 비유효 영역에 도달하도록 제어된다.According to an embodiment, an optical output unit that outputs an optical signal to an object; An optical unit for transmitting the optical signal reflected from the object; A sensor for receiving the optical signal transmitted through the optical unit; And a control unit that obtains depth information of the object using the optical signal received by the sensor; wherein the sensor includes an effective area in which a light receiving element is disposed and an ineffective area other than the effective area, and a row direction As a result, a first row area in which the effective area and the ineffective area are alternately disposed, and the effective area and the ineffective area are alternately disposed in a row direction, and do not overlap with the effective area of the first row area in a column direction. And a second row area in which an effective area is disposed at a non-valid position, and light reaching the effective area of the first row area is a non-effective area of the first row area or the second row by a first shifting control. It is controlled to reach an invalid area of the area, and the light reaching the effective area of the second row area is a non-effective area of the second row area or a non-effective area of the first row area by a first shifting control. Is controlled to reach.

상기 제1 행 영역의 비유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 상기 제1 행 영역의 비유효 영역에 인접한 상기 제2 행 영역의 비유효 영역 방향으로 시프팅 제어될 수 있다.Light reaching the ineffective area of the first row area may be shifted in a direction of an ineffective area of the second row area adjacent to the ineffective area of the first row area by a second shifting control.

상기 제1 행 영역의 유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 상기 제1 행 영역의 유효 영역에 인접한 상기 제2 행 영역의 유효 영역 방향으로 시프팅 제어될 수 있다.Light reaching the effective area of the first row area may be shifted to the effective area of the second row area adjacent to the effective area of the first row area by a second shifting control.

상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 상기 센서의 평면 상에서 이동 거리는 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 상기 센서 평면상에서 이동거리와 상이할 수 있다.A movement distance of light reaching the sensor by the first shifting control on a plane of the sensor may be different from a movement distance of light reaching the sensor by the second shifting control on a plane of the sensor.

상기 센서 평면상에서, 상기 제1 시프팅 제어에 의한 광의 이동거리는 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 클 수 있다.On the sensor plane, a moving distance of light by the first shifting control may be greater than a moving distance of light reaching the sensor by the second shifting control.

상기 제1 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 동일 행 영역에서 인접한 유효 영역의 중심간의 거리의 0.3 내지 0.7배일 수 있다.The moving distance of light on the plane of the sensor by the first shifting control may be 0.3 to 0.7 times the distance between the centers of adjacent effective areas in the same row area.

상기 제2 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 상기 제1 행 영역의 유효 영역의 중심에서 상기 제1 행 영역의 유효 영역에 인접한 상기 제2 행 영역의 중심 사이의 거리의 0.3 내지 0.7배일 수 있다.The moving distance of light on the plane of the sensor by the second shifting control is 0.3 to a distance between the center of the effective area of the first row area and the center of the second row area adjacent to the effective area of the first row area. It can be 0.7 times.

상기 센서 평면상에서, 상기 제1 시프팅 제어에 의한 광의 이동거리는 상기 제2 시프팅 제어에 의한 광의 이동거리의 0.5배 내지 1배일 수 있다.On the sensor plane, a moving distance of light by the first shifting control may be 0.5 to 1 times as large as a moving distance of light by the second shifting control.

상기 광학부의 제어에 의해 광 경로가 제어되어 상기 제1 행 영역의 유효 영역에 수신되는 광은 상기 제1 행 영역의 비유효 영역에 도달하도록 제어되고, 상기 제2 행 영역의 유효 영역에 수신되는 광은 상기 제2 행 영역의 비유효 영역에 도달되도록 시프팅 제어될 수 있다.The optical path is controlled by the control of the optical unit so that the light received in the effective area of the first row area is controlled to reach the ineffective area of the first row area, and received in the effective area of the second row area. The light may be shifted controlled to reach the non-effective area of the second row area.

상기 광학부는 적외선 투과 필터를 포함하고, 상기 시프팅 제어는 상기 적외선 투과 필터를 틸팅시켜 제어할 수 있다.The optical unit includes an infrared transmission filter, and the shifting control may be controlled by tilting the infrared transmission filter.

상기 광학부는 초점이 조절되는 가변 렌즈를 포함하고, 상기 시프팅 제어는 상기 가변 렌즈를 조절하여 제어할 수 있다.The optical unit includes a variable lens whose focus is adjusted, and the shifting control may be controlled by adjusting the variable lens.

상기 가변 렌즈는 적어도 하나의 액체를 포함하는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 렌즈, SMA 렌즈, MEMS 렌즈 중 적어도 하나를 포함할 수 있다.The variable lens may include at least one of a liquid lens containing at least one liquid, a polymer lens, a liquid crystal lens, a VCM lens, an SMA lens, and a MEMS lens.

상기 광출력부로부터 출력된 상기 광 신호와 상기 센서에 수신된 상기 광 신호 간의 시간 차를 이용하거나 서로 다른 위상에 상기 센서의 유효 영역을 노출시키는 상기 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 상기 객체의 깊이 정보를 획득하는 연산부를 포함할 수 있다.A plurality of pieces of information acquired during a plurality of exposure times of the sensor using a time difference between the optical signal output from the optical output unit and the optical signal received by the sensor, or exposing the effective area of the sensor to different phases It may include an operation unit that obtains the depth information of the object by using.

상기 연산부는 상기 시프팅 제어 전과 시프팅 제어 후에 상기 센서에서 획득한 정보들을 이용하여 상기 센서보다 높은 해상도의 깊이 정보를 획득할 수 있다.The calculation unit may obtain depth information having a higher resolution than that of the sensor by using information acquired from the sensor before and after the shifting control.

상기 연산부는 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광 간의 인터폴레이션 인터폴레이션(interpolation)을 적용하여 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광에 최인접한 광의 중심에 도달하는 광을 산출할 수 있다.The operation unit applies an interpolation interpolation between the light reaching the sensor by the first shifting control and the light reaching the sensor by the second shifting control to the nearest first shifting control. Accordingly, light reaching the center of the light closest to the light reaching the sensor may be calculated by the light reaching the sensor and the first shifting control closest to the light reaching the sensor.

본 발명의 한 실시예에 따른 카메라 모듈을 이용하면, 센서의 화소 수를 크게 증가시키지 않고도 입사광 신호의 광경로를 쉬프트시켜 높은 해상도로 깊이 정보를 획득할 수 있다.When the camera module according to an embodiment of the present invention is used, depth information can be obtained with high resolution by shifting the optical path of the incident light signal without significantly increasing the number of pixels of the sensor.

또한, 본 발명의 한 실시예에 따르면, 장치의 하드웨어적 구성을 크게 변경시키지 않고도 입사광 신호의 광경로가 쉬프트된 정도를 검출할 수 있으므로, 초해상도의 깊이 정보를 획득할 수 있다. In addition, according to an embodiment of the present invention, since the degree to which the optical path of the incident light signal is shifted can be detected without significantly changing the hardware configuration of the device, depth information of super resolution can be obtained.

또한, 입사광 신호의 광경로 쉬프트 및 인터폴레이션(interpolation) 기법을 적용하여 센서의 화소수 대비 크게 향상된 해상도를 갖는 카메라 모듈을 제공할 수 있다.In addition, it is possible to provide a camera module having a significantly improved resolution compared to the number of pixels of a sensor by applying an optical path shift and interpolation technique of an incident light signal.

또한, 깊이 정보를 용이하게 산출하여 처리되는 데이터 량이 감소된 카메라 모듈을 제공할 수 있다.In addition, it is possible to provide a camera module with a reduced amount of processed data by easily calculating depth information.

도 1은 본 발명의 실시예에 따른 카메라 모듈의 블록도이고,
도 2는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이고,
도 3은 실시예에 따른 카메라 모듈의 단면도이고,
도 4은 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이고,
도 5는 실시예에 따른 센서를 설명하기 위한 도면이고,
도 6 내지 도 8은 변형 실시예에 따른 센서를 설명하기 위한 도면이고,
도 9는 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고,
도 10은 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고,
도 11은 실시예에 따른 카메라 모듈로부터 얻은 깊이 영상이고,
도 12는 실시예에 따른 카메라 모듈에서 제어부에 의한 입력광 신호의 광경로 변경을 설명하기 위한 도면이고,
도 13a 및 도 13b는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
도 13c는 실시예에 따른 카메라 모듈에서 픽셀값 배치 과정을 설명하기 위한 도면이고,
도 13d 내지 도 13e는 IR 필터의 기울기 제어에 따라 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이고,
도 14, 도 15a 내지 도 15c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
도 16, 도 17a 내지 도 17c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
도 18, 도 19a 내지 도 19c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고,
도 20, 도 21a 내지 도 21c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.1 is a block diagram of a camera module according to an embodiment of the present invention,
2 is a diagram for explaining the frequency of an optical signal according to an embodiment,
3 is a cross-sectional view of the camera module according to the embodiment,
4 is a diagram for explaining a process of generating an electric signal according to an embodiment,
5 is a diagram for explaining a sensor according to an embodiment,
6 to 8 are views for explaining a sensor according to a modified embodiment,
9 is a raw image of four phases obtained from the camera module according to the embodiment,
10 is an amplitude image obtained from a camera module according to an embodiment,
11 is a depth image obtained from the camera module according to the embodiment,
12 is a diagram for explaining a change in an optical path of an input optical signal by a controller in a camera module according to an embodiment;
13A and 13B are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment,
13C is a diagram for explaining a pixel value arrangement process in the camera module according to the embodiment;
13D to 13E are diagrams for explaining an effect of shifting an image frame input on a sensor according to tilt control of an IR filter,
14 and 15A to 15C are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment
16 and 17A to 17C are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment,
18 and 19A to 19C are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment,
20 and 21A to 21C are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.However, the technical idea of the present invention is not limited to some embodiments to be described, but may be implemented in various different forms, and within the scope of the technical idea of the present invention, one or more of the constituent elements may be selectively selected between the embodiments. It can be combined with and substituted for use.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in the embodiments of the present invention are generally understood by those of ordinary skill in the art, unless explicitly defined and described. It can be interpreted as a meaning, and terms generally used, such as terms defined in a dictionary, may be interpreted in consideration of the meaning in the context of the related technology.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.In addition, terms used in the embodiments of the present invention are for describing the embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In the present specification, the singular form may include the plural form unless specifically stated in the phrase, and when described as "at least one (or more than one) of A and (and) B and C", it is combined with A, B, and C. It may contain one or more of all possible combinations.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.In addition, terms such as first, second, A, B, (a), and (b) may be used in describing the constituent elements of the embodiment of the present invention.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.These terms are only for distinguishing the component from other components, and are not limited to the nature, order, or order of the component by the term.

그리고 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.And when a component is described as being'connected','coupled' or'connected' to another component, the component is not only directly connected, coupled or connected to the other component, but also the component and its It may also include the case of being'connected','coupled' or'connected' due to another component between different components.

또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In addition, when it is described as being formed or disposed in the "top (top) or bottom (bottom)" of each component, the top (top) or bottom (bottom) is one as well as when the two components are in direct contact with each other. It also includes a case in which the above other component is formed or disposed between the two components. In addition, when expressed as "upper (upper) or lower (lower)", the meaning of not only an upward direction but also a downward direction based on one component may be included.

그리고 이하에서 설명하는 실시예에 다른 카메라 모듈은 광학기기 또는 광학기기의 일부 장치로서 이용될 수 있다. 먼저, 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 네비게이션 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.In addition, the camera module according to the embodiment described below may be used as an optical device or a part of an optical device. First, optical devices include mobile phones, mobile phones, smart phones, portable smart devices, digital cameras, laptop computers, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players) and navigation. It can contain either. However, the type of optical device is not limited thereto, and any device for photographing an image or photograph may be included in the optical device.

광학기기는 본체를 포함할 수 있다. 본체는 바(bar) 형태일 수 있다. 또는, 본체는 2개 이상의 서브 몸체(sub-body)들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙(swing) 타입, 스위블(swirl) 타입 등 다양한 구조일 수 있다. 본체는 외관을 이루는 케이스(케이싱, 하우징, 커버)를 포함할 수 있다. 예컨대, 본체는 프론트 케이스와 리어 케이스를 포함할 수 있다. 프론트 케이스와 리어 케이스의 사이에 형성된 공간에는 광학기기의 각종 전자 부품이 내장될 수 있다. The optical device may include a body. The body may have a bar shape. Alternatively, the main body may have various structures such as a slide type, a folder type, a swing type, and a swivel type in which two or more sub-bodies are relatively movably coupled. The body may include a case (casing, housing, and cover) forming the exterior. For example, the body may include a front case and a rear case. Various electronic components of an optical device may be embedded in a space formed between the front case and the rear case.

광학기기는 디스플레이를 포함할 수 있다. 디스플레이는 광학기기의 본체의 일면에 배치될 수 있다. 디스플레이는 영상을 출력할 수 있다. 디스플레이는 카메라에서 촬영된 영상을 출력할 수 있다.The optics may include a display. The display may be disposed on one surface of the main body of the optical device. The display can output an image. The display may output an image captured by the camera.

광학기기는 카메라를 포함할 수 있다. 카메라는 ToF(Time of Flight) 카메라 모듈을 포함할 수 있다. ToF 카메라 모듈은 광학기기의 본체의 전면에 배치될 수 있다. 이 경우, ToF 카메라 모듈은 광학기기의 보안인증을 위한 사용자의 얼굴인식, 홍채인식, 정맥인식 등 다양한 방식의 생체인식에 사용될 수 있다. The optics may include a camera. The camera may include a Time of Flight (ToF) camera module. The ToF camera module may be disposed in front of the body of the optical device. In this case, the ToF camera module can be used for various types of biometric recognition such as face recognition, iris recognition, and vein recognition of a user for security authentication of optical devices.

도 1은 본 발명의 실시예에 따른 카메라 모듈의 블록도이고, 도 2는 실시예에 따른 광 신호의 주파수를 설명하기 위한 도면이고, 도 3은 실시예에 따른 카메라 모듈의 단면도이다.1 is a block diagram of a camera module according to an embodiment of the present invention, FIG. 2 is a diagram for explaining a frequency of an optical signal according to the embodiment, and FIG. 3 is a cross-sectional view of the camera module according to the embodiment.

도 1 내지 도 3을 참조하면, 카메라 모듈(100)은 광출력부(110), 광학부(120), 센서(130), 및 제어부(150)를 포함할 수 있다. 또한 카메라 모듈(100)은 제어부(150)를 포함할 수 있다.1 to 3, the camera module 100 may include an optical output unit 110, an optical unit 120, a sensor 130, and a control unit 150. In addition, the camera module 100 may include a control unit 150.

광출력부(110)는 발광 모듈, 발광 유닛, 발광 어셈블리 또는 발광 장치일 수 있다. 구체적으로, 광출력부(110)는 광 신호를 생성한 후 객체에 조사할 수 있다. 이때, 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 광출력부(110)가 광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)은 광출력부(110)로부터 출력된 광 신호와 객체로부터 반사된 후 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차 또는 시간 차를 이용 할 수 있다. 본 명세서에서, 출력광은 광출력부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 광출력부(110)로부터 출력된 출력광이 객체에 도달하여 객체로부터 반사된 후 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.The light output unit 110 may be a light emitting module, a light emitting unit, a light emitting assembly, or a light emitting device. Specifically, the light output unit 110 may irradiate an object after generating an optical signal. In this case, the optical output unit 110 may generate and output an optical signal in the form of a pulse wave or a continuous wave. The continuous wave may be in the form of a sinusoid wave or a square wave. As the optical output unit 110 generates an optical signal in the form of a pulse wave or a continuous wave, the camera module 100 reflects the optical signal output from the optical output unit 110 and the object and then inputs the optical signal to the camera module 100. The phase difference or time difference between the input light signals can be used. In this specification, the output light refers to light that is output from the light output unit 110 and is incident on the object, and the input light refers to the light output from the light output unit 110 reaches the object and is reflected from the object. It may mean light input to the module 100. From the object's point of view, the output light may be incident light, and the input light may be reflected light.

광출력부(110)는 생성된 광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다. The optical output unit 110 irradiates the generated optical signal onto the object during a predetermined exposure period (integration time). Here, the exposure period means one frame period. In the case of generating a plurality of frames, the set exposure period is repeated. For example, when the camera module 100 photographs an object at 20 FPS, the exposure period is 1/20 [sec]. And, when generating 100 frames, the exposure period may be repeated 100 times.

광출력부(110)는 소정의 주파수를 가지는 출력 광 신호뿐만 아니라, 서로 다른 주파수를 가지는 복수의 광 신호를 생성할 수도 있다. 또한, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 광 신호를 동시에 생성할 수도 있다.The optical output unit 110 may generate not only an output optical signal having a predetermined frequency, but also a plurality of optical signals having different frequencies. In addition, the optical output unit 110 may sequentially repeatedly generate a plurality of optical signals having different frequencies. Alternatively, the optical output unit 110 may simultaneously generate a plurality of optical signals having different frequencies.

본 발명의 실시예에서 광출력부(110)는 도 2에서와 같이 노출주기의 첫 절반은 주파수 f1인 광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 광 신호가 생성되도록 제어할 수 있다.In an embodiment of the present invention, the optical output unit 110 controls the first half of the exposure period to generate an optical signal with a frequency f1, and the other half of the exposure period controls to generate an optical signal with a frequency f2. can do.

다른 실시예에 따르면, 광출력부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 광 신호가 생성되도록 제어할 수도 있다. 이와 같이, 광출력부(110)는 노출주기 별 상이한 주파수의 출력을 신호를 생성할 수 있다. According to another embodiment, the light output unit 110 may control some of the plurality of light emitting diodes to generate an optical signal having a frequency f1, and control the remaining light emitting diodes to generate an optical signal having a frequency f2. In this way, the optical output unit 110 may generate signals of outputs of different frequencies for each exposure period.

이를 위하여 광출력부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다. To this end, the light output unit 110 may include a light source 112 that generates light and a light modulator 114 that modulates light.

우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770nm 내지 3000nm인 적외선 일 수 있으며, 파장이 380nm 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다. First, the light source 112 generates light. Light generated by the light source 112 may be infrared rays having a wavelength of 770 nm to 3000 nm, or visible light having a wavelength of 380 nm to 770 nm. The light source 112 may use a light emitting diode (LED), and may have a form in which a plurality of light emitting diodes are arranged according to a predetermined pattern. In addition, the light source 112 may include an organic light emitting diode (OLED) or a laser diode (LD). Alternatively, the light source 112 may be a VCSEL (Vertical Cavity Surface Emitting Laser). The VCSEL is one of laser diodes that converts electrical signals into optical signals, and may use a wavelength of about 800 to 1000 nm, for example, about 850 nm or about 940 nm.

광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 광 신호를 생성한다. 일정 시간 간격은 광 신호의 주파수일 수 있다. 광원(112)의 점멸은 광변조부(114)에 의해 제어될 수 있다. The light source 112 repeatedly blinks (on/off) at regular time intervals to generate a pulsed or continuous optical signal. The predetermined time interval may be the frequency of the optical signal. Flickering of the light source 112 may be controlled by the light modulator 114.

광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 광 신호를 생성하도록 제어할 수 있다. The optical modulator 114 controls the blinking of the light source 112 so that the light source 112 generates an optical signal in the form of a continuous wave or a pulse wave. The optical modulator 114 may control the light source 112 to generate an optical signal in the form of a continuous wave or a pulse wave through frequency modulation or pulse modulation.

한편, 광학부(120)는 적어도 하나의 렌즈를 포함할 수 있다. 광학부(120)는 객체로부터 반사된 입력광 신호를 적어도 하나의 렌즈를 통해 집광하여 센서(130)에 전달한다. 적어도 하나의 렌즈는 고체 렌즈를 포함할 수 있다. 또한 적어도 하나의 렌즈는 가변 렌즈를 포함할 수 있다. 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를 들어, 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다. 또한 광학부(120)는 특정 파장 영역을 투과시키는 필터를 포함할 수 있다. 예를들어 특정 파장 영역을 투과시키는 필터는 IR pass 필터를 포함할 수 있다. 또한 광학부(120)는 광학 플레이트를 포함할 수 있다. 광학 플레이트는 광 투과성 플레이트일 수 있다. Meanwhile, the optical unit 120 may include at least one lens. The optical unit 120 collects the input light signal reflected from the object through at least one lens and transmits it to the sensor 130. At least one lens may comprise a solid lens. Also, at least one lens may include a variable lens. The variable lens may be a variable focus lens. Also, the variable lens may be a lens whose focus is adjusted. The variable lens may be at least one of a liquid lens, a polymer lens, a liquid crystal lens, a VCM type, and an SMA type. The liquid lens may include a liquid lens including one liquid and a liquid lens including two liquids. A liquid lens containing one liquid may change the focus by adjusting a membrane disposed at a position corresponding to the liquid. For example, the focus may be changed by pressing the membrane by an electromagnetic force of a magnet and a coil. A liquid lens including two liquids may control an interface formed between the conductive liquid and the non-conductive liquid by using a voltage applied to the liquid lens including a conductive liquid and a non-conductive liquid. The polymer lens can change the focus of the polymer material through a driving unit such as piezo. The liquid crystal lens can change the focus by controlling the liquid crystal by electromagnetic force. The VCM type can change the focus by adjusting the solid lens or the lens assembly including the solid lens through the electromagnetic force between the magnet and the coil. The SMA type can change focus by controlling a solid lens or a lens assembly including a solid lens using a shape memory alloy. In addition, the optical unit 120 may include a filter that transmits a specific wavelength region. For example, a filter that transmits a specific wavelength region may include an IR pass filter. In addition, the optical unit 120 may include an optical plate. The optical plate may be a light transmissive plate.

도 3을 참조하면, 카메라 디바이스(300)는 렌즈 어셈블리(310), 센서(320) 및 인쇄회로기판(330)을 포함할 수 있다. 여기서, 렌즈 어셈블리(310)는 도 1의 광학부(120)에 대응하고, 센서(320)는 도 1의 센서(130)에 대응할 수 있다. 그리고 도 1의 제어부(150)는 인쇄회로기판(330) 또는 센서(32)에서 구현될 수 있다. 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 배치되거나, 별도의 구성으로 배치될 수 있다. 광출력부(110)는 제어부(150)에 의해 제어될 수 있다.Referring to FIG. 3, the camera device 300 may include a lens assembly 310, a sensor 320, and a printed circuit board 330. Here, the lens assembly 310 may correspond to the optical unit 120 of FIG. 1, and the sensor 320 may correspond to the sensor 130 of FIG. 1. In addition, the control unit 150 of FIG. 1 may be implemented on the printed circuit board 330 or the sensor 32. Although not shown, the optical output unit 110 of FIG. 1 may be disposed on the printed circuit board 330 or may be disposed in a separate configuration. The light output unit 110 may be controlled by the control unit 150.

렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다. The lens assembly 310 may include a lens 312, a lens barrel 314, a lens holder 316 and an IR filter 318.

렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다. 렌즈(312)는 상술한 가변 렌즈를 포함할 수 있다.The lens 312 may be composed of a plurality of sheets, or may be composed of one sheet. When the lens 312 is formed of a plurality of elements, each of the lenses may be aligned with respect to a central axis to form an optical system. Here, the central axis may be the same as the optical axis of the optical system. The lens 312 may include the variable lens described above.

렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.The lens barrel 314 is coupled to the lens holder 316, and a space for accommodating a lens may be provided therein. The lens barrel 314 may be rotationally coupled to one or a plurality of lenses, but this is exemplary, and may be coupled in other ways such as a method using an adhesive (eg, an adhesive resin such as epoxy). .

렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314)에 IR 필터(318)가 배치될 수 있는 공간이 형성될 수 있다. 도시되지는 않았지만 렌즈 배럴(314)에는 제어부(15)에 의해 제어되어 IR 배럴(314)을 틸트 시키거나 시프팅 시킬 수 있는 구동부가 배치될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.The lens holder 316 may be coupled to the lens barrel 314 to support the lens barrel 314 and may be disposed on the printed circuit board 330 on which the sensor 320 is mounted. A space in which the IR filter 318 may be disposed may be formed in the lens barrel 314 by the lens holder 316. Although not shown, a driving unit that is controlled by the control unit 15 and can tilt or shift the IR barrel 314 may be disposed in the lens barrel 314. A spiral pattern may be formed on the outer circumferential surface of the lens holder 316, and similarly, it may be rotationally coupled with the lens barrel 314 having a helical pattern formed on the outer circumferential surface. However, this is merely an example, and the lens holder 316 and the lens barrel 314 may be coupled through an adhesive, or the lens holder 316 and the lens barrel 314 may be integrally formed.

렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 센서(320)가 탑재된 인쇄회로기판(330) 상에 배치되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.The lens holder 316 may be divided into an upper holder 316-1 coupled to the lens barrel 314 and a lower holder 316-2 disposed on the printed circuit board 330 on which the sensor 320 is mounted. In addition, the upper holder 316-1 and the lower holder 316-2 may be integrally formed, formed in a structure separated from each other, and then fastened or combined, or may have a structure separated from each other and spaced apart from each other. In this case, the diameter of the upper holder 316-1 may be formed smaller than the diameter of the lower holder 316-2.

상기의 예시는 일 실시예에 불과하며, 광학부(120)는 ToF 카메라 모듈(100)로 입사되는 입력광 신호를 집광하여 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다. The above example is only an example, and the optical unit 120 may be configured with another structure capable of condensing an input light signal incident to the ToF camera module 100 and transmitting it to the sensor 130.

센서(130)는 광학부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다. 실시예로, 센서(130)는 광출력부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로, 센서(130)는 광출력부(110)로부터 출력된 광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다. The sensor 130 generates an electric signal using the input light signal condensed through the optical unit 120. In an embodiment, the sensor 130 may absorb an input optical signal in synchronization with the blinking period of the optical output unit 110. Specifically, the sensor 130 may absorb an optical signal output from the optical output unit 110 and light in an in phase and an out phase, respectively.

센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 예컨대, 전기 신호는 각 참조 신호와 입력광 간의 믹싱(mixing)된 신호이며, 믹싱은 합성곱(convolution), 곱(multiplication) 등을 포함할 수 있다. 또한, 참조 신호의 주파수는 광출력부(110)로부터 출력된 광 신호의 주파수에 대응하게 설정될 수 있다. 실시예로, 참조 신호의 주파수는 광출력부(110)의 광 신호의 주파수와 동일할 수 있다. The sensor 130 may generate an electric signal corresponding to each reference signal by using a plurality of reference signals having different phase differences. For example, the electric signal is a signal that is mixed between each reference signal and the input light, and the mixing may include convolution, multiplication, and the like. Also, the frequency of the reference signal may be set to correspond to the frequency of the optical signal output from the optical output unit 110. In an embodiment, the frequency of the reference signal may be the same as the frequency of the optical signal of the optical output unit 110.

이와 같이, 광출력부(110)가 복수의 주파수로 광 신호를 생성하는 경우, 센서(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성할 수 있다. 그리고 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다. 또한, 전기 신호는 각 픽셀 별로 산출될 수 있다.In this way, when the optical output unit 110 generates an optical signal with a plurality of frequencies, the sensor 130 may generate an electrical signal using a plurality of reference signals corresponding to each frequency. In addition, the electric signal may include information on an amount of charge or voltage corresponding to each reference signal. In addition, the electric signal may be calculated for each pixel.

제어부(150)는 입력광 신호의 광경로를 시프팅 시키도록 광학부(120)를 제어할 수 있다. 이러한 구성에 의하여, 후술하는 바와 같이 고해상의 깊이 이미지를 추출하기 위한 복수의 이미지 데이터를 출력할 수 있다. 이에 대한 자세한 설명은 후술한다. 그리고 여기에서 소정의 단위는 후술하는 제1 이동거리, 제2 이동거리를 포함하며, 이에 대한 자세한 설명은 후술한다.The controller 150 may control the optical unit 120 to shift the optical path of the input optical signal. With this configuration, as described later, a plurality of image data for extracting a high-resolution depth image can be output. A detailed description of this will be described later. And here, the predetermined unit includes a first moving distance and a second moving distance to be described later, and a detailed description thereof will be described later.

추가적으로, 카메라 모듈(100)은 센서(130)로부터 수신한 전기 신호를 이용하여 센서의 해상도보다 높은 고해상의 깊이 정보를 연산하는 연산부(140)를 포함할 수 있다. 또한 연산부(140)는 카메라 모듈을 포함하는 광학 기기에 배치되어 연산을 수행할 수도 있다. 이하에서는 카메라 모듈 내에 연산부(140)가 배치되는 것을 기준으로 설명한다.Additionally, the camera module 100 may include an operation unit 140 that calculates high-resolution depth information higher than the resolution of the sensor by using the electric signal received from the sensor 130. In addition, the operation unit 140 may be disposed on an optical device including a camera module to perform an operation. Hereinafter, it will be described based on the arranging of the calculating unit 140 in the camera module.

그리고 이 경우 연산부는 센서(130)에 센싱된 정보를 카메라 모듈(100)로부터 전달 받아 연산을 수행할 수 있다. 연산부(140)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 정보를 수신하고 복수의 저해상 정보를 이용하여 고해상 깊이 정보를 생성할 수 있다. 예를 들어 복수의 저해상 정보를 재배열 하여 고해상 깊이 정보를 생성할 수 있다.In this case, the calculation unit may perform calculation by receiving information sensed by the sensor 130 from the camera module 100. The calculation unit 140 may receive a plurality of low-resolution information using the electric signal received from the sensor 130 and generate high-resolution depth information using the plurality of low-resolution information. For example, a plurality of low-resolution information may be rearranged to generate high-resolution depth information.

이 때, 연산부(140)는 객체와 카메라 모듈(100) 사이의 거리를 광 출력부로부터 출력된 광 신호와 상기 센서에 수신된 광 신호 간의 시간 차를 이용하거나, 서로 다른 위상에 센서의 유효 영역을 노출시키는 센서의 복수의 노출 시간동안 획득한 복수의 정보를 이용하여 산출할 수 있다. In this case, the calculation unit 140 determines the distance between the object and the camera module 100 by using a time difference between the optical signal output from the optical output unit and the optical signal received by the sensor, or the effective area of the sensor at different phases. It can be calculated by using a plurality of pieces of information acquired during a plurality of exposure times of the sensor that exposes.

도 4은 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.이 때, 상술한 바와 같이 반사광(입력광)은 입사광(출력광)이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연될 수 있다.4 is a diagram for explaining a process of generating an electrical signal according to an exemplary embodiment. In this case, as described above, the reflected light (input light) is in phase by the distance from which the incident light (output light) is incident on the object and is reflected back. May be delayed.

또한, 참조 신호는 상술한 바와 같이 복수 개일 수 있으며, 실시예에서는 도 4에 나타난 바와 같이 참조 신호는 4개(C1 내지 C4)일 수 있다. 그리고 각 참조 신호(C1 내지 C4)는 광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 광 신호와 동일한 위상을 가질 수 있다.Further, as described above, there may be a plurality of reference signals, and in an embodiment, as shown in FIG. 4, there may be four reference signals (C1 to C4). In addition, each of the reference signals C1 to C4 may have the same frequency as the optical signal, but may have a phase difference of 90 degrees from each other. One of the four reference signals C1 may have the same phase as the optical signal.

센서(130)는 각 참조 신호에 대응하여 센서(130)의 유효 영역을 노출시킬 수 있다. 센서(130)는 노출시키는 시간 동안에 광 신호를 수광할 수 있다. The sensor 130 may expose the effective area of the sensor 130 in response to each reference signal. The sensor 130 may receive the light signal during the exposure time.

센서(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)할 수 있다. 그러면, 센서(130)는 도 4의 음영 부분에 대응하는 전기 신호를 생성할 수 있다.The sensor 130 may mix the input optical signal and each reference signal, respectively. Then, the sensor 130 may generate an electric signal corresponding to the shaded portion of FIG. 4.

다른 실시예로, 노출 시간 동안 복수의 주파수로 광 신호가 생성된 경우, 센서(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다. 이하에서는 이를 바탕으로 설명하나, 상술한 바와 같이 광 신호는 하나의 주파수(예컨대, f1)를 가지고 생성될 수 있다.In another embodiment, when an optical signal is generated at a plurality of frequencies during the exposure time, the sensor 130 absorbs an input optical signal according to the plurality of frequencies. For example, it is assumed that an optical signal is generated at frequencies f1 and f2, and a plurality of reference signals has a phase difference of 90 degrees. Then, since the incident optical signal also has frequencies f1 and f2, four electrical signals may be generated through an input optical signal having a frequency of f1 and four reference signals corresponding thereto. In addition, four electrical signals may be generated through an input optical signal having a frequency of f2 and four reference signals corresponding thereto. Thus, a total of eight electrical signals can be generated. Hereinafter, description will be made based on this, but as described above, the optical signal may be generated with one frequency (eg, f1).

도 5는 실시예에 따른 센서를 설명하기 위한 도면이고, 도 6 내지 도 8은 변형 실시예에 따른 센서를 설명하기 위한 도면이고, 도 9는 실시예에 따른 카메라 모듈로부터 얻은 4개의 위상에 대한 로우(raw) 영상이고, 도 10은 실시예에 따른 카메라 모듈로부터 얻은 앰플리튜드 영상(amplitude image)이고, 도 11은 실시예에 따른 카메라 모듈로부터 얻은 깊이 영상이다. 5 is a diagram for explaining a sensor according to an embodiment, FIGS. 6 to 8 are diagrams for explaining a sensor according to a modified embodiment, and FIG. 9 is a diagram for four phases obtained from the camera module according to the embodiment. A raw image, FIG. 10 is an amplitude image obtained from the camera module according to the embodiment, and FIG. 11 is a depth image obtained from the camera module according to the embodiment.

도 5 내지 도 8을 참조하면, 센서(130)는 복수의 픽셀이 어레이 형태로 배열된 구조로 구성될 수 있다. 이 때, 센서(130)는 능동 픽셀 센서(Active pixel sensor, APS)로 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있다. 또한, 센서(130)는 CCD(Charge Coupled Device) 센서일 수도 있다. 또한, 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.5 to 8, the sensor 130 may be configured in a structure in which a plurality of pixels are arranged in an array form. In this case, the sensor 130 may be an active pixel sensor (APS) and may be a Complementary Metal Oxide Semiconductor (CMOS) sensor. In addition, the sensor 130 may be a charge coupled device (CCD) sensor. In addition, the sensor 130 may include a ToF sensor that receives infrared light reflected from the subject and measures a distance using time or phase difference.

그리고 센서(130)는 복수의 픽셀을 포함할 수 있다. 이 때, 픽셀은 제1 픽셀(P1) 및 제2 픽셀(P2)을 포함할 수 있다. In addition, the sensor 130 may include a plurality of pixels. In this case, the pixel may include a first pixel P1 and a second pixel P2.

이러한 제1 픽셀(P1) 및 제2 픽셀(P2)은 제1 방향(x축 방향) 및 제2 방향(y축 방향)으로 교번하여 배치될 수 있다. 즉, 하나의 제1 픽셀(P1)에서 복수의 제2 픽셀(P2)이 제1 방향(x축 방향) 및 제2 방향(y축 방향)으로 인접하게 배치될 수 있다. 예컨대, 센서(130)에서 제1 픽셀(P1) 및 제2 픽셀(P2)은 체커보드 패턴(checkerboard pattern)으로 배치될 수 있다. 또한, 여기서, 제1 방향(x축 방향)은 어레이 형태로 배열된 복수의 픽셀에서 제1 픽셀과 제2 픽셀이 나란히 배열되는 일 방향으로 행 방향이고, 제2 방향(y축 방향)은 제1 방향에 수직한 방향으로 제1 픽셀과 제2 픽셀이 나란히 배열되는 방향으로 열 방향이며, 이를 기준으로 이하 설명한다.이하에서, 행 방향은 제1 방향과 혼용되고, 열 방향은 제2 방향과 혼용될 수 있다.The first and second pixels P1 and P2 may be alternately disposed in a first direction (x-axis direction) and a second direction (y-axis direction). That is, in one first pixel P1, a plurality of second pixels P2 may be disposed adjacent to each other in a first direction (x-axis direction) and a second direction (y-axis direction). For example, in the sensor 130, the first pixel P1 and the second pixel P2 may be arranged in a checkerboard pattern. In addition, here, the first direction (x-axis direction) is a row direction in a direction in which the first and second pixels are arranged side by side in a plurality of pixels arranged in an array form, and the second direction (y-axis direction) is the second direction. The column direction is a direction in which the first and second pixels are arranged side by side in a direction perpendicular to the first direction, which will be described below. Hereinafter, the row direction is mixed with the first direction, and the column direction is the second direction. And can be used interchangeably.

또한, 제1 픽셀(P1)과 제2 픽셀(P2)은 서로 다른 파장 대역을 피크 파장으로 수광하는 픽셀일 수 있다. 예컨대, 제1 픽셀(P1)은 적외선 대역을 피크 파장으로 갖는 광을 받을 수 있다. 그리고 제2 픽셀(P2)은 적외선 대역 이외의 파장을 피크 파장으로 갖는 광을 받을 수 있다.Further, the first pixel P1 and the second pixel P2 may be pixels that receive different wavelength bands at peak wavelengths. For example, the first pixel P1 may receive light having an infrared band as a peak wavelength. In addition, the second pixel P2 may receive light having a wavelength other than the infrared band as a peak wavelength.

뿐만 아니라, 제1 픽셀(P1) 및 제2 픽셀(P2) 중 어느 하나는 광을 받지 않을 수 있다. 실시예로, 복수의 픽셀은 수광 소자가 배치되는 유효 영역(SA) 및 유효 영역 이외의 영역인 비유효 영역(IA)을 포함할 수 있다. 유효 영역(SA)은 수광하여 소정의 전기 신호를 생성할 수 있고, 비유효 영역(IA)은 수광하여 전기신호를 생성하지 않거나 수광하지 않는 영역일 수 있다. 즉, 비유효 영역(IA)은 내부에 수광 소자가 위치하더라도, 광에 의한 전기적 신호를 생성하지 못하는 경우도 포함하는 의미일 수 있다. In addition, any one of the first pixel P1 and the second pixel P2 may not receive light. In an embodiment, the plurality of pixels may include an effective area SA in which the light receiving element is disposed and an ineffective area IA that is an area other than the effective area. The effective area SA may receive light to generate a predetermined electric signal, and the non-effective area IA may be a light-receiving area that does not generate or does not receive light. That is, the ineffective area IA may mean that even if the light-receiving element is located therein, an electrical signal by light cannot be generated.

그리고 제1 픽셀(P1)은 유효 영역(SA)을 포함할 수 있으나, 제2 픽셀(P2)은 유효 영역(SA)이 존재하지 않는 비유효 영역(IA)으로만 이루어질 수 있다. 예컨대, 포토 다이오드 등의 수광 소자가 제1 픽셀에만 위치하고, 제2 픽셀에 위치하지 않을 수 있다. 이하에서는 제1 픽셀은 수광하나, 제2 픽셀은 수광하지 않는 것을 기준으로 설명한다.Further, the first pixel P1 may include the effective area SA, but the second pixel P2 may be formed only of the non-effective area IA in which the effective area SA does not exist. For example, a light receiving element such as a photodiode may be positioned only in the first pixel and not in the second pixel. Hereinafter, a description will be made based on the fact that the first pixel receives light but the second pixel does not.

구체적으로, 센서(130)는 행 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역(IA)을 포함하는 복수 개의 행 영역(RR)을 포함할 수 있다. 도한, 실시예에서 센서(130)는 열 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역을 포함하는 복수 개의 열 영역(CR)을 포함할 수 있다. Specifically, the sensor 130 may include a plurality of row areas RR including an effective area SA and an ineffective area IA that are alternately arranged in the row direction. In addition, in the embodiment, the sensor 130 may include a plurality of column areas CR including an effective area SA and an ineffective area alternately disposed in the column direction.

실시예에서 센서(130)는 유효 영역(SA)과 비유효 영역(IA)이 교번하여 배치되는 제1 행 영역(RR1)과 행 방향으로 유효 영역(SA)과 비유효 영역(IA)이 교번하여 배치되고 열 방향으로 제1 행 영역(RR1)의 유효 영역과 중첩되지 않는 위치에 유효 영역이 배치되는 제2 행 영역(RR2)을 포함할 수 있다. In the embodiment, the sensor 130 has a first row area RR1 in which the effective area SA and the ineffective area IA are alternately arranged, and the effective area SA and the inactive area IA alternate in the row direction. And a second row area RR2 in which the effective area is disposed at a position not overlapping the effective area of the first row area RR1 in the column direction.

이러한 구성에 의하여, 센서(130)는 열 방향으로 교번하여 배치되는 유효 영역(SA)과 비유효 영역(IA)을 포함하는 복수 개의 열 영역(CR)을 포함할 수 있다.With this configuration, the sensor 130 may include a plurality of column areas CR including an effective area SA and an ineffective area IA alternately disposed in the column direction.

또한, 제1 픽셀(P1) 및 제2 픽셀(P2)은 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다. 유효 영역(SA)도 사각형, 삼각형, 다각형, 원형 등 다양한 형상으로 이루어질 수 있다(도 6, 도 7 참조)In addition, the first pixel P1 and the second pixel P2 may have various shapes such as a square, a triangle, a polygon, and a circle. The effective area SA may also have various shapes such as a square, a triangle, a polygon, and a circle (see FIGS. 6 and 7 ).

또한, 제2 픽셀(P2)은 인접한 제1 픽셀(P1)과 전기적으로 연결된 구성 요소가 위치할 수 있다. 상술한 구성 요소로 와이어(wire), 커패시터 등의 전기 소자를 포함할 수 있다. 또한, 상술한 구성 요소는 제1 픽셀 내지 제2 픽셀 상에 위치할 수도 있다(도 7 참조).In addition, a component electrically connected to the adjacent first pixel P1 may be located in the second pixel P2. The above-described constituent elements may include electric elements such as wires and capacitors. In addition, the above-described components may be positioned on the first pixel to the second pixel (see FIG. 7 ).

그리고 실시예에서 각 픽셀은 센서 상에서 배열된 방향으로(예컨대, 제1 방향 또는 제2 방향으로) 인접한 동일 유효 영역 간의 간격에 의해 형상되는 영역일 수 있다. 여기서, 동일 유효 영역은 동일한 기능(예컨대, 동일 파장 대역의 광을 수광하는 등)을 갖는 유효 영역을 의미한다.In addition, in the embodiment, each pixel may be an area formed by a spacing between adjacent same effective areas in a direction arranged on the sensor (eg, in a first direction or a second direction). Here, the same effective area means an effective area having the same function (eg, receiving light of the same wavelength band).

또한, 제1 픽셀(P1)은 유효 영역(SA)만을 가질 수도 있고, 유효 영역(SA)과 비유효 영역(IA)을 모두 가질 수도 있다. 그리고 유효 영역(SA)은 제1 픽셀(P1) 내에서 다양한 위치에 존재할 수 있다. 이에, 픽셀의 중심과 유효 영역의 중심이 상이할 수 있으나, 이하에서는 동일한 경우를 기준으로 설명한다. 또한, 후술하는 중심, 제1 중심 등은 해당 중심에 대응하는 픽셀을 의미한다. Further, the first pixel P1 may have only the effective area SA, or may have both the effective area SA and the non-effective area IA. In addition, the effective area SA may exist in various positions within the first pixel P1. Accordingly, the center of the pixel and the center of the effective area may be different, but the same case will be described below. Further, a center, a first center, and the like, which will be described later, mean a pixel corresponding to the center.

또한, 도 5와 같이 320x240 해상도의 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열될 수 있다. 이때, 복수의 픽셀은 서로 소정의 간격으로 이격 배치될 수 있다. 즉, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격(L)이 형성될 수 있다. 이러한 간격(L)의 폭(dL)은 픽셀의 크기 대비 매우 작을 수 있다. 뿐만 아니라, 이러한 간격(L)으로 상술한 와이어 등이 배치될 수 있다. 이하에서는 이러한 간격(L)을 무시하여 설명한다.Also, as shown in FIG. 5, in the case of the sensor 130 having a resolution of 320x240, 76,800 pixels may be arranged in a grid form. In this case, the plurality of pixels may be spaced apart from each other at a predetermined interval. That is, a constant interval L may be formed between the plurality of pixels as in the shaded portion of FIG. 5. The width dL of the interval L may be very small compared to the size of the pixel. In addition, the above-described wire or the like may be disposed at such an interval L. Hereinafter, the interval L is ignored.

또한, 일 실시예로, 각 픽셀(132, 예컨대 제1 픽셀)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.In addition, in an embodiment, each pixel 132 (eg, a first pixel) includes a first light receiving unit 132-1 including a first photodiode and a first transistor, and a second photodiode including a second photodiode and a second transistor. 2 may include a light receiving unit (132-2).

제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다. The first light receiving unit 132-1 receives an input light signal at the same phase as the waveform of the output light. That is, when the light source is turned on, the first photodiode is turned on to absorb the input light signal. And at the time the light source is turned off, the first photodiode is turned off to stop absorbing the input light. The first photodiode converts the absorbed input light signal into current and transmits it to the first transistor. The first transistor converts the received current into an electric signal and outputs it.

제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다. The second light receiving unit 132-2 receives an input light signal in a phase opposite to the waveform of the output light. That is, when the light source is turned on, the second photodiode is turned off to absorb the input light signal. Then, when the light source is turned off, the second photodiode is turned on to stop absorbing the input light. The second photodiode converts the absorbed input light signal into current and transmits it to the second transistor. The second transistor converts the received current into an electric signal.

이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 말해, 제어부(150)는 이러한 센서(130)로부터 수신한 전기 신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산한다. Accordingly, the first light receiving unit 132-1 may be referred to as an In Phase receiving unit, and the second light receiving unit 132-2 may be referred to as an Out Phase receiving unit. In this way, when the first light receiving unit 132-1 and the second light receiving unit 132-2 are activated with a time difference, a difference occurs in the amount of received light according to the distance to the object. For example, when the object is directly in front of the camera module 100 (that is, when the distance is 0), the time taken to be reflected from the object after the light is output from the light output unit 110 is 0, The blinking period becomes the light reception period as it is. Accordingly, only the first light receiving unit 132-1 receives the light, and the second light receiving unit 132-2 does not receive the light. As another example, when the object is located a predetermined distance away from the camera module 100, since it takes time to be reflected from the object after the light is output from the light output unit 110, the blinking period of the light source is different from the light reception period. Will come out. Accordingly, a difference occurs in the amount of light received by the first light receiving unit 132-1 and the second light receiving unit 132-2. That is, the distance of the object may be calculated using the difference between the amount of light input to the first light receiving unit 132-1 and the second light receiving unit 132-2. In other words, the controller 150 calculates the phase difference between the output light and the input light using the electric signal received from the sensor 130, and calculates the distance between the object and the camera module 100 using the phase difference. .

보다 구체적으로, 제어부(150)는 전기 신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.More specifically, the control unit 150 may calculate a phase difference between the output light and the input light using information on the amount of charge of the electric signal.

상기에서 살펴본 바와 같이, 광 신호의 주파수마다 전기 신호는 4개가 생성될 수 있다. 따라서, 제어부(150)는 아래의 수학식 1을 이용하여 광 신호와 입력광 신호 사이의 위상차(t_d)를 계산할 수 있다. As described above, four electrical signals may be generated for each frequency of the optical signal. Accordingly, the controller 150 may calculate the phase difference t _d between the optical signal and the input optical signal using Equation 1 below.

여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 광 신호와 동일한 위상의 기준신호에 대응하는 전기 신호의 전하량이다. Q3는 광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기 신호의 전하량이다. Q3는 광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기 신호의 전하량이다. Q4는 광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기 신호의 전하량이다.Here, Q1 to Q4 are the charge amounts of each of the four electric signals. Q1 is the amount of charge of the electric signal corresponding to the reference signal of the same phase as the optical signal. Q3 is the amount of charge in the electric signal corresponding to the reference signal 180 degrees slower in phase than the optical signal. Q3 is the amount of charge in the electric signal corresponding to the reference signal whose phase is 90 degrees slower than that of the optical signal. Q4 is the amount of electric charge in the electric signal corresponding to the reference signal whose phase is 270 degrees slower than the optical signal.

그리고 제어부(150)는 광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 제어부(150)는 아래의 수학식 2를 이용하여 객체와 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.In addition, the controller 150 may calculate a distance between the object and the camera module 100 by using the phase difference between the optical signal and the input optical signal. In this case, the controller 150 may calculate the distance d between the object and the camera module 100 by using Equation 2 below.

여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.Where c is the speed of light and f is the frequency of the output light.

본 발명의 실시예에 따르면, 카메라 모듈(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다. 이에 따라, 본 발명의 실시예에 따른 카메라 모듈은 ToF 카메라 모듈 또는 ToF 카메라 모듈이라 지칭될 수도 있다. According to an embodiment of the present invention, a ToF IR image and a depth image may be obtained from the camera module 100. Accordingly, a camera module according to an embodiment of the present invention may be referred to as a ToF camera module or a ToF camera module.

이와 관련하여 더욱 구체적으로 설명하면, 도 9에 예시된 바와 같이 본 발명의 실시예에 따른 카메라 모듈(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.In more detail in this regard, as illustrated in FIG. 9, raw images for four phases may be obtained from the camera module 100 according to the embodiment of the present invention. Here, the four phases may be 0°, 90°, 180°, and 270°, and the raw image for each phase may be an image composed of digitized pixel values for each phase, and may be mixed with a phase image and a phase IR image. I can.

도 9 및 도 10을 참조하면, 4개의 위상 영상(Raw(x₀), Raw(x₉₀), Raw(x₁₈₀), Raw(x₂₇₀), 도 9)을 이용하여 수학식 3과 같이 연산하면, ToF IR 영상인 앰플리튜드 영상(amplitude image, 도 10)을 얻을 수 있다. 9 and 10, calculation as in Equation 3 using four phase images (Raw(x ₀ ), Raw(x ₉₀ ), Raw(x ₁₈₀ ), Raw(x ₂₇₀ ), FIG. 9) Then, an amplitude image (FIG. 10) that is a ToF IR image can be obtained.

여기서, Raw(x₀)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₉₀)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x₁₈₀)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₂₇₀)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다. Here, Raw(x ₀ ) is the data value for each pixel received by the sensor at phase 0°, Raw(x ₉₀ ) is the data value for each pixel received by the sensor at phase 90°, and Raw(x ₁₈₀ ) is the phase 180 The data value for each pixel received by the sensor at °, and Raw (x ₂₇₀ ) may be the data value for each pixel received by the sensor at phase 270°.

또는, 도 9의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다. Alternatively, if the four phase images of FIG. 9 are used and calculated as in Equation 4, another ToF IR image, an intensity image, may be obtained.

여기서, Raw(x₀)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₉₀)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x₁₈₀)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x₂₇₀)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.Here, Raw(x ₀ ) is the data value for each pixel received by the sensor at phase 0°, Raw(x ₉₀ ) is the data value for each pixel received by the sensor at phase 90°, and Raw(x ₁₈₀ ) is the phase 180 The data value for each pixel received by the sensor at °, and Raw (x ₂₇₀ ) may be the data value for each pixel received by the sensor at phase 270°.

이와 같이, ToF IR 영상은 4개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성될 수 있다. 예컨대, 서로 빼주는 2개의 위상 영상은 phase가 상호간에 180°차이가 존재할 수 있다. 그리고 이러한 위성 영상 2개를 서로 빼주는 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다. In this way, the ToF IR image may be generated by subtracting two of the four phase images from each other. For example, in two phase images subtracted from each other, there may be a 180° difference between the phases. In addition, in the process of subtracting the two satellite images from each other, background light may be removed. Accordingly, only the signal in the wavelength band output from the light source remains in the ToF IR image, thereby increasing the IR sensitivity of the object and reducing noise significantly.

본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 10에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다. In this specification, the ToF IR image may mean an amplitude image or an intensity image, and the intensity image may be mixed with a confidence image. 10, the ToF IR image may be a gray image.

한편, 도 9의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 11의 깊이 영상도 얻을 수 있다.On the other hand, if the four phase images of FIG. 9 are used and calculated as in Equations 5 and 6, the depth image of FIG. 11 can also be obtained.

한편, 본 발명의 실시예에서는 깊이 영상의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용하고자 한다. SR 기법은 복수의 저해상 영상으로부터 고해상 영상을 얻는 기법으로, SR 기법의 수학적 모델은 수학식 7과 같이 나타낼 수 있다. Meanwhile, in an embodiment of the present invention, in order to increase the resolution of a depth image, a super resolution (SR) technique is used. The SR technique is a technique for obtaining a high resolution image from a plurality of low resolution images, and the mathematical model of the SR technique can be expressed as Equation 7.

여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, ??, yk,M]T, 여기서, M=N1*N2) Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, ??, xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 이미지 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.Here, 1≤k≤p, p is the number of low-resolution images, yk is the low-resolution image (=[yk,1, yk,2, ??, yk,M]T, where M=N1*N2 ) Dk is the down sampling matrix, Bk is the optical blur matrix, Mk is the image warping matrix, x is the high-resolution image (=[x1, x2, ??, xN]T, where N =L1N1*L2N2), nk represents noise. That is, according to the SR technique, it means a technique for estimating x by applying the inverse function of the estimated resolution degradation elements to yk. The SR scheme can be largely divided into a statistical scheme and a multiframe scheme, and the multiframe scheme can be largely divided into a space division scheme and a time division scheme. When the SR technique is used to acquire the depth image, since the inverse function of Mk in Equation 1 does not exist, a statistical technique may be attempted. However, in the case of the statistical method, since an iterative calculation process is required, there is a problem of low efficiency.

깊이 정보 추출에 SR 기법을 적용하기 위하여, 제어부(150)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 영상 및 저해상 깊이 정보를 추출할 수 있다. 그리고 복수의 저해상 깊이 정보의 픽셀값을 재배열하여 고해상 깊이 정보를 추출할 수 있다. 본 명세서에서, 고해상이라 함은 저해상보다 높은 해상도를 나타내는 상대적인 의미이다. In order to apply the SR technique to extracting depth information, the controller 150 generates a plurality of low-resolution subframes using an electric signal received from the sensor 130, and then uses a plurality of low-resolution subframes. Low-resolution images and low-resolution depth information can be extracted. In addition, high-resolution depth information may be extracted by rearranging pixel values of a plurality of low-resolution depth information. In this specification, the term high resolution refers to a relative meaning indicating a higher resolution than a low resolution.

또한, 여기서 서브프레임이란 어느 하나의 노출주기 및 참조 신호에 대응한 전기 신호로부터 생성되는 이미지 데이터를 의미할 수 있다. 예를 들어, 하나의 노출주기, 즉 하나의 영상 프레임에서 8개의 참조 신호를 통해 전기 신호가 생성되는 경우, 8개의 서브프레임이 생성될 수 있으며, 시작 프레임(start of frame)이 1개 더 생성될 수 있다. 본 명세서에서, 서브프레임은 이미지 데이터, 서브프레임 이미지 데이터 등과 혼용될 수 있다. In addition, here, the subframe may mean image data generated from an electrical signal corresponding to any one exposure period and a reference signal. For example, when electrical signals are generated through eight reference signals in one exposure period, that is, one image frame, eight subframes can be generated, and one more start of frame is generated. Can be. In this specification, the subframe may be mixed with image data, subframe image data, and the like.

또는, 깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 연산부(140)는 센서(130)로부터 수신한 전기 신호를 이용하여 복수의 저해상 서브프레임 및 복수의 저해상 서브프레임을 포함한 복수의 저해상 영상을 생성한 후, 복수의 저해상 서브프레임의 픽셀값을 재배열하여 복수의 고해상 서브프레임을 생성할 수 있다. 그리고 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다. 상술한 방식으로 고해상 깊이 정보를 추출할 수 있으며, 이러한 방식은 후술하는 각 실시예 또는 이들의 변형예에 동일하게 적용될 수 있다.Alternatively, in order to apply the SR technique according to the embodiment of the present invention to extracting depth information, the operation unit 140 uses an electric signal received from the sensor 130 to provide a plurality of low-resolution subframes and a plurality of low-resolution subframes. After generating a plurality of low-resolution images including, a plurality of high-resolution subframes may be generated by rearranging pixel values of the plurality of low-resolution subframes. And, it is possible to extract high-resolution depth information by using the high-resolution subframe. High-resolution depth information may be extracted in the above-described manner, and this method may be equally applied to each of the embodiments to be described later or variations thereof.

또한, 이러한 고해상 깊이 정보 추출을 위하여, 픽셀 쉬프트(pixel shift) 기술을 이용할 수 있다. 즉, 픽셀 쉬프트 기술을 이용하여 서브프레임 별로 소정의 이동거리만큼 쉬프트된 여러 장의 서브프레임을 획득한 후, 서브프레임 별로 SR 기법을 적용하여 복수의 고해상 서브프레임을 획득하며, 이들을 이용하여 서브프레임별 깊이 정보를 추출함으로써 고해상의 깊이 이미지를 추출할 수 있다. 그리고 카메라 모듈은 픽셀 쉬프트를 위해 제어부를 통해 광학부를 제어할 수 있다.In addition, in order to extract such high-resolution depth information, a pixel shift technique may be used. That is, after obtaining a plurality of subframes shifted by a predetermined moving distance for each subframe using the pixel shift technology, a plurality of high resolution subframes are obtained by applying the SR technique for each subframe, and using these, By extracting depth information, a high-resolution depth image can be extracted. In addition, the camera module may control the optical unit through the control unit for pixel shift.

제어부(150)는 입력광 신호를 센서(130) 상에서 소정의 이동거리만큼 시프팅 시킬 수 있도록 광학부를 제어한다. 제어부(150)는 입력광 신호를 센서(130) 상에서 소정의 이동 거리만큼 시프팅 시킬 수 있도록 광학부의 가변 렌즈를 제어할 수 있다. 또한 제어부(150)는 입력광 신호를 센서(130) 상에서 소정의 이동거리만큼 시프팅 시킬 수 있도록 광학부의 필터를 제어할 수 있다. 예를 들어, 광학부의 필터를 틸팅시켜 입력광 신호를 센서(130) 상에서 시프팅 시킬 수 있다. 도시되지는 않았으나 카메라 모듈은 필터를 틸팅시키기 위한 구동부를 포함할 수 있다. 구동부는 VCM, 피에조 타입 등의 구동력을 이용하여 필터를 구동시킬 수 있다. The controller 150 controls the optical unit to shift the input optical signal by a predetermined moving distance on the sensor 130. The control unit 150 may control the variable lens of the optical unit to shift the input light signal by a predetermined moving distance on the sensor 130. In addition, the controller 150 may control the filter of the optical unit to shift the input optical signal by a predetermined moving distance on the sensor 130. For example, an input optical signal may be shifted on the sensor 130 by tilting the filter of the optical unit. Although not shown, the camera module may include a driving unit for tilting the filter. The driving unit may drive the filter using a driving force such as a VCM or a piezo type.

제어부(150)는 센서(130)를 기준으로 1 픽셀 단위만큼 입력광 신호의 광경로를 변경하도록 광학부를 제어할 수 있다. The controller 150 may control the optical unit to change the optical path of the input light signal by 1 pixel unit based on the sensor 130.

한편, 본 발명의 실시예에 따른 카메라 모듈(100)이 고품질의 영상 촬영이 필요한 애플리케이션에 적용되는 경우, 예를 들어 생체 인증 등과 같은 정밀한 영상이 요구되는 애플리케이션에 적용되는 경우나 사용자가 한 손만을 이용하여 카메라 모듈(100)을 조작하고 촬영해야 하는 애플리케이션에 적용되는 경우, 손떨림에 의한 영상의 흔들림을 방지하거나 보정하는 기술도 필요하다. 영상의 흔들림을 방지하거나 보정하는 기술을 OIS(Optical Image Stabilizer) 기법이라 지칭할 수 있으며, OIS 기법에서는 광축을 Z축이라 할 때 광축과 수직하는 X 축 및 Y 축의 방향으로 카메라 모듈(100) 내 구조물, 예를 들어 렌즈 등을 이동시키는 방법을 이용하여 영상의 흔들림을 방지하거나 보정할 수 있다.On the other hand, when the camera module 100 according to an embodiment of the present invention is applied to an application that requires high-quality image capture, for example, it is applied to an application that requires a precise image such as biometric authentication, or when the user only has one hand. When applied to an application in which the camera module 100 must be manipulated and photographed by using the camera module 100, a technique for preventing or correcting image shaking due to hand shake is also required. A technology that prevents or corrects image shake can be referred to as an OIS (Optical Image Stabilizer) technique. In the OIS technique, when the optical axis is called the Z axis, the camera module 100 is located in the direction of the X and Y Shaking of an image can be prevented or corrected by using a method of moving a structure, for example, a lens.

또한, 카메라 모듈(100)이 SR 기능 및 OIS 기능을 가지기 위하여, 본 발명의 실시예에 따른 카메라 모듈(100)은 내부의 구조물을 이동시키는 구동부를 더 포함할 수 있다.In addition, in order for the camera module 100 to have an SR function and an OIS function, the camera module 100 according to an embodiment of the present invention may further include a driving unit for moving an internal structure.

도 12는 실시예에 따른 카메라 모듈에서 제어부에 의한 입력광 신호의 광경로 변경을 설명하기 위한 도면이고,. 12 is a diagram for explaining a change in an optical path of an input optical signal by a controller in a camera module according to an embodiment;

보다 구체적으로, 제어부(150)는 상술한 바와 같이 입력광의 광경로를 변경할 수 있다. 이하에서 실선으로 표시된 부분은 입력광 신호의 제1 시간에서의 광경로를 나타내고, 점선으로 표시된 부분은 제2 시간에서의 변경된 광경로를 나타낸다. 제1 시간에서의 광경로에 대응하는 노출주기가 종료되면, 제어부(150)는 입력광 신호의 광경로를 점선과 같이 변경할 수 있다. 여기서, 제1 시간은 소정의 설정된 시간이며, 제2 시간은 제1 시간에 연속한 시간이다. More specifically, the controller 150 may change the optical path of the input light as described above. Hereinafter, a portion indicated by a solid line indicates an optical path at a first time of the input optical signal, and a portion indicated by a dotted line indicates a changed optical path at a second time. When the exposure period corresponding to the optical path at the first time is ended, the controller 150 may change the optical path of the input optical signal as shown in the dotted line. Here, the first time is a predetermined set time, and the second time is a time continuous to the first time.

그러면, 입력광 신호의 경로는 제1 시간에서의 광경로에서 제1 이동거리만큼 이동할 수 있다. 이 때, 복수의 노출주기는 제1 노출주기, 제1 노출주기에 연속하는 제2 노출주기를 포함할 수 있다. 또한, 복수의 노출주기는 제2 노출주기에 연속하는 제3 노출주기, 제3 노출주기에 연속하는 제4 노출주기를 더 포함할 수 있으며, 이에 대한 내용은 후술한다. 그리고 제1 노출주기는 상술한 제1 시간에서의 광경로에 대응하는 노출주기이고, 제2 노출주기는 제1 노출주기 이후의 제2 시간에서의 광경로에 대응하는 노출주기이다. 그리고 제2 노출주기에서 입력광 신호의 광경로는 제1 픽셀이 제1 픽셀에 인접한 제2 픽셀과 적어도 일부 중첩하도록 제1 이동방향으로 제1 이동거리만큼 쉬프트될 수 있다. 이 때, 제1 이동거리는 제1 노출주기를 기준으로 쉬프트에 따른 픽셀의 이동거리이다. 예컨대, 제1 이동거리는 1 픽셀일 수 있다. 또한, 제1 이동방향은 제1 방향 및 제2 방향 중 어느 하나의 방향일 수 있다. 예를 들어, 도 12에서와 같이, 제어부(150)가 제1 시간에서의를 제1 각도(θ_a)로 우측으로 이동시키면, 센서(130)에 입사되는 입력광 신호는 우측으로 1 픽셀만큼 이동할 수 있다. 즉, 센서(130)에 입사되는 제1 시간에서의 입력광 신호의 영역(I1, 이하 제1 입력 영역)과 변경된 입력광 신호의 영역(I2, 이하 제2 입력 영역) 간의 위치 차이가 존재한다. 또한, 본 명세서의 촬상에서 제1 시간에서의 입력광 신호와 변경된 입력광 신호의 생성은 미소의 노출주기에 영향을 받아 짧은 시간에 이루어질 수 있다. 다시 말해, 제1 입력 영역과 제2 입력 영역은 거의 동일할 수 있기에 최종 출력되는 영상의 정확도가 개선될 수 있다.Then, the path of the input optical signal may move by the first moving distance in the optical path at the first time. In this case, the plurality of exposure periods may include a first exposure period and a second exposure period consecutive to the first exposure period. In addition, the plurality of exposure cycles may further include a third exposure cycle consecutive to the second exposure cycle and a fourth exposure cycle consecutive to the third exposure cycle, which will be described later. In addition, the first exposure period is an exposure period corresponding to the light path at the first time, and the second exposure cycle is an exposure period corresponding to the light path at a second time after the first exposure period. In the second exposure period, the optical path of the input light signal may be shifted by the first movement distance in the first movement direction so that the first pixel overlaps at least a part of the second pixel adjacent to the first pixel. In this case, the first moving distance is a moving distance of the pixel according to the shift based on the first exposure period. For example, the first moving distance may be 1 pixel. In addition, the first movement direction may be any one of the first direction and the second direction. For example, as shown in FIG. 12, when the control unit 150 moves at the first time to the right at the first angle θ _a , the input light signal incident on the sensor 130 moves to the right by 1 pixel. I can. That is, there is a position difference between the area I1 of the input light signal at the first time incident on the sensor 130 and the area I2 of the changed input light signal (hereinafter, referred to as the second input area). . In addition, in the imaging of the present specification, the input light signal and the changed input light signal at the first time may be generated in a short time due to the influence of a minute exposure period. In other words, since the first input area and the second input area may be substantially the same, the accuracy of the final output image may be improved.

그리고 상술한 광경로의 변경으로 제1 입력 영역과 제2 입력 영역을 매칭할 때 제1 픽셀이 제1 이동거리만큼 이동할 수 있다. 즉, 제1 입력 영역 중 제1 픽셀에 대응하는 픽셀은 제2 입력 영역에서 제1 픽셀과 대응하는 픽셀 대비 제1 이동거리만큼 쉬프트될 수 있다. 다시 말해, 제어부는 제1 행 영역(RR1)의 유효 영역에 도달하는 광이 상기 제1 행 영역(RR1)의 비유효 영역 또는 제2 행 영역(RR2)의 비유효 영역에 도달하도록 제1 시프팅 제어를 수행할 수 있다. 즉, 제1 시프팅 제어에 의해 제1 행 영역(RR1)의 유효 영역에 도달하는 광은 제1 행 영역(RR1)의 비유효 영역 또는 제2 행 영역(RR2)의 비유효 영역에 도달할 수 있다. In addition, when the first input area and the second input area are matched by the change of the optical path described above, the first pixel may move by the first movement distance. That is, a pixel corresponding to the first pixel in the first input area may be shifted by a first movement distance compared to a pixel corresponding to the first pixel in the second input area. In other words, the control unit performs the first shift so that the light reaching the effective area of the first row area RR1 reaches the ineffective area of the first row area RR1 or the non-effective area of the second row area RR2. Control can be performed. That is, the light reaching the effective area of the first row area RR1 by the first shifting control cannot reach the ineffective area of the first row area RR1 or the non-effective area of the second row area RR2. I can.

또한, 제1 시프팅 제어에 의해 제2 행 영역(RR2)의 유효 영역에 도달하는 광은 상기 제2 행 영역(RR2)의 비유효 영역 또는 상기 제1 행 영역(RR1)의 비유효 영역에 도달할 수 있다. 이러한 시프팅 제어는 이하 여러 실시예에서도 동일하게 적용될 수 있다.In addition, light reaching the effective area of the second row area RR2 by the first shifting control is transmitted to an ineffective area of the second row area RR2 or an ineffective area of the first row area RR1. Can be reached. This shifting control may be equally applied to the following various embodiments.

즉, 도 12에서와 같이 제1 입력 영역(I1)에서 제1 픽셀의 중심(CP1, 이하 제1 중심)과 제2 입력 영역(I2)에서 제1 픽셀의 중심(CP2, 이하 제2 중심)이 제1 방향 또는 제2 방향으로 교차 위치할 수 있다. 그리고 제2 입력 영역(I2)에서 제1 픽셀의 중심(CP2)은 제1 입력 영역(I1)에서 제2 픽셀의 중심과 대응할 수 있다. 또한, 이러한 입력 영상은 저해상 영상에 대응하거나 복수의 저해상 서브 프레임 영상에 대응할 수 있다. 또한, 1 픽셀은 인접한 제1 픽셀 중심 사이의 거리의 0.3 내지 0.7배를 의미할 수 있다. 다시 말해, 동일 행 영역에서 인접한 유효 영역의 중심 간의 거리의 0.3 내지 0.7배일 수 있다. 이하에서는 1 픽셀은 인접한 제1 픽셀의 중심 사이의 거리의 0.5배로 설명한다. 또한, 상술한 제1 각도(θ_a)는 예컨대 광학부에서 렌즈의 형상 등에 따라 다양하게 변경될 수 있다. That is, as shown in FIG. 12, the center of the first pixel (CP1, hereinafter the first center) in the first input area I1 and the center of the first pixel (CP2, hereinafter, the second center) in the second input area I2. It may be intersected in the first direction or the second direction. In addition, the center CP2 of the first pixel in the second input area I2 may correspond to the center of the second pixel in the first input area I1. In addition, such an input image may correspond to a low-resolution image or may correspond to a plurality of low-resolution sub-frame images. Also, 1 pixel may mean 0.3 to 0.7 times the distance between the centers of adjacent first pixels. In other words, it may be 0.3 to 0.7 times the distance between the centers of adjacent effective areas in the same row area. Hereinafter, one pixel will be described as 0.5 times the distance between the centers of adjacent first pixels. In addition, the above-described first angle θ _a may be variously changed according to the shape of the lens in the optical unit, for example.

또한, 이러한 광경로의 이동은 광 신호의 광경로를 이동시킬 때도 동일하게 적용될 수 있는바, 상세한 설명은 생략하도록 한다.In addition, since the movement of the optical path can be applied equally to the movement of the optical path of the optical signal, a detailed description will be omitted.

도 13a 및 도 13b는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이고, 도 13c는 실시예에 따른 카메라 모듈에서 픽셀값 배치 과정을 설명하기 위한 도면이고, 도 13d 내지 도 13e는 IR 필터의 기울기 제어에 따라 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이다. 13A and 13B are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment, and FIG. 13C is a diagram for explaining a pixel value arrangement process in the camera module according to the embodiment, and FIGS. 13D to 13D 13E is a diagram illustrating an effect of shifting an image frame input on a sensor according to tilt control of an IR filter.

도 13a 및 도 13b를 참조하면, 연산부는 동일한 노출주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임 및 복수의 저해상 영상을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 여기서, 복수의 저해상 깊이 정보에 대응하는 입력광 신호의 광경로는 상술한 바와 같이 서로 상이할 수 있다. 13A and 13B, the operation unit may extract a plurality of low-resolution depth information using the same exposure period, that is, a plurality of low-resolution subframes and a plurality of low-resolution images generated in the same frame. In addition, the operation unit may extract high-resolution depth information by rearranging pixel values of a plurality of low-resolution depth information. Here, the optical paths of the input optical signals corresponding to the plurality of low-resolution depth information may be different from each other as described above.

또한, 일예로 연산부는 복수의 전기신호를 이용하여 1-1 내지 2-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출주기에서 생성된 저해상 서브프레임이다. 즉, 저해상 서브프레임 1-1 내지 1-8은 제1 입력 영역에서의 전기 신호로 생성된 프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출주기에서 생성된 저해상 서브프레임이다. 마찬가지로, 저해상 서브프레임 2-1 내지 2-8은 제2 입력 영역에서의 전기 신호로 생성된 프레임이다. In addition, as an example, the operation unit may generate low-resolution subframes 1-1 to 2-8 using a plurality of electric signals. Low-resolution subframes 1-1 to 1-8 are low-resolution subframes generated in the first exposure period. That is, the low-resolution subframes 1-1 to 1-8 are frames generated by electric signals in the first input area. Low-resolution subframes 2-1 to 2-8 are low-resolution subframes generated in the second exposure period. Similarly, low-resolution subframes 2-1 to 2-8 are frames generated by electric signals in the second input area.

그러면, 연산부는 각 노출주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-2를 추출할 수 있다. 그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-2의 픽셀을 재배치하여 고해상 깊이 정보 HRD을 추출한다. (도 13a 참조)Then, the operation unit may extract low-resolution depth information LRD-1 to LRD-2 by applying a depth information extraction technique to a plurality of low-resolution subframes generated in each exposure period. Further, the operation unit rearranges the pixels of the low-resolution depth information LRD-1 to LRD-2 to extract the high-resolution depth information HRD. (See Fig. 13A)

또는, 전술한 바와 같이, 연산부는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 광 신호 또는 입력광 신호의 광경로가 상이하다. 그리고 연산부는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다. (도 13b 참조)Alternatively, as described above, the operation unit may generate a high resolution subframe by rearranging pixel values of a plurality of subframes corresponding to the same reference signal. In this case, the plurality of subframes have different optical paths of the corresponding optical signals or input optical signals. In addition, the operation unit may extract high-resolution depth information by using a plurality of high-resolution subframes. (See Fig. 13B)

예를 들어, 저해상 서브프레임 1-1, 2-1는 동일한 참조 신호 C₁에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 연산부는 저해상 서브프레임 1-1, 2-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.For example, low-resolution subframes 1-1 and 2-1 correspond to the same reference signal C ₁ , but correspond to different optical paths. Then, the operation unit may generate the high resolution subframe H-1 by rearranging the pixel values of the low resolution subframes 1-1 and 2-1. When the high resolution subframes H-1 to H-8 are generated through pixel value rearrangement, the operation unit may extract the high resolution depth information HRD by applying a depth information extraction technique to the high resolution subframes H-1 to H-8.

도 13c를 참조하면, 제1 실시예에 따른 카메라 모듈은 1 픽셀의 이동으로 해상도가 2배 향상된 영상을 생성할 수 있다. 예시적으로, 2개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x4 크기의 고해상 영상을 생성할 수 있다. 다만, 이러한 픽셀 수는 제한되는 것은 아니며 다양하게 변경될 수 있다.Referring to FIG. 13C, the camera module according to the first embodiment may generate an image with a resolution of 2 times improved by moving one pixel. For example, one 4x4 high-resolution image may be generated using two 4x4 low-resolution images. However, the number of such pixels is not limited and may be variously changed.

구체적으로, 상술한 바와 같이 제1 저해상 영상 및 제2 저해상 영상은 1 픽셀 크기로 광경로가 이동되어 촬영된 영상이다. 이러한 제1 저해상 영상은 제1 입력 영역에 대응하고, 제2 저해상 영상은 제2 입력 영역에 대응할 수 있다. 즉, 제1 저해상 영상의 제1 영상 픽셀은 제1 입력 영역의 제1 픽셀에, 제2 저해상 영상의 제2 영상 픽셀은 제2 입력 영역의 제1 픽셀에 대응한다. 연산부는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 저해상 영상의 픽셀값을 고해상 영상에 맞게 배치한다. 여기서, 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다. 또한, 상술한 바와 같이 센서에서 제1 픽셀만 수광을 수행하므로 저해상 영상 중 제1 픽셀에 대응하는 부분만을 A, B, C, D, E, F, G, H 등의 픽셀로 나타낸다.Specifically, as described above, the first low-resolution image and the second low-resolution image are images captured by moving the optical path to a size of 1 pixel. The first low-resolution image may correspond to the first input area, and the second low-resolution image may correspond to the second input area. That is, the first image pixel of the first low-resolution image corresponds to the first pixel of the first input area, and the second image pixel of the second low-resolution image corresponds to the first pixel of the second input area. The operation unit arranges the pixel values of the second low-resolution image according to the moving direction of the light path based on the first low-resolution image in which the optical path has not moved to fit the high-resolution image. Here, the low-resolution image may mean including a low-resolution subframe and low-resolution depth information, and the high-resolution image may mean a high-resolution subframe and a high-resolution depth information. In addition, as described above, since only the first pixel is received by the sensor, only a portion of the low-resolution image corresponding to the first pixel is represented by pixels such as A, B, C, D, E, F, G, H.

구체적으로 제2 저해상 영상은 제1 저해상 영상으로부터 1 픽셀만큼 우측으로 이동한 영상이다. 그러므로, 제1 저해상 영상의 픽셀(A)으로부터 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치된다. 예컨대, 제1 저해상 영상 중 제2 픽셀은 제2 저해상 영상의 제1 픽셀에 대응하게 배치되고, 제1 저해상 영상 중 제1 픽셀은 제2 저해상 영상의 제2 픽셀에 대응하게 배치될 수 있다. Specifically, the second low-resolution image is an image shifted to the right by 1 pixel from the first low-resolution image. Therefore, the pixel B of the second low-resolution image is disposed in a pixel positioned to the right of the pixel A of the first low-resolution image. For example, a second pixel of a first low-resolution image is arranged to correspond to a first pixel of a second low-resolution image, and a first pixel of a first low-resolution image is arranged to correspond to a second pixel of a second low-resolution image Can be.

그리고 제1 저해상 영상 및 제2 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 2배 증가한 고해상 영상 프레임이 생성된다. 다시 말해, 제1 실시예에 따른 카메라 모듈은 해상도를 향상할 수 있다. 뿐만 아니라, 제1 실시예에 따른 카메라 모듈은 센서에서 제1 픽셀만 수광을 수행하는 경우에 센서의 전기 신호 생성 및 처리가 감소되므로 처리 속도를 개선할 수 있다.In addition, when the pixel values of the first low-resolution image and the second low-resolution image are all rearranged, a high-resolution image frame having a resolution of 2 times higher than that of the low-resolution image is generated. In other words, the camera module according to the first embodiment can improve the resolution. In addition, the camera module according to the first exemplary embodiment can improve processing speed since generation and processing of electrical signals by the sensor are reduced when only the first pixel is received by the sensor.

또한, 제어부(150)는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다. Also, the controller 150 may apply a weight to the arranged pixel values. In this case, the weight may be set differently according to the size of the subpixel or the moving direction of the light path, and may be set differently for each low-resolution image.

한 실시예에 따르면, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 1픽셀만큼 쉬프트된 데이터를 얻을 수 있다. According to an embodiment, the controller 150 shifts the input optical signal by controlling the slope of the lens assembly, for example, an IR filter (318 in FIG. 3) included in the lens assembly, and accordingly shifts the input optical signal by 1 pixel. Data can be obtained.

도 13d 및 도 13e를 참조하면, 도 13e는 IR 필터의 두께가 0.21mm이고, IR의 굴절율이 1.5인 조건에서 틸팅 각도에 대한 쉬프트 거리를 시뮬레이션한 결과이다. 13D and 13E, FIG. 13E is a simulation result of a shift distance for a tilting angle under the condition that the thickness of the IR filter is 0.21 mm and the refractive index of IR is 1.5.

도 13d 및 하기 수학식 8을 참조하면, IR 필터(318)의 기울기(θ₁)와 쉬프트 거리는 다음의 관계를 가질 수 있다. 13D and Equation 8 below, the slope θ ₁ of the IR filter 318 and the shift distance may have the following relationship.

여기서, θ₂는 수학식 9과 같이 나타낼 수 있다. Here, θ ₂ can be expressed as in Equation 9.

그리고 θ₁는 IR 필터(318)의 기울기, 즉 틸팅 각도이고, n_g는 IR 필터(318)의 굴절율이며, d는 IR 필터(318)의 두께이다. 예를 들어, 수학식 8 내지 9를 참조하면, 센서 상에 입력되는 영상 프레임을 7㎛만큼 쉬프트시키기 위하여 IR 필터(318)는 약 5 내지 6°만큼 틸팅될 수 있다. 이때, IR 필터(318)의 수직 변위는 약 175 내지 210㎛가 될 수 있다. And θ ₁ is the slope of the IR filter 318, that is, the tilting angle, n _g is the refractive index of the IR filter 318, d is the thickness of the IR filter 318. For example, referring to Equations 8 to 9, the IR filter 318 may be tilted by about 5 to 6° in order to shift the image frame input on the sensor by 7 μm. At this time, the vertical displacement of the IR filter 318 may be about 175 to 210 μm.

이와 같이, IR 필터(318)의 기울기를 제어하면, 센서(320) 자체를 틸팅하지 않고도 쉬프트된 이미지 데이터를 얻는 것이 가능하다.In this way, by controlling the slope of the IR filter 318, it is possible to obtain shifted image data without tilting the sensor 320 itself.

본 발명의 실시예에 따르면, IR 필터의 기울기를 제어하기 위한 제어부는 IR 필터와 직접 또는 간접으로 연결되는 액추에이터(actuator)를 포함할 수 있으며, 액추에이터는 MEMS(Micro Electro Mechanical Systems), VCM(Voice Coil Motor) 및 압전 소자 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, the control unit for controlling the slope of the IR filter may include an actuator directly or indirectly connected to the IR filter, and the actuator is MEMS (Micro Electro Mechanical Systems), VCM (Voice Coil Motor) and at least one of a piezoelectric element.

이때, 전술한 바와 같이, 1 픽셀은 크기가 인접한 제1 픽셀 중심 사이의 거리의 0.5일 수 있다. 그리고 이러한 1 픽셀만큼 입력광 신호를 쉬프트시키기 위해서는 매우 정밀한 제어가 필요하다. 액추에이터를 이용하여 IR 필터를 틸팅시키는 경우, 액추에이터의 정밀도에 따라 틸팅된 IR 필터의 기울기 및 입력광 신호의 쉬프트 값이 미리 설정된 값과 달라질 수 있다. 특히, 액추에이터 작동 중 에러 또는 고장이 발생하거나, 액추에이터의 사용 연한이 오래되어 부품 간의 정렬이 어긋날 경우, IR 필터의 기울기 및 입력광 신호의 쉬프트 값의 오차가 매우 커지게 될 수 있다. In this case, as described above, 1 pixel may be 0.5 of the distance between the centers of adjacent first pixels. In addition, very precise control is required to shift the input optical signal by one pixel. When the IR filter is tilted using the actuator, the tilt of the tilted IR filter and the shift value of the input light signal may differ from preset values according to the accuracy of the actuator. In particular, when an error or a failure occurs during operation of the actuator, or the alignment between parts is misaligned due to a long life of the actuator, an error in the slope of the IR filter and the shift value of the input light signal may become very large.

이에, 실시예에서 제어부를 이용하여 입력광의 광경로를 서브픽셀 단위로 쉬프트 시키되, 실제 쉬프트 값을 검출하여 슈퍼레졸류션(super-resolution) 기법에 따라 영상 처리 시 오차를 보정할 수 있다.Accordingly, in an embodiment, the optical path of the input light is shifted in units of subpixels using the control unit, but an error in image processing may be corrected according to a super-resolution technique by detecting an actual shift value.

실시예에 따르면, 제어부(150)는 소프트웨어적으로 또는 하드웨어적으로 입력광 신호의 광경로를 변경할 수 있다. 이상에서 제어부(150)가 IR 필터의 기울기를 제어하는 방법으로 입력광 신호의 광경로를 쉬프트시키는 것을 예로 들어 설명하고 있으나, 이로 제한되는 것은 아니고 광학부의 가변 렌즈를 이용하여 입력광 신호의 광경로를 쉬프트 시킬 수도 있다. According to an embodiment, the controller 150 may change the optical path of the input optical signal in software or hardware. In the above description, the control unit 150 shifts the optical path of the input optical signal as a method of controlling the slope of the IR filter, but is not limited thereto, and the optical path of the input optical signal using a variable lens of the optical unit Can be shifted.

또한, 제어부(150)는 입력광 신호의 광 경로를 노출주기 별 소정의 규칙에 따라 반복하여 쉬프트시킬 수 있다. 예를 들어, 제어부(150)는 입력광 신호의 광경로를 제1 노출주기 이후인 제2 노출주기에서 제1 이동방향으로 센서(130)의 1 픽셀 단위로 쉬프트할 수 있다. 또는 후술하는 바와 같이 제2 노출주기 이후인 제3 노출주기에 제2 이동방향 및 제1 이동방향으로 각각 센서(130)의 0.5 픽셀 단위로 시프트할 수 있다. 또한, 제3 노출주기 이후에 제3 이동방향으로 센서(130)의 1 픽셀 단위로 시프트할 수 있다.Also, the controller 150 may repeatedly shift the optical path of the input optical signal according to a predetermined rule for each exposure period. For example, the controller 150 may shift the optical path of the input light signal in the first movement direction in the first movement direction in the second exposure period after the first exposure period in units of 1 pixel. Alternatively, as described later, in a third exposure period after the second exposure period, the second movement direction and the first movement direction may be shifted in units of 0.5 pixels of the sensor 130, respectively. In addition, after the third exposure period, the sensor 130 may be shifted in units of 1 pixel in the third movement direction.

뿐만 아니라, 제어부(150)는 광학부(120)를 제어하여 입력광 신호의 광 경로를 제어할 수 있다. 제어부(150)는 제1 행 영역(RR1)의 유효 영역에 수신되는 광이 상기 제1 행 영역(RR1)의 비유효 영역에 도달하도록 제어할 수 있다. 그리고 제어부(150)는 제2 행 영역(RR2)의 유효 영역에 수신되는 광이 제2 행 영역(RR2)의 상기 비유효 영역에 도달되도록 시프팅 제어할 수 있다.In addition, the controller 150 may control the optical unit 120 to control the optical path of the input optical signal. The controller 150 may control the light received in the effective area of the first row area RR1 to reach the ineffective area of the first row area RR1. In addition, the controller 150 may control the shifting so that the light received in the effective area of the second row area RR2 reaches the ineffective area of the second row area RR2.

또한, 상술한 바와 같이 광학부(120)는 필터로 적외선 투과 필터를 포함할 수 있고, 제어부(150)는 상기 적외선 투과 필터를 틸팅시커 광경로에 대한 시프팅 제어를 수행할 수 있다.In addition, as described above, the optical unit 120 may include an infrared transmission filter as a filter, and the control unit 150 may perform shifting control on the tilt seeker optical path of the infrared transmission filter.

상술한 제어는 이하 여러 실시예에도 동일하게 적용될 수 있다. The above-described control may be equally applied to various embodiments below.

또한, 실시예에서 제어부(150)는 제1 노출주기 동안 추출된 데이터로부터 얻어진 제1 저해상 영상, 제1 이동방향으로 1 픽셀 쉬프트하여 제2 노출주기 동안 추출된 데이터로부터 얻어진 제2 저해상 영상을 슈퍼레졸루션 기법으로 정합하여 하나의 깊이 정보를 얻을 수 있다. 즉, 복수의 저해상 영상을 슈?i레졸루션 기법으로 정합하여 깊이 정보를 갖는 고해상 영상을 생성할 수 있다. 여기서, 제1 저해상 영상, 제2 저해상 영상은 전술한 저해상 서브프레임, 저해상 영상 등과 혼용될 수 있다.In addition, in the embodiment, the control unit 150 includes a first low-resolution image obtained from the data extracted during the first exposure period, and a second low-resolution image obtained from the data extracted during the second exposure period by shifting one pixel in the first movement direction. One depth information can be obtained by matching with the super-resolution technique. That is, a high-resolution image having depth information may be generated by matching a plurality of low-resolution images using the Shoo-i resolution technique. Here, the first low-resolution image and the second low-resolution image may be mixed with the aforementioned low-resolution subframe and low-resolution image.

또한, 실시예에 따른 카메라 모듈(100)은 입력광 광경로의 쉬프트 값을 검출하며, 검출한 쉬프트 값을 이용하여 제어부(150) 또는 연산부를 제어하거나, 검출한 쉬프트 값을 깊이 이미지의 생성에 반영할 수 있다.In addition, the camera module 100 according to the embodiment detects a shift value of the input light path, and controls the control unit 150 or an operation unit using the detected shift value, or uses the detected shift value to generate a depth image. Can be reflected.

도 14, 도 15a 내지 도 15c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.14 and 15A to 15C are views for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment.

도 14, 도 15a 내지 도 15c를 참조할 때, 제2 실시예에 따른 카메라 모듈에서 고해상도의 영상은 상술한 바와 마찬가지로 연산부에서 이루어질 수 있으며, 연산부는 동일한 노출주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 또한, 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 그리고 제2 실시예에서 복수의 저해상 깊이 정보에 대응하는 광 신호 또는 입력광 신호의 광경로는 상술한 바와 같이 서로 상이할 수 있다.14 and 15A to 15C, in the camera module according to the second embodiment, a high-resolution image may be performed in the operation unit as described above, and the operation unit may be performed at the same exposure period, that is, a plurality of generated images in the same frame. A plurality of low-resolution depth information may be extracted by using the low-resolution subframe. In addition, the operation unit may extract high-resolution depth information by rearranging pixel values of a plurality of low-resolution depth information. In the second embodiment, optical signals corresponding to a plurality of low-resolution depth information or optical paths of an input optical signal may be different from each other as described above.

구체적으로, 연산부는 복수의 전기신호를 이용하여 1-1 내지 3-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 1-1 내지 1-8의 저해상 서브프레임과, 저해상 서브프레임 2-1 내지 2-8은 상술한 내용이 동일하게 적용될 수 있다. 마찬가지로, 틸트부에 의한 광경로 변경도 상술한 내용이 동일하게 적용될 수 있다.Specifically, the calculator may generate low-resolution subframes 1-1 to 3-8 using a plurality of electric signals. Low-resolution subframes 1-1 to 1-8 are low-resolution subframes generated in the first exposure period. Low-resolution subframes 2-1 to 2-8 are low-resolution subframes generated in the second exposure period. The above-described contents may be equally applied to the low-resolution subframes of the low-resolution subframes 1-1 to 1-8 and the low-resolution subframes 2-1 to 2-8. Likewise, the above-described contents may be applied equally to the change of the optical path by the tilt unit.

다만, 저해상 서브프레임 3-1 내지 3-8은 제어부에 의해 입력광의 광경로가 변경되어 생성된 전기 신호를 기반으로 생성된 저해상 서브프레임일 수 있다.However, the low-resolution subframes 3-1 to 3-8 may be low-resolution subframes generated based on an electrical signal generated by changing an optical path of the input light by the controller.

구체적으로, 제어부는 상술한 바와 같이 입력광의 광경로를 변경할 수 있다. 제어부는 제2 노출주기에서 제1 이동거리만큼의 시프트한 이후에 제3 노출주기에서 광경로를 제2 이동방향 및 제3 이동방향으로 각각 제2 이동거리만큼 이동할 수 있다. 이 때, 제2 이동거리는 제1 이동거리의 0.5배 내지 1배일 수 있다. 이하에서는 0.5 픽셀로 설명한다. 여기서, 제2 이동방향은 제1 이동방향에 수직한 방향이고, 제3 이동방향은 제1 이동방향과 동일한 방향이다. 이에, 제1 이동방향이 제1 방향이면 제2 이동방향은 제2 방향이고, 제1 이동방향이 제2 방항이면 제2 이동방향은 제1 방향일 수 있다.Specifically, the control unit may change the optical path of the input light as described above. After shifting by the first movement distance in the second exposure period, the controller may move the optical path by the second movement distance in the second movement direction and the third movement direction in the third exposure period. In this case, the second moving distance may be 0.5 to 1 times the first moving distance. Hereinafter, it will be described as 0.5 pixels. Here, the second movement direction is a direction perpendicular to the first movement direction, and the third movement direction is the same direction as the first movement direction. Accordingly, if the first moving direction is the first direction, the second moving direction may be the second direction, and if the first moving direction is the second direction, the second moving direction may be the first direction.

예컨대, 제어부가 제2 각도(θ_b)로 각각 하측 및 좌측으로 이동시키면, 센서(130)에 입사되는 입력광 신호는 하측 및 좌측으로 각각 0.5 픽셀만큼 이동할 수 있다. 여기서, 상술한 제2 각도(θ_b)는 예컨대 광학부에서 렌즈의 형상, 필터의 형상 등에 따라 다양하게 변경될 수 있다.For example, when the controller moves downward and to the left at the second angle θ _b , respectively, the input light signal incident on the sensor 130 may move downward and to the left by 0.5 pixels. Here, the above-described second angle θ _b may be variously changed according to, for example, a shape of a lens or a filter in the optical unit.

또한, 이러한 이동에 의해 센서(130)에 입사된 제1 입력 영역(I1) 및 제2 입력 영역(I2)과 제3 입력 영역(I3) 간의 위치 차이가 존재한다. In addition, there is a positional difference between the first input area I1 and the second input area I2 and the third input area I3 incident on the sensor 130 by such movement.

다시 말해, 제3 입력 영역(I3)의 중심(CP3, 이하 제3 중심)은 제1 입력 영역(I1)의 제1 중심(CP1)과 제2 입력 영역(I2)의 제2 중심(CP2) 사이에 위치할 수 있다. 또한, 제3 입력 영역(I3) 상에서 제3 중심은 인접한 제1 중심과 인접한 제2 중심과 1 픽셀 이내에 위치할 수 있다. 또한, 가장 인접한 제1 중심간의 제1 가상선과 가장 인접한 제2 중심 간의 제2 가장선 간의 교점에 위치할 수 있다. 또한, 제3 중심은 제1 중심 및 제2 중심과 마찬가지로 제1 방향 및 제2 방향으로 이격 배치될 수 있다. 또한, 제3 중심은 제1 중심 간의 제1 방향 또는 제2 방향으로 이격 거리와 동일한 길이로 이격 배치될 수 있다. In other words, the center of the third input area I3 (CP3, hereinafter the third center) is the first center CP1 of the first input area I1 and the second center CP2 of the second input area I2 It can be located between. Also, the third center on the third input area I3 may be located within 1 pixel of the adjacent second center and the adjacent first center. Also, it may be located at an intersection between the first virtual line between the closest first centers and the second most line between the closest second centers. In addition, the third center may be spaced apart in the first direction and the second direction like the first center and the second center. In addition, the third center may be spaced apart from each other in a first direction or a second direction between the first centers and the same length as the separation distance.

즉, 실시예에서 제어부는 제1 행 영역(RR1)의 비유효 영역에 도달하는 광이 제1 행 영역(RR1)의 비유효 영역에 인접한 상기 제2 행 영역(RR2)의 비유효 영역 방향으로 시프팅하는 제2 시프팅 제어를 수행할 수 있다. 이로써, 제1 행 영역(RR1)의 비유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 제1 행 영역(RR1)의 비유효 영역에 인접한 제2 행 영역(RR2)의 비유효 영역에 도달할 수 있다. 또한, 제1 행 영역(RR1)의 비유효 영역에 도달하는 광은 제1 행 영역(RR1)의 비유효 영역에 최인접한 제2 행 영역(RR2)의 비유효 영역으로 쉬프팅될 수 있다.That is, in the embodiment, the control unit controls the light reaching the ineffective area of the first row area RR1 in the direction of the ineffective area of the second row area RR2 adjacent to the ineffective area of the first row area RR1. The second shifting control for shifting may be performed. Accordingly, light reaching the ineffective area of the first row area RR1 is transferred to the non-effective area of the second row area RR2 adjacent to the ineffective area of the first row area RR1 by the second shifting control. Can be reached. In addition, light reaching the ineffective area of the first row area RR1 may be shifted to the ineffective area of the second row area RR2 closest to the ineffective area of the first row area RR1.

또한, 제어부는 제1 행 영역(RR1)의 유효 영역에 도달하는 광이 제1 행 영역(RR1)의 유효 영역에 인접한 제2 행 영역(RR2)의 유효 영역으로 시프팅하도록 제2 시프팅 제어를 수행할 수 있다. 이로써, 제1 행 영역(RR1)의 유효 영역에 도달하는 광은 제2 시프팅 제어에 의해 제1 행 영역(RR1)의 유효 영역에 인접한 제2 행 영역(RR2)의 유효 영역에 도달할 수 있다. 또한, 제1 행 영역(RR1)의 유효 영역에 도달하는 광은 제1 행 영역(RR1)의 유효 영역에 최인접한 제2 행 영역(RR2)의 유효 영역으로 쉬프팅될 수 있다. 이러한 시프팅 제어는 이하 여러 실시예에서도 동일하게 적용될 수 있다.In addition, the control unit controls the second shifting so that the light reaching the effective area of the first row area RR1 is shifted to the effective area of the second row area RR2 adjacent to the effective area of the first row area RR1. You can do it. Accordingly, light reaching the effective area of the first row area RR1 can reach the effective area of the second row area RR2 adjacent to the effective area of the first row area RR1 by the second shifting control. have. In addition, the light reaching the effective area of the first row area RR1 may be shifted to the effective area of the second row area RR2 closest to the effective area of the first row area RR1. This shifting control may be equally applied to the following various embodiments.

또한, 이러한 제2 시프팅 제어는 상술한 제1 시프팅 제어 이후에 수행될 수 있다. 그리고 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리는 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리와 상이할 수 있다. 예컨대, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리는 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 클 수 있다. 이에 대해서는 이하에서 자세히 설명한다. Also, the second shifting control may be performed after the first shifting control described above. Further, a movement distance of light reaching the sensor by the first shifting control may be different from a movement distance of light reaching the sensor by the second shifting control. For example, a moving distance of light reaching the sensor by the first shifting control may be greater than a moving distance of light reaching the sensor by the second shifting control. This will be described in detail below.

그리고 저해상 서브프레임 3-1 내지 3-8은 제3 노출주기에서 생성된 저해상 서브프레임이다. 그러면, 연산부는 각 노출주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-3을 추출한다. 상술한 바와 마찬가지로, 그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-3의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다. And low-resolution subframes 3-1 to 3-8 are low-resolution subframes generated in the third exposure period. Then, the operation unit extracts low-resolution depth information LRD-1 to LRD-3 by applying a depth information extraction technique to a plurality of low-resolution subframes generated in each exposure period. As described above, and the operation unit rearranges the pixel values of the low-resolution depth information LRD-1 to LRD-3 to extract the high-resolution depth information HRD.

또는, 전술한 바와 같이, 연산부는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 입력광 신호의 광경로가 상이하다. 그리고 연산부는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다. Alternatively, as described above, the operation unit may generate a high resolution subframe by rearranging pixel values of a plurality of subframes corresponding to the same reference signal. In this case, the plurality of subframes have different optical paths of corresponding input optical signals. In addition, the operation unit may extract high-resolution depth information by using a plurality of high-resolution subframes.

예를 들어, 도 14에서, 저해상 서브프레임 1-1, 2-1, 3-1는 동일한 참조 신호 C₁에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 연산부는 저해상 서브프레임 1-1, 2-1, 3-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.For example, in FIG. 14, low-resolution subframes 1-1, 2-1, and 3-1 correspond to the same reference signal C ₁ but correspond to different optical paths. Then, the operation unit may generate the high resolution subframe H-1 by rearranging the pixel values of the low resolution subframes 1-1, 2-1, and 3-1. When the high resolution subframes H-1 to H-8 are generated through pixel value rearrangement, the operation unit may extract the high resolution depth information HRD by applying a depth information extraction technique to the high resolution subframes H-1 to H-8.

보다 구체적으로, 상술한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 제1 실시예과 동일한 방식으로 생성될 수 있다. 이에, 본 내용은 생략하며 도 15a 내지 도 15c와 같이 저해상 서브프레임 3-1 내지 3-8을 생성하는 방식을 설명한다.More specifically, the low-resolution subframes 1-1 to 1-8 and the low-resolution subframes 2-1 to 2-8 described above may be generated in the same manner as in the first embodiment. Accordingly, the present content is omitted and a method of generating low-resolution subframes 3-1 to 3-8 as shown in FIGS. 15A to 15C will be described.

이 때, 3개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x6 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 4x6 의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 다만, 이러한 픽셀 수는 상술한 바와 같이 제한되는 것은 아니며 다양하게 변경될 수 있다. In this case, it is assumed that one 4x6 high-resolution image is generated by using three 4x4 low-resolution images. In this case, the high resolution pixel grid has 4x6 pixels, which are the same as pixels of the high resolution image. However, the number of such pixels is not limited as described above and may be variously changed.

상술한 바와 같이 연산부는 제1 저해상 영상, 제2 저해상 영상 및 제3 저해상 영상 등 복수의 저해상 영상을 생성할 수 있다. 그리고 제1 저해상 영상 및 제2 저해상 영상은 제1 이동방향으로 1 픽셀 크기로 광경로가 이동되어 촬영된 영상으로 제1 노출주기 동안 생성되고 객체의 깊이 정보를 포함할 수 있다. 또한, 제2 저해상 영상은 제2 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함할 수 있다. 제3 저해상 영상은 제3 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함할 수 있다. 또한, 상술한 바와 같이 제1 저해상 영상은 제1 입력 영역에 대응하고, 제2 저해상 영상은 제2 입력 영역에 대응하며, 제3 저해상 영상은 제3 입력 영역에 대응할 수 있다. 즉, 제1 저해상 영상의 제1 영상 픽셀은 제1 입력 영역의 제1 픽셀에, 제2 저해상 영상의 제2 영상 픽셀은 제2 입력 영역의 제1 픽셀에 대응하고, 제3 저해상 영상의 제3 영상 픽셀은 제3 입력 영역의 제1 픽셀에 대응할 수 있다.As described above, the operation unit may generate a plurality of low-resolution images such as a first low-resolution image, a second low-resolution image, and a third low-resolution image. In addition, the first low-resolution image and the second low-resolution image are images captured by moving an optical path in a size of 1 pixel in the first moving direction, and are generated during the first exposure period and may include depth information of the object. Also, the second low-resolution image may be generated during the second exposure period and may include depth information of the object. The third low-resolution image is generated during the third exposure period and may include depth information of the object. In addition, as described above, the first low-resolution image may correspond to the first input area, the second low-resolution image may correspond to the second input area, and the third low-resolution image may correspond to the third input area. That is, the first image pixel of the first low-resolution image corresponds to the first pixel of the first input area, the second image pixel of the second low-resolution image corresponds to the first pixel of the second input area, and the third low-resolution image The third image pixel of the image may correspond to the first pixel of the third input area.

연산부는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 저해상 영상의 픽셀값을 고해상 영상에 맞게 배치한다. 예컨대, 제1 저해상 영상의 각 픽셀의 우측에 제2 저해상 영상의 픽셀(B)을 배치할 수 있다. 여기서, 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다. 그리고 제3 저해상 영상은 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀(B) 사이에 위치할 수 있다. The operation unit arranges the pixel values of the second low-resolution image according to the moving direction of the light path based on the first low-resolution image in which the optical path has not moved to fit the high-resolution image. For example, the pixel B of the second low-resolution image may be disposed to the right of each pixel of the first low-resolution image. Here, the low-resolution image may mean including a low-resolution subframe and low-resolution depth information, and the high-resolution image may mean a high-resolution subframe and a high-resolution depth information. In addition, the third low-resolution image may be positioned between the pixel A of the first low-resolution image and the pixel B of the second low-resolution image.

구체적으로, 제3 저해상 영상은 제2 저해상 영상으로부터 제2 이동방향 및 제3 이동방향으로 각각 서브 픽셀만큼 하측으로 이동한 영상이다. 즉, 제3 저해상 영상은 제2 저해상 영상에서 제2 이동방향으로 0.5 픽셀만큼 이동하고, 다시 제3 이동방향으로 0.5 픽셀만큼 이동한 영상일 수 있다. 예컨대, 제3 저해상 영상은 제2 저해상 영상에서 하측으로 0.5 픽셀만큼 이동하고, 다시 좌측으로 0.5 픽셀만큼 이동한 영상일 수 있다. 즉, 제3 저해상 영상은 제2 저해상 영상을 기준으로 1 픽셀 이하로 쉬프팅된 영상일 수 있다. 이에, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리는 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리와 상이하며, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리가 제2 시프팅 제어에 의해 상기 센서에 도달하는 광의 이동거리보다 클 수 있다. 예컨대, 제3 저해상 영상을 참조할 때, 제3 저해상 영상은 제2 저해상 영상에서 0.5 픽셀만큼 쉬프팅된 영상이나, 제2 저해상 영상은 제1 저해상 영상에서 1 픽셀만큼 쉬프팅된 영상일 수 있다. 바람직하게는, 제1 시프팅 제어에 의한 상기 센서의 평면 상에서 광의 이동거리는 동일 행 영역에서 인접한 유효 영역의 중심간의 거리의 0.3 내지 0.7배일 수 있다. Specifically, the third low-resolution image is an image that has been moved downward by sub-pixels from the second low-resolution image in the second and third moving directions, respectively. That is, the third low-resolution image may be an image that is moved by 0.5 pixels in the second movement direction from the second low-resolution image and then by 0.5 pixels in the third movement direction. For example, the third low-resolution image may be an image that is moved by 0.5 pixels to the lower side of the second low-resolution image and by 0.5 pixels to the left. That is, the third low-resolution image may be an image shifted to 1 pixel or less based on the second low-resolution image. Accordingly, the movement distance of light reaching the sensor by the first shifting control is different from the movement distance of light reaching the sensor by the second shifting control, and the movement of light reaching the sensor by the first shifting control The distance may be greater than a moving distance of light reaching the sensor by the second shifting control. For example, when referring to a third low-resolution image, the third low-resolution image is an image shifted by 0.5 pixels from the second low-resolution image, but the second low-resolution image is an image shifted by 1 pixel from the first low-resolution image Can be Preferably, the moving distance of light on the plane of the sensor by the first shifting control may be 0.3 to 0.7 times the distance between the centers of adjacent effective areas in the same row area.

또한, 상기 제2 시프팅 제어에 의한 센서 평면 상에서 광의 이동거리는 제1 행 영역의 유효 영역의 중심에서 상기 제1 행 영역의 유효 영역에 인접한 제2 행 영역의 중심 사이의 거리의 0.3 내지 0.7배일 수 있다. 그리고 제1 시프팅 제어에 의한 광의 이동거리는 제2 시프팅 제어에 의한 광의 이동거리의 0.5배 내지 1배일 수 있다.In addition, the moving distance of light on the sensor plane by the second shifting control is 0.3 to 0.7 times the distance between the center of the effective area of the first row area and the center of the second row area adjacent to the effective area of the first row area. I can. In addition, the moving distance of light by the first shifting control may be 0.5 to 1 times the moving distance of light by the second shifting control.

또한, 제3 저해상 영상의 각 픽셀(C)은 제1 저해상 영상의 각 픽셀(A)과 제2 저해상 영상의 각 픽셀(B)의 중심에 위치할 수 있다. 보다 구체적으로, 제3 저해상 영상의 각 픽셀(C)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀과 일부 중첩될 수 있다. 예컨대, 제3 저해상 영상의 각 픽셀(C)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀 (B)과 각각 절반씩 중첩될 수 있다.In addition, each pixel C of the third low-resolution image may be located at the center of each pixel A of the first low-resolution image and each pixel B of the second low-resolution image. More specifically, each pixel C of the third low-resolution image may partially overlap the pixel A of the adjacent first low-resolution image and the pixel of the second low-resolution image. For example, each pixel C of the third low-resolution image may overlap the pixel A of the adjacent first low-resolution image and the pixel B of the second low-resolution image by half.

또한, 제3 저해상 영상 상에서 픽셀의 중심(CP3, 이하 제3 중심)은 인접한 제1 중심과 인접한 제2 중심과 1 픽셀 이내에 위치할 수 있다. 또한, 가장 인접한 인한 제1 중심간의 제1 가상선과 가장 인접한 제2 중심 간의 제2 가장선 간의 교점에 위치할 수 있다. 또한, 제3 중심은 제1 중심 및 제2 중심과 마찬가지로 제1 방향 및 제2 방향으로 이격 배치될 수 있다. 또한, 제3 중심은 제1 중심 간의 제1 방향 또는 제2 방향으로 이격 거리와 동일한 길이로 이격 배치될 수 있다.In addition, the center of the pixel (CP3, hereinafter referred to as the third center) on the third low-resolution image may be located within one pixel and the second center adjacent to the adjacent first center. In addition, it may be located at an intersection between the first virtual line between the first center and the second line between the closest second center. In addition, the third center may be spaced apart in the first direction and the second direction like the first center and the second center. In addition, the third center may be spaced apart from each other in a first direction or a second direction between the first centers and the same length as the separation distance.

그리고 고해상 픽셀 그리드에 제1 내지 제3 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 3배 증가한 고해상 영상 프레임이 생성될 수 있다.In addition, when all pixel values of the first to third low-resolution images are rearranged in the high-resolution pixel grid, a high-resolution image frame with a resolution of 3 times higher than that of the low-resolution image may be generated.

한편, 연산부는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.Meanwhile, the calculator may apply a weight to the arranged pixel values. In this case, the weight may be set differently according to the size of the pixel or the moving direction of the light path, and may be set differently for each low-resolution image.

한 실시예에 따르면, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 서브픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.According to an embodiment, the controller 150 shifts the input optical signal by controlling the slope of the lens assembly, for example, an IR filter (318 in FIG. 3) included in the lens assembly, and accordingly shifts the input optical signal by subpixels. Data can be obtained. As for the method of controlling the inclination, the contents described in FIGS. 13D and 13E may be equally applied.

도 16, 도 17a 내지 도 17c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.도 16, 도 17a 내지 도 17c를 참조하면, 연산부는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 그리고 제어부에 의한 경우 복수의 저해상 깊이 정보에 대응하는 입력광 신호의 광경로는 서로 상이할 수 있다. 16 and 17A to 17C are diagrams for explaining driving for obtaining a high-resolution image in the camera module according to an embodiment. Referring to FIGS. 16 and 17A to 17C, the operation unit has the same exposure period, that is, the same frame. A plurality of low-resolution depth information may be extracted using a plurality of low-resolution subframes generated in FIG. In addition, the operation unit may extract high-resolution depth information by rearranging pixel values of a plurality of low-resolution depth information. Further, in the case of the controller, the optical paths of the input optical signals corresponding to the plurality of low-resolution depth information may be different from each other.

예를 들어, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 그러면, 연산부는 각 노출 주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다. 그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다. For example, the calculator may generate low-resolution subframes 1-1 to 4-8 using a plurality of electric signals. Low-resolution subframes 1-1 to 1-8 are low-resolution subframes generated in the first exposure period. Low-resolution subframes 2-1 to 2-8 are low-resolution subframes generated in the second exposure period. Low-resolution subframes 3-1 to 3-8 are low-resolution subframes generated in the third exposure period. Low-resolution subframes 4-1 to 4-8 are low-resolution subframes generated in the fourth exposure period. Then, the operation unit extracts low-resolution depth information LRD-1 to LRD-4 by applying a depth information extraction technique to a plurality of low-resolution subframes generated in each exposure period. Low-resolution depth information LRD-1 is low-resolution depth information extracted using subframes 1-1 to 1-8. Low-resolution depth information LRD-2 is low-resolution depth information extracted using subframes 2-1 to 2-8. Low-resolution depth information LRD-3 is low-resolution depth information extracted using subframes 3-1 to 3-8. Low-resolution depth information LRD-4 is low-resolution depth information extracted using subframes 4-1 to 4-8. Further, the operation unit rearranges the pixel values of the low-resolution depth information LRD-1 to LRD-4 to extract the high-resolution depth information HRD.

예를 들어, 도 17a에서, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성한다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 여기서, 저해상 서브프레임 1-1, 2-1, 3-1, 4-1는 동일한 참조 신호 C₁에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 연산부는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 이왁 같은 방식으로, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.For example, in FIG. 17A, the operation unit generates low-resolution subframes 1-1 to 4-8 using a plurality of electric signals. Low-resolution subframes 1-1 to 1-8 are low-resolution subframes generated in the first exposure period. Low-resolution subframes 2-1 to 2-8 are low-resolution subframes generated in the second exposure period. Low-resolution subframes 3-1 to 3-8 are low-resolution subframes generated in the third exposure period. Low-resolution subframes 4-1 to 4-8 are low-resolution subframes generated in the fourth exposure period. Here, the low-resolution subframes 1-1, 2-1, 3-1, and 4-1 correspond to the same reference signal C ₁ , but correspond to different optical paths. Then, the operation unit may generate the high-resolution subframe H-1 by rearranging the pixel values of the low-resolution subframes 1-1, 2-1, 3-1, and 4-1. In the same way, when the high-resolution subframes H-1 to H-8 are generated, the operation unit may extract the high-resolution depth information HRD by applying a depth information extraction technique to the high-resolution subframes H-1 to H-8.

보다 구체적으로, 상술한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 제1 실시예 및 제2 실시예와 동일한 방식으로 생성될 수 있다. 그리고 저해상 서브프레임 3-1 내지 3-8은 제2 실시예와 동일한 방식으로 생성될 수 있다. 이에, 본 내용은 생략하며 도 17a 내지 도 17c와 같이 저해상 서브프레임 4-1 내지 4-8을 생성하는 방식을 설명한다.More specifically, the above-described low-resolution subframes 1-1 to 1-8 and low-resolution subframes 2-1 to 2-8 may be generated in the same manner as in the first and second embodiments. In addition, low-resolution subframes 3-1 to 3-8 may be generated in the same manner as in the second embodiment. Accordingly, the present content is omitted and a method of generating low-resolution subframes 4-1 to 4-8 as shown in FIGS. 17A to 17C will be described.

그리고 여기서는 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 4x8 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 4x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 다만, 이러한 픽셀 개수에 한정되는 것은 아니다. 그리고 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.And here, it is assumed that one 4x8 high-resolution image is generated by using four 4x4 low-resolution images. In this case, the high resolution pixel grid has 4x8 pixels, which are the same as pixels of the high resolution image. However, it is not limited to the number of such pixels. In addition, a low-resolution image may mean including a low-resolution subframe and low-resolution depth information, and a high-resolution image may mean a high-resolution subframe and a high-resolution depth information.

제1 내지 4 저해상 영상은 제1 실시예 및 제2 실시예에서 설명한 바와 같이 제어부에 의해 광경로가 이동되어 촬영된 영상이다. 즉, 제어부에 의해 광경로는 제4 노출주기에서 제3 노출주기를 기준으로 제3 이동방향으로 제1 이동거리만큼 쉬프팅될 수 있다. 여기서, 제4 노출주기는 제3 노출주기에 연속하는 노출주기이다. 이에 따라, 상술한 제1 실시예 또는 제2 실시예에서와 마찬가지로 제4 노출주기에서 연산부에 의해 제4 저해상 영상이 생성될 수 있다.The first to fourth low-resolution images are images captured by moving the optical path by the control unit, as described in the first and second embodiments. That is, by the control unit, the optical path may be shifted by the first movement distance in the third movement direction based on the third exposure period in the fourth exposure period. Here, the fourth exposure period is an exposure period continuous to the third exposure period. Accordingly, as in the above-described first or second embodiment, the fourth low-resolution image may be generated by the operation unit in the fourth exposure period.

그리고 연산부는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 내지 제4 저해상 영상의 픽셀값을 고해상 영상에 맞추어 재배치한다. 예컨대, 제4 저해상 영상은 제어부가 제3 노출주기가 종료된 후에 입력 신호의 광경로를 센서 기준 1 픽셀만큼 좌측으로 이동하여 생성될 수 있다. 마찬가지로, 제3 이동방향은 제1 이동방향의 반대방향일 수 있고, 제1 이동방향이 우측인 경우 제3 이동방향은 좌측을 의미한다. In addition, the operation unit rearranges the pixel values of the second to fourth low-resolution images according to the moving direction of the optical path based on the first low-resolution image in which the optical path has not moved according to the high-resolution image. For example, the fourth low-resolution image may be generated by the controller moving the optical path of the input signal to the left by 1 pixel based on the sensor after the third exposure period ends. Likewise, the third movement direction may be a direction opposite to the first movement direction, and when the first movement direction is the right side, the third movement direction means the left side.

따라서 제4 저해상 영상을 생성하기 위하여, 제3 실시예에 따른 카메라 모듈은 제1 실시예에서 설명한 제어부의 구동과 방향만을 반대 방향으로 설정하여 구동하여 얻어진 제4 입력 영역(I4)으로부터 제4 저해상 영상을 생성할 수 있다. 이 때, 제4 입력 영역(I4)의 중심(CP4, 이하 제4 중심)은 제3 중심(CP3)과 제1 방향 및 제2 방향으로 교번하여 배치될 수 있다. 그리고 제4 중심(CP4)은 제1 중심(CP1)과 제2 중심(CP2) 사이에 위치할 수 있다. 또한, 제4 저해상 영상의 각 픽셀(D)은 제3 저해상 영상의 각 픽셀(C)과 마찬가지로 제1 저해상 영상의 각 픽셀(A)과 제2 저해상 영상의 각 픽셀(B)의 중심에 위치할 수 있다. 이에, 제4 저해상 영상의 각 픽셀(D)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀(B)과 일부 중첩될 수 있다. 예컨대, 제3 저해상 영상의 각 픽셀(C)은 인접한 제1 저해상 영상의 픽셀(A)과 제2 저해상 영상의 픽셀과 각각 절반씩 중첩될 수 있다.Therefore, in order to generate a fourth low-resolution image, the camera module according to the third exemplary embodiment sets only the driving and direction of the control unit described in the first exemplary embodiment in the opposite direction. You can create low-resolution images. In this case, the center CP4 (hereinafter, the fourth center) of the fourth input area I4 may be alternately disposed with the third center CP3 in the first and second directions. In addition, the fourth center CP4 may be located between the first center CP1 and the second center CP2. In addition, each pixel (D) of the fourth low-resolution image is similar to each pixel (C) of the third low-resolution image, each pixel (A) of the first low-resolution image and each pixel (B) of the second low-resolution image Can be located in the center of. Accordingly, each pixel D of the fourth low-resolution image may partially overlap the pixel A of the adjacent first low-resolution image and the pixel B of the second low-resolution image. For example, each pixel C of the third low-resolution image may overlap the pixel A of the adjacent first low-resolution image and the pixel of the second low-resolution image by half.

또한, 상술한 바와 같이 제1 저해상 영상은 제1 입력 영역에 대응하고, 제2 저해상 영상은 제2 입력 영역에 대응하며, 제3 저해상 영상은 제3 입력 영역에 대응하고, 제4 저해상 영상은 제4 입력 영역에 대응할 수 있다. 즉, 제1 저해상 영상에서 제1 영상 픽셀은 제1 입력 영역의 제1 픽셀에, 제2 저해상 영상의 제2 영상 픽셀은 제2 입력 영역의 제1 픽셀에 대응하고, 제3 저해상 영상의 제3 영상 픽셀은 제3 입력 영역의 제1 픽셀에 대응하고, 제4 저해상 영상의 제4 영상 픽셀은 제4 입력 영역의 제1 픽셀에 대응할 수 있다. 또한, 상술한 바와 같이 제1 영상 픽셀 내지 제4 영상 픽셀은 각각의 저해상 영상 또는 제1 입력 영상의 제1 픽셀에 대응할 수 있다.In addition, as described above, the first low-resolution image corresponds to the first input area, the second low-resolution image corresponds to the second input area, the third low-resolution image corresponds to the third input area, and the fourth The low-resolution image may correspond to the fourth input area. That is, in the first low-resolution image, the first image pixel corresponds to the first pixel in the first input area, the second image pixel in the second low-resolution image corresponds to the first pixel in the second input area, and the third low-resolution image The third image pixel of the image may correspond to the first pixel of the third input area, and the fourth image pixel of the fourth low-resolution image may correspond to the first pixel of the fourth input area. In addition, as described above, the first to fourth image pixels may correspond to each of the low-resolution images or the first pixels of the first input image.

예컨대, 제1 저해상 영상의 픽셀(A) 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치될 수 있고, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치될 수 있으며, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치될 수 있다. 이러한 구성에 의하여, 제3 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.For example, a pixel B of a second low-resolution image may be disposed in a pixel located to the right of the pixel A of the first low-resolution image, and a pixel B may be disposed below each pixel B of the second low-resolution image. 3 A pixel C of a low-resolution image may be disposed, and a pixel D of a fourth low-resolution image may be disposed in a pixel located to the left of the pixel C of the third low-resolution image. With this configuration, the camera module according to the third embodiment can provide a high-resolution image frame with a resolution of 4 times higher than that of a low-resolution image by rearranging all pixel values of the first to fourth low-resolution images in the high-resolution pixel grid. .

뿐만 아니라, 연산부는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다. In addition, the calculation unit may apply a weight to the arranged pixel values. In this case, the weight may be set differently according to the size of the subpixel or the moving direction of the light path, and may be set differently for each low-resolution image.

그리고 실시예에 따르면, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 소정의 픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.In addition, according to an embodiment, the controller 150 shifts the input optical signal by controlling the slope of the lens assembly, for example, the IR filter (318 in FIG. 3) included in the lens assembly. Shifted data can be obtained. As for the method of controlling the inclination, the contents described in FIGS. 13D and 13E may be equally applied.

또한, 변형예로서 연산부는 제1 저해상 영상과 제2 저해상 영상에 인터폴레이션(interpolation)을 적용하여 제4 저해상 영상을 생성할 수 있다. 즉, 저해상 서브프레임 4-1 내지 4-8은 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다.In addition, as a modified example, the operation unit may generate a fourth low-resolution image by applying interpolation to the first low-resolution image and the second low-resolution image. That is, low-resolution subframes 4-1 to 4-8 may be generated using low-resolution subframes 1-1 to 1-8 and low-resolution subframes 2-1 to 2-8.

다시 말해, 변형예로서 제어부에 의한 시프팅을 수행하지 않고 제4 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.In other words, as a modified example, the fourth low-resolution subframes 4-1 to 4-8 may be generated without shifting by the controller.

구체적으로, 이를 위해, 연산부는 제4 중심에 대응하는 픽셀에 대한 픽셀값을 인접한 서브프레임 1-1 내지 1-8의 픽셀 및 인접한 서브프레임 2-1 내지 2-8의 픽셀에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다. Specifically, for this purpose, the operation unit interpolates a pixel value for a pixel corresponding to the fourth center to pixels of adjacent subframes 1-1 to 1-8 and pixels of adjacent subframes 2-1 to 2-8. It can be calculated using a technique.

실시예에서, 인터폴레이션 기법은 선형 보간법(linear interpolation), 다항식 보간법(polynomial interpolation), 스플라인 보간법(spline interpolation), 지수 보간법(Exponential interpolation), 로그 선형 보간법(log linear interpolation), 라그랑지 보간법(lagrange interpolation), 뉴튼 보간법(newton interpolation), 2차원 보간법(bilinear interpolation), 공간 보간법(geographic interpolation) 등이 적용될 수 있다.In an embodiment, the interpolation method is linear interpolation, polynomial interpolation, spline interpolation, exponential interpolation, log linear interpolation, and lagrange interpolation. ), Newton interpolation, bilinear interpolation, and geographic interpolation can be applied.

일예로, 연산부는 제4 중심을 기준으로 가장 인접한 2개의 제1 중심과 가장 인접한 2개의 제2 중심에 대응하는 픽셀값으로부터 가중치를 반영하여 제4 중심에 대응하는 픽셀값을 산출할 수 있다. 이 때, 제4 중심에 인접한 제1 중심 및 제2 중심은 제4 중심으로부터의 거리가 동일하므로 상술한 가중치는 동일하게 적용할 수 있다. 이러한 방식에 의하여, 인터폴레이션 기법에 의한 처리 속도가 향상될 수 있다.For example, the calculating unit may calculate a pixel value corresponding to the fourth center by reflecting a weight from pixel values corresponding to two closest first centers and two second most adjacent centers based on the fourth center. In this case, since the first center and the second center adjacent to the fourth center have the same distance from the fourth center, the above-described weights can be applied equally. In this way, the processing speed by the interpolation technique can be improved.

또한, 다른 말로 제4 저해상 영상은 제4 영상 픽셀을 포함하고, 제4 영상 픽셀은 최인접한 2개의 제1 영상 픽셀과 상기 2개의 제1 영상 픽셀에 최인접한 2개의 제2 영상 픽셀의 중심에 위치할 수 있다. 즉, 제4 영상 픽셀은 상기 최인접한 2개의 제1 영상 픽셀과 상기 최인접한 2개의 제2 영상 픽셀에 인터폴레이션(interpolation)을 적용하여 산출될 수 있다. 이러한 방식에 의하여, 연산부는 인터폴레이션 기법으로 얻은 제4 중심에 대응한 픽셀값을 기반으로 하는 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.In other words, the fourth low-resolution image includes a fourth image pixel, and the fourth image pixel includes the two first image pixels closest to the two first image pixels and the center of the two second image pixels closest to the two first image pixels. Can be located in That is, the fourth image pixel may be calculated by applying interpolation to the two closest first image pixels and the two closest second image pixels. In this way, the operation unit may generate low-resolution subframes 4-1 to 4-8 based on a pixel value corresponding to the fourth center obtained by the interpolation technique.

다시 말해, 제1 시프팅 제어에 의해 상기 센서에 도달하는 광과 상기 제2 시프팅 제어에 의해 상기 센서에 도달하는 광 간의 인터폴레이션 인터폴레이션(interpolation)을 적용하여 최인접한 제1 시프팅 제어에 의해 센서에 도달하는 광(최인접한 2개의 제1 영상 픽셀에 대응)과 상기 최인접한 상기 제1 시프팅 제어에 의해 상기 센서에 도달하는 광에 최인접한 광(제2 영상 픽셀에 대응)의 중심(제4 영상 픽셀)에 도달하는 광을 산출할 수 있다. 이러한 인터폴레이션 기법은 이하에도 동일하게 적용될 수 있다.In other words, by applying an interpolation interpolation between the light reaching the sensor by the first shifting control and the light reaching the sensor by the second shifting control, the sensor by the closest first shifting control The center (corresponding to the second image pixel) of the light reaching the (corresponding to the two closest first image pixels) and the light closest to the light reaching the sensor by the first shifting control (corresponding to the second image pixel) 4 video pixels) can be calculated. This interpolation technique can be applied equally to the following.

그리고 상술한 바와 같이 제3 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.And, as described above, the camera module according to the third embodiment may provide a high-resolution image frame having a resolution of 4 times higher than that of a low-resolution image by rearranging all pixel values of the first to fourth low-resolution images in the high-resolution pixel grid. .

또한, 이러한 제4 영상 픽셀은 제3 영상 픽셀과 중첩되지 않을 수 있다. 이에 따라, 픽셀값에 대한 정확도가 개선될 수 있다.In addition, the fourth image pixel may not overlap with the third image pixel. Accordingly, the accuracy of the pixel value can be improved.

도 18, 도 19a 내지 도 19c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다. 18 and 19A to 19C are views for explaining driving for obtaining a high-resolution image in a camera module according to an exemplary embodiment.

도 18, 도 19a 내지 도 19c를 참조하면, 연산부는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 또한, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 서브프레임을 생성할 수도 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 그리고 제어부에 의한 경우 복수의 저해상 깊이 정보에 대응하는 입력광 신호의 광경로는 서로 상이할 수 있다. Referring to FIGS. 18 and 19A to 19C, the operation unit may extract a plurality of low-resolution depth information by using a plurality of low-resolution subframes generated in the same exposure period, that is, the same frame. In addition, a plurality of low-resolution subframes may be generated by using a plurality of low-resolution subframes. In addition, the operation unit may extract high-resolution depth information by rearranging pixel values of a plurality of low-resolution depth information. Further, in the case of the controller, the optical paths of the input optical signals corresponding to the plurality of low-resolution depth information may be different from each other.

예를 들어, 연산부는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 이러한 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8은 상술한 제1 내지 제3 실시예와 동일하게 적용될 수 있다.For example, the calculator may generate low-resolution subframes 1-1 to 4-8 using a plurality of electric signals. Low-resolution subframes 1-1 to 1-8 are low-resolution subframes generated in the first exposure period. Low-resolution subframes 2-1 to 2-8 are low-resolution subframes generated in the second exposure period. These low-resolution subframes 1-1 to 1-8 and low-resolution subframes 2-1 to 2-8 may be applied in the same manner as in the first to third embodiments described above.

다만, 제4 실시예에 따르면, 연산부는 제3 저해상 서브프레임 3-1 내지 3-8 및 제4 저해상 서브프레임 4-1 내지 4-8을 제1 저해상 서브프레임 1-1 내지 1-8 및 제2 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다.However, according to the fourth embodiment, the operation unit converts the third low-resolution subframes 3-1 to 3-8 and the fourth low-resolution subframes 4-1 to 4-8 into the first low-resolution subframes 1-1 to 1 It can be generated using -8 and the second low-resolution subframes 2-1 to 2-8.

구체적으로, 저해상 서브프레임 3-1 내지 3-8은 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다. 다시 말해, 제어부에 의한 시프팅을 수행하지 않고 저해상 서브프레임 3-1 내지 3-8을 생성할 수 있다.Specifically, low-resolution subframes 3-1 to 3-8 may be generated using low-resolution subframes 1-1 to 1-8 and low-resolution subframes 2-1 to 2-8. In other words, low-resolution subframes 3-1 to 3-8 may be generated without shifting by the control unit.

또한, 저해상 서브프레임 4-1 내지 4-8은 저해상 서브프레임 1-1 내지 1-8 및 저해상 서브프레임 2-1 내지 2-8을 이용하여 생성할 수 있다. 다시 말해, 제어부에 의한 시프팅을 수행하지 않고 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.In addition, low-resolution subframes 4-1 to 4-8 may be generated using low-resolution subframes 1-1 to 1-8 and low-resolution subframes 2-1 to 2-8. In other words, low-resolution subframes 4-1 to 4-8 may be generated without shifting by the control unit.

이를 위해, 연산부는 제3 중심에 대응하는 픽셀에 대한 픽셀값을 인접한 서브프레임 1-1 내지 1-8의 픽셀 및 인접한 서브프레임 2-1 내지 2-8의 픽셀에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다. To this end, the operation unit uses an interpolation technique for pixels of adjacent subframes 1-1 to 1-8 and pixels of adjacent subframes 2-1 to 2-8 by using a pixel value for a pixel corresponding to the third center. Can be calculated by

마찬가지로, 연산부는 제4 중심에 대응하는 픽셀에 대한 픽셀값을 인접한 서브프레임 1-1 내지 1-8의 픽셀 및 인접한 서브프레임 2-1 내지 2-8의 픽셀에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다. 다시 말해, 제4 저해상 영상은 제4 영상 픽셀을 포함하며, 제4 영상 픽셀은 최인접한 2개의 제1 영상 픽셀과 2개의 제1 영상 픽셀에 최인접한 2개의 제2 영상 픽셀의 중심에 위치할 수 있다.Similarly, the operation unit uses an interpolation technique to calculate the pixel value for the pixel corresponding to the fourth center to the pixels of the adjacent subframes 1-1 to 1-8 and the pixels of the adjacent subframes 2-1 to 2-8. Can be calculated. In other words, the fourth low-resolution image includes the fourth image pixel, and the fourth image pixel is located at the center of the two closest first image pixels and the two second image pixels closest to the two first image pixels. can do.

이러한 인터폴레이션 기법은 상술한 바와 마찬가지로 선형 보간법(linear interpolation), 다항식 보간법(polynomial interpolation), 스플라인 보간법(spline interpolation), 지수 보간법(Exponential interpolation), 로그 선형 보간법(log linear interpolation), 라그랑지 보간법(lagrange interpolation), 뉴튼 보간법(newton interpolation), 2차원 보간법(bilinear interpolation), 공간 보간법(geographic interpolation) 등이 적용될 수 있다.As described above, these interpolation techniques include linear interpolation, polynomial interpolation, spline interpolation, exponential interpolation, log linear interpolation, and Lagrange interpolation. interpolation), Newton interpolation, bilinear interpolation, and geographic interpolation may be applied.

또한, 연산부는 제3 중심을 기준으로 가장 인접한 2개의 제1 중심과 가장 인접한 2개의 제2 중심에 대응하는 픽셀값으로부터 가중치를 반영하여 제3 중심에 대응하는 픽셀값을 산출할 수 있다. 이 때, 제3 중심에 인접한 제1 중심 및 제2 중심은 제3 중심으로부터의 거리가 동일하므로 상술한 가중치는 동일하게 적용할 수 있다. 이러한 방식에 의하여, 인터폴레이션 기법에 의한 처리 속도가 향상될 수 있다.Also, the calculator may calculate a pixel value corresponding to the third center by reflecting a weight from pixel values corresponding to the two closest first centers and the two second most adjacent centers based on the third center. In this case, since the first center and the second center adjacent to the third center have the same distance from the third center, the above-described weights can be applied equally. In this way, the processing speed by the interpolation technique can be improved.

마찬가지로, 연산부는 제4 중심을 기준으로 가장 인접한 2개의 제1 중심과 가장 인접한 2개의 제2 중심에 대응하는 픽셀값으로부터 가중치를 반영하여 제4 중심에 대응하는 픽셀값을 산출할 수 있다. 또한, 제4 중심에 인접한 제1 중심 및 제2 중심은 제4 중심으로부터의 거리가 동일하므로 상술한 가중치는 동일하게 적용할 수 있다. Likewise, the operator may calculate a pixel value corresponding to the fourth center by reflecting a weight from pixel values corresponding to the two closest first centers and the two second most adjacent centers based on the fourth center. In addition, since the first center and the second center adjacent to the fourth center have the same distance from the fourth center, the above-described weights can be applied equally.

이 때, 제3 중심은 제3 중심에 인접한 제4 픽셀의 픽셀값을 산출하기 위해 이용된 픽셀값의 일부를 이용할 수 있다. 예컨대, 인접한 제3 중심과 제4 중심은 픽셀값 산출에 있어서 적어도 하나의 제1 중심의 픽셀값 및 적어도 하나의 제2 중심의 픽셀값을 공유할 수 있다.In this case, the third center may use a part of the pixel value used to calculate the pixel value of the fourth pixel adjacent to the third center. For example, the adjacent third center and the fourth center may share at least one first center pixel value and at least one second center pixel value in calculating the pixel value.

이러한 방식에 의하여, 연산부는 인터폴레이션 기법으로 얻은 제3 중심에 대응한 픽셀값을 기반으로 하는 저해상 서브프레임 3-1 내지 3-8과을 생성할 수 있다. 또한, 연산부는 제4 중심에 대응한 픽셀값을 기반으로 하는 저해상 서브프레임 4-1 내지 4-8을 생성할 수 있다.In this way, the operation unit may generate low-resolution subframes 3-1 to 3-8 based on a pixel value corresponding to the third center obtained by the interpolation technique. Also, the operation unit may generate low-resolution subframes 4-1 to 4-8 based on a pixel value corresponding to the fourth center.

이에 따라, 제4 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.Accordingly, the camera module according to the fourth exemplary embodiment may provide a high-resolution image frame having a resolution of 4 times higher than that of a low-resolution image by rearranging all pixel values of the first to fourth low-resolution images in the high-resolution pixel grid.

그리고 연산부는 상술한 방식으로 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출할 수 있다. 그리고 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다.In addition, the operation unit may extract the low-resolution depth information LRD-1 to LRD-4 by applying the depth information extraction technique to the plurality of low-resolution subframes generated in the above-described manner. In addition, the low-resolution depth information LRD-1 is low-resolution depth information extracted using subframes 1-1 to 1-8. Low-resolution depth information LRD-2 is low-resolution depth information extracted using subframes 2-1 to 2-8. Low-resolution depth information LRD-3 is low-resolution depth information extracted using subframes 3-1 to 3-8. Low-resolution depth information LRD-4 is low-resolution depth information extracted using subframes 4-1 to 4-8.

그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다. Further, the operation unit rearranges the pixel values of the low-resolution depth information LRD-1 to LRD-4 to extract the high-resolution depth information HRD.

그리고 연산부는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. In addition, the operation unit may generate a high resolution subframe H-1 by rearranging the pixel values of the low resolution subframes 1-1, 2-1, 3-1, and 4-1.

또는, 제3 실시예에서 설명한 내용과 동일하게 저해상 서브 프레임의 픽셀이 재배치될 수 있다. 다시 말해, 연산부 제1 내지 제4 저해상 영상을 생성할 수 있다. Alternatively, pixels of a low-resolution sub-frame may be rearranged in the same manner as described in the third embodiment. In other words, the operation unit may generate the first to fourth low-resolution images.

구체적으로, 연산부 제1 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함하는 제1 저해상 영상과, 상기 제2 노출주기 동안 생성되고 상기 객체의 깊이 정보를 포함하는 제2 저해상 영상을 생성할 수 있다. 그리고 연산부는 제1 저해상 영상과 제2 저해상 영상에 인터폴레이션(interpolation)을 적용하여 제3 저해상 영상을 생성하고, 제1 저해상 영상과 제2 저해상 영상에 인터폴레이션(interpolation)을 적용하여 제4 저해상 영상을 생성할 수 있다.Specifically, the operation unit generates a first low-resolution image generated during a first exposure period and includes depth information of the object, and a second low-resolution image generated during the second exposure period and includes depth information of the object. I can. In addition, the operation unit generates a third low-resolution image by applying interpolation to the first low-resolution image and the second low-resolution image, and applies interpolation to the first low-resolution image and the second low-resolution image. A fourth low-resolution image may be generated.

이 때, 제1 저해상 영상은 제1 픽셀에 대응하는 제1 영상 픽셀을 포함하고, 상기 제2 저해상 영상은 제1 픽셀에 대응하는 제2 영상 픽셀을 포함할 수 있다.In this case, the first low-resolution image may include a first image pixel corresponding to the first pixel, and the second low-resolution image may include a second image pixel corresponding to the first pixel.

그리고 본 실시예에서 제3 저해상 영상 및 제4 저해상 영상은 각각 최인접한 2개의 제1 영상 픽셀과 상기 2개의 제1 영상 픽셀에 최인접한 2개의 제2 영상 픽셀의 중심에 위치하는 제3 영상 픽셀 및 제4 영상 픽셀을 포함할 수 있다. 그리고 제3 영상 픽셀 및 제4 영상 픽셀은 상기 최인접한 2개의 제1 영상 픽셀과 상기 최인접한 2개의 제2 영상 픽셀에 인터폴레이션(interpolation)을 적용하여 산출되며, 제3 영상 픽셀 및 상기 제4 영상 픽셀은 상기 제1 방향 및 상기 제2 방향으로 교차로 배치될 수 있다.And in the present embodiment, the third low-resolution image and the fourth low-resolution image are each of the two first image pixels that are closest to each other and a third that is located at the center of the two second image pixels that are closest to the two first image pixels. It may include an image pixel and a fourth image pixel. And the third image pixel and the fourth image pixel are calculated by applying interpolation to the two closest first image pixels and the two closest second image pixels, and the third image pixel and the fourth image Pixels may be disposed at an intersection in the first direction and the second direction.

즉, 제1 저해상 영상의 각 픽셀(A) 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치될 수 있고, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치될 수 있으며, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치될 수 있다. 그리고 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다. 이러한 구성에 의하여, 제4 실시예에 따른 카메라 모듈은 고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값을 모두 재배치함으로써 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임을 제공할 수 있다.That is, a pixel B of the second low-resolution image may be disposed in a pixel located to the right of each pixel A of the first low-resolution image, and a pixel B of the second low-resolution image may be disposed below each pixel B of the second low-resolution image. A pixel C of a third low-resolution image may be disposed, and a pixel D of a fourth low-resolution image may be disposed in a pixel located to the left of the pixel C of the third low-resolution image. In addition, when high-resolution subframes H-1 to H-8 are generated through pixel value rearrangement, the operation unit may extract high-resolution depth information HRD by applying a depth information extraction technique to the high-resolution subframes H-1 to H-8. . With this configuration, the camera module according to the fourth exemplary embodiment can provide a high-resolution image frame with a resolution of 4 times higher than that of a low-resolution image by rearranging all pixel values of the first to fourth low-resolution images in the high-resolution pixel grid. .

또한 상술한 바와 같이, 제어부(150)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 소정의 픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다.In addition, as described above, the control unit 150 shifts the input optical signal by controlling the tilt of the lens assembly, for example, the IR filter (318 in FIG. 3) included in the lens assembly, and accordingly Shifted data can be obtained. As for the method of controlling the inclination, the contents described in FIGS. 13D and 13E may be equally applied.

도 20, 도 21a 내지 도 21c는 실시예에 따른 카메라 모듈에서 고해상도의 영상을 얻기 위한 구동을 설명하는 도면이다.도 20, 도 21a 내지 도 21c를 참조하면, 연산부는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 또한, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 서브프레임을 생성할 수도 있다. 그리고 연산부는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 제어부에 의한 경우 복수의 저해상 깊이 정보에 대응하는 광 신호 또는 입력광 신호의 광경로는 서로 상이할 수 있다.20 and 21A to 21C are diagrams for explaining driving for obtaining a high-resolution image in the camera module according to the embodiment. Referring to FIGS. 20 and 21A to 21C, the operation unit has the same exposure period, that is, the same frame. A plurality of low-resolution depth information may be extracted using a plurality of low-resolution subframes generated in FIG. In addition, a plurality of low-resolution subframes may be generated by using a plurality of low-resolution subframes. In addition, the operation unit may extract high-resolution depth information by rearranging pixel values of a plurality of low-resolution depth information. In the case of the controller, optical signals corresponding to the plurality of low-resolution depth information or optical paths of the input optical signals may be different from each other.

또한, 저해상 서브프레임 3-1 내지 3-8 및 저해상 서브프레임 4-1 내지 4-8은 도 상술한 제3 실시예 또는 제4 실시예 중 어느 하나에 의해 생성될 수 있다. Further, the low-resolution subframes 3-1 to 3-8 and the low-resolution subframes 4-1 to 4-8 may be generated according to any one of the third or fourth embodiments described above.

이에 따라, 연산부는 각 노출 주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다. Accordingly, the operation unit extracts low-resolution depth information LRD-1 to LRD-4 by applying a depth information extraction technique to a plurality of low-resolution subframes generated in each exposure period. Low-resolution depth information LRD-1 is low-resolution depth information extracted using subframes 1-1 to 1-8. Low-resolution depth information LRD-2 is low-resolution depth information extracted using subframes 2-1 to 2-8. Low-resolution depth information LRD-3 is low-resolution depth information extracted using subframes 3-1 to 3-8. Low-resolution depth information LRD-4 is low-resolution depth information extracted using subframes 4-1 to 4-8.

이 때, 제5 실시예에 따르면 연산부는 저해상 서브프레임 5-1 내지 8-8을 추가로 생성할 수 있다. 다시 말해, 연산부는 제5 저해상 영상 내지 제8 저해상 영상을 제1 저해상 영상 내지 제4 저해상 영상에 인터폴레이션(interpolation)을 적용하여 산출할 수 있다.In this case, according to the fifth embodiment, the operation unit may additionally generate low-resolution subframes 5-1 to 8-8. In other words, the calculating unit may calculate the fifth to eighth low-resolution images by applying interpolation to the first to fourth low-resolution images.

구체적으로, 연산부는 저해상 서브 프레임 1-1 내지 1-8, 서브 프레임 2-1 내지 2-8, 서브 프레임 3-1 내지 3-8 및 서브 프레임 4-1 내지 4-8을 이용하여 서브 프레임 5-1 내지 5-8, 서브 프레임 6-1 내지 6-8, 서브 프레임 7-1 내지 7-8 및 서브 프레임 8-1 내지 8-8을 생성할 수 있다. 이 때, 연산부는 서브 프레임 5-1 내지 5-8, 서브 프레임 6-1 내지 6-8, 서브 프레임 7-1 내지 7-8 및 서브 프레임 8-1 내지 8-8을 인접한 저해상 서브 프레임 1-1 내지 1-8, 서브 프레임 2-1 내지 2-8, 서브 프레임 3-1 내지 3-8 및 서브 프레임 4-1 내지 4-8에 인터폴레이션(interpolation) 기법을 이용하여 산출할 수 있다. 이러한 인터폴레이션 기법은 제4 실시예에 설명한 내용이 동일하게 적용될 수 있다.Specifically, the operation unit uses low-resolution subframes 1-1 to 1-8, subframes 2-1 to 2-8, subframes 3-1 to 3-8, and subframes 4-1 to 4-8. Frames 5-1 to 5-8, subframes 6-1 to 6-8, subframes 7-1 to 7-8, and subframes 8-1 to 8-8 may be generated. At this time, the operation unit connects subframes 5-1 to 5-8, subframes 6-1 to 6-8, subframes 7-1 to 7-8, and subframes 8-1 to 8-8 to adjacent low-resolution subframes. 1-1 to 1-8, subframes 2-1 to 2-8, subframes 3-1 to 3-8, and subframes 4-1 to 4-8 may be calculated using an interpolation technique. . The contents described in the fourth embodiment may be equally applied to this interpolation technique.

보다 구체적으로, 제5 저해상 영상 내지 제8 저해상 영상은 각각 제5 영상 픽셀 내지 제8 영상 픽셀을 포함할 수 있다. 이 때, 제5 영상 픽셀 내지 제8 영상 픽셀은 제1 영상 픽셀, 제1 영상 픽셀에 최인접한 제2 영상 픽셀, 제1 영상 픽셀과 제1 영상 픽셀에 최인접한 제2 영상 픽셀에 최인접한 제3 영상 픽셀 및 제1 영상 픽셀과 제1 영상 픽셀에 최인접한 제2 영상 픽셀에 최인접한 제4 영상 픽셀의 중심에 위치할 수 있다. 이 때, 제5 영상 픽셀은 제6 영상 픽셀과 제1 방향 및 상기 제2 방향으로 교차 배치되고, 제7 영상 픽셀은 제8 영상 픽셀과 제1 방향 및 제2 방향으로 교차 배치될 수 있다.More specifically, the fifth to eighth low-resolution images may each include fifth to eighth image pixels. In this case, the fifth to eighth image pixels are a first image pixel, a second image pixel closest to the first image pixel, and a first image pixel and a second image pixel closest to the second image pixel. It may be located at the center of the third image pixel and the fourth image pixel closest to the second image pixel closest to the first image pixel and the first image pixel. In this case, the fifth image pixel may be intersected with the sixth image pixel in the first direction and the second direction, and the seventh image pixel may be intersected with the eighth image pixel in the first and second directions.

이로써, 서브 프레임 5-1 내지 5-8의 픽셀(E)과 서브 프레임 6-1 내지 6-8의 픽셀(F)은 서브 프레임 1-1 내지 1-8의 픽셀(A) 및 서브 프레임 2-1 내지 2-8의 픽셀(B)과 제1 방향으로 나란히 배치될 수 있다. 예컨대, 서브 프레임 5-1 내지 5-8의 픽셀(E)과 서브 프레임 6-1 내지 6-8의 픽셀(F)은 서브 프레임 1-1 내지 1-8과 서브 프레임 2-1 내지 2-8을 제1 방향으로 연결하는 가상선 상에 위치할 수 있다. 그리고 서브 프레임 5-1 내지 5-8의 픽셀(E)과 서브 프레임 6-1 내지 6-8의 픽셀(F)은 교대로 반복하여 배치될 수 있다.Accordingly, the pixels E of the subframes 5-1 to 5-8 and the pixels F of the subframes 6-1 to 6-8 are the pixels A and the subframe 2 of the subframes 1-1 to 1-8. The pixels B of -1 to 2-8 may be arranged side by side in the first direction. For example, the pixels E of subframes 5-1 to 5-8 and the pixels F of subframes 6-1 to 6-8 are subframes 1-1 to 1-8 and subframes 2-1 to 2- It may be located on a virtual line connecting 8 in the first direction. In addition, the pixels E of the subframes 5-1 to 5-8 and the pixels F of the subframes 6-1 to 6-8 may be alternately and repeatedly arranged.

또한, 서브 프레임 7-1 내지 7-8의 픽셀(G)과 서브 프레임 8-1 내지 8-8의 픽셀(H)은 서브 프레임 1-1 내지 1-8의 픽셀(A) 및 서브 프레임 2-1 내지 2-8의 픽셀(B)과 제2 방향으로 나란히 배치될 수 있다. 예컨대, 서브 프레임 7-1 내지 7-8의 픽셀(G)과 서브 프레임 8-1 내지 8-8의 픽셀(H)은 서브 프레임 1-1 내지 1-8과 서브 프레임 2-1 내지 2-8을 제2 방향으로 연결하는 가상선 상에 위치할 수 있다. 그리고 서브 프레임 7-1 내지 7-8의 픽셀(G)과 서브 프레임 8-1 내지 8-8의 픽셀(H)은 교대로 반복하여 배치될 수 있다.In addition, the pixels G of the subframes 7-1 to 7-8 and the pixels H of the subframes 8-1 to 8-8 are the pixels A and the subframe 2 of the subframes 1-1 to 1-8. The pixels B of -1 to 2-8 may be arranged side by side in the second direction. For example, the pixels G of subframes 7-1 to 7-8 and the pixels H of subframes 8-1 to 8-8 are subframes 1-1 to 1-8 and subframes 2-1 to 2- It may be located on the virtual line connecting 8 in the second direction. In addition, pixels G of subframes 7-1 to 7-8 and pixels H of subframes 8-1 to 8-8 may be alternately and repeatedly arranged.

그리고 연산부는 저해상 깊이 정보 LRD-1 내지 LRD-8의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출할 수 있다. Further, the operation unit may extract high-resolution depth information HRD by rearranging the pixel values of the low-resolution depth information LRD-1 to LRD-8.

예컨대, 연산부는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1, 5-1, 6-1, 7-1, 8-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 상술한 내용을 바탕으로, 연산부는 제1 저해상 영상의 픽셀(A)을 기준으로 우측에 제5 저해상 영상의 픽셀(E)을 배치하고, 제5 저해상 영상의 픽셀(E)의 우측에 제2 저해상 영상의 픽셀(B)을 배치하고, 제2 저해상 영상의 픽셀(B)의 우측에 제6 저해상 영상의 픽셀(F)을 배치하고, 제6 저해상 영상의 픽셀(F)의 하측에 제3 저해상 영상의 픽셀(C)을 배치하고, 제3 저해상 영상의 픽셀(C)의 좌측에 제8 저해상 영상의 픽셀(H)을 배치하고, 제8 저해상 영상의 픽셀(H)의 좌측에 제4 저해상 영상의 픽셀(D)을 배치하고, 제4 저해상 영상의 픽셀(D) 좌측에 제7 저해상 영상의 픽셀(G)을 배치할 수 있다. For example, the operation unit rearranges the pixel values of the low-resolution subframes 1-1, 2-1, 3-1, 4-1, 5-1, 6-1, 7-1, and 8-1 to obtain a high-resolution subframe H- Can generate 1. Based on the above, the operation unit arranges the pixel E of the fifth low-resolution image on the right side based on the pixel A of the first low-resolution image, and The pixel B of the second low-resolution image is arranged in the, the pixel F of the sixth low-resolution image is arranged to the right of the pixel B of the second low-resolution image, and the pixel of the sixth low-resolution image ( The pixel (C) of the third low-resolution image is arranged below F), the pixel (H) of the eighth low-resolution image is arranged to the left of the pixel (C) of the third low-resolution image, and The pixel D of the fourth low-resolution image may be disposed to the left of the pixel H of the image, and the pixel G of the seventh low-resolution image may be disposed to the left of the pixel D of the fourth low-resolution image. .

이러한 픽셀 또는 픽셀값의 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 연산부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.When the high resolution subframes H-1 to H-8 are generated through the rearrangement of the pixels or pixel values, the operation unit extracts the high resolution depth information HRD by applying a depth information extraction technique to the high resolution subframes H-1 to H-8. can do.

다시 말해, 제5 실시예에 따르면 가정적으로 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 8x8 크기의 고해상 영상을 생성할 수 있다. 이때, 고해상 픽셀 그리드는 8x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일할 수 있다. 또한, 여기에서 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.In other words, according to the fifth embodiment, one 8x8 high-resolution image may be generated by hypothetically using four 4x4 low-resolution images. In this case, the high resolution pixel grid has 8x8 pixels, which may be the same as the pixels of the high resolution image. In addition, in this case, the low-resolution image may mean including a low-resolution subframe and low-resolution depth information, and the high-resolution image may mean a high-resolution subframe and the high-resolution depth information.

이와 같이, 고해상 픽셀 그리드에 제1 내지 제8 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 8배 증가한 고해상 영상 프레임이 생성된다. In this way, when all pixel values of the first to eighth low-resolution images are rearranged in the high-resolution pixel grid, a high-resolution image frame with a resolution of 8 times higher than that of the low-resolution image is generated.

한편, 연산부는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다. Meanwhile, the calculator may apply a weight to the arranged pixel values. In this case, the weight may be set differently according to the size of the subpixel or the moving direction of the light path, and may be set differently for each low-resolution image.

한 실시예에 따르면, 연산부는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 서브픽셀만큼 쉬프트된 데이터를 얻을 수 있다. 이러한 기울기 제어하는 방법은 도 13d 및 13e에 설명한 내용이 동일하게 적용될 수 있다. According to one embodiment, the operation unit shifts the input optical signal by controlling the slope of the lens assembly, for example, an IR filter (318 in FIG. 3) included in the lens assembly, and accordingly, the shifted data by subpixels Can be obtained. As for the method of controlling the inclination, the contents described in FIGS. 13D and 13E may be equally applied.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments have been described above, but these are only examples and do not limit the present invention, and those of ordinary skill in the art to which the present invention belongs are not illustrated above within the scope not departing from the essential characteristics of the present embodiment. It will be seen that various modifications and applications are possible. For example, each component specifically shown in the embodiment can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.

100: 카메라 모듈 110: 광출력부
120: 광학부 130: 센서
140: 제어부 100: camera module 110: optical output unit
120: optical unit 130: sensor
140: control unit

Claims

An optical output unit for outputting an optical signal to the object;
An optical unit for transmitting the optical signal reflected from the object;
A sensor for receiving the optical signal transmitted through the optical unit; And
Includes; a control unit for obtaining depth information of the object using the optical signal received by the sensor; and
The sensor includes an effective area in which the light receiving element is disposed and an ineffective area other than the effective area,
A first row area in which the effective area and the ineffective area are alternately arranged in a row direction,
And a second row area in which the effective area and the ineffective area are alternately disposed in a row direction and an effective area is disposed at a position not overlapping with the effective area of the first row area in a column direction,
The light reaching the effective area of the first row area is controlled to reach an ineffective area of the first row area or an ineffective area of the second row area by a first shifting control,
The camera module is controlled so that the light reaching the effective area of the second row area reaches the non-effective area of the second row area or the non-effective area of the first row area by a first shifting control.

The method of claim 1,
The camera module, wherein the light reaching the non-effective area of the first row area is shift-controlled in a direction of the non-effective area of the second row area adjacent to the non-effective area of the first row area by a second shifting control.

The method of claim 1,
The camera module is controlled to shift the light reaching the effective area of the first row area toward the effective area of the second row area adjacent to the effective area of the first row area by a second shifting control.

The method according to claim 2 or 3,
A camera module in which a moving distance of light reaching the sensor by the first shifting control on a plane of the sensor is different from a moving distance of light reaching the sensor by the second shifting control on the sensor plane.

The method of claim 4,
On the sensor plane, a moving distance of light by the first shifting control is greater than a moving distance of light reaching the sensor by the second shifting control.

The method of claim 5,
A camera module in which a moving distance of light on a plane of the sensor by the first shifting control is 0.3 to 0.7 times a distance between centers of adjacent effective areas in the same row area.

The method of claim 5,
The moving distance of light on the plane of the sensor by the second shifting control is 0.3 to a distance between the center of the effective area of the first row area and the center of the second row area adjacent to the effective area of the first row area. 0.7x camera module.

The method of claim 5,
On the sensor plane, a moving distance of light by the first shifting control is 0.5 times to 1 times of a moving distance of light by the second shifting control.

The method of claim 1,
The optical path is controlled by the control of the optical unit so that the light received in the effective area of the first row area is controlled to reach an ineffective area of the first row area,
The camera module for shifting control so that the light received in the effective area of the second row area reaches the non-effective area of the second row area.

The method of claim 9,
The optical unit includes an infrared transmission filter,
The shifting control is a camera module controlling the infrared transmission filter by tilting it.

The method of claim 2,
The optical unit includes a variable lens whose focus is adjusted,
The shifting control is a camera module that adjusts and controls the variable lens.

The method of claim 11,
The variable lens is a camera module including at least one of a liquid lens containing at least one liquid, a polymer lens, a liquid crystal lens, a VCM lens, an SMA lens, and a MEMS lens.

The method of claim 1,
A plurality of pieces of information acquired during a plurality of exposure times of the sensor using a time difference between the optical signal output from the optical output unit and the optical signal received by the sensor, or exposing the effective area of the sensor to different phases Camera module including an operation unit to obtain depth information of the object by using.

The method of claim 13,
The operation unit is a camera module that obtains depth information having a higher resolution than the sensor by using information obtained from the sensor before and after the shifting control.

The method of claim 13,
The calculation unit applies an interpolation interpolation between the light reaching the sensor by the first shifting control and the light reaching the sensor by the second shifting control to the nearest first shifting control. A camera module that calculates light reaching the center of light that is closest to the light reaching the sensor by means of the first shifting control that is closest to the light reaching the sensor.