KR100781552B1

KR100781552B1 - Apparatus and method for recovering high pixel image processing

Info

Publication number: KR100781552B1
Application number: KR1020060105348A
Authority: KR
Inventors: 성기영; 박두식; 김창용; 이호영
Original assignee: 삼성전기주식회사
Priority date: 2006-06-26
Filing date: 2006-10-27
Publication date: 2007-12-05
Also published as: CN101098399A

Abstract

An apparatus and a method for high resolution image recovery are provided to use four of 1 million pixel images of an image sensor to restore an image having a resolution equal to an image of 4 million pixel resolution. A camera module(301) includes plural lenses and sub image sensors corresponding to the plural lenses. A color filter is included in the sub image sensors and formed in signal color which is not redundant. Original images by each color are obtained in each sub image sensor. An original image generating module(302a) receives plural original images obtained by colors. An intermediate image generation module(302b) rearranges pixel information of pixels at the same positions at the plural inputted original images and generates an intermediate image having a higher resolution than the original image obtained by colors. A final image generating module(302c) performs demosaicing of the generated intermediate image, performs deblurring of the demosaiced intermediate image, and generates a final image.

Description

Apparatus and method for recovering high pixel image processing

도 1은 종래의 소형 디지털 기기에 내장된 디지털 카메라의 원리를 간단하게 도시한 도면이다.1 is a diagram schematically illustrating the principle of a digital camera embedded in a conventional small digital device.

도 2a는 종래의 디지털 카메라의 기본 구조를 나타낸 도면이다.Figure 2a is a diagram showing the basic structure of a conventional digital camera.

도 2b는 도 2a에 도시된 이미지 센서를 구성하는 단위 픽셀에 대한 단면도이다.FIG. 2B is a cross-sectional view of a unit pixel constituting the image sensor illustrated in FIG. 2A.

도 3은 본 발명의 실시예에 따른 고해상도 이미지 복원 장치(300)의 구조를 도시한 블록도이다.3 is a block diagram illustrating a structure of a high resolution image reconstruction apparatus 300 according to an embodiment of the present invention.

도 4a 내지 도 4c는 본 발명의 실시예에 따른 디지털 카메라의 구조를 도시한 도면이다.4A to 4C illustrate the structure of a digital camera according to an embodiment of the present invention.

도 4c는 도 4a에 도시된 이미지 센서를 구성하는 단위 픽셀에 대한 단면도이다.4C is a cross-sectional view of a unit pixel constituting the image sensor illustrated in FIG. 4A.

도 5a 내지 도 5b는 본 발명의 실시예에 따른 컬러 필터 코팅 방법이다.5A to 5B are color filter coating methods according to an embodiment of the present invention.

도 6은 원 이미지 생성 모듈(302a)의 원 이미지 위치 보정과 감도 불균일 보정의 방법을 도시한 도면이다.FIG. 6 is a diagram illustrating a method of original image position correction and sensitivity non-uniformity correction of the original image generation module 302a.

도 7a 내지 7b는 본 발명의 실시예에 따른 중간 이미지 생성 방법을 도시한 도면이다.7A to 7B illustrate an intermediate image generating method according to an exemplary embodiment of the present invention.

도 8은 본 발명의 다른 실시예에 따른 이미지 생성 모듈(302)을 통한 고해상도 이미지 복원 방법을 도시한 도면이다.8 is a diagram illustrating a high resolution image reconstruction method through the image generation module 302 according to another embodiment of the present invention.

도 9는 본 발명의 제 2 실시예에 따른 카메라 모듈의 구조를 도시한 도면이다.9 is a diagram illustrating the structure of a camera module according to a second embodiment of the present invention.

도 10은 상기 도 4a에 도시된 구조의 카메라 모듈과 상기 도 7b를 참조로 하여 설명한 제 1 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.FIG. 10 is a flowchart illustrating a high resolution image reconstruction method using the camera module having the structure illustrated in FIG. 4A and the first image generating module described with reference to FIG. 7B.

도 11은 상기 도 4a에 도시된 구조의 카메라 모듈과 상기 도 8를 참조로 하여 설명한 제 2 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.FIG. 11 is a flowchart illustrating a high resolution image reconstruction method using the camera module having the structure illustrated in FIG. 4A and the second image generating module described with reference to FIG. 8.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

401a ~ 401d : 제 1 렌즈 ~ 제 4 렌즈401a to 401d: first lens to fourth lens

402a ~ 402d : 제 1 렌즈 ~ 제 4 렌즈와 각각 매칭되는 서브 이미지 센서402a to 402d: sub-image sensors matched with the first to fourth lenses

402 : 4개의 서브 이미지 센서가 배열된 이미지 센서402: an image sensor in which four sub image sensors are arranged

402d-1~ 402d-4 : 서브 이미지 센서를 구성하는 단위 픽셀402d-1 to 402d-4: Unit pixel constituting the sub image sensor

본 발명은 고해상도 이미지 복원 방치 및 방법에 관한 것으로서, 더욱 상세 하게는 휴대폰, PDA, MP3 플레이어와 같은 소형 디지털 기기에 장착되는 소형화된 디지털 카메라 모듈을 통해 획득한 영상을 고해상도의 이미지로 복원하는 장치 및 방법에 관한 것이다.The present invention relates to a method and method for restoring a high resolution image, and more particularly, to an apparatus for restoring an image obtained through a miniaturized digital camera module mounted on a small digital device such as a mobile phone, a PDA, or an MP3 player, to a high resolution image; It is about a method.

대부분의 디지털 기기가 그런 것처럼 디지털 카메라는 많은 사람들에게 새로운 세상을 보여주었다.Like most digital devices, digital cameras have shown a new world for many people.

디지털 카메라는 필름 카메라와는 다르게 간편한 조작으로도 전문가 못지않은 사진을 찍을 수 있고 현상과 인화를 통하지 않고서도 현장에서 찍은 사진을 즉시 확인할 수 있으며 깨끗한 화질의 사진을 변형 없이 반영구적으로 사용 가능한 장점이 있다.Unlike film cameras, digital cameras can take pictures just as easily as professionals, and can instantly check photos taken in the field without going through development and printing. .

또한 디지털 카메라가 소형화되어 휴대가 간편해지고 핸드폰이나 PDA, MP3 플레이어와 같은 소형 디지털 기기에 내장되면서 과거처럼 특별한 날에만 사진을 찍는 것이 아니라 일상생활에서 사진을 찍고 즐기는 모습이 자연스러운 일이 되었으며 소형 디지털 기기를 선택하고 구매함에 있어서 디지털 카메라의 내장여부는 중요한 요소로 자리잡았다.In addition, as digital cameras become smaller and more portable, and built into small digital devices such as mobile phones, PDAs, and MP3 players, taking pictures and enjoying them in everyday life is a natural thing. In selecting and purchasing digital cameras, built-in digital cameras have become an important factor.

최근 들어 디지털 기기는 점점 소형화되는 추세이고 자기만의 개성과 편리함을 추구하는 경향과 함께 소비자들은 지금보다 더 작고 더 얇은 소형 디지털 기기 제품들을 요구하고 있다.In recent years, digital devices are becoming smaller and smaller, and consumers are demanding smaller and thinner digital device products than they are today.

결국, 디지털 카메라가 내장된 소형 디지털 기기가 지금보다 더 소형화 되고 슬림화 되기 위해서는 내장되는 디지털 카메라의 소형화 및 슬림화가 이루어져야 함은 자명한 일이다.As a result, it is obvious that in order for a small digital device with a built-in digital camera to be more compact and slimmer than the present, the built-in digital camera should be miniaturized and slimmed.

지름의 크기(Da, Db)가 다른 각각의 렌즈(101a, 101b)를 통해 사용자가 찍은 피사체(Object)(101)의 영상(Image)이 해당 디지털 카메라의 이미지 센서(102a, 102b)에 형성된다.An image of the object 101 taken by the user is formed in the image sensors 102a and 102b of the corresponding digital camera through the lenses 101a and 101b having different diameters Da and Db. .

이때 렌즈(101b)의 직경(Db)이 크면 해상도가 뛰어난 장점이 있으나 피사체의 영상(이미지 B)이 맺히기 위한 초점거리(fb)가 길어지므로 소형 디지털 기기에 내장될 디지털 카메라 모듈의 높이가 길어지게 된다.In this case, when the diameter Db of the lens 101b is large, the resolution is excellent, but the focal length fb for forming the image of the subject (image B) becomes long, so that the height of the digital camera module to be embedded in the small digital device becomes longer. do.

따라서 큰 렌즈와 길어진 초점거리로 인해 소형화와 슬림화에는 어려움이 있다.Therefore, there is a difficulty in miniaturization and slimming due to the large lens and longer focal length.

이와 반대로 상대적으로 렌즈(101a)의 직경(Da)이 작은 경우, 피사체(101)의 영상(이미지 A)이 맺히기 위한 초점거리(fa) 역시 감소하므로 소형화와 슬림화에는 적합할지 모르나 디지털 카메라의 가장 중요한 요소인 해상도가 렌즈의 직경에 비례해 낮아지므로 선명한 고해상도 사진을 원하는 소비자들의 요구와는 거리가 멀어지게 된다.On the contrary, if the diameter Da of the lens 101a is relatively small, the focal length fa for forming the image (image A) of the subject 101 is also reduced, which may be suitable for miniaturization and slimming, but it is most important for the digital camera. As the resolution, which is a factor, is lowered in proportion to the diameter of the lens, it is far from the needs of consumers who want clear high resolution pictures.

이에 초점거리 감소와 동시에 고해상도 영상을 얻기 위한 여러 발명(예를 들면, 한국공개특허 '2003-0084343', '초점거리 확보를 위한 시모스 이미지센서의 제조방법')이 제시되었으나, 상술한 문제는 여전히 해결하고 있지 못하다.In this regard, various inventions (eg, Korean Laid-Open Patent Publication No. 2003-0084343, 'Method for manufacturing a CMOS image sensor for securing a focal length') have been proposed to obtain a high resolution image at the same time as the focal length is reduced. It is not solved.

본 발명은 소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감 소시켜 디지털 카메라가 내장되는 소형 디지털 기기의 소형화 및 슬림화에 기여하는데 그 목적이 있다.An object of the present invention is to reduce the size and height of a digital camera embedded in a small digital device, thereby contributing to miniaturization and slimming of the small digital device in which the digital camera is embedded.

본 발명의 다른 목적은 소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감소시키면서도 고해상도의 이미지를 제공하는 것이다.Another object of the present invention is to provide a high resolution image while reducing the size and height of a digital camera embedded in a small digital device.

본 발명의 또 다른 목적은 고해상도 영상을 표현 시 광학적 불일치와 감도 불균일을 쉽게 보정하는 것이다.Still another object of the present invention is to easily correct optical inconsistencies and sensitivity unevenness in representing high resolution images.

본 발명의 또 다른 목적은 서로 다른 투과도를 갖는 컬러필터를 사용함으로써, 이미지 센서의 구조 변경 없이도 고감도 센싱 영역과 저감도 센싱 영역을 동시에 구현하는 것이다.Still another object of the present invention is to simultaneously realize a high sensitivity sensing region and a low sensitivity sensing region without changing the structure of the image sensor by using color filters having different transmittances.

본 발명의 또 다른 목적은 디지털 카메라가 내장되는 소형 디지털 기기의 설계 자유도를 증가 시키는 것이다.Still another object of the present invention is to increase the degree of freedom in designing a small digital device in which a digital camera is embedded.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 고해상도 이미지 복원 장치는 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함를 포함한다.In order to achieve the above object, the high resolution image reconstruction device according to an embodiment of the present invention includes a plurality of lenses and sub-image sensors corresponding to the plurality of lenses, respectively, and color filters included in the sub-image sensors overlap each other. A camera module which is formed of one single color which does not have a single color, and acquires a source image for each color from each sub-image sensor, a raw image generation module for receiving a plurality of original images acquired for each color, and the received plurality An intermediate image generation module for rearranging pixel information of pixels of the same position in the original image of the intermediate image to generate an intermediate image having a higher resolution than the original image acquired for each color, and demosaicing the generated intermediate image Final deblur of the kingized image to produce the final image Includes an image generation module.

상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 고해상도 이미지 복원 장치는 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 모듈, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 모듈을 포함한다.In order to achieve the above object, a high resolution image reconstruction device according to another embodiment of the present invention includes a plurality of lenses and a sub image sensor corresponding to each of the plurality of lenses, the color filters included in the sub image sensor A camera module which is formed of one single color that does not overlap and obtains an original image for each color in each sub-image sensor, and an original image for dividing the original image obtained for each color into a plurality of pixel groups. An intermediate image generation module and an intermediate image interpolating the intermediate image to generate an intermediate image by mapping pixel information of pixels having the same position in the original image divided into the plurality of pixel groups to predetermined pixels of the pixel group corresponding to the position A final image generation model that restores and deblurs based on the algorithm It includes.

상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 장치는 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 모듈, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함한다.In order to achieve the above object, a high resolution image reconstructing apparatus according to another embodiment of the present invention includes a plurality of color lenses and a sub image sensor corresponding to each of the plurality of color lenses, wherein the color lenses do not overlap each other. A camera module which is formed of one single color and obtains an original image for each color from each of the sub-image sensors, an original image generation module that receives a plurality of original images obtained for each color, and the plurality of input circles An intermediate image generation module for rearranging pixel information of pixels of the same position in an image to generate an intermediate image having a higher resolution than the original image acquired for each color, and demosaicing the generated intermediate image and performing the demosaicing Create final image by deblurring the image to produce the final image It includes module.

상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 장치는 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 카메라 모듈, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 모듈, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 모듈 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 모듈을 포함한다.In order to achieve the above object, a high resolution image reconstructing apparatus according to another embodiment of the present invention includes a plurality of color lenses and a sub image sensor corresponding to each of the plurality of color lenses, wherein the color lenses do not overlap each other. A camera module which is formed of one single color and obtains an original image for each color in each sub-image sensor, and an original image generation module for dividing the original image obtained for each color into a plurality of pixel groups, Based on the intermediate image generation module and an intermediate image interpolation algorithm that generates an intermediate image by mapping the pixel information of the pixels of the same position in the original image divided into a plurality of pixel groups to a predetermined pixel of the pixel group corresponding to the position It includes a final image generation module to restore and deblur.

또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 고해상도 이미지 복원 방법은 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 컬러 별로 획득된 다수의 원 이미지를 입 력 받는 원 이미지 생성 단계, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 단계 포함한다.In addition, in order to achieve the above object, the high-resolution image reconstruction method according to an embodiment of the present invention includes a plurality of lenses and a sub image sensor corresponding to each of the plurality of lenses, the color filter included in the sub image sensor Obtaining a source image for each color from each of the sub-image sensors by forming a single color that does not overlap each other, generating an original image for receiving a plurality of original images acquired for each color, and inputting the input image An intermediate image generation step of rearranging pixel information of pixels having the same position in a plurality of original images received to generate an intermediate image having a higher resolution than the original image acquired for each color, and demosaicing the generated intermediate image The final deblur of the demosaiced image to produce the final image It includes image generating step.

상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 고해상도 이미지 복원 방법은 다수의 렌즈와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 단계, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 단계를 포함한다.In order to achieve the above object, a high resolution image reconstruction method according to another embodiment of the present invention includes a plurality of lenses and a sub image sensor corresponding to each of the plurality of lenses, the color filters included in the sub image sensor Obtaining an original image for each color from each of the sub-image sensors by forming one single color that does not overlap, and generating an original image for dividing the original image obtained for each color into a plurality of pixel groups An intermediate image generation step of generating an intermediate image by mapping pixel information of pixels of the same position in the original image divided into the plurality of pixel groups to a predetermined pixel of the pixel group corresponding to the position and an interpolation algorithm of the intermediate image The final image creation step of restoring The.

상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 방법은 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 컬러 별로 획득된 다수의 원 이미지를 입력 받는 원 이미지 생성 단계, 상기 입력 받은 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 상기 컬러 별로 획득된 원 이미지 보다 높은 해상도를 갖는 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 생성된 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 최종 이미지 생성 단계를 포함한다.In order to achieve the above object, a high resolution image reconstruction method according to another embodiment of the present invention includes a plurality of color lenses and a sub image sensor corresponding to each of the plurality of color lenses, wherein the color lenses do not overlap each other. Forming a single color to obtain a source image for each color in each of the sub-image sensors, generating a circle image for receiving a plurality of circle images obtained for each color, and receiving the plurality of circle images An intermediate image generation step of rearranging pixel information of pixels having the same position in to generate an intermediate image having a higher resolution than the original image acquired for each color, and demosaicing the generated intermediate image and performing the demosaicing image To create the final image by deblurring It should.

상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 고해상도 이미지 복원 방법은 다수의 컬러 렌즈와 상기 다수의 컬러 렌즈에 각각 대응하는 서브 이미지 센서를 포함하는데, 상기 컬러 렌즈는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득하는 단계, 상기 각 컬러 별로 획득된 원 이미지를 각각 복수의 픽셀 그룹으로 구분하는 원 이미지 생성 단계, 상기 복수의 픽셀 그룹으로 구분된 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 소정 픽셀에 매핑하여 중간 이미지를 생성하는 중간 이미지 생성 단계 및 상기 중간 이미지를 보간 알고리즘을 기반으로 복원하여 디블러링하는 최종 이미지 생성 단계를 포함한다.In order to achieve the above object, a high resolution image reconstruction method according to another embodiment of the present invention includes a plurality of color lenses and a sub image sensor corresponding to each of the plurality of color lenses, wherein the color lenses do not overlap each other. Obtaining a source image for each color from each sub-image sensor by forming a single color, and generating an original image for dividing the original image obtained for each color into a plurality of pixel groups, respectively, An intermediate image generation step of generating an intermediate image by mapping pixel information of pixels of the same position in the original image divided into pixel groups of to a predetermined pixel of the pixel group corresponding to the position, and based on the interpolation algorithm Reconstructing and deblurring the final image generation step.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. Specific details of other embodiments are included in the detailed description and the drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be embodied in various different forms, and the present embodiments merely make the disclosure of the present invention complete, and those of ordinary skill in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

일반적으로 디지털 카메라는 픽셀수(Pixel)를 통해 해당 디지털 카메라의 성능을 짐작할 수 있다. 픽셀수가 높을수록 더 선명한 영상을 얻을 수 있기 때문이다.In general, the digital camera can estimate the performance of the digital camera through the pixel (Pixel). The higher the number of pixels, the sharper the image.

픽셀수 외에도 렌즈의 밝기를 통해서도 디지털 카메라의 성능을 알 수 있는데, 렌즈의 밝기는 F넘버 또는 조리개값으로 불리운다.In addition to the number of pixels, the brightness of a lens can be used to determine the performance of a digital camera. The brightness of a lens is called an F number or an aperture value.

F넘버는 디지털 카메라의 이미지 센서에 도달하는 단위 면적당 광량을 표현한 것으로The F number represents the amount of light per unit area that reaches the image sensor of the digital camera.

F넘버 =

f(초점거리)/D(렌즈의 직경) F number =

f (focal length) / D (lens diameter)

즉, 렌즈의 초점거리와 렌즈 직경의 비율로 나타낼 수 있다.That is, it can be expressed as the ratio of the focal length of the lens and the lens diameter.

F넘버가 클수록 디지털 카메라의 이미지 센서에 도달하는 단위 면적당 광량은 감소하며, F넘버가 낮을수록 디지털 카메라의 이미지 센서에 도달하는 단위 면적당 광량은 증가하여 밝고 해상도가 좋은 영상을 얻게 된다.The larger the F number, the lower the amount of light per unit area that reaches the image sensor of the digital camera. The lower the F number, the greater the amount of light per unit area that reaches the image sensor of the digital camera, resulting in a brighter and higher resolution image.

따라서 F넘버의 크기는 디지털 카메라의 이미지 센서에 도달하는 광량 및 디지털 카메라를 통해 얻게 되는 영상의 해상도와 밀접한 관계가 있다.Therefore, the size of the F number is closely related to the amount of light reaching the image sensor of the digital camera and the resolution of the image obtained through the digital camera.

만일 렌즈의 크기와 초점거리 그리고 픽셀수가 다른 두 대의 디지털 카메라에서 F넘버가 서로 동일하다면 렌즈의 크기와 초점거리, 픽셀수는 서로 다르지만 광량이 동일하기 때문에 동일한 밝기의 영상을 얻을 수 있게 된다. If the F numbers are the same in two digital cameras with different lens size, focal length, and number of pixels, the same brightness can be obtained because the lens size, focal length, and number of pixels are different, but the amount of light is the same.

본 발명은 이러한 원리를 이용하여 렌즈의 직경과 초점거리를 낮추면서도 고해상도 영상을 표현할 수 있는 다수의 렌즈를 포함하는 디지털 카메라 모듈에 적용 가능한 고해상도 이미지 복원 방법을 제안하고자 한다.The present invention intends to propose a high resolution image reconstruction method applicable to a digital camera module including a plurality of lenses capable of expressing a high resolution image while reducing the diameter and the focal length of the lens.

종래의 디지털 카메라의 기본 구조는 피사체에서 반사된 빛을 집광하는 지름이 D2인 하나의 렌즈(201)와 이 렌즈(201)에서 집광된 빛에 반응하여 전기적인 영상신호를 생성하는 픽셀 단위(Pixel Level)의 이미지 센서(202)를 포함한다. The basic structure of a conventional digital camera is one lens 201 having a diameter D2 for collecting light reflected from a subject and a pixel unit for generating an electric image signal in response to the light collected by the lens 201. Level image sensor 202.

이미지 센서(202) 내에는 렌즈(201)가 받아들인 빛을 원래의 천연색으로 구현하는 베이어 패턴(Bayer Patten)의 컬러 필터가 포함되어 있으며 도 2a에 도시된 이미지 센서(202)는 이를 위에서 바라본 것이다. The image sensor 202 includes a Bayer Patten color filter that implements the light received by the lens 201 in its original natural color, and the image sensor 202 shown in FIG. 2A is viewed from above. .

베이어 패턴은 1970년대 발표 이후 현재까지 디지털 이미지의 가장 중요한 기본 원리로, 이론의 시작은 자연계에 존재하는 실제 영상은 점으로 이루어진 것이 아닌데 반해, 디지털 영상은 점으로 구현될 수 밖에 없다는 것에서 출발한다.Bayer pattern is the most important basic principle of digital image since the 1970's presentation. The beginning of the theory starts from the fact that the actual image existing in the natural world is not composed of dots, but digital images can only be realized as dots.

대상의 밝기와 색상을 모아 점으로 이루어진 이미지를 만들기 위해 2차원 평면상에 레드(R), 그린(G), 블루(B) 각각의 밝기를 받아들이는 점들을 배치한다.In order to create an image composed of dots by collecting the brightness and color of the object, the points receiving the brightness of each of red (R), green (G) and blue (B) are placed on a two-dimensional plane.

점들을 배치할 때 사람 눈에 가장 민감한 녹색(G)의 비율이 50%, 레드(R)와 블루(B)는 각각 25%씩 할당하며 격자망을 형성하게 되는데 이를 베이어 패턴 컬러 필터라고 한다. When placing the dots, 50% of the green (G), which is most sensitive to the human eye, and 25% of the red (R) and blue (B) are allocated to form a grid, which is called a Bayer pattern color filter.

베이어 패턴 컬러 필터에서 격자망을 형성하는 각각의 픽셀들은 총 천연색을 인식하는 것이 아니라 레드(R), 그린(G), 블루(B) 중 할당된 색만을 인식하고 나중에 이를 보간하여 천연색을 유추해 낸다.In the Bayer pattern color filter, each pixel forming the grid does not recognize the total natural color but only the assigned color among red (R), green (G), and blue (B), and later infers the natural color by interpolating it. Serve

이미지 센서를 구성하는 단위 픽셀의 일부분(202a~202d)에 대한 단면을 보면 이미지 센서 내에 베이어 패턴의 컬러 필터(203)가 포함되어 있음을 알 수 있다.Looking at the cross section of the portions 202a to 202d of the unit pixels constituting the image sensor, it can be seen that the Bayer pattern color filter 203 is included in the image sensor.

본 발명의 실시예에 따른 고해상도 이미지 복원 장치(300)는 입사되는 빛을 집광하여 컬러별로 분리된 복수의 이미지를 생성하는 카메라 모듈(301), 카메라 모듈(301)에서 제공된 복수의 이미지를 기반으로 하여 최종 이미지를 생성하는 이미지 생성 모듈(302) 및 이미지 생성 모듈에서 제공된 최종 이미지를 디스플레이하는 디스플레이 모듈(303)을 포함한다.The high resolution image reconstructing apparatus 300 according to an embodiment of the present invention is based on a plurality of images provided by the camera module 301 and the camera module 301 to collect incident light to generate a plurality of images separated by colors. An image generating module 302 for generating a final image and a display module 303 for displaying a final image provided by the image generating module.

카메라 모듈(301)은 다수의 렌즈(401)와 상기 다수의 렌즈에 각각 대응하는 서브 이미지 센서(402)를 포함하는데, 상기 서브 이미지 센서 내에 포함 되는 컬러필터는 서로 중복되지 않는 하나의 단일 컬러로 형성되어 상기 각 서브 이미지 센서에서 각 컬러 별로 원(源) 이미지를 획득한다.The camera module 301 includes a plurality of lenses 401 and sub image sensors 402 respectively corresponding to the plurality of lenses, and the color filters included in the sub image sensors are in one single color that do not overlap each other. It is formed to obtain a source image for each color in each of the sub-image sensor.

먼저, 도 4a 내지 도 4c를 통하여 본 발명의 실시예에 따른 고해상도 이미지 복원 방법이 적용 가능한 다수의 렌즈를 포함하는 디지털 카메라의 구조를 설명하기로 한다.First, a structure of a digital camera including a plurality of lenses to which a high resolution image reconstruction method according to an embodiment of the present invention is applicable will be described with reference to FIGS. 4A to 4C.

본 발명의 실시예에 따른 고해상도 이미지 복원 방법이 적용 가능한 다수의 렌즈를 포함하는 디지털 카메라의 구조는 피사체에서 반사된 빛을 집광하는 지름의 크기가 동일한 다수의 렌즈(401)와 피사체에서 반사된 빛에 반응하여 전기적인 영상신호를 생성하는 다수의 서브 이미지 센서(402)를 포함하며, 렌즈가 집광한 빛을 원래의 천연색으로 구현하는 다수의 컬러 영역으로 분할된 컬러 필터가 서브 이미지 센서(402)내에 포함된다.The structure of a digital camera including a plurality of lenses to which a high resolution image reconstruction method according to an embodiment of the present invention is applicable may include a plurality of lenses 401 having the same size of diameter condensing light reflected from a subject and light reflected from the subject. The sub image sensor 402 includes a plurality of sub image sensors 402 which generate an electrical image signal in response to the color filter, and the color filter divided into a plurality of color areas that implements the light condensed by the lens in the original natural color. It is included in.

참고로 도 4b는 도 4a에 도시된 디지털 카메라 모듈의 구조를 측면에서 바라본 도면으로, 지름(D3)의 크기가 동일한 다수의 렌즈로부터 피사체의 영상이 형성되는 이미지 센서까지의 초점거리(f3)는 모두 동일하다고 가정한다.For reference, FIG. 4B is a side view of the structure of the digital camera module illustrated in FIG. 4A. The focal length f3 from the plurality of lenses having the same diameter D3 to the image sensor in which the image of the subject is formed is illustrated in FIG. Assume all are the same.

따라서 지름의 크기가 동일한 다수의 렌즈(401)는 동일 평면상에 위치함이 바람직하다.Therefore, it is preferable that a plurality of lenses 401 having the same diameter are located on the same plane.

또한 다수의 렌즈 배열방식에 있어서 본 발명의 실시예는 상하좌우 대칭형태로 배열하였으나 다수의 렌즈를 가로 또는 세로 형태의 일직선으로 배열 할 수도 있고, 렌즈의 수가 홀수일 경우 하나의 렌즈를 중심으로 방사형태의 배열도 가능하며 이 밖에도 본 발명에서 언급되지 않은 여러 형태의 렌즈 배열이 가능하다.In addition, the embodiment of the present invention in a plurality of lens arrangement method is arranged in a symmetrical form up, down, left and right, but can also be arranged in a straight line of the horizontal or vertical shape, and when the number of lenses is odd radiating around one lens It is also possible to form the arrangement and in addition to the lens arrangement of the various forms not mentioned in the present invention is possible.

참고로, 다수의 렌즈(401)는 각 렌즈의 위치가 고정되거나 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동(Shift)하여 피사체에서 반사된 빛을 집광할 수 있다. 렌즈의 이동에 대해서는 후에 상세히 설명하도록 한다.For reference, the plurality of lenses 401 may condense the light reflected from the subject by fixing the position of each lens or shifting the other lens by a predetermined pixel based on one lens. The movement of the lens will be described later in detail.

이하, 설명의 편의상 4개의 렌즈가 가로 X 세로 2 X 2의 형태로 배열된 경우를 실시예로 하여 설명하도록 한다.Hereinafter, for convenience of description, a case in which four lenses are arranged in the form of horizontal X vertical 2 X 2 will be described as an example.

상술한 것처럼 렌즈의 크기와 초점거리 그리고 픽셀수가 다른 두 대의 디지털 카메라에서 F넘버가 서로 동일하다면 렌즈의 크기와 초점거리, 픽셀수는 서로 다르지만 광량이 동일하기 때문에 동일한 밝기의 영상을 얻을 수 있게 된다는 원리를 이용하여, 본 발명의 실시예에서는 도 2에서 도시된 렌즈(201)보다 크기가 작은 렌즈(401a~401d)와, 도 2에서 도시된 이미지 센서(202)보다 픽셀수가 적은 이미지 센서(402a~402d)를 사용하였으며 초점거리(f3)는 도 2에서 도시된 초점거리(f2)보다 짧다.As mentioned above, when two digital cameras having different lens sizes, focal lengths, and pixel numbers are the same, the F number is the same. Using the principle, in the embodiment of the present invention, the lenses 401a to 401d having a smaller size than the lens 201 shown in FIG. 2 and the image sensor 402a having fewer pixels than the image sensor 202 shown in FIG. 402d), the focal length f3 is shorter than the focal length f2 shown in FIG.

도 2에서 도시된 이미지 센서(202)의 픽셀수를 400만 픽셀이라고 가정하고 도 4a에서 도시된 서브 이미지 센서(402a~402d)의 픽셀수는 각각 100만 이라고 가정한다.It is assumed that the number of pixels of the image sensor 202 shown in FIG. 2 is 4 million pixels, and the number of pixels of the sub image sensors 402a to 402d shown in FIG. 4A is 1 million each.

따라서 도 4a에서 도시된 이미지 센서(402)는 100만 픽셀의 서브 이미지 센서(402a~402d) 4개가 배열된 이미지 센서가 되며, 지름의 크기(D3)가 동일한 각 4개의 렌즈(401a~401d)는 각 렌즈에 매칭된 서브 이미지 센서(402a~402d)에 피사체의 영상을 생성하게 된다.Therefore, the image sensor 402 illustrated in FIG. 4A is an image sensor in which four sub-image sensors 402a to 402d of one million pixels are arranged, and each of four lenses 401a to 401d having the same diameter D3. Generates an image of a subject in the sub image sensors 402a to 402d matched to each lens.

또한 서브 이미지 센서(402a~402d) 내에 포함되는 컬러 필터는 각 서브 이미지 센서(402a~402d)의 크기에 맞게 4분할 되어 서로 중복되지 않는 하나의 단일 컬러로 코팅된다.In addition, the color filters included in the sub image sensors 402a to 402d are divided into four parts according to the sizes of the sub image sensors 402a to 402d and coated with one single color that does not overlap each other.

상술한 컬러 필터가 포함된 하나의 서브 이미지 센서(402d)를 구성하는 단위 픽셀(402d-1~4)에 대한 단면이 도 4c에 도시되어 있으며 동일한 서브 이미지 센서(402d)내에 존재하기 때문에 모두 동일한 컬러 필터(403)를 포함하고 있다. The cross sections of the unit pixels 402d-1 to 4 constituting one sub image sensor 402d including the above-described color filter are shown in FIG. 4C and are all the same because they exist in the same sub image sensor 402d. The color filter 403 is included.

이때 컬러 필터(403)는, 코팅되는 컬러의 투과도에 따라 제 1 필터 영역과 제 2 필터 영역으로 구분된다.At this time, the color filter 403 is divided into a first filter region and a second filter region according to the transmittance of the color to be coated.

제 1 필터 영역과 제 2 필터 영역에 코팅되는 컬러의 투과도를 다르게 하여 광량을 차이를 발생시킴으로써 고감도 및 저감도 이미지 센싱을 구현할 수 있다.High sensitivity and low sensitivity image sensing may be realized by generating a difference in the amount of light by varying the transmittance of colors coated on the first filter area and the second filter area.

필터 영역의 구분은 컬러 필터를 구성하는 컬러 영역 중에서 투과도가 가장 높은 컬러 영역을 제 2 필터 영역으로 구분하고 컬러 필터에서 제 2 컬러 영역을 제외한 나머지 부분을 제 1 필터 영역으로 구분하는 것이 바람직하다.In the classification of the filter region, it is preferable to divide the color region having the highest transmittance among the color regions constituting the color filter into the second filter region, and divide the remaining portion of the color filter except the second color region into the first filter region.

설명의 편의상 다수로 분할되는 컬러 필터의 영역과 각 서브 이미지 센서의 도면 표시 기호를 함께 사용하여 실시예를 설명하기로 한다.For convenience of description, an embodiment will be described by using a region of a color filter divided into a plurality and a drawing symbol of each sub image sensor.

예를 들어, 도 4a에 도시된 서브 이미지 센서(402a~402d) 내에 포함된 컬러 필터를 구성하는 4 분할된 각각의 컬러 영역, 즉 그린(G)(402a), 레드(R)(402b), 블루(B)(402c), 그레이(Gr)(402d) 영역 중에서 투과도가 가장 높은 컬러인 그레이(Gr)(402d) 영역을 제 2 필터 영역으로 구분하면, 컬러 필터에서 그레이(Gr)(402d) 영역을 제외한 나머지 컬러 영역, 즉 그린(G)(402a), 레드(R)(402b), 블루(B)(402c) 영역이 제 1 필터 영역에 포함 된다.For example, each of the four divided color regions constituting the color filters included in the sub image sensors 402a to 402d shown in FIG. 4A, that is, the green (G) 402a, the red (R) 402b, When the gray (Gr) 402d region, which is the color having the highest transmittance among the blue (B) 402c and gray (Gr) 402d regions, is divided into the second filter region, the gray (Gr) 402d portion is used in the color filter. The remaining color areas other than the area, that is, the green (G) 402a, the red (R) 402b, and the blue (B) 402c areas are included in the first filter area.

또한 컬러 필터를 구성하는 각각의 컬러 영역 중 제 2 필터 영역에는 옐로우 이외의 컬러가 형성될 수도 있다.In addition, colors other than yellow may be formed in the second filter area among the color areas constituting the color filter.

예를 들면 화이트(W), 옐로우(Y), 시안(Cyan) 또는 마젠타(Magenta) 중 어느 하나의 컬러를 갖는 컬러 영역이 형성될 수 있다.For example, a color region having a color of any one of white (W), yellow (Y), cyan or magenta may be formed.

그러나 제 2 필터 영역에 형성되는 컬러는 전술한 예로 한정되는 것은 아니며 제 1 필터 영역에 형성된 컬러에 비해 높은 투과도를 갖는 컬러라면 본 발명의 범주에 속하는 것으로 볼 수 있다.However, the color formed in the second filter region is not limited to the above-described example, and any color having a higher transmittance than the color formed in the first filter region may be regarded as belonging to the scope of the present invention.

결과적으로, 도 4a에 도시된 컬러 필터의 투과도는 블루(B), 그린(G), 레드(R)의 순서로 높아지며, 그레이(Gr)는 레드(R)보다 더 높은 투과도를 갖는다. As a result, the transmittance of the color filter shown in FIG. 4A is increased in the order of blue (B), green (G), and red (R), and gray (Gr) has a higher transmittance than red (R).

이와 같이, 제 2 필터 영역(402d)에 해당하는 컬러의 투과도가 제 1 필터 영역(402a~402c)에 해당하는 컬러의 투과도 보다 높은 투과도를 갖는 컬러 필터를 형성하게 되면, 각 컬러 필터 영역을 통과하는 광량에 차이가 발생하게 된다. As described above, when the transmittance of the color corresponding to the second filter region 402d forms a color filter having a transmittance higher than the transmittance of the color corresponding to the first filter regions 402a to 402c, it passes through each color filter region. A difference occurs in the amount of light to be made.

이는 해당 컬러 필터 영역과 매칭되는 서브 이미지 센서(402a~402d)에 도달하는 광량에 차이가 발생함을 의미하며, 각 서브 이미지 센서(402a~402d)에 고감도 센싱 기능 및 저감도 센싱 기능을 동시에 구현할 수 있다.This means that there is a difference in the amount of light reaching the sub image sensors 402a to 402d matching the color filter area, and high sensitivity sensing and low sensitivity sensing are simultaneously implemented in each of the sub image sensors 402a to 402d. Can be.

상술한 컬러 필터 코팅 방법의 실시예로는 사진 석판 인쇄 기법(Photo-Lithography Method)과 잉크 절감 기법(Inkjet Method)이 있으며 도 5a 와 도 5b에 도시되어 있다.Examples of the above-described color filter coating method include a photo-lithography method and an inkjet method, and are illustrated in FIGS. 5A and 5B.

예를 들어 그린(G), 레드(R), 블루(B), 그레이(Gr) 4가지 단일 컬러를 코팅하는 경우, 사진 석판 인쇄 기법은 먼저 이미지 센서 전체에 그린(G) 컬러를 코팅하고(502) 1/4의 그린(G) 컬러 코팅부분을 남겨둔 후, 나머지 3/4의 그린(G) 컬러 코팅은 제거(Patterning)한다(503).For example, if you coat four single colors green (G), red (R), blue (B), and gray (Gr), the photolithography technique first coats the green (G) color across the image sensor ( 502) After leaving 1/4 green color coating, the remaining 3/4 green color coating is patterned 503.

그린(G) 컬러 코팅을 벗겨낸 3/4의 이미지 센서위에 다시 레드(R) 컬러를 코 팅하고(504) 1/4의 레드(R) 컬러 코팅부분을 남겨둔 후, 나머지 2/4의 레드(R) 컬러 코팅은 제거한다(505).Coat the red (R) color on the 3/4 image sensor stripped of the green (G) color coating (504) and leave 1/4 the red (R) color coating, then the remaining 2/4 red (R) Color coating is removed (505).

이미지 센서에는 그린(G), 레드(R) 컬러가 각각 1/4씩 코팅되어 있으며 나머지 2/4 만큼의 코팅은 그린(G), 레드(R) 컬러 코팅 방법과 같이 블루(B), 그레이(Gr) 코팅을 할 수 있다(506~508).The image sensor is coated with green (G) and red (R) colors 1/4 each, and the remaining 2/4 coatings are blue (B) and gray like the green (G) and red (R) color coating methods. (Gr) can be coated (506 ~ 508).

사진 석판 인쇄 기법은 베이어 패턴 컬러 필터 공정에 비해 쉬운 장점이 있다Photolithography has an easy advantage over Bayer pattern color filter processes

도 5b는 두번째 코팅 방법의 실시예인 잉크 절감 코팅 방법을 도시한 도면이다.5B illustrates an ink saving coating method, which is an embodiment of a second coating method.

잉크 절감 코팅 방법은 이미지 센서에 렌즈의 수와 같은 4개의 분할벽을 형성하고(510) 각 분할된 1/4의 공간에 원하는 컬러의 잉크를 코팅하여 컬러 필터를 생성하는 방법이다(511~514).The ink saving coating method is a method of forming a color filter by forming four dividing walls equal to the number of lenses in an image sensor (510) and coating ink of desired color in each divided quarter of space (511 to 514). ).

잉크 절감 코팅방법은 매우 간단한 공정이며 잉크가 절감되는 효과와 함께 센서 제조 단가를 감소시킬 수 있는 장점이 있다.Ink saving coating is a very simple process and has the advantage of reducing the manufacturing cost of the sensor with the effect of saving ink.

상술한 방법으로 코팅된 컬러 필터는 각 렌즈와 각 서브 이미지 센서에 매칭된다.The color filters coated in the manner described above are matched to each lens and each sub image sensor.

예를 들어 도 4a에서 서브 이미지 센서(402a~402d)에 각각 그린(G) 컬러 필터, 레드(R) 컬러 필터, 블루(B) 컬러 필터, 그레이(Gr) 컬러 필터가 포함된 경우, 제 1 렌즈 (401a)를 통해 들어온 피사체의 빛은 제 1 렌즈(401a)와 매칭된 서브 이미지 센서(402a) 내의 그린(G) 컬러 필터에 의해 그린(G) 컬러의 영상이 형성되며, 제 2 렌즈(401b)를 통해 들어온 영상은 제 2 렌즈(401b)와 매칭된 서브 이미지 센서(402b) 내의 레드(R) 컬러 필터에 의해 레드(R) 컬러의 영상이 형성된다.For example, when the green (G) color filter, the red (R) color filter, the blue (B) color filter, and the gray (Gr) color filter are respectively included in the sub image sensors 402a to 402d in FIG. The light of the subject entering through the lens 401a is formed by the green (G) color filter in the sub-image sensor 402a matched with the first lens 401a, and an image of the green (G) color is formed. The image entered through the 401b is formed by the red (R) color filter in the sub image sensor 402b matched with the second lens 401b.

이와 같은 방법으로 제 3 렌즈(401c), 제 4 렌즈(401d)를 통해 들어온 피사체의 빛은, 각 렌즈와 매칭된 서브 이미지 센서(402c, 402d) 내의 컬러 필터에 의해 블루(B) 컬러의 영상과, 그레이(Gr) 컬러의 영상이 각각 형성된다.In this manner, the light of the subject entering through the third lens 401c and the fourth lens 401d is an image of blue (B) color by color filters in the sub-image sensors 402c and 402d matched with each lens. And gray (Gr) color images are formed, respectively.

즉, 4개의 렌즈(401a~401d)를 통해 각각 입사된 피사체의 빛은 각 렌즈(301a~301d)와 매칭되는 각 서브 이미지 센서(402a~402d) 내의 컬러 필터를 통해 해당 컬러 필터의 컬러를 갖는 영상을 형성하게 되어 각 서브 이미지 센서(402a~402d)에는 컬러가 다른 동일한 크기의 영상 4개가 존재하게 된다.That is, light of a subject incident through each of the four lenses 401a to 401d has the color of the corresponding color filter through the color filters in the sub-image sensors 402a to 402d that match each of the lenses 301a to 301d. As the image is formed, four images of the same size having different colors exist in each of the sub image sensors 402a to 402d.

한편, 이미지 생성 모듈(302)은 카메라 모듈(301)로부터 컬러별로 분리된 다수의 이미지를 제공받아, 최종 이미지를 생성하는 역할을 한다.Meanwhile, the image generating module 302 receives a plurality of images separated for each color from the camera module 301 and generates a final image.

이를 위하여 이미지 생성 모듈(302)은 원 이미지 생성 모듈(302a), 중간 이미지 생성 모듈(302b) 및 최종 이미지 생성 모듈(302c)을 포함하여 구성된다.To this end, the image generation module 302 includes an original image generation module 302a, an intermediate image generation module 302b, and a final image generation module 302c.

본 발명의 실시예에 따른 이미지 생성 모듈(302)에서 원 이미지 생성 모듈(302a)은 카메라 모듈(301)에서 제공되는 컬러 별로 분리된 다수의 이미지를 입력받는다. In the image generation module 302 according to an embodiment of the present invention, the original image generation module 302a receives a plurality of images separated for each color provided by the camera module 301.

즉, 원 이미지 생성 모듈(302a)은 도 4a에 도시된 그린 컬러 필터가 포함된 서브 이미지 센서(402a)에 의해 획득된 그린 컬러 이미지, 레드 컬러 필터가 포함된 서브 이미지 센서(402b)에 의해 획득된 레드 컬러 이미지, 블루 컬러 필터가 포함된 서브 이미지 센서(402c)에 의해 획득된 블루 컬러 이미지 및 그레이 컬러 필 터가 포함된 서브 이미지 센서(402d)에 의해 획득된 그레이 컬러 이미지를 입력 받는다. That is, the original image generation module 302a is obtained by the green color image obtained by the sub image sensor 402a including the green color filter shown in FIG. 4A and the sub image sensor 402b including the red color filter. The red color image, the blue color image obtained by the sub image sensor 402c including the blue color filter, and the gray color image obtained by the sub image sensor 402d including the gray color filter.

이때, 그린 컬러 이미지, 레드 컬러 이미지 및 블루 컬러 이미지는 후술될 최종 이미지 생성 모듈(302c)을 통해 최종 이미지를 생성하는데 필요한 컬러 정보를 제공하는 역할을 한다. In this case, the green color image, the red color image, and the blue color image serve to provide color information necessary to generate the final image through the final image generation module 302c which will be described later.

이에 비해 그레이 컬러 이미지는 최종 이미지를 생성하는데 필요한 휘도 정보를 제공하는 역할을 한다.In contrast, the gray color image serves to provide luminance information required to generate the final image.

또한 원 이미지 생성 모듈(302a) 상술한 각 컬러별로 획득된 원 이미지가 상기 각 서브 이미지 센서(402a~402d)내의 정해진 위치에서 벗어난 경우, 원 이미지의 위치를 보정하고, 각 컬러별로 획득된 원 이미지의 감도가 불균일한 경우, 각 컬러별로 획득된 원 이미지 중 가장 낮은 감도의 원 이미지를 기준으로 나머지 다른 원 이미지의 감도를 보정한다.In addition, the original image generation module 302a corrects the position of the original image when the original image acquired for each color described above is out of a predetermined position in each of the sub-image sensors 402a to 402d, and acquires the original image for each color. If the sensitivity of the nonuniformity is corrected, the sensitivity of the other original image is corrected based on the original image having the lowest sensitivity among the original images acquired for each color.

위치가 고정된 4개의 렌즈(401a~401d)를 통해 각각 입사된 피사체의 빛은 각 렌즈(401a~401d)와 매칭되는 각 서브 이미지 센서(402a~402d) 내의 컬러 필터를 통해 해당 컬러 필터의 컬러를 갖는 영상을 형성하면, 원 이미지 생성 모듈(302a)은 각 서브 이미지 센서(402a~402d)에서 각 영상의 위치를 체크한다.The light of a subject incident through each of the four fixed positions of the lenses 401a to 401d passes through the color filters in the sub-image sensors 402a to 402d that match the lenses 401a to 401d. When the image having the image is formed, the original image generating module 302a checks the position of each image in each of the sub image sensors 402a to 402d.

도 6에는 각 서브 이미지 센서(402a~402d)에 형성된 각 영상의 위치(601~604)가 도시되어 있다.6 shows positions 601 to 604 of respective images formed in the respective sub image sensors 402a to 402d.

601은 서브 이미지 센서 402a에 형성된 영상을 도시한 것으로서, 본 발명의 실시예에서는 위치가 고정된 4개의 렌즈(401a~401d)를 소정의 픽셀만큼 이동시키지 않는 한, 601처럼 서브 이미지 센서(402a)의 중앙에 영상이 위치하는 것을 정상위치, 즉 영상의 정해진 위치라고 정의하도록 하며 점선의 사각형(605)으로 표시되어 있다..601 illustrates an image formed on the sub-image sensor 402a. In the exemplary embodiment of the present invention, the sub-image sensor 402a like 601 does not move four lenses 401a to 401d having a fixed position by a predetermined pixel. The position of the image at the center of the image is defined as the normal position, that is, the predetermined position of the image and is indicated by the dotted rectangle 605.

602는 서브 이미지 센서 402b에 형성된 영상을 도시한 것으로서 정해진 위치에서 좌측 방향으로 1 픽셀만큼 이동되어 있으며, 603은 서브 이미지 센서 403b에 형성된 영상을 도시한 것으로서 정해진 위치에서 아래 방향으로 1 픽셀만큼 이동되어 있다.602 illustrates an image formed in the sub image sensor 402b and is moved by one pixel in a left direction from a predetermined position, and 603 illustrates an image formed in the sub image sensor 403b and is moved by one pixel in a downward direction from a predetermined position. have.

604는 서브 이미지 센서 402d에 형성된 영상을 도시한 것으로서 정해진 위치에서 대각선 방향으로, 즉 우측 방향 및 아래 방향으로 1 픽셀씩 이동되어 있다.604 illustrates an image formed in the sub image sensor 402d and is moved by one pixel in a diagonal direction, that is, in a right direction and a downward direction, at a predetermined position.

도 6에서 보는 것처럼 각 서브 이미지 센서(402a~402d)에 영상이 정해진 위치에서 벗어나는 이유는 광학적 불일치(Optical Misalignment)가 원인일 수 있으며, 일반적으로 광학적 불일치가 발생하게 되면 서브 이미지 센서에 형성되는 영상의 위치가 정해진 위치에서 벗어나게 되므로 선명한 영상을 얻기 어렵게 된다.As shown in FIG. 6, the reason that the image deviates from a predetermined position in each of the sub image sensors 402a to 402d may be caused by an optical misalignment. In general, when an optical mismatch occurs, an image formed in the sub image sensor Since the position of is out of a fixed position, it is difficult to obtain a clear image.

이에, 본 발명의 원 이미지 생성 모듈(302a)은 광학적 불일치로 인해 정해진 위치에서 벗어난 영상을 소프트웨어적으로 보정 할 수 있다.Thus, the original image generation module 302a of the present invention may correct the image deviated from a predetermined position due to optical mismatch in software.

예를 들면, 602의 경우, 정해진 위치에서 좌측 방향으로 1 픽셀만큼 벗어났기 때문에 해당 영상을 다시 우측으로 1 픽셀을 이동하고, 603의 경우는 위 방향으로 1 픽셀을, 604의 경우는 좌즉 방향으로 1 픽셀을 이동하고 다시 위 방향으로 1 픽셀을 이동하거나, 위 방향으로 1 픽셀을 이동한 후 좌측 방향으로 1 픽셀을 이동하여 광학적 불일치로 인한 영상의 위치를 보정할 수 있다.For example, in the case of 602, the image is shifted by one pixel to the right since the pixel is deviated by one pixel to the left. In the case of 603, one pixel is moved upwards, and in the case of 604, it moves leftward. The position of the image due to optical inconsistency may be corrected by moving one pixel and moving one pixel upward again or one pixel upward and one pixel moved leftward.

또한, 원 이미지 생성 모듈(302a)은 감도 불균일(Non uniformity)을 보정할 수도 있다.In addition, the original image generation module 302a may correct the nonuniformity of sensitivity.

다시 도 6를 참조하여 설명하도록 한다.This will be described with reference to FIG. 6 again.

601에서 영상의 감도가 10, 602에서 영상의 감도가 9, 603에서 영상의 감도가 8, 604에서 영상의 감도가 7이라고 가정하면, 원 이미지 생성 모듈(302a)은 가장 낮은 감도를 갖는 604에서의 영상의 감도 7을 기준으로, 나머지 영상의 감도가 7이 되도록 조정하여 감도의 불균일을 보 정할 수 있다.Assuming that the image sensitivity is 10, 602 at 601, the image sensitivity is 9, 603, the image sensitivity is 8, 604, and the image sensitivity is 7, the original image generation module 302a at 604 has the lowest sensitivity. Based on the sensitivity 7, the sensitivity of the image can be adjusted so that the sensitivity of the remaining image is 7 to correct the nonuniformity of the sensitivity.

상술한 과정을 통해, 각 컬러별 이미지는 후술 될 중간 이미지 생성 모듈(302b)로 제공된다. Through the above-described process, the image for each color is provided to the intermediate image generation module 302b which will be described later.

중간 이미지 생성 모듈(302b)은 원 이미지 생성 모듈(302a)로부터 제공받은 각 컬러별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여, 상기 컬러별 이미지보다 높은 해상도를 갖는 중간 이미지를 생성한다.The intermediate image generation module 302b rearranges pixel information of pixels having the same position in each color-colored image provided from the original image generation module 302a to generate an intermediate image having a higher resolution than the color-specific image.

여기에서 중간 이미지란, 각 서브 이미지 센서에 형성된 각 영상들, 즉 원 이미지와 구분하기 위해 사용하는 용어로서, 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여, 원 이미지보다 높은 해상도를 갖는 이미지를 의미한다. In this case, the intermediate image is a term used to distinguish each image formed in each sub-image sensor, that is, the original image. The intermediate image rearranges pixel information of pixels having the same position in the original image, and has a higher resolution than the original image. Means image.

하지만 중간 이미지가 높은 해상도를 갖는 최종적인 이미지를 의미하는 것은 아니며, 중간 이미지는 디모자이킹 또는 디블러링과 같은 과정을 거쳐 최종 이미지 로 만들어진다.However, the intermediate image does not mean the final image with high resolution, and the intermediate image is made into the final image through a process such as demosaicing or deblur.

한편, 생성된 중간 이미지는 다수의 서브 이미지 센서(402a~402d)가 배열된 이미지 센서(402)와 동일한 해상도를 갖는 것이 바람직하다. Meanwhile, the generated intermediate image preferably has the same resolution as the image sensor 402 in which the plurality of sub image sensors 402a to 402d are arranged.

예를 들어, 각 서브 이미지 센서(402a~402d)가 4×4의 해상도를 갖는 경우, 중간 이미지는 이미지 센서와 동일한 8×8의 해상도를 갖는 것이 바람직하다.For example, when each sub image sensor 402a to 402d has a resolution of 4x4, it is preferable that the intermediate image has the same resolution of 8x8 as the image sensor.

중간 이미지는 최종 이미지 생성 모듈(302c)로 제공된다. The intermediate image is provided to the final image generation module 302c.

최종 이미지 생성 모듈(302c)은 중간 이미지 생성 모듈(302b)로부터 제공받은 중간 이미지를 디모자이킹하고 상기 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성하는 역할을 한다. The final image generation module 302c serves to demosaize the intermediate image provided from the intermediate image generation module 302b and to deblur the demosaiced image to generate a final image.

디스플레이 모듈(303)은 최종 이미지 생성 모듈(302c)로부터 제공된 최종 이미지를 디스플레이하는 역할을 한다. The display module 303 serves to display the final image provided from the final image generation module 302c.

이러한 디스플레이 모듈(303)은 예를 들어, 평판 디스플레이, 터치스크린 등의 형태로 구현될 수 있다.The display module 303 may be implemented in the form of, for example, a flat panel display or a touch screen.

본 도면을 참조하여 고해상도 이미지 복원 방법을 설명하기에 앞서, 도 3에 도시된 장치(300) 중 카메라 모듈(301)의 4개의 렌즈는 위치가 고정된 하나의 렌즈를 기준으로 나머지 다른 렌즈가 소정의 픽셀만큼 이동되어 위치한다고 가정한다.Before describing the high resolution image reconstruction method with reference to the drawings, four lenses of the camera module 301 of the device 300 shown in FIG. 3 have the other lenses determined based on one lens having a fixed position. Assume that it is moved by a pixel of

여기에서 소정의 픽셀만큼의 이동은 이동 길이 및 이동 방향 모두를 포함한 것으로 실시예에 따라 달라질 수 있다.Here, the movement by a predetermined pixel includes both the movement length and the movement direction, and may vary according to embodiments.

만일, 도 7a와 같은 동일한 크기의 사각형 4개로 이루어진 피사체(701)를 카메라 모듈(301)을 사용하여 촬영한다고 할 때, 하나의 렌즈(401a)는 피사체 중 A라고 새겨진 사각형(701a)을 촬영하도록 위치가 고정되어 있고, 나머지 다른 렌즈들(401b~401c)은 각각 B(701b), C(701c), D(701d)라고 새겨진 사각형을 촬영하도록, 하나의 렌즈(401a)를 기준으로 소정의 위치만큼 이동되어 있다고 가정해보자.When photographing the subject 701 having four squares of the same size as shown in FIG. 7A using the camera module 301, one lens 401a is configured to photograph the square 701a engraved as A among the subjects. The position is fixed, and the other lenses 401b to 401c have predetermined positions relative to one lens 401a so as to photograph the rectangles engraved with B 701b, C 701c, and D 701d, respectively. Assume that it is moved by.

여기에서 소정의 위치만큼의 이동은, 사각형 B(701b)를 촬영하는 렌즈는 사각형 A(701a)를 촬영하는 렌즈를 기준으로 우측으로 소정의 위치만큼 이동해야 할 것이며, 사각형 C(701c)를 촬영하는 렌즈는 사각형 A(701a)를 기준으로 아래 방향으로 소정의 위치만큼 이동해야 한다.Here, the movement by the predetermined position, the lens for photographing the rectangle B (701b) will have to move to the right by a predetermined position relative to the lens for photographing the rectangle A (701a), and photograph the rectangle C (701c) The lens must move by a predetermined position in the downward direction with respect to the rectangle A 701a.

또한 사각형 D(701d)를 촬영하는 렌즈는 사각형 A(701a)를 기준으로 대각선 방항 또는 우측 방향과 아래 방향으로 소정의 위치만큼 이동해야 함을 의미한다.In addition, the lens photographing the quadrangle D 701d means that the lens has to move by a predetermined position in the diagonal direction or the right direction and the downward direction with respect to the rectangle A 701a.

각 렌즈를 통해 각 서브 이미지 센서(402a~402d)에 형성된 이미지는 각각 사각형 A, B, C, D(702a~702d)가 된다.The images formed in each of the sub image sensors 402a to 402d through the respective lenses become squares A, B, C, and D 702a to 702d, respectively.

이때, 각 렌즈에 매칭되는 서브 이미지 센서의 화소가 각각 100만 화소라고 한다면, 사각형 A, B, C, D(702a~702d)를 촬영한 이미지를 피사체의 모양대로 배열하여 하나의 이미지로 만들 경우(도면에서 +기호로 표시), 4백만 화소를 갖는 카메라를 사용하여 상기 피사체 전체를 촬영한 이미지(704)와 동일한 화소를 갖는 이미지(703)를 생성할 수 있다. In this case, if the pixels of the sub-image sensor matched to each lens are 1 million pixels, the images of the rectangles A, B, C, and D (702a to 702d) are arranged in the shape of the subject to form a single image. (Indicated by a + symbol in the drawing), a camera having 4 million pixels can be used to generate an image 703 having the same pixels as the image 704 of the entire subject.

도 7b는 본 발명의 실시예에 따른 중간 이미지 생성 방법을 도시한 도면이다.7B is a diagram illustrating a method of generating an intermediate image according to an exemplary embodiment of the present invention.

도 7a를 참조하여 설명한 것과 같은 원리를 이용하여, 피사체(705)를 촬영하는 카메라 모듈(301)의 4개의 렌즈(401a~401d) 중 하나의 렌즈(401a)는 위치를 고정하고 나머지 다른 렌즈들(401b~401d)은 하나의 렌즈(401a)를 기준으로 각각 1 픽셀씩 이동된 픽셀부터 촬영되도록 렌즈를 이동시킨다.Using the same principle as described with reference to FIG. 7A, one of the four lenses 401a to 401d of the camera module 301 for photographing the subject 705 fixes the position and the other lenses. Reference numerals 401b to 401d move the lenses so that the pixels are photographed from pixels shifted by one pixel based on one lens 401a.

즉, 하나의 렌즈(401a)를 기준으로 우측으로 1 픽셀, 아래 방향으로 1 픽셀, 대각선 방향으로 1픽셀 또는 우측 방향 그리고 아래 방향으로 1 픽셀씩 이동된 픽셀부터 촬영되도록 렌즈의 위치를 이동 시키는 것이다.That is, the position of the lens is shifted so that the image is taken from a pixel moved by 1 pixel to the right, 1 pixel to the bottom, 1 pixel to the diagonal direction, or 1 pixel to the right direction and the downward direction based on one lens 401a. .

이러한 렌즈의 구조를 갖는 카메라 모듈(301)을 통해 중간 이미지 생성 모듈(302b)은 컬러 별로 획득한 원 이미지들(706)의 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 원 이미지보다 더 높은 해상도를 갖는 중간 이미지(708)를 생성한다.Through the camera module 301 having the structure of such a lens, the intermediate image generation module 302b rearranges pixel information of pixels of the same position of the original images 706 acquired for each color to obtain higher resolution than the original image. Produces an intermediate image 708 having the same.

최종 이미지 생성 모듈(302c) 중간 이미지 생성 모듈에서 생성된 중간 이미지(708)를 디모자이킹하고, 디모자이킹된 이미지를 디블러링하여 원 이미지를 고해상도를 갖는 최종 이미지로 복원한다.Final image generation module 302c Demosaices the intermediate image 708 generated in the intermediate image generation module, and deblur the demosaiced image to restore the original image to the final image with high resolution.

편의상, 도 7b를 참조로 하여 설명한 이미지 생성 모듈(302)을 제 1 이미지 생성 모듈이라 칭한다.For convenience, the image generation module 302 described with reference to FIG. 7B is called a first image generation module.

카메라 모듈(301)에 대한 설명은 상술한 카메라 모듈의 설명과 동일하므로 생략하도록 한다.Description of the camera module 301 is the same as the description of the camera module described above will be omitted.

한편, 이미지 생성 모듈(302)의 원 이미지 생성 모듈(302a)은 상술한 카메라 모듈(301)에서 컬러 별로 획득된 원 이미지들을 각각 복수의 픽셀 그룹으로 구분하고, 중간 이미지 생성 모듈(302b)은 도 8에 도시된 서브 이미지 센서(402a~402d)와 동일한 해상도를 갖는 제 1 중간 이미지(802)를 생성한다 Meanwhile, the original image generation module 302a of the image generation module 302 divides the original images acquired for each color from the camera module 301 into a plurality of pixel groups, and the intermediate image generation module 302b is illustrated in FIG. Generate a first intermediate image 802 having the same resolution as the sub image sensors 402a-402d shown in FIG.

여기서, 제 1 중간 이미지(802)는 도 8에 도시된 가로×세로 각각 2×2 개의 가상 픽셀들을 단위로 하는 다수의 픽셀 그룹(803~805)으로 구분될 수 있다. Here, the first intermediate image 802 may be divided into a plurality of pixel groups 803 ˜ 805 each having 2 × 2 virtual pixels as a horizontal × vertical pixel shown in FIG. 8.

여기서, 각 픽셀 그룹(803~805)은 컬러 정보 및 휘도 정보가 매핑되는 주 픽셀(803a, 804a, 805a) 및, 주 픽셀(803a, 804a, 805a)의 주변에 위치하며, 정보를 보유하지 않은 서브 픽셀들(803b, 804b, 805b)로 구분될 수 있다. Here, each pixel group 803 to 805 is positioned around the main pixels 803a, 804a and 805a to which the color information and the luminance information are mapped, and the main pixels 803a, 804a and 805a, and does not have information. It may be divided into subpixels 803b, 804b, and 805b.

주 픽셀(803a, 804a, 805a)의 위치는 해당 픽셀 그룹(803~805)에서 다양한 위치에 지정될 수 있다. The positions of the main pixels 803a, 804a, and 805a may be designated at various positions in the pixel groups 803 to 805.

예를 들면, 도 8과 같이, 2×2의 각 픽셀 그룹(803~805)에서, 첫 번째 행의 첫 번째 열에 해당하는 위치(803a, 804a, 805a)가 주 픽셀의 위치로 지정될 수 있고, 각 픽셀 그룹에서, 첫 번째 행의 두 번째 열에 해당하는 위치(803b, 804b, 805b)가 주 픽셀의 위치로 지정될 수도 있다. For example, as shown in FIG. 8, in each pixel group 803 to 805 of 2 × 2, positions 803a, 804a, and 805a corresponding to the first column of the first row may be designated as the positions of the main pixels. In each pixel group, positions 803b, 804b, and 805b corresponding to the second column of the first row may be designated as the position of the main pixel.

이와 같이, 제 1 중간 이미지(802)가 생성되면, 중간 이미지 생성 모듈(302b)은 각 컬러 별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 주 픽셀에 매핑한다. As such, when the first intermediate image 802 is generated, the intermediate image generation module 302b maps pixel information of pixels having the same position in each color-specific image to main pixels of the pixel group corresponding to the position.

예를 들면, 중간 이미지 생성 모듈(302b)은 각 컬러별 이미지의 첫 번째 행 과 첫 번째 열에 위치한 픽셀의 픽셀 정보를 제 1 중간 이미지(802)에서 첫 번째 행과 첫 번째 열에 위치한 픽셀 그룹(803)의 주 픽셀(803a)에 매핑한다. For example, the intermediate image generation module 302b may convert pixel information of pixels located in the first row and the first column of each color-specific image to the pixel group 803 located in the first row and the first column of the first intermediate image 802. Is mapped to the main pixel 803a.

마찬가지로, 중간 이미지 생성 모듈(802b)은 각 컬러 별 이미지의 첫 번째 행의 두 번째 열에 위치한 픽셀의 픽셀 정보를 제 1 중간 이미지(802)에서 첫 번째 행과 두 번째 열에 위치한 픽셀 그룹(804)의 주 픽셀(804a)에 매핑한다. Similarly, the intermediate image generation module 802b may obtain pixel information of pixels located in the second column of the first row of each color-specific image of the pixel group 804 located in the first row and the second column of the first intermediate image 802. Map to main pixel 804a.

또한, 중간 이미지 생성 모듈(302b)은, 각 컬러별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보 중 컬러 정보를 기반으로 휘도 정보를 산출하고, 상기 산출된 휘도 정보를 각 픽셀 그룹(803~805)의 주 픽셀(803a~803b)에 매핑한다.In addition, the intermediate image generation module 302b calculates luminance information based on color information among pixel information of pixels having the same position in each color image, and calculates the luminance information from each pixel group 803 to 805. Are mapped to the main pixels 803a to 803b.

예를 들면, 중간 이미지 생성 모듈(302b)은 그린, 레드 및 블루 컬러 이미지의 첫 번째 행과 첫 번째 열에 위치한 픽셀에서 제공된 컬러 정보를 기반으로 휘도 정보를 산출한다. For example, the intermediate image generation module 302b calculates luminance information based on the color information provided in the pixels located in the first row and the first column of the green, red and blue color images.

그리고 제 1 중간 이미지(802)에서 첫 번째 행과 첫 번째 열에 위치한 픽셀 그룹의 주 픽셀에 산출된 휘도 정보를 매핑한다. In the first intermediate image 802, luminance information calculated is mapped to main pixels of a pixel group located in a first row and a first column.

도 8을 참조하면, 각 픽셀 그룹(803~605)의 주 픽셀(803a~803b)에는, 세개의 서브 이미지 센서(802a~802c)에서 각각 제공된 그린, 레드, 블루 컬러 정보(G, R, B), 나머지 서브 이미지 센서(402d)에서 제공된 휘도 정보를 나타내는 그레이 컬러 정보(Gr)가 매핑되어 있음을 알 수 있으며, 도 8에 도시되지 않았지만 3색의 컬러 정보로부터 검출된 휘도 정보(Y)가 더 매핑될 수 있다.Referring to FIG. 8, the main pixels 803a to 803b of each pixel group 803 to 605 have green, red, and blue color information G, R, and B provided from the three sub-image sensors 802a to 802c, respectively. ), Gray color information Gr representing the luminance information provided from the remaining sub-image sensor 402d is mapped. Although not shown in FIG. 8, the luminance information Y detected from the three-color information is not included. May be further mapped.

일 예로, 제 1 픽셀 그룹(803)의 주 픽셀(803a)에는, 그린 컬러 이미지에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 그린 컬러 정보, 레드 컬러 이미지 에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 레드 컬러 정보, 블루 컬러 이미지에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 블루 컬러 정보, 그레이 컬러 이미지에서 첫 번째 행의 첫 번째 열에 위치한 픽셀이 갖는 휘도 정보를 나타내는 그레이 컬러 정보 및, 3개의 컬러 정보를 기반으로 하여 검출된 휘도 정보가 매핑된다. For example, in the main pixel 803a of the first pixel group 803, the green color information of the pixel located in the first column of the first row of the green color image, and the pixel located in the first column of the first row of the red color image This has red color information, blue color information having pixels located in the first column of the first row in the blue color image, gray color information representing luminance information possessed by the pixels located in the first column of the first row in the gray color image, and 3 The detected luminance information is mapped based on two color information.

이와 동일하게 제 2 픽셀 그룹(804)의 주 픽셀(804a)에는, 그린 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 그린 컬러 정보, 레드 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 레드 컬러 정보, 블루 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 블루 컬러 정보, 그레이 컬러 이미지에서 첫 번째 행의 두 번째 열에 위치한 픽셀이 갖는 휘도 정보인 그레이 컬러 및 기 제공된 3개의 컬러 정보를 기반으로 하여 검출된 휘도 정보가 매핑된다. Similarly, the main pixel 804a of the second pixel group 804 includes the green color information of the pixel located in the second column of the first row in the green color image, and the pixel located in the second column of the first row in the red color image. Has red color information, blue color information of the pixel located in the second column of the first row in the blue color image, gray color, which is luminance information of the pixel located in the second column of the first row of the gray color image, and three provided The detected luminance information is mapped based on the color information.

이로써, 중간 이미지 생성 모듈(302b)은, 각 픽셀 그룹(803~805)의 주 픽셀(803a~805a)에 3개의 컬러 정보 및 2개의 휘도 정보가 매핑된 제 2 중간 이미지(806)를 생성한다Thus, the intermediate image generation module 302b generates a second intermediate image 806 in which three color information and two luminance information are mapped to the main pixels 803a to 805a of each pixel group 803 to 805.

이 후, 중간 이미지 생성 모듈(302b)은, 보간법(Interpolation)을 사용하여, 제 2 중간 이미지(806)를 보간한다.The intermediate image generation module 302b then interpolates the second intermediate image 806 using interpolation.

즉, 중간 이미지 생성 모듈(302b)은 도 8에 도시된 각 픽셀 그룹(803~805)의 주 픽셀(803a~805a)이 보유한 정보들을 기반으로 하여, 서브 픽셀(803b~805b)에 기록되는 픽셀 정보를 산출한다. That is, the intermediate image generation module 302b writes the pixels recorded in the subpixels 803b to 805b based on the information held by the main pixels 803a to 805a of each pixel group 803 to 805 shown in FIG. 8. Calculate the information.

이때, 중간 이미지 생성 모듈(302b)은 다양한 알고리즘에 따라 제 2 중간 이미지(806)를 보간할 수 있다. In this case, the intermediate image generation module 302b may interpolate the second intermediate image 806 according to various algorithms.

일 예로, 제 2 중간 이미지(806)에서 각 서브 픽셀에 기록되는 픽셀 정보는 해당 서브 픽셀과 인접한 주 픽셀이 갖는 정보로부터 산출될 수 있다. For example, pixel information recorded in each subpixel in the second intermediate image 806 may be calculated from information of a main pixel adjacent to the corresponding subpixel.

좀 더 구체적으로, 도 8에서, 제 1 픽셀 그룹(803)의 주 픽셀(803a)과 제 2 픽셀 그룹(804)의 주 픽셀(804a) 사이에 위치한 서브 픽셀(803b)에 기록되는 픽셀 정보는 두 주 픽셀(803a, 804a)이 갖는 픽셀 정보의 평균값(807)으로 지정될 수 있다. More specifically, in FIG. 8, the pixel information recorded in the subpixel 803b positioned between the main pixel 803a of the first pixel group 803 and the main pixel 804a of the second pixel group 804 is The average value 807 of the pixel information of the two main pixels 803a and 804a may be specified.

마찬가지로, 제 2 픽셀 그룹(804)의 주 픽셀(804a)과 제 3 픽셀 그룹(805)의 주 픽셀(805a) 사이에 위치한 서브 픽셀(804b)에 기록되는 픽셀 정보는 두 주 픽셀(804a, 805a)이 갖는 픽셀 정보의 평균값(808)으로 지정될 수 있다.Similarly, the pixel information recorded in the subpixel 804b located between the main pixel 804a of the second pixel group 804 and the main pixel 805a of the third pixel group 805 is two main pixels 804a and 805a. ) May be designated as an average value 808 of pixel information.

이와 같은 방법에 의해 제 2 중간 이미지(806)의 보간이 이루어지면, 최종 이미지 생성 모듈(302c)은 보간된 제 2 중간 이미지(806)를 디블러링(de-blurring)한다. When interpolation of the second intermediate image 806 is performed by this method, the final image generation module 302c de-blurring the interpolated second intermediate image 806.

그 결과, 각 서브 센싱 영역을 통해 얻어진 저해상도(즉, 서브 센싱 영역의 해상도)의 컬러별 원 이미지로부터 고해상도(즉, 서브 이미지 센서의 해상도×4)의 최종 이미지(809)를 생성한다.As a result, a final image 809 of high resolution (i.e., resolution x 4 of the sub-image sensor) is generated from the original image for each color of the low resolution (i.e., resolution of the sub-sensing area) obtained through each sub-sensing area.

편의상, 도 8을 참조로 하여 설명한 이미지 생성 모듈(302)을 제 2 이미지 생성 모듈이라 칭한다.For convenience, the image generation module 302 described with reference to FIG. 8 is called a second image generation module.

도 9는 본 발명의 제 2 실시예에 따른 카메라 모듈의 구조를 도시한 도면이 다. 9 is a diagram showing the structure of a camera module according to a second embodiment of the present invention.

본 발명의 제 2 실시예에 따른 카메라 모듈은 도 4a의 제 1 실시예에 따른 카메라 모듈에 비해 다음을 제외하고는 동일한 구성 요소를 갖는다. The camera module according to the second embodiment of the present invention has the same components except for the following compared to the camera module according to the first embodiment of FIG. 4A.

즉, 제 2 실시예에 따른 카메라 모듈은 다수의 렌즈(901a~901d)가 서로 다른 색을 갖는다.That is, in the camera module according to the second embodiment, the plurality of lenses 901a to 901d have different colors.

여기서, 다수의 렌즈(901a~901d)는 투과도에 따라 제 1 그룹과 제 2 그룹으로 구분될 수 있다. Here, the plurality of lenses 901a to 901d may be divided into a first group and a second group according to the transmittance.

이때, 제 2 그룹에 포함되는 렌즈는 제 1 그룹에 포함되는 렌즈에 비해 투과도가 높은 색을 갖는 것이 바람직하다. In this case, it is preferable that the lens included in the second group has a color with higher transmittance than the lens included in the first group.

좀 더 구체적으로, 4개의 렌즈 중 제 1 그룹에 해당하는 제 1 렌즈(901a), 제 2 렌즈(901b) 및 제 3 렌즈(901c)는 각각 그린, 레드 및 블루 컬러를 갖고, 제 2 그룹에 포함되는 제 4 렌즈(901d)는 그린, 레드 및 블루 컬러에 비해 투과도가 높은 색, 예를 들면 그레이 컬러를 갖는 것이 바람직하다. More specifically, the first lens 901a, the second lens 901b, and the third lens 901c corresponding to the first group of four lenses have green, red, and blue colors, respectively. The fourth lens 901d included preferably has a color having a high transmittance, for example, a gray color, as compared with the green, red, and blue colors.

이와 같이, 다수의 렌즈(901a~901d)가 각각 서로 다른 색을 갖는 경우, 각 서브 이미지 센서(902a~902d)에는 별도의 컬러 필터층이 형성되지 않는다. As described above, when the plurality of lenses 901a to 901d have different colors, no separate color filter layer is formed on each of the sub image sensors 902a to 902d.

그리고, 이미지 센서(902)는 각 렌즈(901a~901d)에 대응하는 서브 이미지 센서(902a~902d)로 분할되며 각 렌즈(901a~901d)에 의해 컬러별로 분리된 이미지를 획득 할 수 있다.The image sensor 902 may be divided into sub-image sensors 902a to 902d corresponding to the respective lenses 901a to 901d, and may obtain an image separated by colors by the lenses 901a to 901d.

상기 컬러별로 분리된 영상은 도 3에 도시된 이미지 생성 모듈(302)을 통해 카메라 모듈(301)로부터 컬러별로 분리된 다수의 이미지를 제공받아, 최종 이미지 를 생성하고 디스플레이 모듈(303)을 통해 디스플레이된다.The image separated by color is provided with a plurality of images separated by color from the camera module 301 through the image generating module 302 illustrated in FIG. 3 to generate a final image and display the image through the display module 303. do.

최종 이미지를 생성하는 이미지 생성 모듈(302)에 관한 설명은 도 3 내지 도 8을 참조하여 설명한 내용과 동일하다.The description of the image generating module 302 for generating the final image is the same as the content described with reference to FIGS. 3 to 8.

다음으로, 도 10 내지 도 11을 참조하여 본 발명의 실시예에 따른 고해상도 이미지 복원 방법을 설명하도록 한다.Next, a high resolution image restoration method according to an embodiment of the present invention will be described with reference to FIGS. 10 to 11.

여기서, 도 10은 도 4a에 도시된 구조의 카메라 모듈과 도 7b를 참조로 하여 설명한 제 1 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.10 is a flowchart illustrating a high resolution image reconstruction method using the camera module having the structure illustrated in FIG. 4A and the first image generation module described with reference to FIG. 7B.

먼저, 설명의 편의를 위해 도 7b에서 이미지 센서(402)를 구성하는 서브 이미지 센서(402a~402d) 내에 각각 그린, 레드, 블루 및 그레이 컬러 필터가 포함되어 있고, 이미지 센서(402)는 가로×세로가 8×8개의 픽셀로 구성되며, 이미지 센서(402)를 구성하는 각각의 서브 이미지 센서(402a~402d)는 가로×세로가 4×4개의 픽셀로 이루어진다고 가정한다. First, for convenience of description, green, red, blue, and gray color filters are included in the sub image sensors 402a to 402d constituting the image sensor 402 in FIG. 7B, and the image sensor 402 is a horizontal × It is assumed that the length is composed of 8x8 pixels, and each of the sub-image sensors 402a to 402d constituting the image sensor 402 is 4x4 pixels in width x length.

피사체(705)에서 반사된 빛은 4개의 렌즈(401a~401d)를 통해 각각 집광된다(S1001).Light reflected from the subject 705 is condensed through the four lenses 401a to 401d, respectively (S1001).

각 렌즈(401a~401d)를 통해 집광된 빛은 각 렌즈(401a~401d)와 매칭되는 각 서브 이미지 센서(402a~402d) 내에 포함된 컬러 필터를 투과하게 된다(S1002). Light condensed through each of the lenses 401a to 401d is transmitted through the color filter included in each of the sub-image sensors 402a to 402d matching the lenses 401a to 401d (S1002).

그 결과, 각 서브 이미지 센서(402a~402d)에 컬러별로 분리된 다수의 이미지가 획득된다(S1003).As a result, a plurality of images separated for each color are obtained in each of the sub image sensors 402a to 402d (S1003).

이때, 각 서브 이미지 센서(402a~402d)에 의해 획득된 이미지는 이미지 센 서(402)의 해상도에 비해 1/4에 해당하는 해상도를 갖게 된다. In this case, the images acquired by the sub image sensors 402a to 402d have a resolution corresponding to 1/4 of the resolution of the image sensor 402.

즉, 이미지 센서(402)의 해상도가 8×8 이므로, 각 서브 이미지 센서(402a~402d)에 의해 획득된 이미지는 4×4의 해상도를 갖는 것이다.That is, since the resolution of the image sensor 402 is 8x8, the image acquired by each sub image sensor 402a-402d has a resolution of 4x4.

S1003 후, 이미지 생성 모듈(302)은 S1003에서 획득된 다수의 원 이미지들(706)이 각 서브 이미지 센서(401a~401d)에서 정해진 위치에 존재하는지를 체크한다(S1004).After S1003, the image generation module 302 checks whether the plurality of original images 706 obtained in S1003 exist at a predetermined position in each of the sub image sensors 401a to 401d (S1004).

체크 결과, 정해진 위치에서 벗어났다면 정해진 위치에 원 이미지가 위치하도록 위치를 보정한다(S1005).As a result of the check, if the deviation from the predetermined position corrects the position so that the original image is located at the predetermined position (S1005).

만일 원 이미지가 정해진 위치에 존재한다면 이미지 생성 모듈(302)은 다수의 원 이미지들(706)의 감도를 체크한다(S1006).If the original image exists at the predetermined position, the image generation module 302 checks the sensitivity of the plurality of original images 706 (S1006).

체크 결과, 감도가 불균일 할 경우, 이미지 생성 모듈은 원 이미지들 중 가장 낮은 감도를 기준으로 원 이미지들의 감도를 보정한다(S1007). As a result of the check, if the sensitivity is uneven, the image generating module corrects the sensitivity of the original images based on the lowest sensitivity among the original images (S1007).

만일 감도가 일정하다면, 이미지 생성 모듈(302)은 다수의 컬러 별 이미지를 입력받아 원 이미지를 생성하고 다수의 원 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 재배치하여 각 컬러별 원 이미지보다 고해상도를 갖는 중간 이미지(708)를 생성한다(S1008).If the sensitivity is constant, the image generation module 302 receives a plurality of color-specific images to generate an original image, and rearranges pixel information of pixels of the same position in the plurality of original images to achieve higher resolution than the original image for each color. An intermediate image 708 is generated (S1008).

S1008 후, 중간 이미지를 디모자이킹하고(S1009), 디모자이킹된 이미지를 디블러링하여 최종 이미지를 생성한다(S1010).After S1008, demosaicing the intermediate image (S1009), and debluring the demosaiced image to generate a final image (S1010).

S1010 후, 이미지 생성 모듈(302)에 의해 생성된 최종 이미지는 디스플레이 모듈(303)을 통해 디스플레이 된다(S1011).After S1010, the final image generated by the image generating module 302 is displayed through the display module 303 (S1011).

도 11은 도 4a에 도시된 구조의 카메라 모듈과 도 8를 참조로 하여 설명한 제 2 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법을 나타낸 흐름도이다.FIG. 11 is a flowchart illustrating a high resolution image reconstruction method using the camera module having the structure illustrated in FIG. 4A and the second image generation module described with reference to FIG. 8.

먼저, 도 4a에서 도시된 장치의 카메라 모듈(301)로부터 다수의 컬러 별 원 이미지가 제공되는 과정은 도 10에 도시된 S1001~S1007과 동일하며, 원 이미지 생성 모듈(302a)은 원 이미지를 도 8에 도시된 가로×세로, 각각 2×2 개의 가상 픽셀들을 단위로 하는 다수의 픽셀 그룹(303~305)으로 구분한다(S1101).First, a process of providing a plurality of original images for each color from the camera module 301 of the apparatus illustrated in FIG. 4A is the same as that of S1001 to S1007 illustrated in FIG. 10, and the original image generation module 302a illustrates the original image. Horizontal x vertical shown in 8, it is divided into a plurality of pixel groups (303 ~ 305) each of 2 x 2 virtual pixels (S1101).

S1101 후, 중간 이미지 생성 모듈(302b)은 도 8에 도시된 이미지 센서(402)와 동일한 해상도를 갖는 제 1 중간 이미지(802)를 생성한다(S1102). After S1101, the intermediate image generation module 302b generates the first intermediate image 802 having the same resolution as the image sensor 402 shown in FIG. 8 (S1102).

제 1 중간 이미지(802)가 생성되면, 중간 이미지 생성 모듈(302b)은 각 컬러 별 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보를 상기 위치에 대응하는 픽셀 그룹의 주 픽셀에 매핑한다.(S1103) When the first intermediate image 802 is generated, the intermediate image generation module 302b maps pixel information included in pixels of the same position in each color-specific image to main pixels of the pixel group corresponding to the position (S1103).

S1103 후, 중간 이미지 생성 모듈(302b)은, 각 픽셀 그룹(803~805)의 주 픽셀(803a~805a)에 3개의 컬러 정보 및 2개의 휘도 정보가 매핑된 제 2 중간 이미지(806)를 생성한다(S1104).After S1103, the intermediate image generation module 302b generates a second intermediate image 806 in which three color information and two luminance information are mapped to the main pixels 803a to 805a of each pixel group 803 to 805. (S1104).

이 후, 중간 이미지 생성 모듈(302b)은, 보간법(Interpolation)을 사용하여, 제 2 중간 이미지(806)를 보간한다(S1105).Thereafter, the intermediate image generation module 302b interpolates the second intermediate image 806 by using interpolation (S1105).

이와 같은 방법에 의해 제 2 중간 이미지(806)의 보간이 이루어지면, 최종 이미지 생성 모듈(302c)은 보간된 제 2 중간 이미지(806)를 디블러링(de-blurring)한다(S1106). When interpolation of the second intermediate image 806 is performed by the above method, the final image generation module 302c de-blurring the interpolated second intermediate image 806 (S1106).

그 결과, 각 서브 센싱 영역을 통해 얻어진 저해상도(즉, 서브 센싱 영역의 해상도)의 컬러별 원 이미지로부터 고해상도(즉, 서브 이미지 센서의 해상도×4)의 최종 이미지(809)를 생성하고, 디스플레이 모듈(303)을 통해 디스플레이 된다(S1107).As a result, a final image 809 of a high resolution (i.e., resolution × 4 of the sub-image sensor) is generated from the original image for each color of the low resolution (i.e., the resolution of the sub-sensing area) obtained through each sub-sensing area, and the display module It is displayed through the 303 (S1107).

한편, 도 9에 도시된 구조의 카메라 모듈과 도 7b를 통해 설명한 제 1 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법은 도 10에 도시된 S1001~S1007의 내용에서, 컬러 필터 대신 컬러 렌즈를 통해서 빛을 집광하고 서브 이미지 센서에 컬러별로 분리된 원 이미지를 획득한다는 차이를 제외하고 모두 동일하며, 도 8을 통해 설명한 제 2 이미지 생성 모듈을 통한 고해상도 이미지 복원 방법도 도 11에 도시된 S1001~S1007의 내용에서, 컬러 필터 대신 컬러 렌즈를 통해서 빛을 집광하고 서브 이미지 센서에 컬러별로 분리된 원 이미지를 획득한다는 내용이 적용되어, 결국 도 11 에 도시된 이미지 복원 방법과 모두 동일하다.Meanwhile, the high resolution image reconstruction method using the camera module having the structure shown in FIG. 9 and the first image generating module described with reference to FIG. 7B uses light through a color lens instead of a color filter in the contents of S1001 to S1007 shown in FIG. 10. All the same except for the difference of condensing and acquiring the original image separated by color in the sub-image sensor, and the method of reconstructing the high resolution image through the second image generating module described with reference to FIG. 8 is also described in S1001 to S1007 shown in FIG. In this case, the content of condensing light through the color lens instead of the color filter and acquiring the original image separated for each color is applied to the sub image sensor, which is the same as the image restoration method illustrated in FIG. 11.

지금까지 상술한 내용을 종합해 보면, 도 2에 도시된 렌즈보다 상대적으로 작은 렌즈 4개의 렌즈와 상대적으로 작은 초점거리 그리고 도 2에 도시된 400만 픽셀의 이미지 센서보다 상대적으로 적은 수의 픽셀인 100만 픽셀을 갖는 이미지 센서 4개를 포함하는 디지털 카메라 구조는, F넘버가 동일하기 때문에 도 2에 도시된 400만 픽셀의 영상과 동일한 영상의 밝기를 갖게 되며 소정의 과정을 거쳐 도 4에 도시된 이미지 센서의 100만 픽셀 영상 4개를 이용하여, 도 2에 도시된 400만 픽셀의 영상과 동등한 해상도를 갖는 영상을 복원할 수 있다.So far, the above-mentioned contents are summarized in terms of four lenses relatively smaller than the lens shown in FIG. 2, a relatively small focal length, and a relatively smaller number of pixels than the 4 million pixel image sensor shown in FIG. 2. The digital camera structure including four image sensors having 1 million pixels has the same brightness as the 4 million pixels image shown in FIG. 2 because the F numbers are the same, and is shown in FIG. 4 through a predetermined process. By using four 1 million pixel images of the image sensor, an image having a resolution equivalent to that of the 4 million pixel image illustrated in FIG. 2 may be reconstructed.

상대적으로 작은 렌즈와 작은 초점 거리를 갖는 구조이기 때문에 디지털 카메라의 소형화와 슬림화를 달성하면서 동등한 해상도를 갖는 영상을 얻게 되는 것 이다.Since the structure has a relatively small lens and a small focal length, it is possible to obtain an image having the same resolution while achieving miniaturization and slimming of the digital camera.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. You will understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.

상기한 바와 같은 본 발명의 디지털 카메라 모듈에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the digital camera module of the present invention as described above has one or more of the following effects.

소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감소시켜 디지털 카메라가 내장되는 소형 디지털 기기의 소형화 및 슬림화에 기여하는 장점이 있다.By reducing the size and height of the digital camera embedded in the small digital device, there is an advantage that contributes to the miniaturization and slimming of the small digital device in which the digital camera is embedded.

소형 디지털 기기에 내장되는 디지털 카메라의 크기 및 높이를 감소시키면서도 고해상도의 이미지를 제공할 수 있는 장점도 있다.It also has the advantage of providing high resolution images while reducing the size and height of digital cameras embedded in small digital devices.

고해상도 영상을 표현 시 광학적 불일치과 감도 불균일을 쉽게 보정할 수 있는 장점도 있다.It also has the advantage of easily correcting optical inconsistencies and sensitivity unevenness when displaying high resolution images.

서로 다른 투과도를 갖는 컬러필터를 사용함으로써, 이미지 센서의 구조 변경 없이도 고감도 센싱 영역과 저감도 센싱 영역을 동시에 구현할 수 있다는 장점도 있다.By using color filters having different transmittances, a high sensitivity sensing region and a low sensitivity sensing region can be simultaneously realized without changing the structure of the image sensor.

디지털 카메라가 내장되는 소형 디지털 기기의 설계 자유도를 증가 시키는 장점도 있다.It also has the advantage of increasing design freedom of small digital devices with built-in digital cameras.

Claims

A plurality of lenses and a sub image sensor corresponding to each of the plurality of lenses, each of the color filters included in the sub image sensor is formed of a single color that does not overlap each other to be circled for each color in each sub image sensor A camera module for acquiring an image;

An original image generation module configured to receive a plurality of original images acquired for each color;

An intermediate image generation module for rearranging pixel information of pixels having the same position in the plurality of input original images to generate an intermediate image having a higher resolution than the original image acquired for each color; And

And a final image generating module for demosaicing the generated intermediate image and debluring the demosaiced image to generate a final image.

The method of claim 1,

The plurality of lenses is a high-resolution image reconstructing device for condensing the light reflected from the subject by fixing the position of each lens or the other lens relative to one lens by a predetermined pixel.

The method of claim 1,

And the original image generating module corrects the position of the original image when the original image acquired for each color is out of a predetermined position in each of the sub-image sensors.

The method of claim 1,

The original image generating module, when the sensitivity of the original image acquired for each color is non-uniform, a high-resolution image for correcting the sensitivity of the other original image based on the lowest sensitivity of the original image obtained for each color Restore device.

The method of claim 1,

The color filter is divided into a first filter region and a second filter region according to a color transmittance, and a high-resolution image restoration apparatus having a transmittance of a color coated on the second filter region is higher than a transmittance of a color coated on the first filter region. .

An original image generation module for dividing the original image acquired for each color into a plurality of pixel groups;

An intermediate image generation module configured to generate an intermediate image by mapping pixel information of pixels having the same position in the original image divided into the plurality of pixel groups to predetermined pixels of the pixel group corresponding to the position; And

And a final image generation module for reconstructing and debluring the intermediate image based on an interpolation algorithm.

The method of claim 6,

The color filter is divided into a first filter region and a second filter region according to color transmittance, and a high-resolution image reconstruction having a transmittance of a color coated on the second filter region is higher than a transmittance of a color coated on the first filter region. Device.

The method of claim 6,

And the pixel group comprises a plurality of pixels corresponding to the array pattern of the color filter.

The method of claim 6,

And the pixel information includes luminance information provided by a sub image sensor matched to the first filter area and color information provided by a sub image sensor matched to the second filter area.

A plurality of color lenses and sub-image sensors respectively corresponding to the plurality of color lenses, wherein the color lenses are formed of one single color that does not overlap each other, and thus the original image for each color in each of the sub-image sensors. A camera module to obtain a;

The method of claim 12,

The color lens is divided into a first lens region and a second lens region according to the transmittance of color, and the high-resolution image restoration apparatus having a transmittance of the color coated on the second lens region is higher than the transmittance of the color coated on the first lens region. .

The method of claim 17,

The pixel group includes a plurality of pixels corresponding to the array pattern of the color lens.

The method of claim 17,

The pixel information may include luminance information provided by a sub image sensor matched to the first lens area and color information provided by a sub image sensor matched to the second lens area.

A plurality of lenses and a sub image sensor corresponding to each of the plurality of lenses, each of the color filters included in the sub image sensor is formed of a single color that does not overlap each other to be circled for each color in each sub image sensor (源) obtaining an image;

An original image generation step of receiving a plurality of original images acquired for each color;

Generating an intermediate image having a higher resolution than the original image acquired for each color by rearranging pixel information of pixels of the same position in the plurality of input original images; And

And a final image generation step of demosaicing the generated intermediate image and debluring the demosaiced image to generate a final image.

The method of claim 23, wherein

The plurality of lenses is a high-resolution image reconstructing method for condensing the light reflected from the subject by fixing the position of each lens or the other lens relative to one lens by a predetermined pixel.

The method of claim 23, wherein

And generating the original image by correcting the position of the original image when the original image acquired for each color is out of a predetermined position in each of the sub-image sensors.

The method of claim 23, wherein

In the generating of the original image, when the sensitivity of the original image acquired for each color is non-uniform, a high resolution image for correcting the sensitivity of the other original image based on the original image having the lowest sensitivity among the original images acquired for each color Restore method.

The method of claim 23, wherein

The color filter may be divided into a first filter region and a second filter region according to color transmittance, and the transmittance of the color coated on the second filter region is higher than the transmittance of the color coated on the first filter region. .

A plurality of lenses and a sub image sensor corresponding to each of the plurality of lenses, each of the color filters included in the sub image sensor is formed of one single color that does not overlap each other to be circled for each color in each sub image sensor (源) obtaining an image;

An original image generation step of dividing the original image acquired for each color into a plurality of pixel groups;

Generating an intermediate image by mapping pixel information of pixels having the same position in the original image divided into the plurality of pixel groups to predetermined pixels of the pixel group corresponding to the position; And

And reconstructing the intermediate image based on an interpolation algorithm to deblur the final image.

The method of claim 28,

The color filter is divided into a first filter region and a second filter region according to color transmittance, and a high-resolution image reconstruction having a transmittance of a color coated on the second filter region is higher than a transmittance of a color coated on the first filter region. Way.

The method of claim 28,

And the pixel group includes a plurality of pixels corresponding to the array pattern of the color filter.

The method of claim 28,

The pixel information may include luminance information provided by a sub image sensor matched to the first filter area and color information provided by a sub image sensor matched to the second filter area.

A plurality of color lenses and sub-image sensors respectively corresponding to the plurality of color lenses, wherein the color lenses are formed of one single color that does not overlap each other, and thus the original image for each color in each sub-image sensor Obtaining a;

The method of claim 34,

The color lens is divided into a first lens region and a second lens region according to the color transmittance, and the transmittance of the color coated on the second lens region is higher than the transmittance of the color coated on the first lens region. .

A plurality of color lenses and sub-image sensors respectively corresponding to the plurality of color lenses, wherein the color lenses are formed of one single color that does not overlap each other, and thus the original image for each color in each of the sub-image sensors. Obtaining a;

The method of claim 39,

And the pixel group includes a plurality of pixels corresponding to an array pattern of the color lens.

The method of claim 39,

The pixel information includes luminance information provided by a sub image sensor matched to the first lens area and color information provided by a sub image sensor matched to the second lens area.