KR101563729B1 - Apparatus and method for processing image to generate high resolution image - Google Patents

Apparatus and method for processing image to generate high resolution image Download PDF

Info

Publication number
KR101563729B1
KR101563729B1 KR1020080121864A KR20080121864A KR101563729B1 KR 101563729 B1 KR101563729 B1 KR 101563729B1 KR 1020080121864 A KR1020080121864 A KR 1020080121864A KR 20080121864 A KR20080121864 A KR 20080121864A KR 101563729 B1 KR101563729 B1 KR 101563729B1
Authority
KR
South Korea
Prior art keywords
image frame
reference image
field data
high resolution
optical field
Prior art date
Application number
KR1020080121864A
Other languages
Korean (ko)
Other versions
KR20100040643A (en
Inventor
임재균
옥현욱
박병관
이성덕
강주영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN200910146541.4A priority Critical patent/CN101729778B/en
Priority to EP09171559A priority patent/EP2175632A1/en
Priority to EP11182727.5A priority patent/EP2403233B1/en
Priority to US12/576,264 priority patent/US8390728B2/en
Publication of KR20100040643A publication Critical patent/KR20100040643A/en
Application granted granted Critical
Publication of KR101563729B1 publication Critical patent/KR101563729B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

광 필드 데이터를 이용하여 영상을 처리하는 장치 및 방법이 제공된다. 장면에 대한 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 생성한다. 생성된 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 영상을 복원한다.

Figure R1020080121864

광 필드 데이터, 해상도, 플레놉틱 카메라, PSF

An apparatus and method for processing an image using optical field data are provided. And generates one reference image frame and at least one reference image frame using optical field data for a scene. And reconstructs a high-resolution image using one generated reference image frame and at least one reference image frame.

Figure R1020080121864

Optical Field Data, Resolution, Plenoptic Camera, PSF

Description

고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법{Apparatus and method for processing image to generate high resolution image}[0001] The present invention relates to an image processing apparatus and method for generating a high-resolution image,

본 발명의 하나 이상의 양상은 촬상 애플리케이션에 관한 것으로, 더욱 상세하게는 광 필드 데이터를 이용하여 영상을 처리하는 장치 및 방법에 관한 것이다. One or more aspects of the present invention pertain to imaging applications, and more particularly, to an apparatus and method for processing images using optical field data.

현재 상용화된 촬상 시스템은 한 번의 촬영으로 한 가지 영상만 볼 수 있다.그러나, 최근에 포커스를 재조합하는 기능을 갖춘 플레놉틱 카메라(plenoptic camera)가 연구되고 있다. 플레놉틱 카메라는 광 필드(light field) 카메라로 불려지기도 하며, 마이크로렌즈 어레이(통상적으로 렌티큘러 렌즈 어레이) 또는 광 부호화 마스크(light coded mask)를 이용하여 장면에 대한 4차원 광 필드 정보를 캡처한다. 이러한 플레놉틱 카메라는 한 번의 촬영 후 포커스 평면을 바꾸는 기능(re-focusing)과 장면을 여러 각도에서 보는 듯한 뷰 배리에이션(view variation) 같은 기능을 사용자에게 제공한다. Currently, a commercially available imaging system can only view one image in one shot. However, recently, a plenoptic camera having a function of re-focusing has been studied. Plenoptic cameras are often referred to as light field cameras and capture four-dimensional light field information about a scene using a microlens array (typically a lenticular lens array) or a light coded mask. These plenoptic cameras provide users with features such as re-focusing of the focus plane after a single shot and view variation that looks at the scene from multiple angles.

한편, 많은 영역에서 고해상도(high-resolution) 영상이 필요하다. 감시용 카메라, 정밀 진단을 위한 CT(Computed Tomography) 사진, 패턴을 인식하는 컴퓨터 비전, 지질 탐사 위상 사진 등이 그 예이다. 이런 고해상도 영상을 얻기 위하여 저해상도 영상 시퀀스로부터 신호처리기술을 이용하여 고해상도 영상을 재구성하는 방법들이 연구되고 있다. On the other hand, high resolution images are required in many areas. Examples are surveillance cameras, computed tomography (CT) photographs for precise diagnosis, computer vision to recognize patterns, and phase photographs of geological exploration. To obtain such a high resolution image, a method of reconstructing a high resolution image using a signal processing technique from a low resolution image sequence is being studied.

광 필드 데이터를 고해상도 복원에 이용되는 저해상도 데이터로 정의하여, 정의된 저해상도 데이터를 고해상도 영상 복원 방법을 이용하여 고해상도 영상을 생성하는 영상 처리 장치 및 방법이 제안된다. An image processing apparatus and method are proposed that define optical field data as low resolution data used for high resolution reconstruction and generate high resolution images using the defined low resolution data as a high resolution image reconstruction method.

일 양상에 따른 영상 처리 장치는 장면에 대한 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 영상 프레임 결정부; 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하여 포인트 스프레드 함수를 결정하는 포인트 스프레드 함수 결정부; 기준 영상 프레임을 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간하는 영상 보간부; 및 생성된 고해상도 기준 영상 프레임, 포인트 스프레드 함수 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원하는 영상 복원부를 포함한다. According to an aspect of the present invention, an image processing apparatus includes an image frame determination unit for determining one reference image frame and at least one reference image frame using optical field data for a scene; A point spread function determining unit that determines a point spread function based on a subpixel position shift amount between a reference image frame and at least one reference image frame; An image interpolator for interpolating the reference image frame into a high resolution reference image frame having a resolution higher than that of the reference image frame; And an image restoration unit for restoring the high resolution image by updating the high resolution reference image frame using the generated high resolution reference image frame, point spread function, and at least one reference image frame.

여기에서, 서브 픽셀 위치 이동량은 기준 영상 프레임을 구성하는 적어도 하나의 광 필드 데이터와 적어도 하나의 광 필드 데이터에 각각 대응하는 참조 영상 프레임에서의 광 필드 데이터 사이의 위치 차이이다. Here, the subpixel position shift amount is a position difference between at least one optical field data constituting the reference image frame and optical field data in the reference image frame corresponding to at least one optical field data, respectively.

일 실시예에 따르면, 영상 프레임 결정부는, 광 필드 데이터를 이용하여 생성되는 적어도 하나의 각도에서 보이는 영상 프레임 중 하나를 기준 영상 프레임으로서 결정하고, 생성된 적어도 하나의 각도에서 보이는 영상 프레임 중 기준 영상 프레임으로 결정된 영상 프레임 이외의 적어도 하나의 영상 프레임을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다. 다른 실시예에 따르면, 영상 프레임 결정부는, 광 필드 데이터에서 서브 어퍼쳐별로 획득되는 광 필드 데이터를 합친 값을 이용하여 형성된 영상 프레임을 기준 영상 프레임으로서 결정하고, 기준 영상 프레임을 형성하는데 이용된 서브 어퍼쳐별 광 필드 데이터를 이용하여 형성된 적어도 하나의 영상 프레임을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다.According to one embodiment, the image frame determination unit determines one of the image frames, which are generated at at least one angle generated using the optical field data, as a reference image frame, It is possible to determine at least one image frame other than the image frame determined as a frame as at least one reference image frame. According to another embodiment, the image frame determination unit determines an image frame formed using a sum of the optical field data obtained for each sub-aberger in the optical field data as a reference image frame, It is possible to determine at least one image frame formed using the optical field data according to the aperture ratio as at least one reference image frame.

포인트 스프레드 함수 결정부는, 기준 영상 프레임과 각 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하는 각각의 2차원 가우시안 함수를 포인트 스프레드 함수로서 결정할 수 있다. 영상 보간부는, 바이리니어 보간 방법(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic intepolation) 방법을 이용하여 보간할 수 있다. The point spread function determination section may determine each of the two-dimensional Gaussian functions based on the subpixel position shift amount between the reference image frame and each reference image frame as a point spread function. The image interpolator can interpolate using a bilinear interpolation method or a bicubic interpolation method.

일 실시예에 따르면, 영상 복원부는, 생성된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 하나, 및 하나의 참조 영상 프레임과 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 레지듀얼 값 생성부; 및 레지듀얼 값을 이용하여 고해상도 기준 영상 프레임을 갱신하는 영상 갱신부를 포함할 수 있다. 여기에서, 레지듀얼 값은 하나의 참조 영상 프레임 으로부터 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값일 수 있다. According to an exemplary embodiment, the image reconstructing unit may include residuals generated by using a point spread function based on the generated high-resolution reference image frame, one of the reference image frames, and one reference image frame and a high- A value generating unit; And an image update unit updating the high resolution reference image frame using the residual value. Here, the residual value may be a value obtained by subtracting the value obtained by convoluting the high-resolution reference image frame and the point spread function from one reference image frame.

또한, 레지듀얼값 생성부는, 고해상도 기준 영상 프레임이 갱신된 경우, 갱신된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 다른 하나 및 다른 하나의 참조 영상 프레임과 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성할 수 있다. 여기에서, 레지듀얼 값은 다른 하나의 참조 영상 프레임으로부터 갱신된 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값일 수 있다. In addition, when the high-resolution reference image frame is updated, the residual value generator uses the point spread function based on the updated high-resolution reference image frame, the other one of the reference image frames and the other reference image frame and the high- A residual value can be generated. Here, the residual value may be a value obtained by subtracting the convolution of the point spread function and the high-resolution reference image frame updated from the other reference frame.

일 실시예에 따른 영상 처리 장치는 물체의 상을 맺기 위한 제1 광학부; 광선들을 캡처하는 포토 센서 어레이; 및 메인 렌즈와 포토 센서 어레이 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 포토 센서 어레이로 향하게 하는 제2 광학부를 포함하는 광 필드 데이터 캡처부를 더 포함할 수 있다. An image processing apparatus includes a first optical unit for forming an image of an object; A photosensor array for capturing light rays; And a second optical portion positioned between the main lens and the photosensor array and directing the rays to the photo sensor array based on the direction of the rays.

다른 양상에 따른 영상 처리 방법은 장면에 대한 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 단계; 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하여 포인트 스프레드 함수를 결정하는 단계; 기준 영상 프레임을 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간하는 단계; 및 생성된 고해상도 기준 영상 프레임, 포인트 스프레드 함수 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원하는 단계;를 포함한다. According to another aspect of the present invention, there is provided an image processing method comprising: determining one reference image frame and at least one reference image frame using optical field data for a scene; Determining a point spread function based on a subpixel position shift amount between a reference image frame and at least one reference image frame; Interpolating a reference image frame into a high resolution reference image frame having a resolution higher than that of the reference image frame; And reconstructing the high resolution image by updating the high resolution reference image frame using the generated high resolution reference image frame, point spread function, and at least one reference image frame.

일 양상에 따르면, 형성된 광 필드 데이터로부터 복수 개의 저해상도 영상을 생성하고, 생성된 저해상도 영상을 신호 처리에 의하여 공간 해상도가 향상된 고해상도 영상 신호를 생성할 수 있다. According to an aspect, it is possible to generate a plurality of low-resolution images from the formed optical field data, and generate a high-resolution image signal with improved spatial resolution by processing the generated low-resolution images.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention of the user, the operator, or the custom. Therefore, the definition should be based on the contents throughout this specification.

도 1은 일 양상에 따른 영상 처리 장치의 구성을 나타내는 도면이다.1 is a diagram showing a configuration of an image processing apparatus according to an aspect.

일 양상에 따른 영상 처리 장치는 물체의 상을 맺기 위한 메인 렌즈(110), 메인 렌즈(110)를 통과한 광선들을 광선들의 방향에 기초하여 분리하여 포토 센서 어레이(130)로 향하게 하는 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)를 갖고 있는 광 필드 데이터 캡처부(140) 및 캡처된 광 필드 데이터를 처리하는 데이터 처리부(150)를 포함한다. 이 경우에, 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)는 이미지 센서(160)로 구현될 수 있다. 이와 같은 영상 처리 장치를 이용하여 리포커싱된 영상이나 여러 각도에서 보이는 영상을 획득(즉, 영상의 뷰 조정)할 수 있다. According to an aspect of the present invention, an image processing apparatus includes a main lens 110 for forming an image of an object, a microlens array 130 for separating rays of light having passed through the main lens 110 based on the directions of rays, An optical field data capture unit 140 having a photo sensor array 120 and a photo sensor array 130 and a data processing unit 150 for processing the captured optical field data. In this case, the microlens array 120 and the photosensor array 130 may be embodied as the image sensor 160. By using such an image processing apparatus, it is possible to acquire a refocused image or an image viewed from various angles (i.e., adjust the view of an image).

이미지화된 장면 내의 피사체(105) 상의 단일점으로부터의 광선들은 마이크로렌즈 어레이(120)의 초점 평면 상의 단일 수렴점으로 도달될 수 있다. 이 수렴점에서의 마이크로렌즈(122)는 이들 광선들을 광의 방향에 기초하여 분리시켜, 마이크로 렌즈 아레의 포토센서 상에 메인 렌즈(110)의 구경의 포커싱된 이미지를 생성한다. The rays from a single point on the subject 105 in the imaged scene can reach a single convergent point on the focal plane of the microlens array 120. [ The microlens 122 at this convergence point separates these rays of light based on the direction of the light, creating a focused image of the aperture of the main lens 110 on the photosensor of the microlens array.

포토센서 어레이(130)는 그 위에 입사되는 광을 검출하고, 여러가지 성분의 하나 이상을 사용하여 처리되는 출력을 생성한다. 출력 광 데이터는 예를 들어, 피사체(105, 106, 및 107)을 포함하는 장면의 이미지를 생성할 때 데이터를 제공하는 각 포토센서에 대한 위치정보와 함께 데이터를 사용하는 데이터 처리부(150)로 보내진다. The photosensor array 130 detects the light incident thereon and produces an output that is processed using one or more of the various components. The output optical data may include, for example, a data processor 150 that uses data together with positional information for each photosensor that provides data when generating an image of a scene that includes subjects 105, 106, and 107 .

데이터 처리부(150)는, 예를 들어, 공통 부품(예를 들어, 한 칩) 또는 상이한 부품에 선택적으로 구현된 컴퓨터 또는 기타 처리 회로로 구현될 수 있다. 데이터 처리부(150)의 일부는 광 필드 데이터 캡처부(140) 내에 구현되고, 다른 부분은 외부 컴퓨터에 구현될 수 있다. 데이터 처리부(150)는 이미지 데이터를 처리하고 피사체(105, 106 및 107)를 포함하는 장면의 이미지를 계산하도록 구현된다. The data processing unit 150 may be implemented as a computer or other processing circuit, for example, selectively implemented on a common part (e.g., one chip) or on a different part. A part of the data processing unit 150 may be implemented in the optical field data capturing unit 140, and the other part may be implemented in an external computer. The data processing unit 150 is implemented to process the image data and calculate an image of the scene including the subjects 105, 106, and 107.

데이터 처리부(150)는 광이 마이크로렌즈 어레이에 도달한 공지된 방향(각 포토센서의 공지된 위치를 사용하여 계산됨)과 함께 검출된 광 또는 검출된 광의 특성을 사용하여 리포커싱(refocusing)이 교정될 수 있는 이미지를 형성할 때 데이터를 선택적으로 리포커싱 및/또는 교정한다. The data processing unit 150 may perform refocusing using the detected light or the characteristics of the detected light together with the known direction in which the light has reached the microlens array (calculated using the known position of each photo sensor) Selectively refocusing and / or calibrating data when forming an image that can be corrected.

영상 처리 장치는 어플리케이션에 따라 다르게 여러가지 방식으로 구현된다. 예를 들어, 마이크로렌즈(120)는 예로서 몇 개의 구별가능한 마이크로렌즈로 도시되지만, 어레이는 일반적으로 다수의(예를 들어, 수천 또는 수백만) 마이크로렌즈로 구현된다. 메인 렌즈(110)를 통과한 광선들을 광선들의 방향에 기초하여 분리하는 한 마이크로렌즈어레이(120) 이외에 광 부호화 마스크 등 다른 형태로 구성될 수 있다. 본 기술분야의 통상의 지식을 가진자는 현재 이용가능하거나 장래에 개발되는 여러가지 렌즈 및/또는 마이크로 렌즈 어레이를 이용하여 메인 렌즈(110) 및 마이크로렌즈 어레이(120)가 구현될 수 있음을 알 수 있을 것이다. The image processing apparatus is implemented in various ways depending on applications. For example, although microlens 120 is shown as an example by some distinguishable microlenses, the array is typically implemented with multiple (e.g., thousands or millions) microlenses. In addition to the microlens array 120, an optical coding mask or the like may be used as long as the light beams passing through the main lens 110 are separated based on the directions of the light beams. Those skilled in the art will recognize that the main lens 110 and the microlens array 120 may be implemented using various lenses and / or microlens arrays that are currently available or will be developed in the future will be.

포토센서 어레이(130)는 일반적으로, 마이크로렌즈 어레이(120) 내의 각각의 마이크로렌즈마다 몇개의 포토센서를 갖는다. 포토센서 어레이(130)의 각 픽셀의 크기 즉, 피치(pitch)는 마이크로렌즈 어레이(122)보다 상대적으로 미세하다. 또한, 마이크로렌즈 어레이(120)내의 마이크로렌즈 및 포토센서 어레이(130) 내의 포토센서는 일반적으로 각각의 마이크로렌즈를 통해 포토센서 어레이로 나아가는 광이 인접한 마이크로렌즈를 통해 나아간 광과 겹치지 않도록 위치설정될 수 있다. The photosensor array 130 generally has several photosensors for each microlens in the microlens array 120. The size, or pitch, of each pixel of the photosensor array 130 is relatively finer than the microlens array 122. In addition, the microlenses in the microlens array 120 and the photosensors in the photosensor array 130 are generally positioned such that light traveling through each microlens to the photosensor array does not overlap with light traveling through the adjacent microlenses .

메인 렌즈(110)는 메인 렌즈(110)와 예시적인 촬상 피사체(105) 사이에 예시된 바와 같은 원하는 심도 "d"에서 관심있는 피사체 상에 포커싱하기 위해 광축을 따라 수평방향으로 이동되는 것과 같은 성능을 가진다. 따라서, 획득된 광 필드 데이터 기반으로 각 관심 위치에 리포커싱을 할 수 있다. The main lens 110 has the same performance as being moved horizontally along the optical axis to focus on a subject of interest at a desired depth "d" as illustrated between the main lens 110 and the exemplary imaging subject 105 . Thus, it is possible to perform refocusing at each position of interest based on the obtained optical field data.

예로서, 피사체(105)의 단일점으로부터의 광선들은 이러한 설명을 위해 도시된다. 이들 광선들은 마이크로렌즈 어레이(120)의 초점 평면상의 마이크로렌즈(122)에서 단일 수렴점으로 도달할 수 있다. 마이크로렌즈(122)는 이들 광선들 의 방향에 기초하여 분리해서, 마이크로렌즈 아래의 픽셀 어레이 내의 픽셀 세트 상에서 메인 렌즈(110)의 구경의 포커싱된 이미지 및 광 필드 데이터를 생성한다. By way of example, rays from a single point of the subject 105 are shown for this illustration. These rays can reach a single convergence point in the microlens 122 on the focal plane of the microlens array 120. [ The microlens 122 separates based on the direction of these rays to produce focused image and light field data of the aperture of the main lens 110 on the set of pixels in the pixel array below the microlens.

영상 처리 장치(100) 내부의 2-평면 광 필드 "L"을 고려하면, 광 필드 데이터 L(u,v,s,t)는 (u,v)에서 메인 렌즈(110)와 교차하고, (s,t)에서 마이크로렌즈 어레이(120)의 평면과 교차하는 광선을 따라 이동하는 광을 나타낸다. 예를 들어, 각 마이크로 렌즈 (s,t)에서, 메인 렌즈(110)의 각 서브-어퍼쳐(sub-aperture)의 위치 (u,v)를 통과하는 인텐서티 값들을 나타낸다. 여기에서, 서브-어퍼쳐는 메인 렌즈(110)의 방향 분해능의 개수를 의미한다. 예를 들어, 서브-어퍼쳐의 개수가 196개인 경우, 각 마이크로렌즈 어레이(120)는 196개의 픽셀로 구성될 수 있다. The optical field data L (u, v, s, t) crosses the main lens 110 at (u, v) s, t) along the ray intersecting the plane of the microlens array 120. For example, intensity values that pass through the position (u, v) of each sub-aperture of the main lens 110 at each microlens s, t. Here, the sub-aperture refers to the number of directional resolutions of the main lens 110. For example, if the number of sub-apertures is 196, each microlens array 120 may be composed of 196 pixels.

포토센서 어레이(130)내의 각각의 포토센서는 메인 렌즈(110) 및 마이크로렌즈 어레이(120)를 통해 포토센서로 향한 광선 세트를 나타내는 값을 제공하도록 구현될 수 있다. 즉, 각각의 포토센서는 포토센서상에 입사된 광에 응답하여 출력을 생성하고, 마이크로렌즈 어레이(120)에 대한 각 포토센서의 위치는 입사광에 대한 방향 정보를 제공하기 위해 이용된다. Each photosensor within the photosensor array 130 may be implemented to provide values representative of the set of rays directed to the photosensor through the main lens 110 and the microlens array 120. [ That is, each photosensor generates an output in response to light incident on the photosensor, and the position of each photosensor with respect to the microlens array 120 is used to provide direction information on the incident light.

데이터 처리부(150)는 광 필드 데이터 즉, L(u,v,s,t)를 이용하여 리포커싱 영상을 생성할 수 있다. 이때, 데이터 처리부(150)는 마이크로렌즈에 대한 각 포토센서의 위치를 이용하여 각 포토센서상의 광의 방향을 결정할 수 있다. 또한, 데이터 처리부(150)는 검출된 광이 퍼져나오는 장면내의 피사체의 시야 심도를 결정하고, 시야 심도 및 검출된 광의 방향을 사용해서, 초점 평면과는 상이한 초점 평면상에서 포커싱되는 합성 영상을 계산할 수 있다. The data processing unit 150 may generate the re-focusing image using the optical field data, i.e., L (u, v, s, t). At this time, the data processor 150 can determine the direction of light on each photo sensor by using the position of each photo sensor with respect to the microlens. Further, the data processing unit 150 can determine the depth of field of the subject in the scene in which the detected light is emitted, calculate the composite image focused on the focal plane different from the focal plane using the depth of field and the direction of the detected light have.

한편, 마이크로렌즈 어레이(120)내의 특정 마이크로렌즈(122) 아래에 형성되는 이미지는 촬상 평면상의 그 위치에 대한 시스템의 방향 분해능(directional resoultion)을 지시한다. 메인 렌즈(110)는 유효하게 마이크로렌즈의 광학적 무한 거리에 있고 마이크로렌즈를 포커싱하기 위해, 포토센서 어레이(130)는 마이크로 렌즈의 초점 심도에서 한 평면 내에 위치할 수 있다. 메인 렌즈(110)와 마이크로렌즈 어레이(120) 사이의 분리거리 "s"는 마이크로렌즈의 시야 심도 내에서 예리한 이미지를 달성하도록 선택될 수 있다. On the other hand, the image formed below the particular microlens 122 in the microlens array 120 indicates directional resoultion of the system to that position on the imaging plane. The main lens 110 is effectively at an optical infinity of the microlens and the photo sensor array 130 can be located in one plane at the focal depth of the microlens in order to focus the microlenses. The separation distance "s" between the main lens 110 and the microlens array 120 can be selected to achieve a sharp image within the field of view of the microlens.

메인 렌즈(110)의 구경 크기 및 마이크로렌즈 어레이(120)내의 마이크로렌즈의 구경 크기(예를 들어, 렌즈 내의 개구부의 유효 크기)는 영상 처리 장치(100)가 구현되는 특정 애플리케이션에 부합하도록 선택될 수 있다. 이 방법은 메인 렌즈 및 마이크로렌즈의 f-수(초점비율: 즉, 렌즈의 유효 초점 길이 대 구경의 비)에 맞춤으로써 용이해진다. The aperture size of the main lens 110 and the aperture size of the microlenses in the microlens array 120 (e.g., the effective size of the aperture in the lens) are selected to match the particular application in which the image processing apparatus 100 is implemented . This method is facilitated by fitting to the f-number (focal ratio: the effective focal length of the lens to the aperture diameter) of the main lens and the microlens.

도 2는 플레놉틱 카메라의 방향 분해능, 공간 분해능 및 포토 센서의 픽셀 크기와의 관계를 나타내는 도면이다. 2 is a diagram showing the relationship between the direction resolution, the spatial resolution, and the pixel size of the photosensor of the planetary camera.

카메라의 공간 샘플링 레이트(spatial sampling rates) 및 카메라의 방향 샘플링 레이트를 Δx 및 Δu라고 한다. 카메라 센서의 폭을 Wx라고 하고, 렌즈 구경의 폭을 Wu라고 정의한다. 이와 같이 정의하면, 포토 센서의 공간 분해능 Nx= Wx/Δx 이고, 광 필드 카메라의 방향 분해능 Nu= Wu/Δu 이다. The spatial sampling rates of the camera and the directional sampling rates of the camera are called? X and? U. The width of the camera sensor is defined as W x , and the width of the lens aperture is defined as W u . In this definition, the spatial resolution N x = W x /? X of the photosensor and the directional resolution N u = W u /? U of the optical field camera.

원하는 거리에서 리포커싱(refocusing)을 수행하기 위해서는 다음의 수학식 1에 만족되어야 하는 것이 알려져 있다.In order to perform refocusing at a desired distance, it is known that the following Equation 1 must be satisfied.

Figure 112008083425598-pat00001
Figure 112008083425598-pat00001

F는 메인 렌즈의 초점 거리를 나타내고, FL은 물체에서부터 리포커싱을 원하는 범위에 따른 초점 거리를 나타낸다. 즉, F 및 FL은 정확한 리포커싱을 달성할 수 있는 초점 심도의 범위를 나타낸다. F represents the focal length of the main lens, and F L represents the focal length from the object to the desired range of refocusing. In other words, F and F L represent a range of depth of focus capable of achieving accurate re-focusing.

예를 들어, Wu=20㎜, F=80㎜인 경우, 리포커싱하기 위한 물체의 거리가 1m까지인 경우, 위의 값을 수학식 1에 대입하면, Δx·Nu≥ 1.59㎜가 된다. 4145×4145개의 픽셀로 이루어진 센서에서 이미지의 목표 공간 분해능이 1400×1400인 경우, 방향 분해능을 표현할 수 있는 픽셀은 4150/1400에 의해서 3개 정도 된다. For example, if the W u = 20㎜, in the case of F = 80㎜, Lee distance of the object for focusing is to 1m, by substituting the above value in the expression (1), is a N · Δx u ≥ 1.59㎜ . In a sensor with 4145 × 4145 pixels, when the target spatial resolution of the image is 1400 × 1400, the number of pixels that can express the directional resolution is about 3 by 4150/1400.

그런데, 리포커싱 범위를 1m 내지 ∞로 설정하고, 센서의 하나의 픽셀의 피치가 9㎛인 경우, 필요한 방향 분해능 Nu는 1.59㎜/(3픽셀×9㎛)에 의하여 58 이상이어야 한다. 즉, 리포커싱 범위를 1m 내지 ∞로 할 때 공간 분해능 1400×1400를 얻는 것은 불가능하다. 따라서, 리포커싱 범위를 바꾸거나 아니면, 목표 공간 분해능을 바꿀 필요가 있다. However, if the refocusing range is set to 1 m to? And the pitch of one pixel of the sensor is 9 占 퐉, the required directional resolution N u should be 58 or more by 1.59 mm / (3 pixels 占 9 占 퐉). That is, it is impossible to obtain a spatial resolution of 1400 x 1400 when the re-focusing range is set to 1 m to infinity. Therefore, it is necessary to change the re-focusing range or to change the target spatial resolution.

다음의 표는 위와 같은 가정 하에서 목표 공간 분해능에 대한 방향 분해능을 나타내기 위해 필요한 허용 Δx와 필요 Nu의 값을 나타낸다. The following table shows the values of the permissible Δx and necessary N u required to represent the directional resolution for the target spatial resolution under the above assumptions.

목표
공간 분해능goal
Spatial resolution 1400×14001400 × 1400 700×700700 × 700 350×350350 x 350 300×300300 x 300 허용 ΔxAllowable Δx 27㎛
(3 픽셀)27 탆
(3 pixels) 54㎛
(6 픽셀)54 탆
(6 pixels) 108㎛
(12 픽셀)108 탆
(12 pixels) 126㎛
(14 픽셀)126 탆
(14 pixels) 필요 Nu Need N u 58개58 30개30 15개15 13개13

표 1을 참조하면, 리포커싱 범위를 1m 내지 ∞로 할 때 공간 분해능을 300×300으로 정할 경우에, 방향 분해능 13×13이 가능하며, 위 리포커싱 범위를 확보할 수 있다. 즉, 센서 사이즈가 고정되어 있을 때 원하는 성능의 공간 분해능을 확보하기 어려우며, 원하는 공간 분해능을 얻기 위해서는 더 큰 사이즈의 센서가 요구되는 문제점이 있다. Referring to Table 1, when the spatial resolution is 300 × 300 when the refocusing range is 1 m to ∞, a direction resolution of 13 × 13 is possible, and the up-focusing range can be ensured. That is, when the sensor size is fixed, it is difficult to secure the spatial resolution of the desired performance, and a sensor of a larger size is required to obtain the desired spatial resolution.

일 실시예에 따르면 고해상도 영상을 획득하기 위하여 광 필드 데이터를 공간적으로 서브 샘플링된 데이터로 결정하고, 해상도 향상을 위한 저해상도 데이터로 정의한다. 또한, 저해상도 데이터 중, 기준 저해상도 영상 위치 대비 다른 서브 샘플링된 저해상도 영상 위치에 대한 서브 픽셀 위치 이동량을 정의하여 저해상도 데이터의 등록(Registration) 및 재구성(Reconstruction)을 시킬 수 있다. 따라서, 형성된 광 필드 데이터로부터 시그널 프로세싱에 의하여 공간 해상도(Spatial Resolution)을 향상시킬 수 있다. According to an exemplary embodiment, optical field data is determined as spatially sub-sampled data in order to obtain a high-resolution image, and defined as low-resolution data for improving resolution. In addition, among the low-resolution data, the sub-pixel position shift amounts for sub-sampled low resolution image positions different from the reference low resolution image position can be defined to perform registration and reconstruction of low-resolution data. Thus, spatial resolution can be improved by signal processing from the formed optical field data.

도 3a 내지 3c는 일 실시예에 따른 고해상도 영상 재구성 개념을 나타내는 도면이다. 3A to 3C are views showing a high-resolution image reconstruction concept according to an embodiment.

도 3a에 도시된 바와 같이 광 필드 데이터를 캡처한다. 전술한 바와 같이, 광 필드 데이터를 이용하여 영상을 획득하면, 동일한 포토센서 어레이를 이용한 일반적인 촬상 장치에 비하여 공간 해상도가 저하된 복수 개의 저해상도 영상 또는 서브 샘플링된 영상이 획득된다. 일 실시예에 따르면, 복수 개의 저해상도 영상 중 하나의 영상을 기준 영상 프레임으로 결정하고, 기준 영상 프레임 이외의 서브 샘플링된 저해상도 영상 프레임들을 적어도 하나의 참조 영상 프레임으로 선택하여 결정할 수 있다. Captures the light field data as shown in FIG. 3A. As described above, when an image is acquired using optical field data, a plurality of low-resolution images or sub-sampled images having reduced spatial resolution as compared with a general image pickup apparatus using the same photo sensor array are obtained. According to an exemplary embodiment, one of the plurality of low-resolution images may be determined as a reference image frame, and the sub-sampled low resolution image frames other than the reference image frame may be selected as at least one reference image frame.

도 3b는 HR 그리드 상에 광필드 데이터를 등록한 결과를 나타낸다.3B shows the result of registering the optical field data on the HR grid.

도 3b는 일 실시예에 따른 선정되는 기준 영상 프레임 및 참조 영상 프레임을 구성하는 광 필드 데이터를 고해상도 그리드 상에 등록한 것을 나타낸 도면이다. 도 3b에서, ●,×, △, *는 오브젝트의 한 점에 대한 광 필드 데이터로서 다른 메인 렌즈의 위치를 통과한 광 필드 데이터를 나타낸다. 일 실시예에 따르면, 점(311, 312)를 포함하는 ●으로 표시된 광 필드 데이터를 이용하여 형성된 영상 프레임이 기준 영상 프레임인 경우, 고해상도 그리드상에 도 3b에 도시된 바와 같이 등록될 수 있다. 3B is a diagram illustrating registration of optical field data constituting a reference image frame and a reference image frame to be selected according to an embodiment on a high resolution grid. In Fig. 3B, & cir &, DELTA, and * represent optical field data that passes through the position of another main lens as optical field data for one point of the object. According to one embodiment, if the image frame formed using the light field data indicated by a circle including points 311 and 312 is a reference image frame, it may be registered on the high resolution grid as shown in FIG. 3B.

도 3c에 도시된 바와 같이 고해상도 영상 프레임을 재구성한다. 일 실시예에 따르면, 오브젝트의 하나의 포인트에 대한 광 필드 데이터를 이용하여 기준 영상 프레임을 구성하는 광 필드 데이터 사이의 값을 보간함으로써 기준 영상 프레임의 해상도를 높일 수 있다. 예를 들어, 광 필드 데이터(311)와 광 필드 데이터(312) 사이의 HR 그리드상의 값(313)은 도 3b의 HR 그리드 상의 영역(310)에 속한 광 필드 데이터들을 이용하여 보간될 수 있다. The high-resolution image frame is reconstructed as shown in FIG. 3C. According to one embodiment, the resolution of the reference image frame can be increased by interpolating the values between the optical field data constituting the reference image frame using the optical field data for one point of the object. For example, the value 313 on the HR grid between the light field data 311 and the light field data 312 can be interpolated using the light field data belonging to the region 310 on the HR grid of Figure 3b.

도 4는 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다. 4 is a block diagram showing a configuration of an image processing apparatus according to an embodiment.

도 4를 참조하면, 일 실시예에 따른 영상 처리 장치는 광 필드 데이터 캡처부(140) 및 데이터 처리부(150)를 포함한다. 광 필드 데이터 캡처부(140)는 도 1을 참조하여 설명한 바와 같이 구성될 수 있다. 광 필드 데이터 캡처부(140)는 물체의 상을 맺기 위한 메인 렌즈; 광선들을 캡처하는 포토 센서 어레이; 및 메인 렌즈와 포토 센서 어레이 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 포토 센서 어레이로 향하게 하는 마이크로렌즈 어레이를 포함할 수 있다. Referring to FIG. 4, an image processing apparatus according to an exemplary embodiment includes an optical field data capture unit 140 and a data processing unit 150. The optical field data capturing unit 140 may be configured as described with reference to FIG. The optical field data capturing unit 140 includes a main lens for forming an image of an object; A photosensor array for capturing light rays; And a microlens array positioned between the main lens and the photosensor array and directing the rays of light to the photo sensor array based on the direction of the rays.

이하에서는, 데이터 처리부(150)의 구성을 상세하게 설명한다. Hereinafter, the configuration of the data processing unit 150 will be described in detail.

데이터 처리부(150)는 영상 프레임 결정부(410), 포인트 스프레드 함수(Point Spread Function) 결정부(420), 영상 보간부(430) 및 영상 복원부(440)를 포함한다. The data processing unit 150 includes an image frame determination unit 410, a point spread function determination unit 420, an image interpolation unit 430, and an image restoration unit 440.

영상 프레임 결정부(410)는 장면에 대한 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하며, 기준 영상 프레임 결정부(412) 및 참조 영상 프레임 결정부(414)를 포함하여 구성될 수 있다. The image frame determination unit 410 determines one reference image frame and at least one reference image frame using the optical field data for the scene, and determines a reference image frame determination unit 412 and a reference image frame determination unit 414, As shown in FIG.

일 실시예에 따르면, 기준 영상 프레임 결정부(412)는 광 필드 데이터를 이용하여 생성되는 적어도 하나의 각도에서 보이는 영상 프레임 중 하나를 기준 영상 프레임으로서 결정할 수 있다. 참조 영상 프레임 결정부(414)는 생성된 적어도 하나의 각도에서 보이는 영상 프레임 중 기준 영상 프레임으로 결정된 영상 프레임 이외의 적어도 하나의 영상 프레임을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다. According to an exemplary embodiment, the reference image frame determination unit 412 may determine one of the image frames that are generated using at least one angle generated using the optical field data as a reference image frame. The reference image frame determination unit 414 may determine at least one image frame other than the image frame determined as the reference image frame among at least one generated image frame as at least one reference image frame.

다른 실시예에 따르면, 기준 영상 프레임 결정부(412)는, 광 필드 데이터에서 서브 어퍼쳐별로 획득되는 광 필드 데이터를 합친 값을 이용하여 형성된 영상 프레임을 기준 영상 프레임으로서 결정할 수 있다. 참조 영상 프레임 결정부(414)는 기준 영상 프레임을 형성하는데 이용된 서브 어퍼쳐별 광 필드 데이터를 이용하여 형성된 적어도 하나의 영상 프레임을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다. According to another embodiment, the reference image frame determination unit 412 may determine an image frame formed using a sum of optical field data obtained for each sub-aberger in the optical field data as a reference image frame. The reference image frame determination unit 414 may determine at least one image frame formed using the optical field data per subperformer used for forming the reference image frame as at least one reference image frame.

포인트 스프레드 함수(이하, PSF라 함) 결정부(420)는 기준 영상 프레임 및 각 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하여 포인트 스프레드 함수를 결정할 수 있다. 서브 픽셀 위치 이동량은 기준 영상 프레임을 구성하는 적어도 하나의 광 필드 데이터와 적어도 하나의 광 필드 데이터에 각각 대응하는 참조 영상 프레임에서의 광 필드 데이터 사이의 위치 차이일 수 있다. 서브 픽셀 위치 이동량은 광 필드 데이터 캡처부(410)에서 메인 렌즈에서 피사체의 각 포인트에 대한 광 필드 데이터의 통과 위치에 따라 또는 광 필드 데이터 캡처부(410)의 구성에 따라 설정되는 값일 수 있으며, 피사체와의 거리에 따라 변경 조정되는 값일 수 있다. The point spread function (hereinafter referred to as PSF) determination unit 420 may determine the point spread function based on the subpixel position shift amount between the reference image frame and each reference image frame. The subpixel position movement amount may be a positional difference between at least one optical field data constituting the reference image frame and optical field data in the reference image frame corresponding to each of the at least one optical field data. The subpixel position shift amount may be a value set according to the passing position of the optical field data for each point of the subject in the main lens at the optical field data capturing unit 410 or according to the configuration of the optical field data capturing unit 410, And may be a value that is changed and adjusted according to the distance from the subject.

일 실시예에 따르면, PSF 결정부(420)는, 기준 영상 프레임과 각 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하는 각각의 2차원 가우시안 함수를 포인트 스프레드 함수로서 결정할 수 있다. PSF는 기준 영상 대비 각 참조 영상마다 달리 결정되는 것으로, 기준 영상 프레임의 갱신과 무관하게 앞서 정해진 각 참조 영상에 해당되는 서브 픽셀 이동량에 의해서 정해진다. According to one embodiment, the PSF determination unit 420 may determine each two-dimensional Gaussian function based on the subpixel positional shift amount between the reference image frame and each reference image frame as a point spread function. The PSF is determined differently for each reference image relative to the reference image, and is determined by the subpixel shift amount corresponding to each reference image determined beforehand regardless of updating of the reference image frame.

영상 보간부(430)는 기준 영상 프레임을 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간한다. 영상 보간부(430)는, 바이리니어 보간 방법(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic intepolation) 방법을 이용하여 보간할 수 있다. The image interpolating unit 430 interpolates the reference image frame into a high-resolution reference image frame having a resolution higher than that of the reference image frame. The image interpolator 430 may interpolate using a bilinear interpolation method or a bicubic interpolation method.

영상 복원부(440)는 생성된 고해상도 영상 프레임, 포인트 스프레드 함수 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원할 수 있다. 영상 복원부(440)는 복수 개의 저해상도 영상 프레임을 이용하여 고해상도 영상 프레임을 생성하는 여러가지 고해상도 영상 처리 방법이 수행되도록 구현될 수 있다. The image restoring unit 440 can restore the high resolution image by updating the high resolution reference image frame using the generated high resolution image frame, point spread function, and at least one reference image frame. The image restoring unit 440 may be implemented to perform various high-resolution image processing methods for generating a high-resolution image frame using a plurality of low-resolution image frames.

일 실시예에 따르면, 영상 복원부(440)는 레지듀얼 값 생성부(442) 및 영상 갱신부(444)를 포함할 수 있다. According to an exemplary embodiment, the image restoring unit 440 may include a residual value generating unit 442 and an image updating unit 444. [

레지듀얼 값 생성부(442)는 생성된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 하나, 및 하나의 참조 영상 프레임과 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성한다. 여기에서, 레지듀얼 값은 하나의 참조 영상 프레임(관측된 영상)으로부터 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값(예측된 영상)을 감산한 값일 수 있다. 영상 갱신부(444)는 레지듀얼 값 즉, 관측된 영상으로부터 예측된 영상의 차 영상을 이용하여 고해상도 기준 영상 프레임을 갱신한다. The residual value generator 442 generates a residual value using a point spread function based on the generated high-resolution reference image frame, one of the reference image frames, and one reference image frame and a high-resolution reference image frame. Here, the residual value may be a value obtained by subtracting a value (predicted image) obtained by convoluting a high-resolution reference image frame and a point spread function from one reference image frame (observed image). The image updating unit 444 updates the high resolution reference image frame using the residual value, i.e., the difference image of the image predicted from the observed image.

레지듀얼값 생성부(442)는, 고해상도 기준 영상 프레임이 갱신된 경우, 갱신된 고해상도 기준 영상 프레임, 참조 영상 프레임 중 다른 하나, 및 다른 하나의 참조 영상 프레임과 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성할 수 있다. 여기에서, 레지듀얼 값은 다른 하나의 참조 영상 프레임으로부터 갱신된 고해상도 기준 영상 프레임과 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값일 수 있다. 영상 갱신부(444)는 레지듀얼 값을 이용하여 고해상도 기준 영상 프레임을 갱신한다. When the high-resolution reference image frame is updated, the residual value generating unit 442 generates a residual-value reference image frame based on the updated high-resolution reference image frame, the other one of the reference image frames, Can be used to generate a residual value. Here, the residual value may be a value obtained by subtracting the convolution of the point spread function and the high-resolution reference image frame updated from the other reference frame. The image updating unit 444 updates the high-resolution reference image frame using the residual value.

이와 같은 동작은 복수 개의 참조 영상 전부에 대하여 수행될 때까지 반복 수행될 수 있다. 예를 들어, 참조 영상 프레임이 10개이면, 전술한 바와 같은 갱신 동작은 10회 수행되게 된다. 이와 같이 생성된 레지듀얼 값을 이용하여 고해상도 기준 영상 프레임을 갱신하는 방법은 POCS(projection onto convex sets)를 비롯한 다양한 고해상도 영상 복원 기술을 이용할 수 있다. Such an operation can be repeatedly performed until it is performed on all of a plurality of reference images. For example, if there are 10 reference image frames, the above-described update operation is performed 10 times. Various high-resolution image restoration techniques including projection onto convex sets (POCS) can be used as a method of updating a high-resolution reference image frame using the residual value thus generated.

또한, 고해상도 기준 영상 프레임의 갱신 동작은 복원된 고해상도 영상에 대한 품질이 원하는 소정의 품질이 될 때까지 반복 수행될 수 있다. 예를 들어, 10개의 참조 영상 프레임에 대하여 갱신 동작이 모두 완료된 후 생성된 고해상도 영상을 10개의 참조 영상 프레임 및 PSF를 이용하여 갱신하는 동작을 레지듀얼 값이 소정의 임계값 이하가 될 때까지 반복 수행할 수 있다. Also, the update operation of the high-resolution reference image frame can be repeatedly performed until the quality of the reconstructed high-resolution image becomes the desired predetermined quality. For example, an operation of updating 10 high-resolution images generated after completion of all update operations for 10 reference image frames using 10 reference image frames and a PSF is repeated until the residual value becomes less than a predetermined threshold value Can be performed.

도 5a 및 도 5b는 일 실시예에 따라 기준 영상 프레임 및 참조 영상 프레임을 선정하는 방식을 나타내는 도면이다. 5A and 5B are diagrams illustrating a method of selecting a reference image frame and a reference image frame according to an exemplary embodiment.

도 5a는 정확한 리포커싱이 가능하도록 광 필드 데이터가 캡쳐되는 경우의 광 필드 데이터 캡처부의 구성을 나타내며, 도 5b는 정확한 리포커싱이 가능하지 않은 광 필드 데이터가 캡처되는 경우의 광 필드 데이터 캡처부의 구성을 나타낸다. FIG. 5A shows a configuration of an optical field data capturing unit when optical field data is captured so as to enable accurate refocusing, and FIG. 5B shows a configuration of an optical field data capturing unit when optical field data, .

도 5a는 물체의 한 포인트에 대한 방향 분해능에 도시된 바와 같이 정확한 리포커싱이 가능한 경우, 일 실시예에 따르면, 영상 프레임 결정부(410)는, 광 필드 데이터를 이용하여 생성되는 적어도 하나의 각도에서 보이는 영상 프레임 중 하나를 기준 영상 프레임으로서 결정하고, 생성된 적어도 하나의 각도에서 보이는 영상 프레임 중 기준 영상 프레임으로 결정된 영상 프레임 이외의 적어도 하나의 영상 프레임을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다. 5A is a diagram illustrating a case where accurate refocusing is possible as shown in the direction resolution for one point of an object, according to an embodiment, the image frame determination unit 410 determines at least one angle And determines at least one image frame other than the image frame determined as the reference image frame among at least one of the generated image frames as at least one reference image frame .

도 5b에 도시된 바와 같이 정확한 리포커싱이 가능하지 않은 경우, 일 실시예에 따르면, 영상 프레임 결정부(410)는, 광 필드 데이터에서 서브 어퍼쳐별로 획득되는 광 필드 데이터를 합친 값을 이용하여 형성된 영상 프레임을 기준 영상 프레임으로서 결정할 수 있다. 또한, 영상 프레임 결정부(410)는 기준 영상 프레임을 형성하는데 이용된 서브 어퍼쳐별 광 필드 데이터를 이용하여 형성된 적어도 하나의 영상 프레임을 적어도 하나의 참조 영상 프레임으로서 결정할 수 있다. 즉, 여기에서, 기준 영상 프레임을 형성하는데 이용된 서브 어퍼쳐별 광 필드 데이터를 이용하여 형성된 적어도 하나의 영상 프레임은 도 5a를 참조하여 설명한 실시예에서는 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 포함한 영상 프레임에 대응될 수 있다. If accurate refocusing is not possible as shown in FIG. 5B, according to an embodiment, the image frame determination unit 410 may use the sum of the optical field data obtained for each sub-aberger in the optical field data The formed image frame can be determined as a reference image frame. In addition, the image frame determination unit 410 may determine at least one image frame formed using the optical field data per sub-aperture used for forming the reference image frame as at least one reference image frame. That is, at least one image frame formed using the optical field data for each sub-aperture used to form the reference image frame includes the reference image frame and at least one reference image frame in the embodiment described with reference to FIG. And may correspond to an image frame.

도 6a 내지 도 6c는 일 실시예에 따른 광 필드 데이터 기반 기준 영상 프레임 대비 서브 픽셀 위치 이동량을 나타내기 위한 도면이다.FIGS. 6A to 6C are diagrams illustrating a subpixel position shift amount with respect to an optical field data-based reference image frame according to an embodiment.

도 6a은 장면(610)의 오브젝트(611, 612)에 대한 광 신호는 9개의 서브 어퍼쳐를 가지는 메인 렌즈(620)를 통과하고, 메인 렌즈(620)의 각 서브 어퍼쳐를 통과한 광 신호가 광 센서(630)에서 서브 어퍼쳐의 개수에 대응되는 광 픽셀에 입사되는 것을 나타낸다. 도면 부호 640은 센싱된 데이터가 LR(Low Resolution) 그리드 위에서 위치 정의된 것을 나타낸다. 도 6a에서는 5번째 광 센서 픽셀에서 감지된 감지값 즉, 인텐서티가 LR 그리드에 도시되었지만, 나머지 광 센서의 픽셀에서 감지된 인텐서티도 LR 그리드상에 규정된다. 6A shows an optical signal for the objects 611 and 612 of the scene 610 through the main lens 620 having nine sub-apertures and the optical signal passing through each sub- Is incident on a light pixel corresponding to the number of sub-apertures in the optical sensor 630. [ Reference numeral 640 denotes that the sensed data is defined on the LR (Low Resolution) grid. In FIG. 6A, the intensities sensed at the fifth photosensor pixel are shown in the LR grid, but intensities detected in the pixels of the remaining photosensor are also defined on the LR grid.

도 6b는 센싱된 LR 데이터가 즉, 광 필드 데이터는 메인 렌즈(620)의 서브 어퍼쳐를 통과하는 데이터임을 나타낸다. 도 6a 및 도 6b에서 설명의 편의를 위하여 메인 렌즈(620)의 서브 어퍼쳐들의 배치 및 광 센서(630)의 픽셀의 배열이 일렬로 도시되었으나, 서브 어퍼쳐들의 배치 및 픽셀의 배치는 다른 여러가지 형태를 가질 수 있다. 6B shows that the sensed LR data, that is, the optical field data, is data passing through the sub-aperture of the main lens 620. FIG. 6A and 6B, the arrangement of the sub-apertures of the main lens 620 and the arrangement of the pixels of the optical sensor 630 are shown in a line, but the arrangement of the sub-apertures and the arrangement of the pixels may be variously different And the like.

도 6c는 기준 영상 프레임 대비 나머지 참조 영상 프레임들의 서브 픽셀 위치 이동량의 일 예를 나타내는 도면이다. 6C is a diagram illustrating an example of a subpixel position shift amount of the remaining reference image frames with respect to the reference image frame.

도 6c에 도시된 바와 같이, 메인 렌즈의 서브 어퍼쳐를 통과하는 데이터들이 기준 영상 프레임에 비하여 얼마나 서브 픽셀 위치 이동이 되어 있는지 정의할 수 있다. 도 6c에서, 5번의 서브 어퍼쳐를 통과한 광 필드 데이터로 이루어진 영상 프레임을 기준 영상 프레임으로 하고, 1번의 서브 어퍼쳐를 통과한 광 필드 데이터와 9번의 서브 어퍼쳐를 통과한 광 필드 사이의 배치 차이가 1픽셀이고, 메인 렌즈 통과 위치에 따른 서브 픽셀 위치 이동량이 도 6c에 도시된 바와 같이 비례하는 경우를 가정한다. 이 경우, maxx는 0.5로 정의하면, 6번째 서브 어퍼쳐를 통과한 광 필드 데이터로 구성되는 영상 프레임은 기준 영상 프레임에 비하여 0.125 픽셀 차이(pixel shift)가 있는 것으로 결정될 수 있다. As shown in FIG. 6C, it can be defined how much data passes through the sub-aperture of the main lens compared to the reference image frame. 6C, an image frame made up of optical field data that has passed through five sub-apertures is used as a reference image frame, and an optical field data having passed through one sub-aperture and an optical field passing through nine sub- Assume that the arrangement difference is 1 pixel and the sub pixel position shift amount in accordance with the main lens passing position is proportional as shown in Fig. 6C. In this case, when maxx is defined as 0.5, it can be determined that an image frame composed of optical field data passed through the 6th sub-aperture has a pixel shift of 0.125 pixels as compared with the reference image frame.

도 7은 일 실시예에 따른 기준 영상 프레임 기반으로 고해상도 영상 프레임을 생성하는 것을 나타내는 도면이다.FIG. 7 is a diagram illustrating generation of a high-resolution image frame based on a reference image frame according to an embodiment.

기준 영상 프레임을 초기의 고해상도 영상으로 형성하기 위해, 향상시키고자 하는 해상도 크기(Resolution Size)를 결정하고, 기준 영상 프레임을 신호 처리, 예를 들어, 바이리니어 보간 또는 바이큐빅 보간 등의 보간 처리에 의해, 결정된 사이즈로 확대한다.In order to form a reference image frame into an initial high resolution image, a resolution size to be improved is determined, and a reference image frame is subjected to interpolation processing such as signal processing, for example, bilinear interpolation or bicubic interpolation. To a predetermined size.

도면부호 710은 센싱된 광 필드 데이터를 나타내고, 도면부호 720는 LR 그리드 위에 표시된 기준 영상 프레임의 데이터를 나타내고, 도면부호 730은 고해상도 처리가 되어 기준 영상 프레임의 데이터가 HR 그리드상에 표시된 예를 나타낸다. ●는 기준 영상 프레임의 데이터이고, ○는 원래의 기준 영상 프레임의 데이터를 이용하여 보간된 데이터를 나타낸다. Reference numeral 710 denotes sensed light field data, reference numeral 720 denotes data of a reference image frame displayed on the LR grid, reference numeral 730 denotes an example in which data of the reference image frame is displayed on the HR grid . Denotes the data of the reference image frame, and O denotes the data interpolated using the data of the original reference image frame.

도 8은 일 실시예에 따른 기준 영상 프레임 기반 PSF를 계산하는 일예를 나타내는 도면이다. 8 is a diagram illustrating an example of calculating a reference image frame based PSF according to an exemplary embodiment.

도 8의 좌측에 도시되는 광 필드 데이터는 PSF를 계산하는 방법을 설명하기 위하여 획득되는 광 필드 데이터의 간략화된 형태를 나타낸다. ●, ▲, ■는 피사체의 한 포인트에 대한 광 필드 데이터를 나타낸다. The optical field data shown on the left side of FIG. 8 represents a simplified form of the optical field data that is obtained to explain the method of calculating the PSF. ,, And indicate light field data for one point of the object.

일 실시예에 따르면, PSF는 다음과 같이 정의될 수 있다. According to one embodiment, the PSF may be defined as follows.

Figure 112008083425598-pat00002
Figure 112008083425598-pat00002

예를 들어, ■ 위치 XX는 기준 ▲의 (u, v) 도메인에서의 포인트의 위치에, x축 방향으로 정의된 서브 픽셀 위치 이동량을 합한 값을 나타낸다. R_XX는 round()로 PSF의 가우션 함수의 피크의 센터 위치를 나타낸다. 또한, ■ 위치 YY는 기준 ▲의 (u, v) 도메인에서의 포인트의 위치에, y축 방향으로 정의된 서브 픽셀 위치 이동량을 합한 값을 나타낸다. R_YY는 round(YY)로 PSF의 가우션 함수의 피크의 센터 위치를 나타낸다. 즉, 광 필드 위치에 기반하여 PSF가 정의될 수 있다. PSF는 서브 픽셀 위치 이동량 정도에 의해서 가우션(Gaussian)의 커브 형태가 변화한다. For example, (1) Position XX indicates a value obtained by adding the subpixel position shift amounts defined in the x-axis direction to the positions of points in the (u, v) domain of the reference. R_XX represents the center position of the peak of the gaussian function of the PSF in round (). (1) Position YY represents a sum of the positions of the points in the (u, v) domain of the reference point and the sub-pixel position shift amounts defined in the y-axis direction. R_YY represents the center position of the peak of the gauss function of the PSF in round (YY). That is, the PSF can be defined based on the optical field position. In the PSF, the curve shape of the Gaussian changes depending on the degree of the sub-pixel position shift.

도 9는 일 실시예에 따른 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method of generating a high-resolution image using optical field data according to an exemplary embodiment.

장면에 대한 광 필드 데이터를 캡처한다(S 910). 캡처된 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정한다(S 920). 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하여 포인트 스프레드 함수를 결정한다(S 930)The light field data for the scene is captured (S910). A single reference image frame and at least one reference image frame are determined using the captured optical field data (S920). A point spread function is determined based on the subpixel position shift amount between the reference image frame and the at least one reference image frame (S930)

기준 영상 프레임을 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간한다(S 940). 생성된 고해상도 영상 프레임, 포인트 스프레드 함수 및 적어도 하나의 참조 영상 프레임을 이용하여 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원한다(S 950). A reference image frame is interpolated into a high resolution reference image frame having a resolution higher than that of the reference image frame (S940). The high-resolution reference image frame is updated using the generated high-resolution image frame, point spread function, and at least one reference image frame to restore the high-resolution image (S950).

고해상도 영상을 복원하는 동작은 복수 개의 참조 영상 전부에 대하여 수행될 때까지 반복 수행될 수 있다. 일 실시예에 따르면, 서브 픽셀 단위 고해상도 영상을 생성하기 위하여 POCS(projection onto convex set) 방법을 이용할 수 있다. The operation of restoring the high-resolution image can be repeated until it is performed on all of the plurality of reference images. According to an exemplary embodiment, a projection onto convex set (POCS) method may be used to generate a sub-pixel-unit high-resolution image.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The present invention can be embodied as computer readable code on a computer readable recording medium. The code and code segments implementing the above program can be easily deduced by a computer programmer in the field. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. The computer-readable recording medium may also be distributed over a networked computer system and stored and executed in computer readable code in a distributed manner.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims.

도 1은 일 양상에 따른 영상 처리 장치의 구성을 나타내는 도면이고,1 is a view showing a configuration of an image processing apparatus according to an aspect,

도 2는 플레놉틱 카메라의 방향 분해능, 공간 분해능 및 포토 센서의 픽셀 크기와의 관계를 나타내는 도면이고, 2 is a diagram showing the relationship between the direction resolution, the spatial resolution, and the pixel size of the photosensor of the planetary camera,

도 3a 내지 도 3c는 일 실시예에 따른 고해상도 영상 재구성 개념을 나타내는 도면이고,FIGS. 3A to 3C are views showing a high-resolution image reconstruction concept according to an embodiment,

도 4는 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이고, 4 is a block diagram showing a configuration of an image processing apparatus according to an embodiment,

도 5a 및 도 5b는 일 실시예에 따라 기준 영상 프레임 및 참조 영상 프레임을 선정하는 방식을 나타내는 도면이고, 5A and 5B are diagrams illustrating a method of selecting a reference image frame and a reference image frame according to an exemplary embodiment,

도 6a 내지 도 6c는 일 실시예에 따른 광 필드 데이터 기반 기준 영상 프레임 대비 서브 픽셀 위치 이동량을 나타내기 위한 도면이고, FIGS. 6A to 6C are diagrams for illustrating a subpixel position shift amount with respect to an optical field data-based reference image frame according to an exemplary embodiment,

도 7은 일 실시예에 따른 기준 영상 프레임 기반으로 고해상도 영상 프레임을 생성하는 것을 나타내는 도면이고, 7 is a diagram illustrating generation of a high-resolution image frame based on a reference image frame according to an exemplary embodiment,

도 8은 일 실시예에 따른 기준 영상 프레임 기반 PSF를 계산하는 일예를 나타내는 도면이고, 8 is a diagram illustrating an example of calculating a reference image frame based PSF according to an embodiment,

도 9는 일 실시예에 따른 광 필드 데이터를 이용하여 고해상도 영상을 생성하는 방법을 나타내는 순서도이다. 9 is a flowchart illustrating a method of generating a high-resolution image using optical field data according to an exemplary embodiment.

Claims (20)

장면에 대한 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 영상 프레임 결정부; An image frame determination unit for determining one reference image frame and at least one reference image frame using optical field data for a scene; 상기 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하여 포인트 스프레드 함수를 결정하는 포인트 스프레드 함수 결정부;A point spread function determination unit that determines a point spread function based on a subpixel position shift amount between the reference image frame and at least one reference image frame; 상기 기준 영상 프레임을 상기 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간하는 영상 보간부; 및An image interpolator for interpolating the reference image frame into a high resolution reference image frame having a higher resolution than the reference image frame; And 생성된 고해상도 기준 영상 프레임, 상기 포인트 스프레드 함수 및 상기 적어도 하나의 참조 영상 프레임을 이용하여 상기 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원하는 영상 복원부를 포함하고,And an image reconstruction unit for reconstructing the high resolution image by updating the high resolution reference image frame using the generated high resolution reference image frame, the point spread function, and the at least one reference image frame, 영상 복원부는, The image restoration unit, 생성된 고해상도 기준 영상 프레임, 상기 참조 영상 프레임 중 하나, 및 상기 하나의 참조 영상 프레임과 상기 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 레지듀얼 값 생성부; 및A residual value generation unit for generating a residual value using the generated high resolution reference image frame, one of the reference image frames, and the point spread function based on the one reference image frame and the high resolution reference image frame; And 상기 레지듀얼 값을 이용하여 상기 고해상도 기준 영상 프레임을 갱신하는 영상 갱신부를 포함하는 영상 처리 장치. And an image updating unit for updating the high resolution reference image frame using the residual value. 제1항에 있어서, The method according to claim 1, 상기 서브 픽셀 위치 이동량은 기준 영상 프레임을 구성하는 적어도 하나의 광 필드 데이터와 상기 각 참조 영상 프레임에서의 상기 적어도 하나의 광 필드 데이터에 각각 대응하는 광 필드 데이터 사이의 위치 차이인 영상 처리 장치. Wherein the subpixel position movement amount is a position difference between at least one optical field data constituting a reference image frame and optical field data corresponding to the at least one optical field data in each reference image frame. 제1항에 있어서, The method according to claim 1, 상기 영상 프레임 결정부는,Wherein the image frame determination unit determines, 상기 광 필드 데이터를 이용하여 생성되는 적어도 하나의 각도에서 보이는 영상 프레임 중 하나를 상기 기준 영상 프레임으로서 결정하고, 상기 생성된 적어도 하나의 각도에서 보이는 영상 프레임 중 상기 기준 영상 프레임으로 결정된 영상 프레임 이외의 적어도 하나의 영상 프레임을 상기 적어도 하나의 참조 영상 프레임으로서 결정하는 영상 처리 장치. Determining one of image frames displayed at at least one angle generated using the optical field data as the reference image frame, and determining one of image frames other than the image frame determined as the reference image frame, And determines at least one image frame as the at least one reference image frame. 제1항에 있어서, The method according to claim 1, 상기 영상 프레임 결정부는,Wherein the image frame determination unit determines, 상기 광 필드 데이터에서 서브 어퍼쳐별로 획득되는 광 필드 데이터를 합친 값을 이용하여 형성된 영상 프레임을 상기 기준 영상 프레임으로서 결정하고, 상기 기준 영상 프레임을 형성하는데 이용된 서브 어퍼쳐별 광 필드 데이터를 이용하여 형성된 적어도 하나의 영상 프레임을 상기 적어도 하나의 참조 영상 프레임으로서 결정하는 영상 처리 장치. An image frame formed using a sum of optical field data obtained for each sub-aberger in the optical field data is determined as the reference image frame, and using the optical field data for each sub-aberger used for forming the reference image frame And determines at least one image frame formed as the at least one reference image frame. 제1항에 있어서, The method according to claim 1, 상기 포인트 스프레드 함수 결정부는, The point spread function determination unit may determine, 상기 기준 영상 프레임과 각 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하는 각각의 2차원 가우시안 함수를 상기 포인트 스프레드 함수로서 결정하는 영상 처리 장치. As the point spread function, each two-dimensional Gaussian function based on a subpixel position shift amount between the reference image frame and each reference image frame. 제1항에 있어서, The method according to claim 1, 상기 영상 보간부는, Wherein the image interpolating unit comprises: 바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic intepolation) 방법을 이용하여 보간하는 영상 처리 장치. An image processing apparatus that interpolates using a bilinear interpolation method or a bicubic interpolation method. 삭제delete 제1항에 있어서, The method according to claim 1, 상기 레지듀얼 값은 상기 하나의 참조 영상 프레임으로부터 상기 고해상도 기준 영상 프레임과 상기 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값인 영상 처리 장치. Wherein the residual value is a value obtained by subtracting a value obtained by convoluting the high resolution reference image frame and the point spread function from the one reference image frame. 제1항에 있어서, The method according to claim 1, 상기 레지듀얼값 생성부는, 상기 고해상도 기준 영상 프레임이 갱신된 경우, 상기 갱신된 고해상도 기준 영상 프레임, 상기 참조 영상 프레임 중 다른 하나 및 상기 다른 하나의 참조 영상 프레임과 상기 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 영상 처리 장치. Wherein the residual value generation unit generates the residual value based on the updated high resolution reference image frame, the other one of the reference image frames and the other reference image frame and the point spread based on the high resolution reference image frame, Function is used to generate a residual value. 제9항에 있어서, 10. The method of claim 9, 상기 레지듀얼 값은 상기 다른 하나의 참조 영상 프레임으로부터 상기 갱신된 고해상도 기준 영상 프레임과 상기 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값인 영상 처리 장치. Wherein the residual value is a value obtained by subtracting a value obtained by convoluting the updated high resolution reference image frame and the point spread function from the other reference image frame. 제1항에 있어서, The method according to claim 1, 물체의 상을 맺기 위한 메인 렌즈; A main lens for forming an image of an object; 광선들을 캡처하는 포토 센서 어레이; 및A photosensor array for capturing light rays; And 상기 메인 렌즈와 상기 포토 센서 어레이 사이에 위치하며 광선들을 광선들의 방향에 기초하여 분리하여 상기 포토 센서 어레이로 향하게 하는 마이크로렌즈 어레이를 포함하는 광 필드 데이터 캡처부를 더 포함하는 영상 처리 장치. And an optical field data capture unit located between the main lens and the photosensor array, the optical field data capture unit including a microlens array for directing light rays to the photo sensor array based on the direction of the rays. 장면에 대한 광 필드 데이터를 이용하여 하나의 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 단계; Determining one reference image frame and at least one reference image frame using optical field data for a scene; 상기 기준 영상 프레임 및 상기 적어도 하나의 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하여 포인트 스프레드 함수를 결정하는 단계;Determining a point spread function based on a subpixel position shift amount between the reference image frame and the at least one reference image frame; 상기 기준 영상 프레임을 상기 기준 영상 프레임보다 높은 해상도의 고해상도 기준 영상 프레임으로 보간하는 단계; 및Interpolating the reference image frame into a high resolution reference image frame having a higher resolution than the reference image frame; And 생성된 고해상도 기준 영상 프레임, 상기 포인트 스프레드 함수 및 상기 적어도 하나의 참조 영상 프레임을 이용하여 상기 고해상도 기준 영상 프레임을 갱신함으로써 고해상도 영상을 복원하는 단계;를 포함하고,And reconstructing the high resolution image by updating the high resolution reference image frame using the generated high resolution reference image frame, the point spread function, and the at least one reference image frame, 상기 고해상도 영상을 복원하는 단계는, The step of reconstructing the high- 생성된 고해상도 기준 영상 프레임, 상기 참조 영상 프레임 중 하나, 및 상기 하나의 참조 영상 프레임과 상기 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 단계; 및Generating a residual value using the generated high resolution reference image frame, one of the reference image frames, and the point spread function based on the one reference image frame and the high resolution reference image frame; And 상기 레지듀얼 값을 이용하여 상기 고해상도 기준 영상 프레임을 갱신하는 단계를 포함하는 영상 처리 방법. And updating the high resolution reference image frame using the residual value. 제12항에 있어서, 13. The method of claim 12, 상기 서브 픽셀 위치 이동량은 기준 영상 프레임을 구성하는 적어도 하나의 광 필드 데이터와 상기 각 참조 영상 프레임에서의 상기 적어도 하나의 광 필드 데이터에 각각 대응하는 광 필드 데이터 사이의 위치 차이인 영상 처리 방법. Wherein the subpixel position movement amount is a position difference between at least one optical field data constituting a reference image frame and optical field data corresponding to the at least one optical field data in each reference image frame. 제12항에 있어서, 13. The method of claim 12, 상기 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 단계에서, In the step of determining the reference image frame and the at least one reference image frame, 상기 광 필드 데이터를 이용하여 생성되는 적어도 하나의 각도에서 보이는 영상 프레임 중 하나를 상기 기준 영상 프레임으로서 결정하는 단계; 및Determining one of the image frames displayed at least one angle generated using the optical field data as the reference image frame; And 상기 생성된 적어도 하나의 각도에서 보이는 영상 프레임 중 상기 기준 영상 프레임으로 결정된 영상 프레임 이외의 적어도 하나의 영상 프레임을 상기 적어도 하나의 참조 영상 프레임으로서 결정하는 단계를 포함하는 영상 처리 방법. Determining at least one image frame other than an image frame determined as the reference image frame among the image frames displayed at the generated at least one angle as the at least one reference image frame. 제12항에 있어서, 13. The method of claim 12, 상기 기준 영상 프레임 및 적어도 하나의 참조 영상 프레임을 결정하는 단계에서, In the step of determining the reference image frame and the at least one reference image frame, 상기 광 필드 데이터에서 서브 어퍼쳐별로 획득되는 광 필드 데이터를 합친 값을 이용하여 형성된 영상 프레임을 상기 기준 영상 프레임으로서 결정하는 단계; 및Determining an image frame formed using a sum of optical field data obtained for each sub-aberger in the optical field data as the reference image frame; And 상기 기준 영상 프레임을 형성하는데 이용된 서브 어퍼쳐별 광 필드 데이터를 이용하여 형성된 적어도 하나의 영상 프레임을 상기 적어도 하나의 참조 영상 프레임으로서 결정하는 단계를 포함하는 영상 처리 방법. Determining at least one image frame formed using optical field data per sub-averager used to form the reference image frame as the at least one reference image frame. 제12항에 있어서, 13. The method of claim 12, 상기 포인트 스프레드 함수를 결정하는 단계는, Wherein determining the point spread function comprises: 상기 기준 영상 프레임과 각 참조 영상 프레임 사이의 서브 픽셀 위치 이동량에 기초하는 각각의 2차원 가우시안 함수를 상기 포인트 스프레드 함수로서 결정하는 영상 처리 방법. And determining each two-dimensional Gaussian function based on a subpixel positional shift amount between the reference image frame and each reference image frame as the point spread function. 제12항에 있어서, 13. The method of claim 12, 상기 기준 영상을 고해상도 영상으로 보간하는 단계는, Wherein interpolating the reference image into a high resolution image comprises: 바이리니어 보간(bilinear interpolation) 방법 또는 바이큐빅 보간(bicubic intepolation) 방법을 이용하여 보간하는 영상 처리 방법. A method of interpolating an image using a bilinear interpolation method or a bicubic interpolation method. 삭제delete 제12항에 있어서, 13. The method of claim 12, 상기 레지듀얼 값은 상기 하나의 참조 영상 프레임으로부터 상기 고해상도 기준 영상 프레임과 상기 포인트 스프레드 함수를 컨볼루션한 값을 감산한 값인 영상 처리 방법. Wherein the residual value is a value obtained by subtracting a value obtained by convoluting the high resolution reference image frame and the point spread function from the one reference image frame. 제12항에 있어서, 13. The method of claim 12, 상기 고해상도 영상을 복원하는 단계는, The step of reconstructing the high- 상기 고해상도 기준 영상 프레임이 갱신된 경우, 상기 갱신된 고해상도 기준 영상 프레임, 상기 참조 영상 프레임 중 다른 하나 및 상기 다른 하나의 참조 영상 프레임과 상기 고해상도 기준 영상 프레임에 기반한 포인트 스프레드 함수를 이용하여 레지듀얼 값을 생성하는 영상 처리 방법. Wherein when the high resolution reference image frame is updated, a point spread function based on the updated high resolution reference image frame, the other one of the reference image frames and the other reference image frame and the high resolution reference image frame is used, The image processing method comprising:
KR1020080121864A 2008-10-10 2008-12-03 Apparatus and method for processing image to generate high resolution image KR101563729B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200910146541.4A CN101729778B (en) 2008-10-10 2009-06-03 Image processing apparatus and method
EP09171559A EP2175632A1 (en) 2008-10-10 2009-09-29 Image processing apparatus and method
EP11182727.5A EP2403233B1 (en) 2008-10-10 2009-09-29 Image processing apparatus and method
US12/576,264 US8390728B2 (en) 2008-10-10 2009-10-09 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080099611 2008-10-10
KR1020080099611 2008-10-10

Publications (2)

Publication Number Publication Date
KR20100040643A KR20100040643A (en) 2010-04-20
KR101563729B1 true KR101563729B1 (en) 2015-10-27

Family

ID=42216698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080121864A KR101563729B1 (en) 2008-10-10 2008-12-03 Apparatus and method for processing image to generate high resolution image

Country Status (2)

Country Link
KR (1) KR101563729B1 (en)
CN (1) CN101729778B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101801841B1 (en) * 2015-11-11 2017-11-27 서울대학교산학협력단 Apparatus and method for processing image

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101608970B1 (en) 2009-11-27 2016-04-05 삼성전자주식회사 Apparatus and method for processing image using light field data
JP6102061B2 (en) * 2012-02-28 2017-03-29 株式会社ニコン Image processing device
KR102049456B1 (en) 2013-04-05 2019-11-27 삼성전자주식회사 Method and apparatus for formating light field image
CN104519259B (en) * 2013-09-26 2018-11-09 联想(北京)有限公司 A kind of data capture method and electronic equipment
KR102184766B1 (en) * 2013-10-17 2020-11-30 삼성전자주식회사 System and method for 3D model reconstruction
CN105222730B (en) * 2015-08-31 2017-10-24 中国人民解放军信息工程大学 A kind of industry CT physical dimension measuring method based on image restoration
CN105651939B (en) * 2015-12-29 2017-11-07 重庆大学 Concentration Testing accuracy correcting method based on convex set projection in electric nasus system
CN106803892B (en) * 2017-03-13 2019-12-03 中国科学院光电技术研究所 A kind of light field high-resolution imaging method based on Optical field measurement
CN116363012B (en) * 2023-04-11 2024-01-30 河海大学 Underwater image restoration method and device for inhibiting disturbance of scene light source

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008947A (en) 1992-04-14 2003-01-10 Olympus Optical Co Ltd Electronic camera
US20060279585A1 (en) * 2004-12-17 2006-12-14 Peyman Milanfar System and method for robust multi-frame demosaicing and color super resolution

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206613C (en) * 2001-11-27 2005-06-15 三星电子株式会社 Coding and decoding method and device for key value data to directed interprolator node
CN100399797C (en) * 2005-08-08 2008-07-02 扬智科技股份有限公司 Image display enhanced system
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008947A (en) 1992-04-14 2003-01-10 Olympus Optical Co Ltd Electronic camera
US20060279585A1 (en) * 2004-12-17 2006-12-14 Peyman Milanfar System and method for robust multi-frame demosaicing and color super resolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIN KYU PARK ET AL: "Super-resolution image reconstruction: a technical overview" IEEE SIGNAL PROCESSING MAGAZINE, IEEE SERVICE CENTER, PISCATAWAT, NJ, US, vol.20, no.3, 1 May 2003, pages 21-36.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101801841B1 (en) * 2015-11-11 2017-11-27 서울대학교산학협력단 Apparatus and method for processing image

Also Published As

Publication number Publication date
KR20100040643A (en) 2010-04-20
CN101729778A (en) 2010-06-09
CN101729778B (en) 2014-05-07

Similar Documents

Publication Publication Date Title
KR101608970B1 (en) Apparatus and method for processing image using light field data
KR101563729B1 (en) Apparatus and method for processing image to generate high resolution image
US8390728B2 (en) Image processing apparatus and method
TWI510086B (en) Digital refocusing method
JP6713549B2 (en) Imaging device and imaging module
CN107465866B (en) Image processing apparatus and method, image capturing apparatus, and computer-readable storage medium
JP5825817B2 (en) Solid-state imaging device and imaging apparatus
JP2008294741A (en) Imaging system
EP1206130B1 (en) Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image
US20190075233A1 (en) Extended or full-density phase-detection autofocus control
KR20090131466A (en) Apparatus and method for capturing digital image
JP6489932B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5984493B2 (en) Image processing apparatus, image processing method, imaging apparatus, and program
JP2002064754A (en) Method and device for extending effective dynamic range of image pickup device
CN112866549A (en) Image processing method and device, electronic equipment and computer readable storage medium
JP4866147B2 (en) Image shift detection method and apparatus, and image input apparatus
JP6190119B2 (en) Image processing apparatus, imaging apparatus, control method, and program
KR101613682B1 (en) Apparatus and method for processing image using light field data
CN115086550B (en) Meta imaging system
JPH10271380A (en) Method for generating digital image having improved performance characteristics
JP2009047734A (en) Imaging apparatus and image processing program
JP2014110619A (en) Image processing device and method of controlling the same, and imaging device and method of controlling the same
JP5986386B2 (en) Imaging apparatus and control method thereof
JP6310418B2 (en) Image processing method, image processing apparatus, and image processing program
JP2009211254A (en) Image processing unit, compound eye imaging device, image processing method, and image processing program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 5