KR20160084743A

KR20160084743A - Image generating apparatus and method for image processing

Info

Publication number: KR20160084743A
Application number: KR1020150001383A
Authority: KR
Inventors: 이태희; 복윤수; 권인소
Original assignee: 삼성전자주식회사; 한국과학기술원
Priority date: 2015-01-06
Filing date: 2015-01-06
Publication date: 2016-07-14

Abstract

Disclosed are an image generating apparatus for an image processing and a method. The image processing method according to the present invention comprises the steps of: obtaining raw images from the captured images; calculating a characteristic amount of a straight line for each of a plurality of micro lenses contained in the raw images; calculating initial values of variables contained in a projection model by applying the extracted characteristic amount of a straight line to the projection model; refining the initial values of variables contained in the projection model by using a nonlinear optimization; and generating a plurality of sub images on the basis of the projection model. Therefore, the image generating apparatus can generate a geometrically meaningful sub image from the captured images.

Description

[0001] DESCRIPTION [0002] IMAGE GENERATING APPARATUS AND METHOD FOR IMAGE PROCESSING [0003]

본 발명은 이미지 처리를 위한 이미지 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 라이트 필드 카메라를 이용하여 이미지 처리를 위한 이미지 생성 장치 및 방법에 관한 것이다.The present invention relates to an image generating apparatus and method for image processing, and more particularly, to an image generating apparatus and method for image processing using a light field camera.

최근 마이크로 렌즈 어레이를 이용한 직접 영상(Integral Photography) 기술이 개발되고 있다. 이렇게 집적 영상을 생성할 수 있는 카메라를 라이트-필드 카메라(Light-Field Camera)라고 한다.Recently, integral imaging technology using a microlens array has been developed. A camera capable of generating such an integrated image is called a light-field camera.

라이트 필드 카메라는 풍부한 4D(4-Dimension) 광 정보를 생성하므로, 한 번의 촬영으로 다양한 영상 효과를 얻을 수 있는 특징이 있다. 즉, 메인 렌즈를 통해 2D 광 정보와 마이크로 렌즈 어레이를 투과하여 이미지 센서에 집적되는 2D 광 정보의 조합을 통해 4D 광 정보 획득이 가능하므로, 한 번의 촬영으로 뎁스 처리, 디지털 리포커싱(Refocusing), 구면 수차 보정(Spherical Aberration Correction) 등 다양한 영상 효과를 얻을 수 있다. 특히, 라이트-필드 카메라는 한 번의 촬영으로 시점이 다른 서브 영상들(Sub-Aperture Image)을 획득할 수 있다.Since the light field camera generates rich 4D (4-Dimension) optical information, it has a characteristic that various image effects can be obtained by one shot. That is, since 4D optical information can be obtained through the combination of the 2D optical information and the 2D optical information integrated in the image sensor through the 2-D optical information and the microlens array through the main lens, depth processing, digital refocusing, Spherical Aberration Correction, and so on. In particular, the light-field camera can acquire sub-image images with different viewpoints in one shot.

한편, 종래의 라이트-필드 카메라와 관련된 기술들은 대부분 서브 영상들을 이용하여 라이트-필드 카메라로부터 상대적인 거리를 구분하는데 기술이 대부분이며, 이러한 기술은 절대적인 거리 측정이 필요하지 않은 응용 분야인 초점 거리 조정 등에 주로 활용되고 있다.Meanwhile, most of the technologies related to conventional light-field cameras are divided into relative distances from a light-field camera using sub-images, and this technique is applied to a focal length adjustment application It is mainly used.

즉, 종래의 라이트-필드 카메라와 관련된 기술 중 라이트-필드 카메라를 통해 획득한 서브 영상들에 대한 기하학적 정보를 구하는 방법에 대한 기술은 널리 연구 개발되고 있지 않기 때문에, 라이트-필드 카메라를 통해 획득한 이미지로부터 정확한 3D 영상을 복원하는데 어려움이 있다.That is, among the techniques related to the conventional write-field camera, a technique for obtaining geometric information on sub-images acquired through a light-field camera has not been widely studied, It is difficult to restore an accurate 3D image from an image.

발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 라이트-필드 카메라로부터 획득한 이미지의 각 픽셀에 대응하는 레이를 계산하고, 이를 바탕으로 기하학적으로 의미가 있는 서브 이미지를 생성하는데 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for calculating a ray corresponding to each pixel of an image acquired from a light-field camera and generating a geometric meaningful sub- .

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 처리 방법은 촬영된 영상으로부터 로우 이미지(raw image)를 획득하는 단계, 상기 로우 이미지에 포함된 복수의 마이크로 렌즈 각각에 대한 직선 특징량을 산출하는 단계, 상기 추출된 직선 특징량을 투영 모델에 적용하여 상기 투영 모델에 포함된 변수들의 초기 해를 계산하는 단계, 비선형 최적화를 이용하여 상기 투영 모델에 포함된 변수들의 초기 해를 정제하는 단계 및 상기 투영 모델을 바탕으로 복수의 서브 이미지를 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided an image processing method including the steps of acquiring a raw image from a photographed image, calculating a straight line characteristic of each of the plurality of micro lenses included in the row image, Calculating an initial solution of the parameters included in the projection model by applying the extracted linear characteristic quantities to the projection model to calculate an initial solution of the parameters included in the projection model, And generating a plurality of subimages based on the projection model.

그리고, 상기 투영 모델은, 얇은 렌즈 모델과 바늘구멍 모델을 이용하여 3차원 점을 영상에 투영하는 투영 모델일 수 있다.The projection model may be a projection model that projects a three-dimensional point on an image using a thin lens model and a needle-hole model.

또한, 상기 초기 해를 계산하는 단계는, 거리 단위의 투영 함수를 레이-픽셀 변환을 적용하여 픽셀 단위의 투영 함수로 변환하는 단계 및 상기 픽셀 단위의 투영 함수와 상기 직선 특징량을 이용하여 상기 투영 함수의 초기 해를 계산하는 단계를 포함할 수 있다.The step of calculating the initial solution may further include the steps of converting the projection function of the distance unit into a projection function of pixel unit by applying a ray-pixel transformation, and converting the projection function of the pixel unit into the projection function of the projection And calculating an initial solution of the function.

그리고, 상기 픽셀 단위의 투영 함수는 아래 식으로부터 도출되며,

이고, 여기서, K₁은 메인 렌즈(110)의 초점거리(F)를 산출하기 위한 변수값, K₂는 메인 렌즈(110)와 마이크로 렌즈(120) 사이의 거리(L)를 산출하기 위한 변수값, X_c,Y_c,X_c는 상기 이미지 생성 장치의 좌표계에서의 임의의 3차원 점이며, c_x,c_y는 상기 로우 이미지의 센터 픽셀의 좌표일 수 있다.The projection function of the pixel unit is derived from the following equation,

Where K ₁ is a variable value for calculating the focal length F of the main lens 110 and K ₂ is a variable for calculating the distance L between the main lens 110 and the microlens 120 X _c , Y _c , and X _c may be arbitrary three-dimensional points in the coordinate system of the image generating apparatus and c _x and c _y may be coordinates of the center pixel of the row image.

또한, 상기 추출된 직선 특징량을 이용하여 상기 복수의 마이크로 렌즈 중 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈들을 선택하는 단계를 더 포함할 수 있다.The method may further include selecting microlenses having a straight line within a predetermined distance from the center of the microlenses among the plurality of microlenses using the extracted linear characteristic quantities.

그리고, 상기 선택하는 단계는, 상기 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 복수의 직선이 존재하는 마이크로 렌즈들은 선택에서 배제할 수 있다.In the selecting, the microlenses having a plurality of straight lines within a predetermined distance from the center of the microlens may be excluded from the selection.

또한, 상기 정제하는 단계는, 상기 초기 해를 바탕으로 해를 변경시켜 에러 값이 최소인 해를 최종 해로 산출할 수 있다.Further, the refining step may calculate the final solution by minimizing the error value by changing the solution based on the initial solution.

그리고, 상기 로우 이미지는, 라이트-필드(Light-Field) 카메라를 통해 촬영된 영상으로부터 획득될 수 있다.The row image may be acquired from an image photographed through a light-field camera.

한편, 본 발명의 또다른 실시 예에 따르면, 이미지 생성 장치는 촬영된 영상으로부터 로우 이미지를 획득하는 로우 이미지 획득부, 상기 로우 이미지 획득부로부터 획득된 로우 이미지(raw image)에 포함된 복수의 마이크로 렌즈 각각에 대한 직선 특징량을 산출하는 직선 특징량 산출부, 상기 추출된 직선 특징량을 투영 모델에 적용하여 상기 투영 모델에 포함된 변수들의 초기 해를 계산하며, 비선형 최적화를 이용하여 상기 투영 모델에 포함된 변수들의 초기 해를 정제하는 투영 모델(Projection Model) 처리부 및 상기 투영 모델을 바탕으로 복수의 서브 이미지를 생성하는 서브 이미지 생성부를 포함한다.According to another embodiment of the present invention, there is provided an image generation apparatus comprising: a low image acquisition unit for acquiring a low image from a photographed image; a plurality of microphones included in a raw image acquired from the low image acquisition unit; A straight line feature quantity calculating unit for calculating a linear feature quantity for each of the lenses, an initial solution of the parameters included in the projection model by applying the extracted linear feature quantity to the projection model, And a sub-image generating unit for generating a plurality of sub-images based on the projection model. The sub-image generating unit generates a plurality of sub-images based on the projection model.

또한, 상기 투영 모델 처리부는, 거리 단위의 투영 함수를 레이-픽셀 변환을 적용하여 픽셀 단위의 투영 함수로 변환하고, 상기 픽셀 단위의 투영 함수와 상기 직선 특징량을 이용하여 상기 투영 함수의 초기 해를 계산할 수 있다.The projection model processing unit may be configured to convert the projection function of the distance unit into a projection function of a pixel unit by applying a ray-pixel transformation, calculate an initial value of the projection function using the projection function of the pixel unit and the linear characteristic amount Can be calculated.

또한, 상기 추출된 직선 특징량을 이용하여 상기 복수의 마이크로 렌즈 중 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈들을 선택하는 마이크로 렌즈 추출부를 더 포함할 수 있다.The apparatus may further include a microlens extracting unit that selects microlenses having a straight line within a predetermined distance from the center of the microlens among the plurality of microlenses using the extracted linear characteristic quantities.

그리고, 상기 마이크로 렌즈 추출부는, 상기 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 복수의 직선이 존재하는 마이크로 렌즈들은 선택에서 배제할 수 있다.The microlens extracting unit may exclude the microlenses having a plurality of straight lines within a predetermined distance from the center of the microlens from the selection.

또한, 상기 투영 모델 처리부는, 상기 초기 해를 바탕으로 해를 변경시켜 에러 값이 최소인 해를 최종 해로 결정할 수 있다.The projection model processing unit may change the solution on the basis of the initial solution and determine the solution that minimizes the error value to be the final solution.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 이미지 생성 장치는 촬영된 영상으로부터 기하학적으로 의미 있는 서브 이미지를 생성할 수 있다. As described above, according to various embodiments of the present invention, the image generating apparatus can generate a geometrically meaningful sub image from the photographed image.

도 1은 본 발명에 따른 이미지 생성 장치의 주요 구성을 도시한 분해도,
도 2는 본 발명의 일 실시예에 따른 이미지 생성 장치의 동작을 도시한 모식도,
도 3은 본 발명의 일 실시예에 따른 이미지 생성 장치의 블록도,
도 4는 본 발명의 일 실시예에 따른 이미지 생성 장치에서 기설정된 조건에 대응되는 마이크로 렌즈를 선택하는 예시도,
도 5는 본 발명의 일 실시예에 따른 이미지 생성 장치에서의 이미지 처리 방법에 대한 흐름도,
도 6은 본 발명의 일 실시예에 따른 이미지 생성 장치에서 투영 모델에 적용할 마이크로 렌즈의 변수들의 초기 해를 계산하는 흐름도이다.1 is an exploded view showing a main configuration of an image generating apparatus according to the present invention;
2 is a schematic diagram showing an operation of an image generating apparatus according to an embodiment of the present invention,
3 is a block diagram of an image generating apparatus according to an embodiment of the present invention;
4 is a view illustrating an example of selecting a microlens corresponding to a preset condition in an image generating apparatus according to an exemplary embodiment of the present invention.
5 is a flowchart of an image processing method in an image generating apparatus according to an embodiment of the present invention,
6 is a flowchart for calculating an initial solution of parameters of a microlens to be applied to a projection model in the image generating apparatus according to an exemplary embodiment of the present invention.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 보다 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 이미지 생성 장치의 주요 구성을 도시한 분해도이다.1 is an exploded view showing a main configuration of an image generating apparatus according to the present invention.

도 1에 도시된 바와 같이, 이미지 생성 장치는 라이트-필드(Light_Field) 카메라로써, 메인 렌즈(110), 이미지 센서(130), 셔터(150) 외에 복수 개의 마이크로 렌즈(120)를 포함한다. As shown in FIG. 1, the image generating apparatus is a light field camera, and includes a plurality of microlenses 120 in addition to a main lens 110, an image sensor 130, and a shutter 150.

일반적으로 라이트 필드 카메라는 마이크로 렌즈 어레이(120)를 이용하여 집적 영상(Integral photography) 생성이 가능한 카메라이다.Generally, a light field camera is a camera capable of generating an integrated image using a microlens array 120. [

이 같은 라이트 필드 카메라는 풍부한 4D(4-Dimension) 광 정보를 생성하므로 한 번의 촬영으로 다양한 영상 효과를 얻을 수 있는 특징이 있다. 즉, 메인 렌즈(110)를 통한 2D 광 정보와 복수의 마이크로 렌즈(120)를 투과하여 이미지 센서(130)에 집적되는 2D 광 정보의 조합을 통해 4D 광 정보 획득이 가능하므로, 한 번의 촬영으로 뎁스 처리, 디지털 리포커싱(refocusing), 구면 수차 보정(spherical aberration correction) 등 다양한 영상 효과를 얻을 수 있게 된다.Such a light field camera generates a rich 4D (4-Dimension) optical information, so that it can obtain various image effects in one shot. That is, since 4D optical information can be obtained through the combination of the 2D optical information through the main lens 110 and the 2D optical information transmitted through the plurality of microlenses 120 and integrated in the image sensor 130, Depth processing, digital refocusing, spherical aberration correction, and so on.

도 2는 본 발명의 일 실시예에 따른 이미지 생성 장치의 동작을 도시한 모식도이다.2 is a schematic diagram showing an operation of an image generating apparatus according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 이미지 생성 장치는 메인 렌즈(110), 마이크로 렌즈(120), 이미지 센서(130) 및 이미지 생성부(140)를 포함한다.2, the image generating apparatus includes a main lens 110, a microlens 120, an image sensor 130, and an image generating unit 140.

메인 렌즈(110)는 피사체로부터 반사되는 반사광을 투과시킨다. 메인 렌즈(110)는 일반적인 범용 렌즈나 광각 렌즈 등으로 구현될 수 있다. 도 2에서는 하나의 렌즈로 이루어진 것으로 도시하였으나, 메인 렌즈(110)는 복수 개의 렌즈의 집합으로 이루어질 수도 있다.The main lens 110 transmits the reflected light reflected from the subject. The main lens 110 may be implemented by a general purpose lens or a wide angle lens. 2, the main lens 110 may be a set of a plurality of lenses.

마이크로 렌즈(120)는 메인 렌즈(110)를 통해 입사된 광을 투과시키는 구성이다. 이 같은 마이크로 렌즈(120)는 복수 개가 수평으로 연결되어 마이크로 렌즈 어레이로 형성될 수 있다. 마이크로 렌즈 어레이를 구성하는 각 마이크로 렌즈(120)는 개별적으로 메인 렌즈(110)를 투과한 광을 재투과시킨다. 재투과된 광은 이미지 센서(130)로 입사된다. The microlens 120 transmits the light incident through the main lens 110. A plurality of such microlenses 120 may be horizontally connected to form a microlens array. Each of the microlenses 120 constituting the microlens array re-transmits the light transmitted through the main lens 110 individually. The re-transmitted light is incident on the image sensor 130.

이미지 센서(130)는 복수의 마이크로 렌즈(120)를 통해 투과된 광을 감지하는 구성이다. 특히, 이미지 센서(130)는 복수의 마이크로 렌즈(120) 각각으로부터 투과된 광을 방향별로 감지하여 감지된 센싱 값을 출력한다. 이 같은 이미지 센서(130)는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS) 또는 전하결합소자(Charge Coupled Device: CCD)로 구성될 수 있다. 또한, 이미지 센서(130)는 픽셀 어레이의 포토 다이오드(PD)를 통해 광을 축적하고 축적된 광량에 따라 전기 신호를 출력한다. The image sensor 130 is configured to sense the light transmitted through the plurality of microlenses 120. In particular, the image sensor 130 senses the light transmitted from each of the plurality of microlenses 120 by direction and outputs the sensed sensed value. The image sensor 130 may be a Complementary Metal Oxide Semiconductor (CMOS) or a Charge Coupled Device (CCD). Also, the image sensor 130 accumulates light through the photodiode PD of the pixel array and outputs an electric signal according to the accumulated light amount.

이미지 센서(130)는 포토 다이오드(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 플로우팅 확산 노드(FD)를 포함할 수 있다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적한다. 전송 트랜지스터(TX)는 전송 신호에 응답하여 포토 다이오드(PD)에 생성된 광전화를 플로우팅 확산 노드(FD)로 전송한다. 리셋 트랜지스터는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출한다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, CDS 이미지 센서의 경우 CDS(Correlated Double Sampling) 처리를 수행한다. 그리고, ADC가 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환한다.The image sensor 130 may include a photodiode PD, a transfer transistor TX, a reset transistor RX, and a floating diffusion node FD. The photodiode PD generates and accumulates photo charges corresponding to the optical image of the subject. The transfer transistor TX transmits the optical telephone generated in the photodiode PD to the floating diffusion node FD in response to the transmission signal. The reset transistor discharges the charge stored in the floating diffusion node FD in response to the reset signal. Before the reset signal is applied, the charges stored in the floating diffusion node FD are output. In the case of the CDS image sensor, CDS (Correlated Double Sampling) processing is performed. Then, the ADC converts the analog signal subjected to CDS processing into a digital signal.

이미지 생성부(140)는 센싱 영역에 투과된 광에 기초하여 하나의 이미지(제1 이미지)를 생성한다. 구체적으로, 피사체를 반사하여 메인 렌즈(110)로 입사한 광은 다시 마이크로 렌즈(120)로 입사되고, 마이크로 렌즈(120)를 투과한 광은 이미지 센서(120)에서 감지되어 전기 신호로 출력된다. 각 마이크로 렌즈(120)를 투과한 광은 이미지 센서(130)의 센싱 영역에서 감지된다. 이에 따라, 이미지 생성부(140)는 센싱 영역에 투과된 광에 기초하여 하나의 이미지를 생성할 수 있다. 여기서, 센싱 영역은 복수 개의 픽셀로 구성될 수 있으므로, 이미지 생성부(140)로부터 생성된 이미지는 적어도 하나의 픽셀로 표현되는 복수 개의 서브 영역으로 구성될 수 있다. The image generating unit 140 generates one image (first image) based on the light transmitted through the sensing area. Specifically, the light reflected by the subject and incident on the main lens 110 is again incident on the microlens 120, and the light transmitted through the microlens 120 is detected by the image sensor 120 and output as an electric signal . The light transmitted through each microlens 120 is sensed in the sensing area of the image sensor 130. Accordingly, the image generating unit 140 can generate one image based on the light transmitted through the sensing area. Here, since the sensing region may be composed of a plurality of pixels, the image generated by the image generating unit 140 may be composed of a plurality of sub-regions represented by at least one pixel.

한편, 이미지 생성 장치를 구성하는 각 구성은 제어부(미도시)에 의해 제어될 수 있다. 이 같은 제어부(미도시)는 CPU, 캐쉬 메모리 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 후술하는 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다. On the other hand, each configuration of the image generating apparatus can be controlled by a control unit (not shown). Such a control unit (not shown) includes a hardware configuration such as a CPU and a cache memory, an operating system, and a software configuration of an application that performs a specific purpose. A control command for each component for operation to be described later is read from the memory according to the system clock, and an electric signal is generated according to the read control command to operate each component of the hardware.

도 3은 본 발명의 일 실시예에 따른 이미지 생성 장치의 세부 블록도이다.3 is a detailed block diagram of an image generating apparatus according to an exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 이미지 생성 장치는 전술한 구성 이외에 로우 이미지 획득부(310), 직선 특징량 산출부(320), 마이크로 렌즈 추출부(330), 투영 모델 처리부(340) 및 서브 이미지 생성부(350)를 더 포함할 수 있다.3, the image generating apparatus includes a low image obtaining unit 310, a linear feature amount calculating unit 320, a microlens extracting unit 330, a projection model processing unit 340, And may further include a generation unit 350.

로우 이미지 획득부(310)는 이미지 생성부(140)로부터 생성된 이미지로부터 로우 이미지(Raw Image)를 획득한다. 직선 특징량 산출부()는 촬영된 영상으로부터 로우 이미지(Raw Image)에 포함된 복수의 마이크로 렌즈(120) 각각에 대한 직선 특징량을 산출한다. The raw image obtaining unit 310 obtains a raw image from the image generated from the image generating unit 140. The straight line feature quantity calculating unit calculates a straight line feature quantity for each of the plurality of microlenses 120 included in the raw image from the photographed image.

마이크로 렌즈 추출부(330)는 직선 특징량 산출부(320)로부터 산출된 직선 특징량을 이용하여 복수의 마이크로 렌즈(120) 중 마이크로 렌즈(120)의 중심으로부터 기설정된 거리 이내에 존재하는 마이크로 렌즈(120)들을 선택한다. 마이크로 렌즈(120)의 중심으로부터 기설정된 거리 이내에 존재하는 마이크로 렌즈(120)들이 선택되면, 선택된 마이크로 렌즈(120)들 각각의 중심으로부터 기설정된 거리 이내에 복수의 직선이 존재하는 마이크로 렌즈(120)를 배제시킨다.The microlens extraction unit 330 extracts a plurality of microlenses 120 from the center of the microlens 120 using a linear characteristic quantity calculated from the linear characteristic quantity calculation unit 320, 120 are selected. When the microlenses 120 existing within a predetermined distance from the center of the microlens 120 are selected, the microlenses 120 having a plurality of straight lines within a predetermined distance from the centers of the selected microlenses 120 Exclude.

이 같이, 복수의 직선이 존재하는 마이크로 렌즈(120)가 배제되고, 직선이 마이크로 렌즈(120) 중심으로부터 기설정된 거리 이내에 존재하는 마이크로 렌즈(120)가 선택되면, 투영 모델 처리부(340)는 선택된 마이크로 렌즈(120)로부터 추출된 직선 특징량을 투영 모델(Projection Model)에 적용하여 투영 모델에 포함된 변수들의 초기 해를 계산한다. If the microlens 120 having a plurality of straight lines is excluded and a microlens 120 having a straight line within a predetermined distance from the center of the microlens 120 is selected, the projection model processing unit 340 selects The straight line feature extracted from the microlens 120 is applied to a projection model to calculate an initial solution of the parameters included in the projection model.

여기서, 투영 모델은 얇은 렌즈 모델(Thin Lens model)과 바늘구멍 모델(Pinhole Model)을 이용하여 3차원 점을 영상에 투영하는 모델이 될 수 있다.Here, the projection model can be a model for projecting a three-dimensional point onto an image using a thin lens model and a pinhole model.

구체적으로, 투영 모델 처리부(340)는 거리 단위의 투영 함수를 레이-픽셀 변환을 적용하여 픽셀 단위의 투영 함수로 변환하고, 픽셀 단위의 투영 함수와 기선택된 마이크로 렌즈(120) 각각이 직선 특징량을 이용하여 투영 함수의 초기 해를 계산할 수 있다. Specifically, the projection model processing unit 340 converts the projection function of the distance unit into the projection function of the pixel unit by applying the ray-pixel conversion, and outputs the projection function of the pixel unit and the pre- Can be used to calculate the initial solution of the projection function.

이 같은 과정을 통해 기선택된 마이크로 렌즈(120)에 대한 초기 해가 계산되면, 투영 모델 처리부(340)는 비선형 최적화(Non-Linear Optimization)를 이용하여 투영 모델에 포함된 변수들의 초기 해를 정제한다. 이후, 투영 모델 처리부(340)는 정제된 변수들의 초기 해를 바탕으로 해를 변경시켜 에러 값이 최소인 해를 최종 해로 결정한다.When the initial solution for the pre-selected microlens 120 is calculated through the above process, the projection model processing unit 340 uses Non-Linear Optimization to refine the initial solution of the parameters included in the projection model . Thereafter, the projection model processing unit 340 changes the solution based on the initial solution of the refined variables to determine the solution with the minimum error value as the final solution.

따라서, 에러 값이 최소인 최종 해로부터 카메라 좌표계와 월드 좌표계 사이의 대응 관계를 나타내는 외부 파라미터를 획득할 수 있다. 이 같은 외부 파라미터가 획득되면, 서브 이미지 생성부(350)는 기저정의된 픽셀과 레이 사이의 대응관계를 나타내는 내부 파라미터와 외부 파라미터에 기초하여 복수의 서브 이미지를 생성할 수 있다.Therefore, an external parameter indicating the correspondence between the camera coordinate system and the world coordinate system can be obtained from the final solution with the minimum error value. When such an external parameter is obtained, the sub-image generating unit 350 can generate a plurality of sub-images based on an internal parameter and an external parameter indicating a correspondence between the base-defined pixel and the ray.

구체적으로, 촬영된 영상으로부터 복수의 마이크로 렌즈(120) 각각에 대한 로우 이미지가 획득되면, 직선 특징량 산출부(320)는 아래 수학식 1에 기초하여 로우 이미지에 포함된 복수의 마이크로 렌즈(120)에 대한 직선 특징량을 산출한다.Specifically, when a row image for each of the plurality of microlenses 120 is obtained from the photographed image, the linear characteristic amount calculating unit 320 calculates the linear characteristic amount of each of the plurality of microlenses 120 ) Is calculated.

이 같은 수학식1에 기초하여 로우 이미지에 포함된 복수의 마이크로 렌즈(120)에 대한 직선 특징량이 산출되면, 마이크로 렌즈 추출부(330)는 기산출된 복수의 마이크로 렌즈(120) 각각에 대한 직선 특징량을 이용하여 복수의 마이크로 렌즈(120) 중 마이크로 렌즈(120)의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈(120)들을 선택한다.When the straight line characteristic quantities for the plurality of microlenses 120 included in the row image are calculated based on Equation (1), the microlens extraction unit 330 extracts straight lines The microlenses 120 having a straight line within a predetermined distance from the center of the microlens 120 among the plurality of microlenses 120 are selected using the characteristic quantities.

도 4는 본 발명의 일 실시예에 따른 이미지 생성 장치에서 기설정된 조건에 대응되는 마이크로 렌즈를 선택하는 예시도이다.4 is a diagram illustrating an example of selecting a microlens corresponding to a predetermined condition in the image generating apparatus according to an embodiment of the present invention.

도 4의 (a)에 도시된 바와 같이, 촬영된 영상으로부터 복수의 마이크로 렌즈(120) 각각에 대한 로우 이미지가 획득될 수 있으며, 직선 특징량 산출부(320)는 로우 이미지에 포함된 복수의 마이크로 렌즈(120)에 대한 직선 특징량을 산출할 수 있다. 이 같은 직선 특징량이 산출되면, 마이크로 렌즈 추출부(330)는 기산출된 복수의 마이크로 렌즈(120) 각각에 대한 직선 특징량을 이용하여 복수의 마이크로 렌즈(120) 중 마이크로 렌즈(120)의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈(120)들을 선택할 수 있다.4A, a row image for each of the plurality of microlenses 120 may be obtained from the photographed image, and the linear feature amount calculating unit 320 may calculate a plurality of It is possible to calculate the linear feature amount for the microlens 120. [ When the straight line characteristic quantities are calculated, the microlens extraction unit 330 extracts the linear characteristic quantities of the plurality of microlenses 120 from the center of the microlenses 120 among the plurality of microlenses 120 The microlenses 120 can be selected from among the microlenses 120 having a straight line within a predetermined distance.

도 4의 (a)에 도시된 바와 같이, 복수의 마이크로 렌즈(120) 중 제1 영역(410)과 제2 영역(420) 내에 존재하는 복수의 마이크로 렌즈(120)가 마이크로 렌즈(120)의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈(120)로 선택될 수 있다.4A, a plurality of microlenses 120 existing in the first area 410 and the second area 420 of the plurality of microlenses 120 are disposed on the microlens 120 It may be selected as the microlens 120 having a straight line within a predetermined distance from the center.

이 같은 제1 및 제2 영역(410,420) 내에 존재하는 복수의 마이크로 렌즈(120)가 선택되면, 마이크로 렌즈 추출부(330)는 제1 및 제2 영역(410,420) 내에 존재하는 복수의 마이크로 렌즈(120) 중 복수의 직선이 존재하는 마이크로 렌즈(120)를 제외한 나머지 마이크로 렌즈(120)를 투영 모델에 적용할 마이크로 렌즈(120)로 결정한다. 구체적으로, 제1 및 제2 영역(410,420) 내에 존재하는 복수의 마이크로 렌즈(120)는 각 마이크로 렌즈(120)의 센터와 직선 간의 거리가 기설정됨 범위 이내에 존재하는 렌즈이다. 즉, 제1 및 제2 영역(410,420) 내에 존재하는 복수의 마이크로 렌즈(120)는 제1 및 제2 영역(410,420) 내에 존재하는 복수의 마이크로 렌즈(120) 중 마이크로 렌즈(120)의 센터를 중심으로 직선이 형성되는 마이크로 렌즈(120)를 기준으로 기설정된 범위 내에 존재하는 렌즈가 될 수 있다. When a plurality of microlenses 120 existing in the first and second regions 410 and 420 are selected, the microlens extraction unit 330 extracts a plurality of microlenses 120 existing in the first and second regions 410 and 420 The microlenses 120 excluding the microlenses 120 in which a plurality of straight lines exist are determined as the microlenses 120 to be applied to the projection model. Specifically, the plurality of microlenses 120 existing in the first and second regions 410 and 420 are lenses in which the distance between the center and the straight line of each microlens 120 is within a preset range. That is, the plurality of microlenses 120 existing in the first and second regions 410 and 420 are arranged in the center of the microlenses 120 among the plurality of microlenses 120 existing in the first and second regions 410 and 420 And may be a lens existing within a predetermined range based on the microlens 120 having a straight line formed at its center.

따라서, 마이크로 렌즈 추출부(330)는 마이크로 렌즈(120)의 센터를 중심으로 직선이 형성되는 마이크로 렌즈(120)를 기준으로 기설정된 범위만큼 확장시키고, 확장된 범위 내에 존재하는 복수의 마이크로 렌즈(120) 중 복수의 직선이 존재하는 마이크로 렌즈(120)를 제외시킬 수 있다. 이후, 마이크로 렌즈 추출부(330)는 제1 및 제2 영역(410,420) 내에 존재하는 복수의 마이크로 렌즈(120) 중 복수의 직선이 존재하는 마이크로 렌즈(120)를 제외한 나머지 마이크로 렌즈(120)를 투영 모델에 적용할 마이크로 렌즈(120)로 결정할 수 있다.Therefore, the microlens extracting unit 330 extends the microlens 120 by a predetermined range with respect to the microlens 120 having the straight line formed around the center of the microlens 120, The microlenses 120 having a plurality of straight lines may be excluded. Thereafter, the microlens extraction unit 330 extracts the remaining microlenses 120 except the microlenses 120 in which a plurality of straight lines exist among the plurality of microlenses 120 existing in the first and second regions 410 and 420 It can be determined as the microlens 120 to be applied to the projection model.

도 4의 (b)에 도시된 바와 같이, 제3 영역(430)에 존재하는 마이크로 렌즈(120)는 복수의 직선이 존재하는 마이크로 렌즈(120)가 될 수 있다. 이 경우, 마이크로 렌즈 추출부(330)는 제1 및 제2 영역(410,420)에 존재하는 마이크로 렌즈(120) 중 제3 영역(430)에 존재하는 마이크로 렌즈(120)를 제외한 나머지 마이크로 렌즈(120)를 투영 모델에 적용할 마이크로 렌즈(120)로 결정할 수 있다.As shown in FIG. 4 (b), the microlenses 120 existing in the third region 430 may be microlenses 120 having a plurality of straight lines. In this case, the microlens extraction unit 330 extracts the remaining microlenses 120 except for the microlenses 120 existing in the third region 430 of the microlenses 120 existing in the first and second regions 410 and 420 May be determined as the microlens 120 to be applied to the projection model.

이 같은 투영 모델에 적용할 마이크로 렌즈(120)가 결정되면, 투영 모델 처리부(340)는 투영 모델에 적용하도록 결정된 마이크로 렌즈(120)의 직선 특징량을 투영 모델에 적용하여 투영 모델에 포함된 변수들의 초기 해를 계산한다. 구체적으로, 투영 모델 처리부(340)는 거리 단위의 투영 함수를 레이-픽셀 변환을 적용하여 픽셀 단위의 투영 함수로 변환한다. 이후, 투영 모델 처리부(340)는 픽셀 단위의 투영 함수와 투영 모델에 적용하도록 결정된 마이크로 렌즈(120)의 직선 특징량을 이용하여 투영 함수의 초기 해를 계산할 수 있다.When the micro lens 120 to be applied to such a projection model is determined, the projection model processing unit 340 applies the linear characteristic amount of the micro lens 120 determined to be applied to the projection model to the projection model, Lt; / RTI > Specifically, the projection model processing unit 340 converts the projection function of the distance unit into the projection function of the pixel unit by applying the ray-pixel conversion. Thereafter, the projection model processing unit 340 can calculate the initial solution of the projection function using the projection function of the pixel unit and the linear feature quantity of the microlens 120 determined to be applied to the projection model.

거리 단위의 투영 함수는 아래 수학식 2와 같다.The projection function of the distance unit is expressed by Equation 2 below.

여기서, F는 메인 렌즈(110)의 초점거리이며, L은 메인 렌즈(110)와 마이크로 렌즈(120) 사이의 거리이고, l은 마이크로 렌즈(120)와 이미지 센서(130) 사이의 거리이다. 그리고, (Xc, Yc, Zc)는 카메라 좌표계에서의 임의의 3차원 점이며, (x,y)는 카메라 좌표계에서의 임의의 3차원 점인 (X_c, Y_c, Z_c)가 (x_c, y_c)를 중심으로 하는 마이크로 렌즈(120) 영상에 투영된 위치이다.Here, F is the focal length of the main lens 110, L is the distance between the main lens 110 and the microlens 120, and 1 is the distance between the microlens 120 and the image sensor 130. And, (Xc, Yc, Zc) is any three-dimensional point in the camera coordinate system, (x, y) is jeomin any 3D of the camera coordinate system _{_{(X c, Y c, Z}} c) are (x _c , y _c ) on the image of the microlens 120.

이 같은 수학식 2로부터 거리 단위의 투영 함수가 도출되면, 투영 모델 처리부(340)는 아래 수학식 3과 같이 거리 단위의 투영 함수를 3*3 행렬을 통한 픽셀 단위로 변환한다. When the projection function of the distance unit is derived from Equation (2), the projection model processing unit 340 converts the projection function of the distance unit into a pixel unit of the 3 * 3 matrix as shown in the following Equation (3).

위 수학식 3은 카메라 좌표계에서의 임의의 3차원 점인 (X_c, Y_c, Z_c)가 (x_c, y_c)를 중심으로 하는 마이크로 렌즈(120) 영상에 투영된 위치(x,y)와 레이-픽셀(u,v) 간의 관계를 나타내는 파라메타로써, u,v는 레이-픽셀의 위치를 나타내며, f_x, f_y는 x 방향과 y 방향의 변환 비율을 나타내는 값이며, c_x,c_y는 영상에서의 주점(Principal Point)을 나타내는 위치이다.The above equation (3) the position (x, y projection on any 3D jeomin (X _c, Y _c, Z _c) are (x _c, y _c) a microlens (120) centered on the on the camera coordinate system, image (U, v), where u and v represent the position of the ray-pixel, f _x and f _y are values representing the conversion ratios in the x and y directions, and c _x , and c _y is a position indicating a principal point in the image.

이 같은 수학식 3을 통해 거리 단위의 투영 함수가 레이-픽셀 단위로 변환되면, 투영 모델 처리부(340)는 수학식 3에 기초하여 거리 단위의 투영 함수를 픽셀 단위의 투영 함수로 변환한다. 픽셀 단위의 투영 함수는 아래 수학식 4로부터 도출될 수 있다.When the projection function of the distance unit is converted into the ray-pixel unit through the Equation (3), the projection model processing unit 340 converts the projection function of the distance unit into the projection function of the pixel unit based on Equation (3). The projection function in pixel units can be derived from Equation (4) below.

여기서, K₁은 메인 렌즈(110)의 초점거리(F)를 산출하기 위한 변수값이며, K₂는 메인 렌즈(110)와 마이크로 렌즈(120) 사이의 거리(L)를 산출하기 위한 변수값이며, X_c,Y_c,X_c는 상기 이미지 생성 장치의 좌표계에서의 임의의 3차원 점이며, c_x,c_y는 상기 로우 이미지의 센터 픽셀의 좌표이다.Here, K ₁ is a variable value for calculating the focal length F of the main lens 110, K ₂ is a variable value for calculating the distance L between the main lens 110 and the microlens 120 X _c , Y _c , and X _c are arbitrary three-dimensional points in the coordinate system of the image generating apparatus, and c _x and c _y are coordinates of the center pixel of the row image.

이 같은 수학식 4를 통해 거리 단위의 투영 함수가 픽셀 단위의 투영 함수로 변환되면, 투영 모델 처리부(340)는 수학식 4로부터 도출된 픽셀 단위의 투영 함수와 직선 특징량을 이용하여 투영 모델에 포함된 변수들의 초기 해를 계산할 수 있다.When the projection function of the distance unit is transformed into the projection function of the pixel unit through Equation (4), the projection model processing unit 340 uses the projection function and the linear characteristic amount derived from Equation (4) The initial solution of the included variables can be calculated.

구체적으로, 픽셀 단위의 투영 함수와 직선 특징량의 관계식을 정리하면 Ax = 0 형태의 선형적인 모델이 만들어진다. 따라서, 투영 모델 처리부(340)는 Ax = 0 형태의 선형적인 모델을 이용하여 투영 모델에 포함된 변수들의 초기 해를 계산할 수 있다. 먼저, 선형적인 모델을 만들기 위해서는 이미지의 중심을 (0,0)으로 가정하고, 두 초점거리가 같다고 가정한다. 그리고, (u_c,v_c)를 중심으로 하는 마이크로 렌즈(120)의 이미지에서 계산한 직선 파라미터는 (a,b,c)라고 가정한다.Specifically, a linear model of the form Ax = 0 is created by summarizing the relationship between the projection function and the linear feature amount in pixel units. Accordingly, the projection model processing unit 340 can calculate an initial solution of the variables included in the projection model using a linear model of the form Ax = 0. First, to create a linear model, we assume that the center of the image is (0, 0) and that the two focal lengths are the same. It is assumed that the straight line parameters calculated in the image of the microlens 120 centered at (u _c , v _c ) are (a, b, c).

이 경우, 투영 모델 처리부(340)는 아래와 같은 수학식 5를 통해 투영 모델에 포함된 변수들에 대한 초기 해를 계산할 수 있다.In this case, the projection model processing unit 340 can calculate an initial solution for the variables included in the projection model through the following equation (5).

이 같은 수학식 5를 통해 투영 모델에 포함된 변수들에 대한 초기 해가 계산되면, 투영 모델 처리부(340)는 비선형 최적화를 이용하여 투영 모델에 포함된 변수들의 초기 해를 정제한다. 즉, 투영 모델 처리부(340)는 투영 모델에 포함된 변수들에 대한 초기 해를 바탕으로 각 해들을 변경시켜 에러 값이 최소인 해를 최종 해로 결정함으로써, 초기 해에 대한 정제를 수행할 수 있다.When the initial solution for the variables included in the projection model is calculated through Equation (5), the projection model processing unit 340 uses nonlinear optimization to refine the initial solution of the variables included in the projection model. In other words, the projection model processing unit 340 can perform refinement of the initial solution by determining the final solution as the solution with the minimum error value by changing the solutions based on the initial solution for the variables included in the projection model .

이와 같이, 투영 모델 처리부(340)를 통해 투영 모델에 포함된 변수들에 대한 초기 해가 정제되면, 정제된 초기 해를 이용하여 마이크로 렌즈(120)의 중심으로부터 같은 거리만큼 떨어진 픽셀들 각각이 모두 한 점을 통과하는 것을 증명할 수 있으며, 이때, 각 픽셀들에 대응하는 레이의 방향 또한 증명할 수 있다.When the initial solution of the parameters included in the projection model is refined through the projection model processing unit 340, the pixels of the same distance from the center of the microlens 120 using the refined initial solution are all It is possible to prove passing through one point, and at this time, the direction of the ray corresponding to each pixel can also be proved.

아래 수학식 6은 마이크로 렌즈(120)의 중심으로부터 같은 거리만큼 떨어진 픽셀들 각각이 모두 한 점을 통과하는 것을 증명하기 위한 식이며, 수학식 7은 각 픽셀들에 대응하는 레이의 방향을 증명하기 위한 식이다Equation (6) is an equation for proving that each of the pixels at the same distance from the center of the microlens 120 passes through one point, and Equation (7) is a formula for proving the direction of the ray corresponding to each pixel It's expression.

따라서, 서브 이미지 생성부(350)는 위의 수학식 6 및 수학식 7에 기초하여 평행한 다중 카메라와 가장 유사한 복수의 서브 이미지를 생성할 수 있다.Accordingly, the sub image generator 350 can generate a plurality of sub images that are most similar to parallel cameras based on Equations (6) and (7) above.

이하에서는, 본 발명에 따른 이미지 생성 장치에서의 이미지 처리 방법에 대해서 상세히 설명하도록 한다.Hereinafter, an image processing method in the image generating apparatus according to the present invention will be described in detail.

도 5는 본 발명의 일 실시예에 따른 이미지 생성 장치에서의 이미지 처리 방법에 대한 흐름도이다.5 is a flowchart of an image processing method in an image generating apparatus according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 이미지 생성 장치는 피사체에 대한 영상이 촬영되면, 촬영된 영상으로부터 로우 이미지(Raw Image)를 획득한다(S510). 촬영된 영상으로부터 로우 이미지가 획득되면, 이미지 생성 장치는 로우 이미지에 포함된 복수의 마이크로 렌즈 각각에 대한 직선 특징량을 산출한다(S520). 구체적으로, 이미지 생선 장치는 전술한 수학식 1에 기초하여 로우 이미지에 포함된 복수의 마이크로 렌즈 각각에 대한 직선 특징량을 산출할 수 있다.As shown in FIG. 5, when an image of a subject is photographed, the image generating apparatus obtains a raw image from the photographed image (S510). When a low image is obtained from the photographed image, the image generating apparatus calculates a linear feature amount for each of the plurality of microlenses included in the low image (S520). Specifically, the image fish device can calculate the linear feature amount for each of the plurality of microlenses included in the row image based on Equation (1).

복수의 마이크로 렌즈 각각에 대한 직선 특징량이 산출되면, 이미지 생성 장치는 기산출된 복수의 마이크로 렌즈 각각에 대한 직선 특징량을 이용하여 복수의 마이크로 렌즈 중 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈를 선택한다(S530). 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈가 선택되면, 이미지 생성 장치는 선택된 마이크로 렌즈 중 복수의 직선이 존재하는 마이크로 렌즈들을 선택에서 배제하고, 나머지 마이크로 렌즈를 마이크로 렌즈의 중심으로부터 기설정된 거리 이내에 직선이 존재하는 마이크로 렌즈로 최종 선택한다.When the straight line feature quantity for each of the plurality of microlenses is calculated, the image generating device uses a linear characteristic quantity for each of the pre-calculated plurality of microlenses so that a straight line exists within a predetermined distance from the center of the microlens among the plurality of microlenses Is selected (S530). If a microlens having a straight line within a predetermined distance from the center of the microlens is selected, the image generating apparatus excludes the microlenses having a plurality of selected microlenses from the selection and selects the remaining microlenses from the center of the microlens And a final selection is made using a microlens having a straight line within a predetermined distance.

구체적으로, 도 4에서 설명한 바와 같이, 제1 및 제2 영역 내에 존재하는 복수의 마이크로 렌즈는 각 마이크로 렌즈의 중심과 직선 간의 거리가 기설정된 범위 이내에 존재하는 렌즈로 선택된 렌즈가 될 수 있다. 이 같이, 마이크로 렌즈의 중심과 직선 간의 거리가 기설정된 범위 이내에 존재하는 마이크로 렌즈가 선택되면, 이미지 생성 장치는 마이크로 렌즈의 센터를 중심으로 직선이 형성되는 마이크로 렌즈를 기준으로 기설정된 범위만큼 확장시킨다. 이후, 이미지 생성 장치는 확장된 범위 내에 존재하는 복수의 마이크로 렌즈 중 복수의 직선이 존재하는 마이크로 렌즈를 제외시킨다. 이후, 이미지 생성 장치는 제1 및 제2 영역 내에 존재하는 마이크로 렌즈 중 복수의 직선을 포함하는 마이크로 렌즈를 제외한 나머지 마이크로 렌즈를 투영 모델이 적용할 렌즈로 최종 선택할 수 있다.Specifically, as described with reference to FIG. 4, the plurality of microlenses existing in the first and second regions may be lenses selected as lenses in which the distance between the center of each microlens and the straight line is within a predetermined range. If a microlens having a distance between the center and the straight line of the microlens is selected within a predetermined range, the image generating apparatus expands the microlens by a predetermined range based on the microlens having the straight line formed around the center of the microlens . Thereafter, the image generating apparatus excludes the microlenses in which a plurality of straight lines exist among the plurality of microlenses existing in the extended range. Thereafter, the image generating apparatus may finally select the remaining microlenses excluding the microlenses including the plurality of straight lines among the microlenses existing in the first and second regions as lenses to be used by the projection model.

이 같이, 투영 모델에 적용할 마이크로 렌즈가 결정되면, 이미지 생성 장치는 투영 모델에 적용하도록 결정된 마이크로 렌즈의 직선 특징량을 투영 모델에 적용하여 투영 모델에 포함된 변수들의 초기 해를 계산한다(S540). 여기서, 투영 모델은 얇은 렌즈 모델과 바늘구멍 모델을 이용하여 3차원 점을 영상에 투영하는 모델이 될 수 있다. 따라서, 이미지 생성 장치는 얇은 렌즈 모델과 바늘구멍 모델을 이용하여 투영 모델에 적용하도록 결정된 마이크로 렌즈의 직선 특징량을 투영 모델에 적용하여 투영 모델에 포함된 변수들의 초기 해를 계산할 수 있다.As such, when the micro lens to be applied to the projection model is determined, the image generation apparatus applies the linear feature quantity of the microlens determined to be applied to the projection model to the projection model to calculate the initial solution of the parameters included in the projection model (S540 ). Here, the projection model can be a model for projecting three-dimensional points onto an image using a thin lens model and a needle-hole model. Therefore, the image generating apparatus can calculate the initial solution of the parameters included in the projection model by applying the linear feature quantity of the microlens determined to be applied to the projection model to the projection model using the thin lens model and the needle-hole model.

도 6은 본 발명의 일 실시예에 따른 이미지 생성 장치에서 투영 모델에 적용할 마이크로 렌즈의 변수들의 초기 해를 계산하는 흐름도이다.6 is a flowchart for calculating an initial solution of parameters of a microlens to be applied to a projection model in the image generating apparatus according to an exemplary embodiment of the present invention.

도 6에 도시된 바와 같이, 투영 모델에 적용할 마이크로 렌즈가 결정되면, 이미지 생성 장치는 거리 단위의 투영 함수를 레이-픽셀 변환을 적용하여 픽셀 단위의 투영 함수로 변환한다(S610). 이후, 이미지 생성 장치는 픽셀 단위의 투영 함수와 투영 모델에 적용하도록 결정된 마이크로 렌즈의 직선 특징량을 이용하여 투영 함수의 초기 해를 계산한다(S620).As shown in FIG. 6, when a micro lens to be applied to the projection model is determined, the image generating apparatus converts the projection function of distance unit into a projection function of pixel unit by applying a ray-pixel transformation (S610). Thereafter, the image generating apparatus calculates the initial solution of the projection function using the projection function of the pixel unit and the linear feature quantity of the microlens determined to be applied to the projection model (S620).

구체적으로, 이미지 생성 장치는 전술한 수학식 2와 같이, 거리 단위의 투영 함수가 도출되면, 거리 단위의 투영 함수를 3*3 행렬을 통한 픽셀 단위로 변환한다. 이후, 이미지 생성 장치는 전술한 수학식 4와 같이, 3*3 행렬을 통한 레이-픽셀 변환으로부터 픽셀 단위의 투영 함수를 도출할 수 있다. 이 같이, 거리 단위의 투영 함수가 픽셀 단위의 투영 함수로 변환되면, 이미지 생성 장치는 전술한 수학식 4로부터 도출된 픽셀 단위의 투영 함수와 직선 특징량을 이용하여 투영 모델에 포함된 변수들의 초기 해를 계산한다. Specifically, when the projection function of the distance unit is derived, the image generation apparatus converts the projection function of the distance unit into the pixel unit of the 3 * 3 matrix, as shown in Equation (2). Then, the image generating apparatus can derive the projection function in pixel units from the ray-pixel conversion through the 3 * 3 matrix, as shown in Equation (4). When the projection function of the distance unit is transformed into the projection function of the pixel unit, the image generation apparatus calculates the initial value of the variables included in the projection model using the projection function and the linear characteristic amount derived from the above- Calculate the solution.

구체적으로, 픽셀 단위의 투영 함수와 직선 특징량의 관계식을 정리하면 Ax = 0 형태의 선형적인 모델이 만들어진다. 따라서, 이미지 생성 장치는 Ax = 0 형태의 선형적인 모델을 이용하여 투영 모델에 포함된 변수들의 초기 해를 계산할 수 있다. 전술한 바와 같이, 선형적인 모델을 만들기 위해서는 이미지의 중심을 (0,0)으로 가정하고, 두 초점거리가 같다고 가정한다. 그리고, (u_c,v_c)를 중심으로 하는 마이크로 렌즈(120)의 이미지에서 계산한 직선 파라미터는 (a,b,c)라고 가정한다. 이 경우, 이미지 생성 장치는 전술한 수학식 5를 통해 투영 모델에 포함된 변수들에 대한 초기 해를 계산할 수 있다.Specifically, a linear model of the form Ax = 0 is created by summarizing the relationship between the projection function and the linear feature amount in pixel units. Therefore, the image generation apparatus can calculate the initial solution of the variables included in the projection model using a linear model of the form Ax = 0. As described above, in order to make a linear model, it is assumed that the center of the image is (0, 0), and the two focal distances are the same. It is assumed that the straight line parameters calculated in the image of the microlens 120 centered at (u _c , v _c ) are (a, b, c). In this case, the image generating apparatus can calculate the initial solution for the variables included in the projection model through Equation (5).

투영 모델에 포함된 변수들에 대한 초기 해가 계산되면, 이미지 생성 장치는 비선형 최적화를 이용하여 투영 모델에 포함된 변수들의 초기 해를 정제한다(S550). 즉, 이미지 생성 장치는 투영 모델에 포함된 변수들에 대한 초기 해를 바탕으로 각 해들을 변경시켜 에러 값이 최소인 해를 최종 해로 결정함으로써, 초기 해에 대한 정제를 수행할 수 있다. 이와 같이, 투영 모델에 포함된 변수들에 대한 초기 해가 정제되면, 이미지 생성 장치는 초기 해가 정제된 투영 모델을 바탕으로 복수의 서브 이미지를 생성한다(S560). When the initial solution to the variables included in the projection model is calculated, the image generating apparatus uses the non-linear optimization to refine the initial solution of the variables included in the projection model (S550). That is, the image generating apparatus can perform refinement of the initial solution by determining the solution to be the minimum solution by changing the solutions based on the initial solution for the variables included in the projection model. When the initial solution to the parameters included in the projection model is refined, the image generating apparatus generates a plurality of sub images based on the refined projection model (S560).

즉, 이미지 생성 장치는 에러 값이 최소인 최종 해로부터 카메라 좌표계와 월드 좌표계 사이의 대응 관계를 나타내는 외부 파라미터를 획득할 수 있다. 이 같은 외부 파라미터가 획득되면, 이미지 생성 장치는 기저정의된 픽셀과 레이 사이의 대응관계를 나타내는 내부 파라미터와 외부 파라미터에 기초하여 복수의 서브 이미지를 생성할 수 있다.That is, the image generating apparatus can obtain an external parameter indicating a correspondence relationship between the camera coordinate system and the world coordinate system from the final solution with the minimum error value. When such an external parameter is obtained, the image generating apparatus can generate a plurality of sub-images based on the internal parameter and the external parameter indicating the correspondence between the base-defined pixel and the ray.

한편, 본 발명에 따른 이미지 생성 장치는 전술한 수학식 6에 기초하여 정제된 초기 해 즉, 최종 해를 이용하여 마이크로 렌즈의 중심으로부터 같은 거리만큼 떨어진 픽셀들 각각이 모두 한점을 통과하는 것을 증명할 수 있으며, 또한, 전술한 수학식 7에 기초하여 각 픽셀들에 대응하는 레이의 방향 또한 증명할 수 있다. 따라서, 이미지 생성 장치는 수학식 6 및 수학식 7에 에 기초하여 평행한 다중 카메라와 가장 유사한 복수의 서브 이미지를 생성할 수 있다.On the other hand, the image generating apparatus according to the present invention can prove that each of the pixels spaced by the same distance from the center of the microlens passes through one point by using the refined initial solution, that is, the final solution based on Equation (6) And the direction of the ray corresponding to each of the pixels can also be proved based on the above-described Equation (7). Thus, the image generating apparatus can generate a plurality of sub images that are most similar to parallel cameras based on (6) and (7).

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.

110 : 메인 렌즈 120 : 마이크로 렌즈
130 : 이미지 센서 140 : 이미지 생성부
150 : 셔터 310 : 로우 이미지 획득부
320 : 직선 특징량 산출부 330 : 마이크로 렌즈 추출부
340 : 투영 모델 처리부 350 : 서브 이미지 생성부110: main lens 120: micro lens
130: image sensor 140:
150: Shutter 310: Low image acquisition unit
320: linear feature-quantity calculating unit 330: micro lens extracting unit
340: projection model processing unit 350: sub-

Claims

An image processing method comprising:
Obtaining a raw image from the photographed image;
Calculating a linear characteristic amount for each of the plurality of microlenses included in the row image;
Applying the extracted linear characteristic quantities to a projection model to calculate an initial solution of the variables included in the projection model;
Refining an initial solution of the variables included in the projection model using non-linear optimization; And
Generating a plurality of subimages based on the projection model;
/ RTI >

The method according to claim 1,
Wherein the projection model comprises:
Wherein the projection model is a projection model for projecting three-dimensional points onto an image using a thin lens model and a pinhole model.

3. The method of claim 2,
Wherein the calculating the initial solution comprises:
Converting the projection function of the distance unit into a projection function of pixel unit by applying a ray-pixel conversion; And
Calculating an initial solution of the projection function using the projection function of the pixel unit and the linear feature amount;
The image processing method comprising the steps of:

The method of claim 3,
The projection function of the pixel unit is derived from the following equation,

ego,
Here, K ₁ is a variable value for calculating the focal length F of the main lens 110, K ₂ is a variable value for calculating the distance L between the main lens 110 and the microlens 120, X _c , Y _c , and X _c are arbitrary three-dimensional points in the coordinate system of the image generating apparatus, and c _x and c _y are coordinates of the center pixel of the row image.

The method according to claim 1,
Selecting microlenses having a straight line within a predetermined distance from a center of the microlenses among the plurality of microlenses using the extracted linear characteristic quantities;
The image processing method further comprising:

6. The method of claim 5,
Wherein the selecting comprises:
Wherein microlenses having a plurality of straight lines within a predetermined distance from the center of the microlens are excluded from the selection.

The method according to claim 1,
Wherein the purifying step comprises:
Wherein the solution is calculated based on the initial solution, and a solution to which the error value is minimized is calculated as a final solution.

The method according to claim 1,
The low-
Wherein the image is obtained from an image photographed through a light-field camera.

An image generating apparatus comprising:
A low image obtaining unit for obtaining a low image from the photographed image;
A straight line feature amount calculating unit for calculating a straight line feature amount for each of the plurality of microlenses included in the raw image acquired from the row image acquiring unit;
Calculating an initial solution of the parameters included in the projection model by applying the extracted linear characteristic quantities to the projection model, and using a projection model to refine an initial solution of the parameters included in the projection model using nonlinear optimization, A processor; And
A sub-image generation unit for generating a plurality of sub-images based on the projection model;
And an image generating device.

10. The method of claim 9,
Wherein the projection model comprises:
Wherein the projection model is a projection model for projecting a three-dimensional point onto an image using a thin lens model and a pinhole model.

11. The method of claim 10,
The projection model processing unit,
Wherein the projection function of the distance unit is converted into a projection function of pixel unit by applying a ray-pixel conversion, and the initial solution of the projection function is calculated by using the projection function of the pixel unit and the linear characteristic amount. Generating device.

12. The method of claim 11,
The projection function of the pixel unit is derived from the following equation,

10. The method of claim 9,
A microlens extracting unit for selecting microlenses having a straight line within a predetermined distance from the center of the microlens among the plurality of microlenses using the extracted linear characteristic quantities;
Further comprising: an image generation unit for generating an image;

14. The method of claim 13,
Wherein the microlens extracting unit comprises:
Wherein the microlenses having a plurality of straight lines within a predetermined distance from the center of the microlens are excluded from the selection.

10. The method of claim 9,
The projection model processing unit,
And changes the solution based on the initial solution to determine the solution that minimizes the error value as the final solution.

10. The method of claim 9,
The low-
Wherein the image is obtained from an image photographed through a light-field camera.