KR102345607B1 - 광학소자 설계 방법 및 그 장치 - Google Patents

Abstract

광학소자 설계 방법 및 그 장치가 개시된다. 광학소자설계장치는 광학소자로부터 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 광학소자에 대한 점확산함수를 산출하고, 학습이미지와 점확산함수의 합성곱(convolution)을 이용하여 광학소자에 대한 블러이미지를 생성하고, 블러이미지와 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성한 후 학습이미지와 복원이미지 사이의 손실을 구하고, 그 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 광학소자의 표면 두께를 최적화한다.

Description

광학소자 설계 방법 및 그 장치{Design method of optical element and design apparatus thereof}

본 발명의 실시 예는 광학소자와 이를 이용한 광학시스템을 동시에 설계하고 최적화할 수 있는 단대단 최적화 방법(end-to-end optimization)에 관한 것으로, 보다 상세하게는 단대단 최적화 과정을 통해 렌즈를 포함한 다양한 광학소자의 표면을 최적화하는 방법 및 그 장치에 관한 것이다.

종래의 광학소자 설계에 사용되는 앤드-투-앤드 최적화 방법은 이미지 처리 과정의 연산이 모두 미분 가능하여야 한다는 점 때문에 파동 광학(wave optics) 기술을 기반으로 한다. 그러나 컴퓨터 메모리 한계로 인해 파동 광학을 기반으로 하는 이미지 처리 과정은 일정 곡률 이상의 굴곡이 존재하는 표면을 가진 광학소자를 제대로 시뮬레이션할 수 없을 뿐만 아니라 에일리어싱(aliasing) 등의 오류를 발생한다. 또한, 파동광학 기반의 최적화 방법은 높은 개구수(numercial aperture)를 가지는 광학소자를 설계할 수 없었을 뿐만 아니라 사입사하는 축외(off-axis) 광원을 고려하기가 어렵다.

따라서 종래의 파동 광학 기반의 최적화 방법으로 설계 가능한 광학소자는 곡률이 거의 없는 렌즈나 회절 현상을 주로 이용하는 회절광학소자(diffractive optical element)에 국한된다. 렌즈 설계시 사입사하는 광원을 고려하기 어려우므로, 파악 광학 기반으로 설계된 렌즈로 촬영된 이미지의 주변 부분 또는 광학 시스템을 통과한 광 정보의 주변 부분이 유실되거나 화질이 열화되는 문제점이 존재한다.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 광학소자의 표면 곡률에 구애받지 않고 축외 입사하는 광을 고려할 수 있도록 광선 추적(ray-tracing) 방식으로 광학소자를 설계할 수 있는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 광학소자 설계 방법의 일 예는, 광학소자로부터 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 상기 광학소자에 대한 점확산함수를 산출하는 단계; 학습이미지와 상기 점확산함수의 합성곱(convolution)을 이용하여 상기 광학소자에 대한 블러이미지를 생성하는 단계; 상기 블러이미지와 상기 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성하는 단계; 상기 학습이미지와 상기 복원이미지 사이의 손실을 구하는 단계; 및 상기 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 상기 광학소자의 두께를 최적화하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 광학소자 설계장치의 일 예는, 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 광학소자에 대한 점확산함수를 산출하는 점확산함수산출부; 학습이미지와 상기 점확산함수의 합성곱(convolution)을 이용하여 상기 광학소자에 대한 블러이미지를 생성하는 블러이미지생성부; 상기 블러이미지와 상기 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성하는 복원이미지생성부; 상기 학습이미지와 상기 복원이미지 사이의 손실을 구하는 오차산출부; 및 상기 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 상기 광학소자의 두께를 최적화하는 최적화부;를 포함한다.

본 발명의 실시 예에 따르면, 광선 추적 기반의 앤드-투-앤드 최적화 설계 방법을 이용하므로 광학소자의 표면 곡률에 구애받지 않고 다양한 형태의 표면을 가진 광학소자를 설계할 수 있다. 예를 들어, 높은 개구수를 가지는 광학소자의 표면을 설계하거나 자유곡면(freeform)을 가지는 광학 소자를 설계할 수 있다. 또한, 축외 입사하는 광을 고려하여 광학소자의 표면을 설계할 수 있다. 광학소자 설계시 사입사하는 광에서 발생하는 광학 수차(aberration)에 대한 고려도 가능하다.

또한, 복잡한 디스플레이 시스템에 필요한 특수한 곡면을 가진 광학소자를 설계하거나, 차세대 이미징 시스템에 필요한 소자를 설계할 수 있다. 나아가 종래 단대단 최적화에서 사용된 방법인 파동 광학 시뮬레이션과 함께 본 실시 예를 사용하여 회절 소자를 포함한 광학 시스템에 필요한 다양한 곡률을 가진 소자를 최적화할 수 있다.

도 1은 본 발명의 실시 예에 따른 단대단 최적화 설계 과정의 개념을 도시한 도면,
도 2는 본 발명의 실시 예에 따라 광선 추적 기반의 최적화 방법을 이용하여 광학소자를 설계하는 방법의 개념을 도시한 도면,
도 3은 본 발명의 실시 예에 따라 광학소자를 설계하는 방법의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 광원의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 점확산함수의 광 분포의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 광학소자 설계 방법의 일 예를 도시한 도면, 그리고,
도 7은 본 발명의 실시 예에 따른 광학소자설계장치의 구성의 일 예를 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 광학소자 설계 방법 및 그 장치에 대해 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 단대단 최적화 설계 과정의 개념을 도시한 도면이다.

도 1을 참조하면, 설계하고자 하는 광학소자(110) 및 이를 이용하는 광학시스템에 대한 시뮬레이션 모델을 생성한다. 광학소자(110)의 일 예로 곡면을 가지는 렌즈, 자유곡면소자, 프리즘, 굴절 또는 회절 기반의 소자 등이 존재한다. 광학소자(110)는 앞서 열거한 소자에 한정되는 것은 아니며 이 외의 다양한 소자일 수 있다.

광학소자(110)와 함께 최적화되는 광학시스템의 일 예로, 전산 이미징(computational imaging), 디스플레이를 위한 광도파로(waveguide), 하이퍼스텍트럴 이미징(hyperspectral imaging) 등이 존재하며, 반드시 이에 한정되는 것은 아니다. 본 실시 예는 광학소자(110)와 함께 이미지 처리 과정(130)을 최적화하는 예를 도시하고 있다.

목적평면(target surface)(120)은 설계하고자 하는 광학소자(110)의 마지막 평면 또는 광학소자(110)를 통과한 광의 분포를 얻기 위하여 광학시스템의 출력단에 위치한 평면을 의미한다. 광 정보(100)는 광학소자(110)에 입사하는 적어도 하나 이상의 광의 위치 정보 등을 포함한다.

광 정보를 기초로 목적평면(120)에 도달한 광의 공간적 세기 분포 또는 광의 공간적 파면 분포를 시뮬레이션한다. 광이 광학소자(110)를 통과하며 겪는 광학적 현상을 컴퓨터상에서 시뮬레이션하는 과정을 전파(propagation)라고 부른다. 광 전파 과정을 시뮬레이션하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다. 전파를 통해 목적평면(120)에 나타내는 광의 분포에 대한 이미지 처리를 통해 광학소자 및 이를 이용하는 광학시스템(예를 들어, 이미지 처리 과정(130) 등)의 최적화를 동시에 이룰 수 있다. 이후 다시 살펴보겠지만, 광학소자(110) 등의 최적화에 확률적기울기강하(SGD, Stochastic Gradient Decent) 알고리즘 등 다양한 방법이 사용될 수 있다.

본 실시 예의 단대단 최적화 과정은 전파 과정을 광선 추적(ray-tracing) 기반 기술로 구현한다. 광학 소자를 최적화하기 위하여 사용하는 SGD 알고리즘은 최적화 파이프라인의 모든 전파 및 이미지 처리 과정의 연산이 미분 가능한 성질을 가지고 있어야 한다. 종래의 파동 광학 시뮬레이션 기반의 단대단 최적화는 광 전파를 계산하는 과정이 푸리에 광학을 기반으로 한 결정적(deterministic) 적분식으로 표현되기 때문에 모든 전파 과정이 미분 가능한 성질을 가진다.

광선 추적 기반의 전파는 광학 소자로 입사하는 다양한 방향과 다양한 위치의 광들을 각각의 독립된 객체로 다룬다. 독립된 광선들을 하나의 큰 행렬에 포함시켜 전파할 경우 광선 추적 기반의 광 전파도 미분 가능한 형태로 존재할 수 있다. 그러나 목적평면(120)에 도달한 광선들을 이미지 처리 과정(130)의 입력으로 사용하기 위하여 2차원 이미지 형태로 변환하는 과정에서 미분이 불가능하게 된다. 광선 추적 기반의 전파를 통해 목적평면(120)에 도달한 광선들을 목적평면(120)에서 2차원 격자(grid)에 맞추어 정렬하고, 특정 격자 안에 몇 개의 광선이 도착하는지 세어 광선의 분포를 이미지화 할 수 있다. 이때 광선을 세는 연산은 정수 형태로 연산 결과를 출력하므로 정확도를 위해 유리수를 이용한 연산을 할 경우 해당 연산은 미분 불가능하게 된다.

따라서 본 실시 예는 광선들을 이산적(discrete)으로 처리하는 광선 추적 기반의 이미지 처리에서 SGD 알고리즘이 동작할 수 있도록 기울기 바이패스(gradient bypass) 개념을 도입한다. 이에 대한 예가 도 2에 도시되어 있다.

도 2는 본 발명의 실시 예에 따라 광선 추적 기반의 최적화 방법을 이용하여 광학소자를 설계하는 방법의 개념을 도시한 도면이다.

도 2를 참조하면, SGD 알고리즘을 적용하기 위해서는 광학소자(110)를 구성하는 적어도 하나 이상의 광학표면(200,210)에 대한 전파 연산마다 연산 후의 결과를 통해 이전 연산의 기울기, 즉 미분을 구해야 한다. 이를 역전파(backpropagaton)이라고 한다.

광이 목적평면(120)에 도달했을 때, 2차원 광 분포 연산(220) 과정에서 미분이 불가능한 구간이 발생한다. 광 분포 연산(220)의 결과로 정수 타입의 2차원 히스토그램을 얻을 수 있다. 본 실시 예는 역전파 과정에서 미분 불가능한 광 분포 연산(220) 과정을 피하기 위하여 광 분포 연산(220)을 통해 얻은 이미지(230)와 목적평면(120)에서 광의 도달 정보 사이의 관계를 미분하여 광 분포 연산(220)의 역전파를 바이패스(bypass)하는 방법을 사용한다.

이러한 바이패스 과정에서, 아주 작은 변화에 대해 이미지 생성 단계(230)에서 어떤 변화도 나타나지 않으면 이미지 생성 단계(230)의 역전파는 불가능할 수 있다. 따라서 SGD 알고리즘에서 이용하는 미소 변화량의 값을 이미지 생성 단계(230)에서 변화가 항상 보장되도록 조정할 수 있다.

도 3은 본 발명의 실시 예에 따라 광학소자를 설계하는 방법의 일 예를 도시한 도면이다.

본 실시 예는 사입사를 고려한 고-개구수(high numerical aperture)를 가지는 확장된 피사계심도를 위한 전산 이미징 시스템의 최적화 방법에 관한 것이며, 특히 렌즈의 표면을 최적화하는 과정에 관한 것이다. 확장된 피사계심도를 위한 전산 이미징 시스템은, 의도적으로 불완전한 형태로 빛을 모으는 렌즈를 이용하여 촬영한 후 컴퓨터상에서 이미지를 복원하는 방식을 포함한다. 이때 렌즈가 어떤 형태로 빛을 모으는지에 따라 해당 전산 이미징 시스템의 성능이 결정된다.

도 3을 참조하면, 설계하고자 하는 광학소자(즉, 렌즈)(310)의 한쪽 면은 자유곡면을 가지며 다른 쪽 면은 평면이다. 본 실시 예는 실존하는 재질을 모사하기 위하여 파장에 따라 서로 다른 굴절률을 가지는 특정 물질의 광학소자를 시뮬레이션한다. 본 실시 예는 광선 추적 기반의 이미지 처리, 이미지 센서(320)의 모사, 이미지 복원 등을 포함하는 파이프라인으로 구현된다. 이에 대한 상세 예가 도 6에 도시되어 있다.

렌즈(310)가 빛을 모으는 형태를 정량적으로 표현하는 종래의 다양한 방법 중에서 본 실시 예는 점확산함수(PSF, Point Spread Function)를 이용한다. PSF는 렌즈(310)에 평행광이 입사되었을 때 해당 렌즈(310)의 초점면에서 렌즈의 광축과 수직한 평면에 만들어지는 광 세기 분포를 제공하는 함수이다. 이상적인 렌즈의 경우 PSF는 초점면에서 한 개의 밝은 점을 나타내지만, 렌즈의 수차 및 파장에 따른 굴절률의 차이로 인해 실제 렌즈의 PFS는 초점면에서 특정 광 분포를 나타낸다.

본 실시 예가 점확산함수를 이용하여 최적화 파이프라인을 만드는 것은 렌즈(310)에 대한 점학산함수가 알려져 있을 경우 해당 렌즈(310)로 촬영된 사진을 컴퓨터상에서 시뮬레이션하기 용이한 장점이 있기 때문이다. 가령 평행광으로부터 만들어진 PSF뿐만 아니라 1m, 2m 등 특정 거리에서 출발한 점광원(300)이 만드는 PSF를 알고 있다면, 해당 거리에 놓인 물체들을 렌즈(310)를 통해 촬영할 때 어떤 영상이 만들어질지 시뮬레이션을 통해 알 수 있다.

렌즈(310)의 PSF가 초점면에서 아주 작은 점 형태를 나타내는 것이 아니라면, 렌즈(310)를 통해 촬영된 물체는 해당 렌즈(310)의 PSF에 따라 흐려진 형태로 나타난다. 본 실시 예는 복수의 점광원(300)에 대한 PSF를 구하기 위하여 초점면에 이미지 센서(320)를 모사한다.

여러 위치에 존재하는 점광원(300)은 설계하고자 하는 렌즈(310)를 통과하여 목적평면에 닿는다. 점광원(300)은 렌즈(310)로부터의 일정 거리 및 일정 각도에 위치할 수 있다. 사입사하는 광원을 고려하기 위하여, 이미지 센서(320)의 면을 몇 개의 구역(즉, 관심영역(ROI, region of interest))으로 나누어 광원의 입사각을 고려할 수 있다. 복수의 관심영역을 이용한 PSF의 광 분포의 예가 도 5에 도시되어 있다. 관심영역의 개수는 실시 예에 따라 다양하게 조절될 수 있다.

하나의 점광원(300)이 렌즈(310)를 지나 이미지 센서(320) 면에 도달했을 때 광 분포를 구하기 위해, 본 실시 예는 광선 추적 기반의 광학 시뮬레이션을 진행하며, 이는 전파, 굴절, 파장에 대한 고려를 포함한다. 즉, 광선 추적 기반의 광학 시뮬레이션을 통해 다양한 위치에 존재하는 복수의 점광원의 위치와 이미지 센서(320)에서의 광 분포 사이의 관계를 나타내는 복수의 PSF를 얻을 수 있다.

복수의 PSF 분포는 배치(batch) 형태로 이미지 센서(320)를 모사하기 위한 단계로 전달된다. 이미지 센서 단(image sensor stage)에선 이미지 더미(image dummy)에서 그라운드 트루스(ground truth)로 이용될 이미지들, 즉 학습이미지를 PSF 배치에 포함된 PSF의 개수와 동일한 개수만큼 불러온다.

본 실시 예는 PSF 배치와 학습이미지의 두 배치(batch) 간의 합성곱(convolution)을 통해 설계 대상 렌즈(310)에 의해 촬영되는 이미지를 시뮬레이션한 블러이미지(blur image)를 생성한다. 실제 이미지 센서가 발생하는 노이즈 또는 카메라 영상처리 파이프라인(image processing pipeline) 과정에서 발생하는 노이즈 또는 비선형적 특성을 반영할 수 있도록 블러이미지에 노이즈가 추가 삽입될 수 있다.

블러이미지는 이미지 후처리(image post-processing) 단계로 전달되며, 이때 앞서 계산된 PSF 배치 중 하나를 받아와 복원이미지를 생성한다. 이 과정을 역합성곱(deconvolution)이라 부르며, 위너 역합성곱(Winner Deconvolutionm)을 포함한 다양한 방법이 적용될 수 있다. 복원이미지와 학습이미지 사이의 차이를 구하면 얼마나 잘 이미지가 복원되었는지 수치화할 수 있다.

그 차이를 손실(loss)이라고 부르며, 해당 손실값을 구하기 위해 두 이미지 사이의 L2 norm(least squares error) 등의 값을 구할 수 있다. 구해진 손실값은 학습을 목표로 하는 렌즈(310) 두께(d)의 분포(H(x,y))를 갱신하기 위해 SGD 알고리즘으로 전달된다. Adam Optimzer를 포함한 다양한 SGD 알고리즘이 이 단계에서 이용될 수 있으며, SGD 알고리즘에 의해 렌즈(310) 표면의 높이 분포가 갱신된다.

위와 같은 알고리즘을 반복할 경우 렌즈(310)로부터 어떤 깊이에서 출발한 광이든 하나의 PSF 분포로 역합성곱하여 선명한 영상을 얻을 수 있다. 즉, 확장된 피사계심도를 가진 전산 이미징을 구현할 수 있다.

도 4는 본 발명의 실시 예에 따른 광원의 일 예를 도시한 도면이다.

도 4를 참조하면, 광학소자의 광축과 수직한 평면에 위치한 복수 개의 점광원(400)을 정의할 수 있다. 예를 들어, 도 3의 경우 렌즈(310)로부터 다양한 거리(a)에 N*M(N과 M은 1 이상의 자연수) 개의 점광원(400) 행렬을 정의할 수 있다.

도 5는 본 발명의 실시 예에 따른 점확산함수의 광 분포의 일 예를 도시한 도면이다.

도 3 및 도 5를 함께 참조하면, 이미지 센서(320)의 면은 복수의 구역으로 분할된다. 분할된 각 구역을 관심영역(502)이라고 한다. 본 실시 예는 3*3의 관심영역(502)을 포함하나 관심영역(502)의 개수는 실시 예에 따라 다양하게 변형 가능하다.

도 4와 같이 다양한 위치에 존재하는 점광원에 대하여 이미지 센서(320)의 면에 나타나는 PSF 광 분포(500)를 관심영역(502)을 기준으로 파악할 수 있다. 예를 들어, 3*3의 관심영역(502) 중 어느 영역에 광이 분포하는지 파악하여 광학소자에 대한 PSF를 파악할 수 있다.

일반적으로 목적평면이 렌즈(310)의 역할을 하기 때문에 각각의 관심영역에 할당된 PSF는 서로 겹치지 않은 형태로 존재할 수 있다. 따라서, 도 5의 경우, 3*3 관심영역으로 표시된 한 장의 PSF 분포(500)는 9개의 독립된 PSF 정보를 가지며, 점광원의 거리에 따라 여러 장의 PSF 분포(500,510,520)를 얻을 수 있다.

도 6은 본 발명의 실시 예에 따른 광학소자 설계 방법의 일 예를 도시한 도면이다.

도 6을 참조하면, 광학소자설계장치는 설계 대상 광학소자를 모사한다(600). 본 실시 예는 이해를 돕기 위하여 광학소자의 예로 도 3의 렌즈를 이용하여 설명한다. 광학소자설계장치는 렌즈의 두께분포함수 H(x,y)를 정의한다.

광학소자설계장치는 렌즈로부터 다양한 거리에 위치한 점광원에 대한 PSF(610)를 산출한다. 광학소자설계장치는 도 4와 같이 N*M 행렬로 배열된 점광원들에 대한 PSF를 산출할 수 있다. 이때 각 점광원에 대한 PSF는 연산량을 고려하여 도 5와 같이 일정 개수의 관심영역(502)을 기준으로 광 분포를 파악한 함수일 수 있다.

광학소자설계장치는 학습이미지(620)와 PSF를 합성곱(convolution)(630)하여 블러이미지(blur image)를 생성한다(640). 일 예로, 광학소자설계장치는 복수의 PSF와 복수의 학습이미지 간의 합성곱을 통해 블러이미지(640)를 시뮬레이션할 수 있다.

광학소자설계장치는 블러이미지(640)와 어느 한 점확산함수(610)를 역합성곱(deconvolution)(650)하여 복구이미지(660)를 생성한다. 예를 들어, 광학소자설계장치는 블러이미지(640)를 생성하기 위하여 사용한 복수의 PSF 중 어느 하나를 역합성곱(660)에 이용할 수 있다. 역합성곱 방법으로 위너 역합성곱(Wiener Deconvolution) 방법이 적용될 수 있다. 광학소자설계장치는 기 정의된 노이즈(645)를 블러이미지에 추가할 수 있다. 실시 예에 따라 노이즈(645)의 추가 과정이 생략될 수도 있다.

광학소자설계장치는 복구이미지(660)와 학습이미지(620) 사이의 손실(loss)을 산출한다. 예를 들어, 광학소자설계장치는 복구이미지(660)와 학습이미지(620)의 각 픽셀의 밝기값를 기초로 두 이미지 사이의 손실를 구할 수 있다. 광학소자설계장치는 평균오차(RMS, root mean squares error), L2-norm(least quares error) 등 다양한 방법을 이용하여 손실을 산출할 수 있다.

광학소자설계장치는 손실이 최소가 되도록 하는 SGD 알고리즘을 이용하여 렌즈의 두께(d)를 갱신(680)한다. SGD 알고리즘을 이용하여 렌즈의 두께가 갱신되면, 광학소자설계장치는 두께가 갱신된 렌즈(600)를 이용하여 PSF(610)를 산출하는 과정부터 손실(670)을 구하는 과정까지 반복한다. 광학소자설계장치는 손실이 최소값 또는 일정 이하의 값이 될 때까지 위 과정을 반복하거나, 기 정의된 횟수만큼 위 과정을 반복할 수 있다.

도 7은 본 발명의 실시 예에 따른 광학소자설계장치의 구성의 일 예를 도시한 도면이다.

도 7을 참조하면, 광학소자설계장치(700)는 점확산함수산출부(710), 블러이미지생성부(720), 복구이미지생성부(730), 오차산출부(740), 최적화부(750) 및 노이즈삽입부(760)를 포함한다. 일 예로, 광학소자설계장치는 위 구성이 구현된 하드웨어 모듈 또는 컴퓨터에서 실행되는 소프트웨어로 구현될 수 있다.

점확산함수산출부(710)는 설계 대상 광학소자에 대한 PSF를 구한다. 점확산함수산출부(710)는 파동 광학이 아닌 광선 추적 기반의 전파 시뮬레이션을 이용하여 광학소자에 대한 PSF를 산출하므로 축외 사입사하는 광원도 함께 고려할 수 있다. 점확산함수산출부(710)는 도 5와 같이 광 분포를 일정 개수의 관심영역으로 분할하여 파악할 수 있다.

광학소자의 PSF는 광학소자의 두께에 따라 달라진다. 이후 살펴볼 최적화부(750)에 의해 광학소자의 표면의 두께 분포가 갱신되면, 점확산함수산출부(710)는 두께 분포가 갱신된 광학소자에 대한 PSF를 다시 산출한다.

블러이미지생성부(720)는 점확산함수산출부(710)에서 파악된 광학소자의 PSF와 학습이미지를 합성곱하여 블러이미지를 생성한다. 예를 들어, 블러이미지생성부는 확장된 피사계심도를 가진 전산 이미징 시스템을 구현하기 위하여 렌즈의 표면 두께를 최적화할 수 있다. 이 경우, 블러이미지생성부(720)는 렌즈로부터 다양한 거리에 위치한 점광원들에 대한 복수의 PSF와 복수의 학습이미지 사이의 합성곱을 통해 블러이미지를 생성할 수 있다. 이때 합성곱에 사용되는 PSF의 개수와 학습 이미지의 개수는 동일할 수 있다.

복구이미지생성부(730)는 블러이미지와 PSF를 역합성곱하여 복구이미지를 생성한다. 노이즈삽입부(760)는 실제 이미지 센서의 노이즈 등을 고려할 수 있도록 블러이미지에 노이즈를 삽입할 수 있다. 노이즈삽입부(760)는 실시 예에 따라 생략될 수 있다.

오차산출부(740)는 학습이미지와 복구이미지 사이의 손실을 산출한다. 예를 들어, 오차산출부(740)는 학습이미지와 복구이미지 사이의 L2 norm을 구할 수 있다.

최적화부(750)는 손실을 최소화하는 광학소자의 두께를 학습 목표로 하는 SGD 알고리즘을 이용하여 광학소자의 표면 두께 분포를 갱신한다. 두께 분포가 갱신된 광학소자를 대상으로 다시 PSF, 블러이미지, 복구이미지 등을 구한 후 손실이 파악되면, 최적화부(750)는 다시 광학소자의 두께를 갱신한다. 최적화부(750)는 손실이 최소화될 때까지 또는 기 설정된 횟수만큼 광학소자의 두께 갱신 과정을 반복할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (13)

1. 광학소자로부터 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 상기 광학소자에 대한 점확산함수를 산출하는 단계;
   학습이미지와 상기 점확산함수의 합성곱(convolution)을 이용하여 상기 광학소자에 대한 블러이미지를 생성하는 단계;
   상기 블러이미지와 상기 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성하는 단계;
   상기 학습이미지와 상기 복원이미지 사이의 손실을 구하는 단계; 및
   상기 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 상기 광학소자의 두께를 최적화하는 단계;를 포함하고,
   상기 점확산함수를 산출하는 단계는,
   상기 광원으로부터 출발한 광이 광학소자를 통과하여 도달하는 이미지 센서의 면을 기 정의된 복수 개의 관심영역으로 분할하는 단계; 및
   상기 광원의 광이 상기 복수 개의 관심영역 중 어느 영역에 도달하는지를 기준으로 점확산함수를 산출하는 단계;를 포함하는 것을 특징으로 하는 광학소자 설계 방법.
2. 제 1항에 있어서,
   상기 광학소자는 렌즈, 프리즘, 회절소자 중 어느 하나인 것을 특징으로 하는 광학소자 설계 방법.
3. 제 1항에 있어서,
   상기 광학소자는, 한 면은 평면이고 다른 한 면은 곡면인 렌즈이고,
   상기 광학소자의 두께를 갱신하는 단계는, 상기 렌즈의 곡면 두께의 분포를 갱신하는 단계;를 포함하는 것을 특징으로 하는 광학소자 설계 방법.
4. 삭제
5. 광학소자로부터 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 상기 광학소자에 대한 점확산함수를 산출하는 단계;
   학습이미지와 상기 점확산함수의 합성곱(convolution)을 이용하여 상기 광학소자에 대한 블러이미지를 생성하는 단계;
   상기 블러이미지와 상기 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성하는 단계;
   상기 학습이미지와 상기 복원이미지 사이의 손실을 구하는 단계; 및
   상기 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 상기 광학소자의 두께를 최적화하는 단계;를 포함하고,
   상기 점확산함수를 산출하는 단계는,
   상기 광학소자로부터 일정 거리 이격된 위치에서 상기 광학소자의 광축과 수직한 평면에 위치한 복수 개의 광원에 대한 점확산함수를 구하는 단계;를 포함하는 것을 특징으로 하는 광학소자 설계 방법.
6. 제 1항 또는 제 5항에 있어서, 상기 복원이미지를 생성하는 단계는,
   위너 역합성곱(Wiener Deconvolution)을 이용하여 상기 복원이미지를 구하는 단계;를 포함하는 것을 특징으로 하는 광학소자 설계 방법.
7. 제 1항 또는 제 5항에 있어서, 상기 손실을 구하는 단계는,
   상기 학습이미지와 상기 복원이미지의 각 픽셀 사이의 밝기값 차이의 제곱의 합을 구하는 단계;를 포함하는 것을 특징으로 하는 광학소자 설계 방법.
8. 제 1항 또는 제 5항에 있어서, 상기 블러이미지를 생성하는 단계는,
   기 정의된 노이즈를 추가한 블러이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 광학소자 설계 방법.
9. 삭제
10. 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 광학소자에 대한 점확산함수를 산출하는 점확산함수산출부;
    학습이미지와 상기 점확산함수의 합성곱(convolution)을 이용하여 상기 광학소자에 대한 블러이미지를 생성하는 블러이미지생성부;
    상기 블러이미지와 상기 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성하는 복원이미지생성부;
    상기 학습이미지와 상기 복원이미지 사이의 손실을 구하는 오차산출부; 및
    상기 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 상기 광학소자의 두께를 최적화하는 최적화부;를 포함하고,
    상기 점확산함수산출부는,
    상기 광원으로부터 출발한 광이 광학소자를 통과하여 도달하는 이미지 센서의 면을 기 정의된 복수 개의 관심영역으로 분할하고, 상기 광원의 광이 상기 복수 개의 관심영역 중 어느 영역에 도달하는지를 기준으로 점확산함수를 산출하는 것을 특징으로 하는 광학소자 설계장치.
11. 적어도 하나 이상의 서로 다른 거리 또는 서로 다른 각도에 위치한 광원을 기초로 광학소자에 대한 점확산함수를 산출하는 점확산함수산출부;
    학습이미지와 상기 점확산함수의 합성곱(convolution)을 이용하여 상기 광학소자에 대한 블러이미지를 생성하는 블러이미지생성부;
    상기 블러이미지와 상기 점확산함수의 역합성곱(deconvolution)을 이용하여 복원이미지를 생성하는 복원이미지생성부;
    상기 학습이미지와 상기 복원이미지 사이의 손실을 구하는 오차산출부; 및
    상기 손실을 최소화하는 상기 광학소자의 두께를 학습 목표로 하는 확률적기울기강하 알고리즘 이용하여 상기 광학소자의 두께를 최적화하는 최적화부;를 포함하고,
    상기 점확산함수산출부는,
    상기 광학소자의 광축과 수직한 기 설정된 크기의 평면에 위치한 복수 개의 광원에 대한 점확산함수를 구하는 것을 특징으로 하는 광학소자 설계장치.
12. 제 10항 또는 제 11항에 있어서,
    기 정의된 노이즈를 블러이미지에 추가하는 노이즈삽입부;를 더 포함하는 것을 특징으로 하는 광학소자 설계장치.
13. 제 1항 또는 제 5항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images