KR20190089922A

KR20190089922A - 광학 시스템 수차들의 디지털 보정

Info

Publication number: KR20190089922A
Application number: KR1020197017787A
Authority: KR
Inventors: 디미트리 발레리비치 쉬무크; 빅터 알렉산드로비치 모나레브
Original assignee: 알마렌스, 인코포레이티드
Priority date: 2016-12-01
Filing date: 2017-11-28
Publication date: 2019-07-31
Anticipated expiration: 2037-11-28
Also published as: RU2716843C1; CN110023810B; WO2018102302A1; DE112017006107T5; JP2020501262A; US10282822B2; KR102363030B1; CN110023810A; US20180158175A1

Abstract

이미지로부터 광학 수차들을 제거하기 위한 방법이 개시된다. 본 방법은 광학 시스템의 초기 프로파일링 단계 및 획득된 정보를 사용하는 단계를 포함하여 동일한 또는 일치하는 광학 시스템에 의해 이미지에 도입되는 광학 수차들을 보정한다.

Description

광학 시스템 수차들의 디지털 보정

본 발명은 일반적으로, 광학 시스템 분야에 관한 것으로서, 특히 광학 이미징 장치들의 개선에 관한 것이다.

보다 정확하게, 본 발명은 계산적 구성요소에 의해 광학 시스템의 수차들을 보정하는 것을 가능하게 한다. 본 발명은 물리적 설계 제약들 하에서 그들의 품질을 개선시킴으로써 광학 설계의 경계들 및 광학 시스템들의 적용 범위를 확장시킨다. 본 기술은 다양한 전기-광학 이미징 시스템들에 적용될 수 있다.

현대 이미징 기술은 종종 수십 개의 개별 광학 요소들로 구성되는, 매우 정교한 광학 시스템들을 이용한다. 지난 수십 년에 걸쳐, 이미징 광학계(optics)는 그러한 광학 시스템들(예를 들어, 싱글 렌즈 반사(SLR) 카메라들)에 대해 광 효율을 제공하기 위해 점점 더 복잡해지고 있다. 그러한 복잡성은 전형적으로 간단한 렌즈 요소에 고유한 바람직하지 않은 아티팩트들(artifacts)에 대한 보상을 위해서 뿐만 아니라, 이용 가능한 개구율의 효과적인 사용을 위해 요구된다.

이상적인 "얇은 렌즈" 모델로부터의 비선형 편차들(즉, 수차들)의 제거 또는 최소화는 전체 이미징 시스템 효율의 최적화의 중요한 부분이다. 광학 수차들은 기하학적 왜곡들, 색수차(파장 의존 초점면), 구면 수차(광축 거리 의존 초점 길이), 및 코마(초점에 대한 각도 의존성)와 같은 그러한 아티팩트들을 포함한다.

구면(들)을 갖는 각각의 단일 광학 요소가 전술된 아티팩트들을 겪기 때문에, 상이한 렌즈 요소들의 조합들은 특별히 고품질 이미징이 (예를 들어, 사진에서) 요구될 때 사용되어왔다.

그러나, 훨씬 양호한 기하학적 이미지 속성들을 소유하는 복합 수차 보상 광학 시스템들은 극적으로 증가된 제조 비용, 중량, 렌즈 플레어, 감소된 신뢰성 등을 포함하는, 다른 단점들을 겪는다.

일부 상황들에서 디지털 후처리(post-processing)를 사용하여 색수차 효과들의 외관을 보정하는 것이 가능하지만, 대부분의 실제 상황들에서, 색수차는 일부 이미지 상세의 영구적인 손실을 야기한다.

본 제안된 발명은 고품질 이미징을 달성하기 위해 대안적인 접근법을 사용한다. 즉, 보다 복잡한 광학계 대신에, 성능 개선은 광학 시스템의 수차들을 보정하기 위해 전처리(pre-process) 또는 후처리 계산 구성요소를 추가함으로써 달성된다. 그러한 광학 구성요소는 이후 광학 시스템의 "디지털 렌즈" 요소로서 언급될 것이다.

개발 및 보고된 계산적 수차 보정의 다양한 방법들이 존재한다. 따라서, 렌즈 프로파일 기반 이미지 보정 방법들은 전형적으로 고 콘트라스트 에지들에서의 컬러 프린지들, 비네팅(vignetting) 등과 같은, 다양한 유형들의 렌지 왜곡의 (자동) 보정을 위해 광학 렌즈/시스템의 공지된 특성들을 고려한다.

실제로, 이미지를 생성하기 위해 사용되는 광학 시스템의 상세 지식은 이미지 내의 바람직하지 않은 아티팩트들의 보정에 중요한 역할을 할 수 있을 것이다. 색수차의 복잡성(초점 길이에 대한 관계 등)으로 인해, 카메라 제조사들은 색수차 외관을 최소화하기 위해 다양한 렌즈-특정 기술들을 이용한다.

현재, 거의 모든 주요 카메라 제조사는 비공개(in-camera) 및 그들의 독점 소프트웨어를 통해 둘 다에서, 일부 형태의 색수차 보정을 가능하게 한다. 제3자 소프트웨어 툴들(예를 들어, PTLens, DxO Optics Pro, Adobe Photoshop Lightroom)은 또한 카메라들/렌즈의 대응하는 데이터베이스들을 사용하여 복잡한 색수차 외관 감소를 수행할 수 있다.

예를 들어, Enomoto에 의해 미국 특허 제6,862,373호에 보고된 방법이 있으며, 이는 광학 요소(렌즈)에 의해 촬영되는 이미지로부터의 입력 데이터 및 이러한 이미지를 기록하기 위해 사용된 바로 그 렌즈에 대한 정보 둘 다의 획득을 설명한다. 방법은 이미지 내의 수차들 및 비네팅을 보정하기 위해 렌즈 특성들 뿐만 아니라, 기록 시에 초점 길이 및 조리개(aperture)(즉, 렌즈 아이리스 개방)에 대한 정보를 사용하는 이미지 처리를 더 설명한다.

Habu에 의해 일본 특허 번호 제11-161773호에 설명되는 바와 같은 다른 예는 또한 임의의 광학 구성요소들을 사용하는 것 없이 배율 색수차를 보정하는 것을 설명한다. 각각의 컬러에 대한 렌즈의 배율 색수차 데이터는 사전 저장되고, 이미지 처리는 언급된 사전 저장된 데이터에 기초하여 이미지를 확대 및 축소하는 것을 수행하며, 따라서 이미지가 이러한 렌즈를 통해 획득될 때마다 배율 수차 보정을 수행한다. 그 다음, 배율 보정 후에, 각각의 컬러의 이미지들은 단일 이미지로 결합되어, 배율 색수차 보정을 달성한다.

Okada에 의해 미국 특허 제7,425,988호(및, 유사하게, Suto에 의해 미국 특허 제8,508,655호)에 다른 방법이 설명되며 이는 각각의 컬러 상의 픽처의 확대 또는 축소; (복수의 줌, 초점 및 조리개 값들을 포함하는) 각각의 컬러에 대한 이미징 렌즈에 특정한 색수차 데이터를 저장하는 데이터 메모리 유닛 및 (데이터 메모리 유닛에 저장되는) 색수차 데이터 및 (현재의 줌, 초점 및 조리개 값들과 함께) 검출된 이미지 둘 다를 사용하여, 변환 계수 및 좌표 배율 수차 보정을 제어하는 처리 유닛을 설명한다.

이상적인 상황에서, 측방향 색수차를 제거 또는 보정하는 후처리는 프린지드(fringed) 컬러 채널들을 스케일링하거나, 프린지드 채널들의 스케일링된 버전들 중 일부를 차감하는 것을 요구함으로써, 모든 채널들은 (예를 들어, 홀로그램 현미경 내의) 최종 이미지에서 정확하게 서로 공간적으로 오버랩된다.

그러나, 실제 응용들에서, 심지어 이론적으로 완벽한 후처리 기반 색수차 감소 시스템도 잘-보정된 물리적 렌즈와 비교하여 이미지 상세를 증가시키지 않는다.

색수차 관점에서, 이에 대한 이유들은 다음과 같다: i) 계산적 리스케일링(rescaling)이 측방향(종방향이 아님) 색수차들에만 적용 가능하고, ii) 컬러 채널들의 개별 리스케일링이 일부 해상도(resolution) 손실을 야기하고, iii) 색수차가 광 스펙트럼에 걸쳐 발생하지만, 대부분의 카메라 센서들은 몇 개의 이산(예를 들어, RGB) 컬러 채널들만을 캡처하기 때문이다.

일부 색수차 교차 채널 컬러 오염은 카메라 센서들에서 불가피한 것이다.

상기 문제들은 특정 캡처된 이미지의 콘텐츠(content)과 밀접하게 관련되므로, 캡처 장비(예를 들어, 카메라 및 렌즈 데이터)의 프로그래밍 및 지식의 합리적인 양도 그러한 제한들을 완벽하게 극복할 수 없다.

개시된 방법은 전자 광학 수차 보정에 대한 새로운, 개선된 비-블라인드 디콘볼루션(non-blind deconvolution) 접근법을 제안한다. 다른 전술된 방법들과 마찬가지로, 개시된 방법은 또한 이미징을 위해 사용되는 광학 시스템의 지식(즉, 프로파일링)에 기초한다. 더욱이, 방법은 결과적으로 이미징 시스템에 대해 이미 공지된 프로파일을 사용하여 본 개시의 '디지털 렌즈' 요소를 사용하여 임의로 캡처된 장면(scene)을 처리한다.

그러나, 다른 수차 보정 기술들과 비교하여, 개시된 프로파일링 접근법은 근본적으로, 상이한 이미지 스케이들(즉. 이미지 상세들)을 위한 포인트-스프레드 함수(point-spread function(PSF)) 추출 및 후속 인공 신경망(NN) 트레이닝을 이용함으로써 본질적으로 상이하다. PSF는 광 전파 및 이미징 시스템 성능의 예측하는 데 중요한 속성이다.

개시된 방법 및 '디지털 렌즈' 요소는 전형적인 이미지 캡처 시스템들(디지털 카메라들)로부터 증강 현실(AR)/가상 현실(VR) 디스플레이 시스템들, 헤드셋들, 뷰파인더들 등을 포함하는, 더 넓은 이미징 응용들을 향하여 디지털 렌즈의 적용 가능성을 확장시킨다.

본 발명의 추가 특징들 및 양태들은 첨부된 도면과 함께 바람직하고 선택적인 실시예들의 다음 설명으로부터 명백하게 될 것이다.

이미지로부터 광학 수차들을 제거하기 위한 광학 이미징 방법 및 '디지털 렌즈' 요소가 개시된다. 방법은 2개의 독립적인 절차들에 기초하며, 제1 절차는 제2 절차보다 앞서 수행된다.

제1 절차는 광학 시스템 정보를 수집하는 단계, 컴퓨터-생성 차트들과 그들의 이미지(들) 사이에서 기하학적 및 방사상 정렬을 수행하는 단계, 파-필드(far-field) 커널로 PSF 성분을 추출하는 단계, 및 그것을 정렬된 이미지와 컨볼루션하여 파-필드 보정 이미지 데이터를 생성하는 단계를 포함한다. 제1 절차는 또한 NN 트레이닝을 위해 사용될 이미지 데이터의 사전-컨디셔닝(preconditioning) 단계, NN 가중 계수들을 추출하는 단계 및 NN 가중 계수들 및 파-필드 커널을 포함하는 데이터인, 광학 시스템 프로파일을 생성하는 단계를 포함한다.

제2 절차는 광학 시스템에 의해 원본 이미지를 캡처하는 단계, 낮은 공간 주파수 및 높은 공간 주파수(LF 및 HF)를 갖는 성분들을 추출하는 단계, 또한 제1 절차에서 획득되는 광학 시스템 프로파일을 사용하여, NN에 대한 FIF 성분들을 전처리하는 단계를 포함한다. 재컨디셔닝된(reconditioned) NN 출력은 광학 수차들이 제거된 단일 보정 이미지를 형성하는 원본 LF 성분과 더 합산된다.

방법은 다양한 광학 시스템들, 예컨대 카메라들, 뷰파인더 접압 렌즈들(eyepieces) 및 공지된 제조자 파라미터들을 갖는 디스플레이들과 함께 사용될 수 있다. 방법은 이미지들의 세그먼트들(타일들) 상에 적용될 수 있다.

LF 및 FIF 성분들은 선형 저역 통과 필터 및 고역 통과 필터 각각을 사용하여 산출될 수 있는 반면, 전처리는 동적 범위 감소 및 비선형성의 적용을 포함할 수 있다. NN 출력은 다수의 픽셀 값들을 포함할 수 있지만 NN 트레이닝은 레벤베르크-마르카르트(Levenberg-Marquardt) 알고리즘을 사용하여 수행될 수 있다.

역 사전-컨디셔닝(inverse pre-conditioning)은 NN 트레이닝 에러를 감소시키기 위해 적용될 수 있다. NN 출력은 HF 부분의 산술 역(arithmetic inverse)을 사용하여 산출될 수 있는 반면, PSF 성분 추출은 2차원 고속-푸리에 변환을 사용하여 수행될 수 있다.

도 1은 광학 수차 보정 방법의 일반적인 도면을 도시한다.
도 2는 차트들 및 이미지들의 기하학적 및 방사상 정렬을 도시한다.
도 3은 광학 시스템 프로파일링을 도시한다.
도 4는 파-필드 이미지 보정 및 포인트 스프레드 함수(PSF) 추출을 도시한다.
도 5는 이미지 처리를 도시한다.
도 6은 NN 출력 데이터에 대해 픽셀 쿼드(RG/GB)를 갖는 베이어(Bayer) 필터를 사용하는 예를 도시한다.
도 7은 디스플레이 시스템들에 대한 광학 수차 보정을 도시한다.

본 개시된 발명은 일반적으로 더 상세히 설명되는 비-블라인드 디콘볼루션 기술을 사용하여 광학 수차들을 보정하는 작업을 제공한다. 용어' 비-블라인드(non-blind)'는 관심의 광학 시스템을 "프로파일링(profiling)"함으로써 공지된(예를 들어 미리 사전-예측된) 포인트 스프레드 함수(PSF)을 이용한다는 의미로 사용된다. 일반적으로, PSF는 점(point-like) 객체 또는 점 광원에 대한 이미징 시스템의 (3차원) 응답을 설명한다. 기능적인 측면들에서, PSF는 공간 도메인에서 이미징 시스템의 전달 함수이다.

본 개시된 발명의 일반적인 레이아웃은 도 1에 도시되며, 여기서 장면(1)은 광학 시스템(예를 들어 카메라)(2)에 의해 관측되며, 이는 장면(1)의 디지털 이미지들(3)를 캡처하고 계산 구성요소(4)가 미리 광학 시스템(2)에 대한 특정 정보(6)(즉, "광학 프로파일")을 구비한다는 가정에서, 광학 시스템(2)의 수차들을 보정하기 위해 계산 구성요소(4)(즉,'디지털 렌즈')에 의해 수행되는, 디지털 수차 보정 후처리를 적용한 후에 장면(1)의 보정된 이미지들(5)을 제공한다. 그러한 특정 정보(6)는 더 상세히 설명되는 바와 같이, 광학 시스템(2)을 프로파일링함으로써 획득되고 본 개시된 발명에서 중요한 역할을 한다.

본 개시된 방법은 다음과 같이, 광학 시스템 수차들의 계산 보정의 전체 절차를 2개의 별도의(독립적인) 단계들로 분리하는 것에 기초한다:

절차(I): 선택된 광학 시스템의 프로파일링. 이 부분에서, 이러한 광학 시스템에 의해 유도되는 수차들을 최적으로 보정하기 위한 방법의 정보가 획득된다. 그 다음, 이러한 정보는 이러한 특정 광학 시스템에 대한 "광학 프로파일"의 형태로 저장된다. 전형적으로, 그러한 광학 시스템의 프로파일링은 시간 소모적인, 반복 프로세스이다. 다행히도, 그것은 (예를 들어, 일단 그것이 설계되고 제조되면) 선택된 광학 시스템에 대해 단지 한번만 수행될 필요가 있다.

절차(II): 절차(I) 동안에 획득되는 "광학 프로파일"을 사용함으로써 광학 시스템의 수차들을 보정. 이러한 단계는 비반복적이고, 상대적으로 빨라서, 기존 이미지 프로세서들 상에서 및/또는 전력-제한 모바일 장치들에서, 예를 들어, 비디오 신호 프레임레이트들에서 이미지의 광학 수차 보정을 수행하는 것을 가능하게 한다.

그러한 절차를 단계들로 분리하는 것은 예를 들어, 이미지 캡처 시스템들(디지털 카메라들)로부터 다양한 현대 AR/VR 디스플레이/헤드셋 시스템들, 뷰파인더 접안 렌즈들 등을 포함하는, 보다 일반적인 광학 이미징 응용들로 방법의 적용 가능성 범위를 또한 확장시키는 것을 허용한다.

본 발명의 바람직한 실시예에서, 절차(I)은 사람의 눈의 위치를 고품질 이미지-캡처링 장치로 대체함으로써 선택된 광학 시스템에서 수행될 수 있다. 결과적으로, 이러한 광학 시스템에 의해 생성되는 임의의 장래 이미지는 절차(II)에서 일상적으로 보정될 수 있어서, 본질적으로, (그러한 공지된, 불완전 광학 시스템에 내재된) 수차들을 제거한다.

따라서, 본 발명의 바람직한 실시예는 2개의, 일반적으로 분리된 절차들을 포함한다: 절차(I), - 광학 시스템의 프로파일링 단계, 특별히, 광학 시스템에 대한 정보를 포함하는 "광학 프로파일"을 획득하는 단계, 및 절차(II), - 절차(I)에서 획득되는 광학 프로파일을 캡처된 이미지 내의 광학 수차들을 감소시키기 위해 동일한(또는 일치하는) 광학 시스템에 의해 캡처되는 이미지에 적용하는 단계.

절차(II) 동안에, 소위 "디지털 렌즈" 보정은 절차(I)에서 광학 시스템(즉, 카메라)에 의해 획득되는 데이터(이미지)에 직접적으로 적용된다. 보정된 이미지는 "디지털 렌즈" 보정이 없는 것과 동일한 방식으로 이미지 신호 처리를 통과할 수 있다.

본 발명의 바람직한 실시예의 절차(I)은 차례로, 도 2를 참조하여 여기서 상세히 설명되는 바와 같이, 2개의 주요 단계들로 분할된다.

단계 1: 이미지 캡처 및 기하학적/방사상 정렬을 프로파일링.

도 2에서 설명되는 이러한 단계에서, 한 세트의 컴퓨터-생성 차트들이 생성된다. 이들 차트들은 광학 시스템/카메라를 통해 캡처되도록, 종이 상에 인쇄되거나 고품질/고해상도 디스플레이 상에 표시된다.

그 다음, 컴퓨터-생성 차트들은 (또한, 도 1에서 (3)으로 도시되는) 프로파일링될 광학 시스템에 의해 캡처되어, 일반적으로 N개의 이미지들(21)의 시퀀스를 생성한다.

캡처된 이미지들(21)의 시퀀스는 초점 거리, 조리개 크기(렌즈 아이리스 값), 초점 길이 등과 같은, 광학 시스템의 파라미터들(즉, 캡처 동안에 사용되는 카메라의 메타데이터)의 지식을 포함한다.

그 다음, 캡처된 이미지들의 시퀀스로부터 차트들(21)의 기하학적 및 방사상 정렬들(23)이 수행된다. 이를 위해, 시퀀스(21) 및 그들의 캡처된 버전들((22)의 출력)로부터의 프로파일링 이미지들의 서브세트는 기하학적 정렬(즉, 장면/피처 정렬) 및 방사상 정렬(즉, 각각의 이미지 내의 컬러 값들의 비선형 함수를 추정하고 그것을 적용하여 이미지들을 방사상으로 정렬함으로써, 컬러 값들이 시퀀스의 모든 이미지들에 대해 일정하게 함)을 용이하게 하기 위해 사용된다.

그러한 정렬 절차들 동안, 컴퓨터 생성 차트들(21)은 캡처된 이미지들, 즉 프로파일링된 시스템에 의해 캡처되는 차트 이미지들의 버전들과 함께 정렬된다는 점을 주목한다. 모든 그러한 캡처된 이미지들은 동일한 카메라 설정들로 그리고 동일한 조명 조건들 하에서 캡처됨으로써, 그들은 서로에 대한 정렬을 요구하지 않는다.

기하학적 및 방사상 정렬을 위한 다양하게 확립된 이미지 처리 기술들이 종래 기술에 보고되어 있으며 이는 차트들의 매칭된 컬러들 및 기하학적 특징들에 관하여 (가능한 한) 정확한 이미지 정렬을 제공한다는 목표로 본 개시된 방법에 의해 이용될 수 있다.

이러한 정렬 프로세스(23)의 출력은 한 쌍의 정렬된 이미지들(24)이다. 본 발명의 바람직한 실시예에서, 그들의 캡처된 버전들에 기하학적으로 그리고 방사상으로 정렬되는, 컴퓨터 생성 차트들의 서브세트는 정렬 프로세스의 출력(24)의 일부로서 제공된다. 도 2에 도시된 바와 같이, 그러한 쌍은 소위 '정렬된(Aligned)' 및 대응하는 '캡처된(Captured)' 이미지를 포함한다.

이들 이미지들(24)(즉, 정렬된 차트들 및 그들의 캡처된 버전들 함께)은 특별히, 특정 광학 시스템의 수차들이 보정될 방법에 대한 지식을 추출하기 위해, 광학 시스템 프로파일의 생성에 더 사용된다.

단계(2): 광학 시스템에 대한 광학 프로파일 생성.

이러한 절차(I)의 단계(2)는 아래에서 상세히 설명되고 이전 단계로부터의 '정렬된(Aligned)' 이미지 및 '캡처된(Captured)' 이미지를 사용하여 실제 시스템 프로파일링을 수행하며, 도 2의 (24)를 참조한다.

광학 시스템에 대한 프로파일 생성의 완전한 프로세스(즉, 절차(I))는 도 3에 도시된다. 프로세스는 한 쌍의 입력 이미지들 - 정렬되고 캡처된 (31)로 시작하며, 이는 (다음 도 4를 참조하여 단계(2a)에서 상세히 나중에 설명되는) 타일들(32)로 (선택적으로) 분할된다. 이러한 데이터는 (다음 도 4를 참조하여 단계(2b)에서 나중에 상세히 설명되는) 파-필드 이미지 보정 및 포인트-스프레드 함수(PSF) 추출을 포함하는, 파-필드 보정(34)으로 전달된다.

파-필드 보정(34)은 차례로, 2개의 출력들을 제공한다: 광학 시스템 프로파일(33)로 저장되는 파-필드 커널 계수들 및 남아 있는 니어-필드(near-field) 수차만 갖는 픽셀 데이터.

이들 픽셀 데이터는 LF/HF 분리(36)를 통해 이어진다. (36)의 출력들은 NN(39)에 대한 입력들의 형태로 제공된다. 이를 위해, LF 공간 주파수들을 포함하는 픽셀 데이터는 직접적으로 전달되는 반면, FIF 공간 주파수들을 포함하는 픽셀 데이터는 NN(39)에 전달되기 전에 데이터 컨디셔닝(38)을 받는다.

(32)(또는 타일링 단계가 사용되지 않으면 (31))로부터 직접적으로 제공되는, (이미지 평면 내 또는 타일 내) 픽셀 데이터의 좌표들은 NN(39)의 다른 입력을 형성한다.

절차(I)(프로파일링) 동안, NN(39)은 목표 픽셀 데이터가 트레이닝되도록 요구한다. 그러한 픽셀 데이터는 FIF 필터(35) 및 데이터 컨디셔닝(37)을 통해 정렬된 이미지로부터 제공된다. 트레이닝에 의해 획득되는 NN 가중치들 및 바이어스들(391)은 또한 광학 시스템 프로파일(33)에 저장된다.

파-필드 이미지 보정 및 포인트 스프레드 함수(PSF) 추출의 프로세스는 절차(34)로서 도 3에 도시되고, 도 4와 관련하여, 보다 상세히 나중에 설명된다.

단계(2c). 도 3을 참조하면, 정렬된 및 캡처된 이미지들(31)(또는 그들의 정렬된 타이들(32))의 데이터는, 다음과 같이, 데이터 공간 주파수들에 따라, 두 부분들로 분리된다:

하나의 부분(35)은 높은 공간 주파수들(이후, 데이터로부터 추출되는 HF 부분)을 갖는 콘텐츠만을 포함하는 반면, 다른 부분(36)은 HF 부분 및 LF 부분(데이터로부터 추출되는, 낮은 공간 주파수들을 갖는 콘텐츠) 둘 다를 가질 것이다. 이러한 분리는 저역 통과 커널 및 고역 통과 커널 각각에 기초한 잘 알려진 선형 필터들의 적용에 의해 실현될 수 있다.

중요하게, LF 부분(36)은 전형적으로 수차들에 의해 영향을 받지 않고, 따라서, 처리 없이, 그대로 전달될 수 있다. 그러나, HF 부분(35)은 바람직한 개선된 이미지를 획득하기 위해 적절하게 보정될 필요가 있다.

언급된 바와 같이, LF 부분(36) 및 HF 부분(35)은 이미지들을 타일들로 분할하는 옵션이 선택되면, '정렬된' 및 '캡처된' 이미지들, 또는 그들의 각각의 타일들에 대해 별도로 둘 다 추출된다.

단계(2d). 도 3을 참조하면, HF 부분으로부터 이전에 획득된 픽셀 데이터는 NN 트레이닝(39)에 대한 입력 데이터(즉, 기준 데이터)의 역할을 하기 위해 컨디셔닝 절차(37)에 의해 준비(즉, '컨디셔닝')된다. 전형적으로, NN(39)은 다수의, 일반적으로, 미지의 입력들에 의존하는 함수 계수들(391)을 추정(또는 근사)하기 위해 머신-러닝 절차에서 사용된다. 이미지-처리에서, NN은 자기-사전트레이닝(self-pretraining) 절차를 위해 기준(입력) 이미지를 사용할 수 있으며, 이는 공지되어 있다.

다양한 공지된 데이터 사전-컨디셔닝 기술들은 일상적으로 NN 트레이닝의 시작(launch) 전에 사용될 수 있다. 재컨디셔닝(37)(NN 트레이닝 후 데이터 조작)은 또한 NN 트레이닝 효율을 개선시키기 위해, 예를 들어 NN 트레이닝 에러를 감소시키기 위해 사용될 수 있다.

재컨디셔닝(37)은 사전-컨디셔닝 단계들(38)의 역과 유사하다. 예를 들어, NN 데이터의 동적 범위가 일부 방식으로 감소되는 경우, NN의 출력은 대응하는 동적 범위 확장으로 재컨디셔닝되어야 한다.

본 발명의 바람직한 실시예에서, 그러한 데이터((38)에 의한 사전 컨디셔닝 및 (37)에 의한 사후 컨디셔닝)는 다음 두 절차들의 임의의 조합을 포함한다:

a. 데이터의 동적 범위의 감소. 일반적으로, NN은 그것이 제한된 동적 범위를 갖는 데이터를 구비할 때 최적으로 동작한다. 데이터의 동적 범위를 감소시키기 위한 많은 잘 알려진 방식들이 존재한다. 하나의 가능한 방식은 입력 픽셀 값들의 합에 의해 또는 최대 입력 픽셀 값에 의해 입력 데이터를 정규화하는 것이다.

b. 픽셀의 값에 대한 비선형성의 적용. 그러한 비선형성은 작은 값들을 갖는 픽셀의 기여도를 강조하는 역할을 하며, 따라서 NN에게 작은-진폭 입력들에 대해 보다 정확한 결과들을 생성하도록 지시한다. 이것은 차례로, 출력 이미지에서 더 양호한 신호 대 잡음비(SNR)를 야기한다. 예를 들어, 도입된 비선형성은 A^(1-alpha)의 형태를 가질 수 있으며, 여기서: A -는 픽셀 값이고 alpha -는 (전형적으로 0.02-0.2의 범위의) 작은 상수이다.

일단 트레이닝되면, NN 알고리즘(데이터 사전- 컨디셔닝 및 사후-컨디셔닝을 포함함)은 수차된(예를 들어, 블러된(blurred)) 이미지를 가능한 한 (수차들이 없는) 완벽에 가까운 것으로 변환하는 방법에 대한 정보(33), 즉, "광학 시스템 프로파일"을 획득할 것이다.

NN(39)은 픽셀형 방식으로 동작한다. 따라서, 특정 픽셀에 대한 수차들을 보정하기 위해, 이러한 픽셀의 (입력 캡처된 이미지(32) 내의) 특정 이웃(neighborhood)이 처리된다. 본 발명의 바람직한 실시예에서, 데이터는 도 3을 참조하여 상세히 설명되는 바와 같이, NN 입력들 및 출력들에 대해 준비된다.

NN(39)은 처리된 픽셀들의 위치의 지식을 구비하여, NN(39)이 주어진 타일에 걸쳐 PSF의 가변성에 적응하도록 효과적으로 허용한다. 이러한 목적을 위해, 픽셀 좌표들(31)은 캡처된 이미지(34)로부터 취해지는 타일링 단계(32)로부터 NN(33)의 입력들에 전달된다.

캡처된 이미지 타일들(32)로부터의 FIF 부분(36)은 전술한 '데이터 컨디셔닝'(38)을 받은 후에 NN(39)의 입력들로 전달된다. 이러한 FIF 부분(36)은 캡처된 이미지의 (예를 들어, 처리되는 픽셀로부터 9개의 픽셀 거리 미만의) 특정 이웃 내의 픽셀들을 사용하여 추출된다.

정렬된 이미지 타일들(32)로부터 처리되는 픽셀들의 HF 부분(35)은 또한 전술한 '데이터 컨디셔닝'(37)을 받은 후에 NN(39)의 출력들에 전달되고 NN 출력 데이터로서의 역할을 한다.

더욱이, 캡처된 이미지 타일들(32)의 LF 부분(36)은 NN(39)의 입력들로 전달된다. 언급된 바와 같이, 이러한 LF 부분(36)은 캡처된 이미지의 (예를 들어, 처리되는 픽셀로부터 8개의 픽셀 거리보다 더 먼) 더 큰 이웃 내의 픽셀들을 사용하여 추출된다.

본 발명의 일부 실시예들에서, 픽셀 입력 데이터는 이미징 시스템 신호 프로세서(ISP)에 의해 제공되는 임의의 처리 없이, 모자이크-필터링된 센서로부터 직접적으로 획득된다는 점이 주목되어야 한다. 예를 들어, 베이어(Bayer) 필터가 사용될 수 있으며, 이는 RGB 컬러 필터들을 정사각형 그리드 패턴으로 배열하기 위해 포토-센서 매트릭스에 적용되는 컬러 필터 모자이크 어레이이다. 그러한 컬러 필터들의 배열은 디지털 컬러 카메라들, 캠코더들, 및 스캐너들에서 발견되는 대부분의 단일-칩 디지털 이미지 센서들에서 사용된다. 그러한 경우에서, 도 6과 관련하여 나중에 설명되는 바와 같이, 한번에 출력에서 다수의 픽셀 값들(베이어 패턴의 경우 쿼드 픽셀들)을 생성하는 그러한 유형의 NN을 사용하는 것이 가능하다.

일단 모든 입력 및 출력 데이터가 준비되면, NN 트레이닝이 시작된다.

본 발명의 바람직한 실시예에서, 트레이닝은 예를 들어, 레벤베르크-마르카르트와 같은, 잘 알려진 트레이닝 알고리즘들을 사용하여 수행된다. 트레이닝된 NN의 가중치들(도 4에서 마킹된 (391))은 추출되고 파-필드 보정 단계(34)로부터 획득되는 커널과 함께 '광학 시스템 프로파일'의 형태로 저장된다. 가중치들 및 커널은 각각의 타일들에 대하여 고유하므로, 각각의 타일은 그 자체 세트의 그러한 파라미터들을 갖는다.

언급된 바와 같이, 본 발명의 바람직한 실시예는 2개의, 일반적으로 분리된, 절차들을 포함한다: 절차(I), 이는 '광학 시스템 프로파일'을 생성하고 절차(II) - 이는 캡처된 이미지의 광학 수차들을 감소시키기 위해, 동일한(즉, 일치하는) 광학 시스템에 의해 획득되는 이미지에 절차(I)에서 획득되는 프로파일을 적용한다.

광학 시스템에 대한 프로파일 생성(절차(I))의 완전한 프로세스는 도 3을 참조하여 설명되었다. 파-필드 이미지 보정(34) 및 포인트-스프레드 함수(PSF) 추출(단계(2a-2b))은 도 4를 참조하여, 보다 상세히 여기에서 설명된다.

단계(2a)에서, 이미지들(도 2에서 (24))로서 초기에 도시된, 카메라의 시야에 의해 제공됨)은 타일 분리 절차(40)를 사용하여, 캡처된 이미지(42) 및 정렬된 이미지(41)의 "타일들(tiles)'로 각각 이하에서 칭하여지는, 더 작은 부분들로 선택적으로 분할될 수 있다.

전술한 PSF는 광학 시스템 시야 내의 다양한 피처들의 크기, 집중도 및 분포 상의 그것의 의존성으로 인한 그것의 본질에 의해 매우 가변적이다. 따라서, (선택) 단계(41) 및 단계(42)는 일반적으로 주어진 광학 시스템의 시야 내에서 그러한 PSF 형상의 가변성을 감소시키기 위해 수행된다. 각각의 단일 타일 내에서, PSF 가변성(즉, 수차들)은 (여전히 존재하지만) 더 낮고, 따라서, 원본의 (캡처된 및/또는 정렬된) 이미지들과 비교하여, 보다 효과적으로 보상될 수 있다.

단계(2b)에서, 소위 원격 보정이 수행되며, 이는 도 4와 관련하여 아래에 설명된다. PSF 근사(approximation)가 추출되고(43) 그 다음 두 부분들로 분리된다: (예를 들어, 6개 픽셀 미만의 반경을 갖는) 처리된 픽셀의 특정 이웃 내에서 산출되는 니어-필드 부분(44); 및 FSF(및 수차들)가 근거리 부분 반경의 외측에서 추출되는 파-필드 부분(46).

입력 데이터로부터 PSF 근사(43)의 언급된 추출은 종래 기술에 공지된 많은 방법들 중 하나에 기초할 수 있으며, 예를 들어 Felix 등을 참조한다. 이러한 보고된 방법이 매우 정확한 PSF 추정을 제공하는 반면, 그것은 매우 시간 소모적이다. 계산 부하를 감소시키기 위해, 더 간단한 방법이 훨씬 더 바람직할 것이다.

본 개시의 바람직한 실시예에서, 다음의 접근법은 (43)에 대해 구현된다: i) 캡처된 이미지의 타일의 2차원(2D) 푸리에 변환은 정렬된 이미지의 대응하는 타일의 2D 푸리에 변환에 의해 분할되며, ii) 결과는 2D 역 푸리에 변환으로 다시 변환된다.

그러한 접근법은 당업자에게 잘 알려져 있다. 잠재적인 노이즈 과다 증폭(즉, 정렬된 이미지의 낮은-진폭 이미지 주파수)을 회피하기 위해, 가딩(guarding) 바이어스 값(들)이 정렬된 이미지의 주파수 성분의 값들에 추가되어야 한다는 것을 언급할 가치가 있다.

파-필드 커널 산출(45) 및 컨볼루션(47)은 파-필드 부분에 의해 야기되는 수차들 및 블러(blue)를 갖는 이미지가 보정되도록 초래한다. 선택된 파-필드 보정의 파라미터들(즉, 파-필드 보정(46)으로부터 획득되는 커널 계수들(45))은, 아래에 설명되는 바와 같이, 광학 시스템 프로파일들과 함께, 나중에 사용하기 위해 기록된다.

이미지 처리에서, 커널은 이미지의 수정(예를 들어 첨예화, 블러링, 에지 검출 등)을 위해 사용되는 (이미지 자체보다 훨씬 더 작은) 컨볼루션 매트릭스이다. 이것은 특정 커널과 선택 이미지 사이에 매트릭스 컨볼루션 연산 (operation)을 적용함으로써 달성된다.

PSF(44)의 니어-필드 부분은 니어-필드 PSF에 대한 단순 반전이 출력 이미지의 상당한 노이즈 확대 없이 불가능하기 때문에 폐기된다.

니어-필드 및 파-필드로의 전술한 분리 (44) 및 (46)에 대한 이유는 두 부분이다. 첫째, 파-필드 보정은 노이즈를 증폭시키지 않아서, 바람직하지 않은 아티팩트들을 제거하고, 따라서, 더 적은 계산 자원들을 필요로하는 상대적으로 더 단순한 방법들에 의해 수행될 수 있다. 둘째, 그러한 니어-필드 보정은 제한된 양의 입력 데이터가 처리되도록 요구하며, 따라서 처리 요건들을 더 감소시킨다. 그러한 분리는 산술적으로 수행된다. 가장 단순한 방식으로, 특정 반경 내의 모든 PSF 값들은 근거리 부분(near-part)을 형성하고 있는 반면, 이러한 반경 밖의 모든 PSF 값들은 원거리 부분(far-part)을 형성하고 있다. 실제로 비록, 이들 두 부분들 사이에 일부 평활한 전이 영역(transitional region)이 존재한다.

그러한 평활한 전이를 갖기 위해, 주파수 도메인 접근법이 바람직하고 PSF의 2차원 고속-푸리에 변환(2D FFT)이 산출된다.

파-필드 부분(46)은 주파수 성분들과 고주파들에서 제로 진폭을 갖는 반면에 저주파들에서 단위 값들에 접근하는 윈도우를 곱하여 획득된다. 가우스(Gaussian) 2D 분포는 그러한 윈도우의 편리한 예일 것이다.

2D 역 변환은 공간 도메인에서 파-필드 부분(36)을 획득하기 위해 이용된다.

파-필드 보정들은 임의의 고-주파수 공간 성분들을 갖지 않으므로, 그것의 적용은 임의의 고-주파수 노이즈 성분을 증폭하지 않는다. 따라서, 파-필드 커널 구성 절차(45)는 일부 잘 알려진 방법들에 의해 직접적으로 실현될 수 있다.

바람직한 실시예에서 사용되는 방법은 입력 이미지와 획득된 원거리-부분 PSF의 컨볼루션을 이용한 다음에, 입력 이미지로부터 결과의 감산이 이어진다. 그러한 (상대적으로 단순한) 접근법은 광학 시스템에 의해 야기되는 1차 블러 및 수차들을 효과적으로 보정할 것이다.

소위 2차 수차들은 (처리를 위해 사용되는) 캡처된 이미지가 이미 수차된다는 사실로 인해 여전히 유도될 수 있다는 점이 주목되어야 하며, 그러나, 전형적인 광학 시스템들에서, 파-필드 효과들은 진폭에서 낮으므로, 그러한 전술한 보정의 2차 효과들은 무시할 수 있다.

파-필드 커널(45)이 구성되는 경우, 그것의 계수들은 광학 시스템 프로파일에 전달된다. 그 다음, 커널은 캡처된 이미지 타일 픽셀 데이터와 컨볼루션되어(47), (이전 도 3에서 (34)-(36) 연결로서 도시된) 파-필드 보정의 다른 출력을 야기한다. 이러한 출력은 니어-필드 잔여 수차들(48)만을 포함하는 타일이다.

절차(II)는 본 발명의 바람직한 실시예에 대한 도 5를 참조하여 여기서 상세히 설명되는 바와 같은, 캡처된 이미지에 대한 설명된 '디지털 렌즈'의 적용이다.

원본의 캡처된 이미지(52) 및 광학 시스템 프로파일(56)은 절차(II) 처리를 위한 입력들이다. 원본의 이미지의 픽셀 데이터는 (선택적으로) 타일들(54)로 분리된다. 그것은 광학 시스템 프로파일(56)로부터의 커널 계수들을 사용하여 파-필드 보정(55)을 더 겪는다. 그 후, 픽셀 데이터는 LF/HF 분리(57)를 통과하며 그것의 출력들은 NN(590)에 대한 입력들이다.

따라서, LF 공간 주파수들만을 포함하는 픽셀 데이터는 직접적으로 전달되는 반면, HF 공간 주파수들을 포함하는 픽셀 데이터는 NN(590)으로 전송되기 전에 데이터 컨디셔닝(591)을 겪는다.

NN(590)에 대한 더 다른 입력은 (이미지 평면 내의 또는 타일 내의) 픽셀 데이터의 좌표이며, 이는 (54)에 의해 (또는 타일링 절차가 사용되지 않는 경우 (52)에 의해 직접적으로) 제공된다.

NN(590)의 가중치들 및 바이어스들은 광학 시스템 프로파일(56)로부터 주어진 타일에 대해 획득된다. NN(590)의 출력은 데이터 재-컨디셔닝(593)을 겪고 LF/HF 분리 필터(57)로부터 획득되는 LF 출력과 합산된다(58). 합산된 결과는 더 재결합되어(53) 개별 타일들을 (타일링 단계가 사용된 경우) 단일 이미지로 병합한다. 그러한 병합(merging)은 보정된 출력 이미지(51)를 형성한다.

임의의 캡처된 장면의 처리는 (프로파일(56)이 이미 절차(I)(도 4, (43))에서 이러한 시스템을 위해 준비되었지만) 절차(I)(광학 시스템 프로파일링)와 유사한 처리를 사용하여 수행되며, 데이터-흐름에서 단지 몇 가지의 변화들을 갖는다.

입력(52)은 처리될 캡처된 장면이고 절차(I), 단계(2a)에서 설명되는 것과 유사한 방식으로 타일링 절차(54)를 통해 전달되며, 도 3 및 도 4를 참조한다.

그 다음, 파-필드 보정(55)은 파-필드 보정 커널이 절차(I), 단계(2c)에서 획득되는 것으로 이미 공지되어 있다는 차이점과 함께, 절차(I), 단계(2b)에서 설명되는 것과 유사한 방식으로 수행되며, 도 4를 참조한다.

그 다음, 이미지 데이터는 절차(I), 단계(2c)에서 설명되는 LF/HF 분리 절차와 유사하게, LF 부분 및 FIF 부분(57)으로 분리되며, 도 3을 참조한다.

FIF 부분은 절차(I), 단계(2d)에서 설명되는 컨디셔닝과 유사하게, 픽셀 데이터의 컨디셔닝 절차(591)를 통해 더 전달되며, 도 4를 참조한다.

상세한 절차들(52, 54, 및 55)은, 절차(I)에서 획득되는 광학 시스템 프로파일(56)과 함께, NN(590)에 대한 입력 데이터를 형성한다. 이러한 데이터는 픽셀 좌표들의 관점에서 시스템 프로파일링 단계 동안 절차(I)에서 획득되는 것과 유사하다. 이전과 같이, 그것은 또한 상이한 이웃들 내에서 처리되는 픽셀들의 LF, 및 FIF 부분을 갖는다.

궁극적으로, NN(590)의 출력의 다음 처리는 광학 수차들이 제거되었다는 의미에서, 원하는 이미지인 (타일 병합(53)을 통한) 이미지(51)를 형성한다. 구체적으로, NN(590) 출력 값은 데이터 재컨디셔닝 절차(592)을 겪는 중이며, 이는 본 발명의 바람직한 실시예에서, 데이터 컨디셔닝 절차(590)의 ab 산술 역(arithmetic inverse)에 의해 실현된다. 이러한 결과는 처리된 픽셀들의 LF 부분(57)과 함께 (58)에 의해 그 후에 합산된다.

최종적으로, 입력 이미지의 모든 처리된 타일들(53)은 재결합되어, 단일 출력 이미지(51)를 형성한다. 본 발명의 바람직한 실시예에서, (53)에서 결합되는 타일들은 일부 중첩 영역들을 갖는다. 이들 영역들에서, 처리 결과(53)는 하나의 타일로부터 다른 타일로 평활하게 감쇠되어, 그들이 최종 이미지(51)로 병합하는 동안 임의의 가시적인 심들(seams)을 제거한다. 그러한 가시적인 심들은 보정된 출력으로부터 타일 대 타일 편차에 의해 야기된다.

본 발명의 다른 실시예에서, 디지털 렌즈 처리의 속도 최적화들이 수행될 수 있다. 따라서, 도 6을 참조하면, 단일 픽셀을 출력하기 위해, 입력 이미지 내의 픽셀의 이웃(61)은 NN(62)을 적용함으로써 처리된다. 이러한 이웃의 크기(예를 들어 프로파일링 절차에서 선택되는 '직경'(61))는 광학 시스템 특성들에 의존한다. 예를 들어, 베이어 필터가 입력 및 출력 데이터에 대해 사용되는 경우, 이때, 4-픽셀 쿼드(RG/GB)(63)가 한번에 계산될 수 있다.

본 발명의 더 다른 실시예에서, 모니터(디스플레이, 가상 현실 헤드셋 또는 뷰파인더 접압 렌즈)는 광학 시스템의 프로파일링 절차를 위해 사용될 수 있다. 그러한 실시예에서, 모니터는 프로파일링 이미지들을 표시하기 위해 사용되고; 고품질/고해상도 카메라는 관측자 눈이 정상 동작 동안에 있을 위치에 정확하게 배치되고; 프로파일링 이미지들은 이러한 카메라로 캡처된다. 그 다음, 광학 시스템 프로파일은 상술된 방법과 유사하게 생성된다.

도 7을 참조하면, 그러한 실시예의 정상 동작 동안에 보정된 이미지를 획득하기 위해, 이미지(71)는 초기에 디지털 렌즈 보정(72)을 통해 전달되고, 그 다음, 디스플레이 장치(73)로 전송된다. 그 다음, 보정된 이미지는 관측자에 의해 관측된다(74).

VR 헤드셋의 추가 개선들은 최적 성능을 위해 (아이-트래커(eye-tracker)에 의한) 눈동자(eye pupil) 위치 추적을 포함한다. 이 경우의 완벽한 광학 시스템은 일반적으로, 임의의(최적이 아닌) 위치를 갖는 눈동자를 포함한다. 광학 시스템의 나머지에 대해 상대적으로 눈의 위치를 아는 것은 그러한 시스템에서 발생하는 수차들의 정확한 보정을 허용한다.

수개의 예시적 실시예들이 본원에 도시되고 설명되었지만, 당업자들은 많은 수정들 및 변경들이 본 발명의 사상 및 범위로부터 벗어나는 것 없이 가능하고, 그것은 첨부된 청구항들에 의해서만 본 발명을 측정하도록 의도된다는 점을 인식할 것이다.

Claims

광학 수차들을 제거하기 위한 광학 이미징 방법으로서, 캡처된 이미지는 광학 시스템에 의해 캡처되며,
제1 절차 및 제2 절차를 포함하되, 상기 제1 절차는 상기 제2 절차보다 앞에 수행되며,
상기 제1 절차는:
광학 시스템 정보를 수집하는 단계,
포인트-스프레드 함수(PSF)를 추출하는 단계,
상기 PSF를 부분들로 분리하는 단계로서, 상기 부분들은 적어도 니어-필드(near-field) 부분 및 파-필드(far-field) 부분인 상기 단계,
파-필드 보정을 생성하는 단계,
신경망(neural-network(NN))을 트레이닝하는 단계,
상기 NN의 가중 계수들을 추출하는 단계, 및
광학 시스템 프로파일을 생성하는 단계로 구성되고;
상기 제2 절차는:
상기 광학 시스템에서 원본 이미지를 생성하는 단계,
상기 파-필드 보정을 적용하는 단계,
NN 출력을 산출하는 단계, 및
보정된 이미지를 생성하는 단계로 구성되며,
상기 보정된 이미지는 감소된 광학 수차들을 갖는 상기 원본 이미지인 방법.
제1항에 있어서,
상기 제1 절차는:
상기 광학 시스템 정보를 수집하는 단계로서, 상기 광학 시스템 정보는 초점 거리, 조리개 크기, 및 초점 길이인 상기 단계,
한 세트의 컴퓨터-생성 차트들을 생성하는 단계,
상기 광학 시스템에 의해 상기 컴푸터-생성 차트들의 캡처된 이미지들의 시퀀스를 생성하는 단계,
상기 캡처된 이미지들의 시퀀스와 상기 컴퓨터-생성 차트들 사이의 기하학적 정렬 및 방사상 정렬을 수행하는 단계,
상기 기하학적 정렬 및 상기 방사상 정렬로부터 정렬된 이미지를 생성하는 단계, 및
상기 정렬된 이미지 내에 가까운 이웃(neighborhood) 및 먼 이웃을 생성하는 단계를 더 포함하는 방법.
제2항에 있어서,
상기 니어-필드 부분은 상기 가까운 이웃을 사용하여 산출되고, 상기 파-필드 부분은 상기 먼 이웃을 사용하여 산출되는 방법.
제2항에 있어서,
상기 파-필드 보정은 상기 파-필드 커널과 상기 정렬된 이미지의 컨볼루션이며, 상기 파-필드 보정 이미지는 니어-필드 수차들만을 포함하는 방법.
제2항에 있어서,
상기 광학 시스템 정보는 렌즈 제조자 파라미터들을 포함하는 방법.
제2항에 있어서,
상기 제1 절차는:
상기 정렬된 이미지를 상기 가까운 이웃을 사용하여 산출되는 낮은 공간 주파수들을 포함하는 정렬된 낮은 공간 주파수(LF) 부분, 및 상기 먼 이웃을 사용하여 산출되는 높은 공간 주파수들만을 포함하는 높은 공간 주파수(FIF) 부분으로 분리하는 단계,
상기 정렬된 FIF 부분을 사용하여 사전-컨디셔닝된 정렬된 HF 부분을 산출하는 단계, 및
NN에 대한 제1 입력 데이터를 제공하는 단계를 더 포함하며,
상기 제1 입력 데이터는 상기 사전-컨디셔닝된 정렬된 FIF 부분과 캡처된 LF 부분의 조합인 방법.
제6항에 있어서,
상기 정렬된 LF 부분은 선형 저역 통과 필터를 사용하여 산출되고 상기 정렬된 HF 부분은 선형 고역 통과 필터를 사용하여 산출되는 방법.
제6항에 있어서,
상기 사전-컨디셔닝된 정렬된 HF는 상기 정렬된 LF 부분의 동적 범위 감소와 상기 정렬된 LF 부분에 대한 비선형성의 적용의 조합을 포함하는 방법.
제2항에 있어서,
상기 캡처된 이미지로부터 캡처된 타일들의 추출, 및 상기 정렬된 이미지로부터 정렬된 타일들의 추출을 더 포함하는 방법.
제9항에 있어서,
상기 단일 보정 이미지의 상기 형성 단계는 보정된 타일들을 병합하는 단계를 포함하는 방법.
제10항에 있어서,
상기 보정된 타일들의 상기 병합 단계는 상기 보정된 타일들 사이의 심들(seams)의 제거를 포함하는 방법.
제1항에 있어서,
파-필드 커널 계수들은 상기 파-필드 부분으로부터 산출되는 방법.
제1항에 있어서,
상기 광학 시스템 프로파일은 상기 NN 가중 계수들 및 상기 파-필드 커널 계수들을 포함하는 데이터이며, 상기 광학 시스템 프로파일은 각각의 정렬된 이미지마다 고유한 방법.
제1항에 있어서,
상기 제2 절차는:
상기 원본 이미지 내에 가까운 이웃 및 먼 이웃을 생성하는 단계,
상기 원본 이미지를 상기 가까운 이웃을 사용하여 산출되는 낮은 공간 주파수만을 포함하는 원본 LF 부분, 및 상기 먼 이웃을 사용하여 산출되는 높은 공간 주파수들만을 포함하는 원본 HF 부분으로 분리하는 단계,
상기 원본 FIF 부분을 사용하여 사전-컨디셔닝된 원본 FIF 부분을 산출하는 단계,
상기 NN에 대한 제2 입력 데이터를 제공하는 단계로서, 상기 제2 입력 데이터는 상기 광학 시스템 프로파일, 상기 사전-컨디셔닝된 원본 FIF 부분 및 원본 LF 부분의 조합인 상기 단계,
상기 NN의출력 값으로부터 재컨디셔닝된 NN 출력을 산출하는 단계, 및
상기 재컨디셔닝된 NN의 상기 출력 값과 상기 원본 LF 부분의 합산을 수행하는 단계를 더 포함하는 방법.
제14항에 있어서,
상기 재컨디셔닝된 NN 출력은 사전-컨디셔닝된 캡처된 FIF 부분의 산술 역(arithmetic inverse)을 사용하여 산출되는 방법.
제1항에 있어서,
상기 광학 시스템은 카메라인 방법.
제1항에 있어서,
상기 광학 시스템은 뷰파인더 접안 렌즈인 방법.
1제1항에 있어서,
상기 광학 시스템은 디스플레이인 방법.
제1항에 있어서,
상기 NN의 상기 출력 값은 다수의 픽셀 값들을 갖는 방법.
제1항에 있어서,
재컨디셔닝은 상기 NN의 상기 트레이닝의 단계에서 에러를 감소시키기 위해 사용되며, 상기 재컨디셔닝은 사전-컨디셔닝에 역(inverse)인 방법.
제1항에 있어서,
상기 PSF의 상기 분리는 2D FFT를 사용하여 수행되는 방법.
광학 수차들을 제거하기 위한 광학 시스템으로서, 상기 광학 시스템은 광학 프로파일을 가지며, 상기 광학 시스템은:
광학 수차들을 갖는 캡처된 이미지를 형성하는 렌즈,
상기 광학 시스템 내에 배치되는 감광성 요소들의 어레이,
상기 캡처된 이미지를 디지털 이미지로 변환시키기 위한 변환 구성요소, 및
상기 광학 프로파일에 기초한 보정들을 통해 상기 디지털 이미지로부터 상기 광학 수차들을 제거함으로써 보정된 이미를 형성하도록 구성되는 계산 구성요소를 포함하며, 상기 광학 수차들은 종방향 수차들을 포함하는 광학 시스템.
디스플레이를 갖는 헤드셋에 있어서,
상기 헤드셋은:
광학 프로파일을 갖는 광학 시스템으로서, 상기 광학 시스템에 의해 생성되는 이미지가 광학 수차들을 갖는 상기 광학 시스템, 및
상기 광학 프로파일에 기초한 보정들을 통해 상기 광학 수차들을 제거함으로써 보정된 이미지를 생성하도록 구성되는 계산 구성요소를 포함하며, 상기 광학 수차들은 종방향 수차들을 포함하고, 상기 보정된 이미지는 상기 디스플레이 상에 표시되는 헤드셋.
제22항에 있어서,
상기 광학 프로파일은 상기 광학 시스템 정보를 수집하고, 포인트-스프레드 함수(PSF)를 추출하고, 상기 PSF를 부분들로서 분리하고 - 상기 부분들은 적어도 니어-필드 부분 및 파-필드 부분임 -, 파-필드 보정을 생성하고, 신경망(NN)을 트레이닝하고, 상기 NN의 가중 계수들을 추출하고, 광학 시스템 프로파일을 생성함으로써 형성되고; 상기 보정들은 디지털 이미지를 생성하고, 상기 파-필드 보정을 적용하고, NN 출력을 산출하고, 상기 보정된 이미지를 형성함으로써 적용되는 광학 시스템.
제23항에 있어서,
상기 광학 프로파일은 상기 광학 시스템 정보를 수집하고, 포인트-스프레드 함수(PSF)를 추출하고, 상기 PSF를 부분들로 분리하고 - 상기 부분들은 적어도 니어-필드 부분 및 파-필드 부분임 -, 파-필드 보정을 생성하고, 신경망(NN)을 트레이닝하고, 상기 NN의 가중 계수들을 추출하고, 광학 시스템 프로파일을 생성함으로써 형성되고; 상기 보정들은 디지털 이미지를 생성하고, 파-필드 보정을 적용하고, NN 출력을 산출하고, 보정된 이미지를 생성함으로써 적용되는 헤드셋.