KR20230163701A

KR20230163701A - 렌즈 시뮬레이션 방법 및 그 시스템

Info

Publication number: KR20230163701A
Application number: KR1020220063312A
Authority: KR
Inventors: 김성재; 김해진; 김경환; 엄영섭
Original assignee: 경상국립대학교산학협력단; 고려대학교 산학협력단
Priority date: 2022-05-24
Filing date: 2022-05-24
Publication date: 2023-12-01
Also published as: WO2023229351A1; KR102699699B1

Abstract

딥러닝 기반의 렌즈 시뮬레이션 방법 및 그 시스템이 제공된다. 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 방법은, 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하고, 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 타깃 렌즈의 광학적 특성값을 예측하며, 예측된 광학적 특성값을 이용하여 타깃 렌즈를 통해 보이는 시야를 정확하게 시뮬레이션할 수 있다.

Description

렌즈 시뮬레이션 방법 및 그 시스템{METHOD FOR SIMULATING LENS AND SYSTEM THEREOF}

본 개시는 렌즈를 통해 보이는 시야를 시뮬레이션하는 방법 및 그 방법을 수행하는 시스템에 관한 것이다.

인공수정체 삽입술은 백내장으로 인해 혼탁해진 수정체를 제거하고 인공수정체를 삽입하는 수술이다. 최근에는, 단초점 인공수정체뿐만 아니라 다초점 인공수정체도 백내장 환자들에게 많이 사용되고 있다. 다초점 인공수정체는 다수의 초점거리를 갖는 인공수정체인데, 근거리와 원거리의 물체를 모두 선명하게 볼 수 있는 것으로 알려져 있다.

그러나, 인공수정체 삽입술을 받은 환자들이 시야의 질에 대한 불만으로 인공수정체 제거술을 받는 경우가 종종 있다. 예를 들어, 다초점 인공수정체 삽입술을 받은 환자들 중 일부는 시야에서 빛 번짐(glare; 도 1에 도시된 이미지 1 참조), 빛 퍼짐(halo), 빛 폭발(starburst) 현상이 나타나거나, 특정 거리(e.g. 다초점 인공수정체의 초점 거리 사이에 있는 물체)에 있는 물체가 흐릿하게 보이는 문제를 겪고 있다. 따라서, 인공수정체 삽입술을 받기 전에, 환자들이 인공수정체를 통해 보이는 시야를 미리 경험하고 수술 여부를 결정할 수 있는 과정이 필요하다.

이와 관련하여, 실외에서 인공수정체를 통해 보이는 시야를 시뮬레이션할 수 있는 이동형 모델아이가 제안된 바 있다. 그러나, 제안된 모델아이는 실물 인공수정체를 필요로 하기 때문에, 광학적 특성이 상이한 다양한 인공수정체들을 제한없이 시뮬레이션해 보기 어렵다는 문제가 있다.

한국등록특허 제10-2118995호 (2020.06.26 공고)

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 기술적 과제는, 렌즈를 통해 보이는 시야를 정확하게 시뮬레이션할 수 있는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 다른 기술적 과제는, 서로 다른 광학적 특성을 갖는 다양한 렌즈들을 제한없이 시뮬레이션할 수 있는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 렌즈의 광학적 특성값을 정확하게 예측하는 딥러닝 모델을 구축할 수 있는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 렌즈의 광학적 특성값을 예측하는 딥러닝 모델을 구축하기 위한 트레이닝셋을 용이하게 생성할 수 있는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.

본 개시의 몇몇 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 렌즈의 광학적 특성값을 이용하여 렌즈를 통해 보이는 시야를 정확하게 시뮬레이션할 수 있는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.

본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 기술적 과제를 해결하기 위한, 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 방법은, 적어도 하나의 컴퓨팅 장치에 의해 수행되는 방법으로서, 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하는 단계, 상기 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 상기 타깃 렌즈의 광학적 특성값을 예측하는 단계 및 상기 예측된 광학적 특성값을 이용하여 상기 타깃 렌즈를 통해 보이는 시야를 시뮬레이션하는 단계를 포함할 수 있다.

일 실시예에서, 상기 패턴 이미지는 USAF 타깃 이미지일 수 있다.

일 실시예에서, 상기 광학적 특성값은 MTF(Modulation Transfer Function) 값 및 디포커스 값을 포함할 수 있다.

일 실시예에서, 상기 딥러닝 모델은 컨볼루션 신경망(Convolutional Neural Network) 기반의 모델일 수 있다.

일 실시예에서, 상기 타깃 렌즈는 인공수정체일 수 있다.

일 실시예에서, 상기 시뮬레이션하는 단계는, 원본 시야 이미지에 상기 예측된 광학적 특성값에 따른 디포커스 효과를 주입하는 단계를 포함할 수 있다.

일 실시예에서, 상기 예측된 광학적 특성값은 MTF(Modulation Transfer Function) 값 및 디포커스 값을 포함하고, 상기 디포커스 효과를 주입하는 단계는, 상기 MTF 값 및 상기 디포커스 값을 이용하여 블러(blur) 필터의 강도를 결정하는 단계 및 상기 결정된 강도를 갖는 블러 필터를 상기 원본 시야 이미지에 적용하는 단계를 포함할 수 있다.

일 실시예에서, 상기 예측된 광학적 특성값은 제1 물체 거리에 대응되는 제1 특성값과 상기 제1 물체 거리와 상이한 제2 물체 거리에 대응되는 제2 특성값을 포함하고, 상기 디포커스 효과를 주입하는 단계는, 상기 원본 시야 이미지 내에서 상기 제1 물체 거리를 갖는 영역에 상기 제1 특성값에 따른 디포커스 효과를 주입하는 단계 및 상기 원본 시야 이미지 내에서 상기 제2 물체 거리를 갖는 영역에 상기 제2 특성값에 따른 디포커스 효과를 주입하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한, 본 개시의 다른 몇몇 실시예들에 따른 렌즈 시뮬레이션 방법은, 적어도 하나의 컴퓨팅 장치에 의해 수행되는 방법으로서, 복수의 패턴 이미지들과 상기 복수의 패턴 이미지들에 대응되는 렌즈의 광학적 특성값들로 구성된 데이터셋을 획득하는 단계, 상기 획득된 데이터셋을 전처리하여 트레이닝셋을 생성하는 단계 및 상기 생성된 트레이닝셋을 이용하여 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하는 딥러닝 모델을 구축하는 단계를 포함할 수 있다.

일 실시예에서, 상기 트레이닝셋을 생성하는 단계는, 픽셀 값의 분포를 이용하여 상기 복수의 패턴 이미지들 각각에서 정렬 영역을 설정하는 단계 및 상기 설정된 정렬 영역이 정렬(align)되도록 하는 처리를 수행하는 단계를 포함할 수 있다.

일 실시예에서, 상기 트레이닝셋을 생성하는 단계는, 보간법(interpolation) 또는 보외법(extrapolation)을 통해 상기 복수의 패턴 이미지들로부터 신규 패턴 이미지를 생성하는 단계 및 상기 신규 패턴 이미지에 대응되는 광학적 특성값을 생성하는 단계를 포함할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 시스템은, 하나 이상의 인스트럭션을 저장하는 메모리 및 하나 이상의 프로세서를 포함하되, 상기 하나 이상의 프로세서는, 상기 저장된 하나 이상의 인스트럭션을 실행시킴으로써, 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하는 동작, 상기 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 상기 타깃 렌즈의 광학적 특성값을 예측하는 동작 및 상기 예측된 타깃 렌즈의 광학적 특성값을 이용하여 상기 타깃 렌즈를 통해 보이는 시야를 시뮬레이션하는 동작을 수행할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 다른 몇몇 실시예들에 따른 렌즈 시뮬레이션 시스템은, 하나 이상의 인스트럭션을 저장하는 메모리 및 하나 이상의 프로세서를 포함하되, 상기 하나 이상의 프로세서는, 상기 저장된 하나 이상의 인스트럭션을 실행시킴으로써, 복수의 패턴 이미지들과 상기 복수의 패턴 이미지들에 대응되는 렌즈의 광학적 특성값들로 구성된 데이터셋을 획득하는 동작, 상기 획득된 데이터셋을 전처리하여 트레이닝셋을 생성하는 동작 및 상기 생성된 트레이닝셋을 이용하여 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하는 딥러닝 모델을 구축하는 동작을 수행할 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 몇몇 실시예들에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하는 단계, 상기 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 상기 타깃 렌즈의 광학적 특성값을 예측하는 단계 및 상기 예측된 광학적 특성값을 이용하여 상기 타깃 렌즈를 통해 보이는 시야를 시뮬레이션하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 다른 몇몇 실시예들에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합되어, 복수의 패턴 이미지들과 상기 복수의 패턴 이미지들에 대응되는 렌즈의 광학적 특성값들로 구성된 데이터셋을 획득하는 단계, 상기 획득된 데이터셋을 전처리하여 트레이닝셋을 생성하는 단계 및 상기 생성된 트레이닝셋을 이용하여 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하는 딥러닝 모델을 구축하는 단계를 실행시키기 위하여, 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.

본 개시의 몇몇 실시예들에 따르면, 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 통해 타깃 렌즈의 광학적 특성값이 예측되고, 예측된 광학적 특성값에 따른 디포커스 효과를 원본 시야 이미지에 주입함으로써, 타깃 렌즈를 통해 보이는 시야가 정확하게 시뮬레이션될 수 있다. 가령, 타깃 렌즈가 인공수정체인 경우 인공수정체를 통해 보이는 시야가 정확하게 시뮬레이션될 수 있는데, 이러한 경우 인공수정체 삽입술을 받기 전에 환자(e.g. 백내장 환자)가 해당 수술의 효과를 간접적으로 경험할 수 있게 된다. 나아가, 다양한 인공수정체들(e.g. 단초점 인공수정체, 다초점 인공수정체, 광학적 특성값이 상이한 다수의 인공수정체들)에 대한 시뮬레이션 결과는 환자가 자신에게 적합한 인공수정체를 선택하는 데 큰 도움이 될 수 있다.

또한, 타깃 렌즈의 광학적 특성값을 이용하여 타깃 렌즈를 통해 보이는 시야가 시뮬레이션되기 때문에, 타깃 렌즈가 실물로 제조될 필요가 없다. 이에 따라, 다양한 렌즈들이 제한없이 시뮬레이션될 수 있으며, 시뮬레이션에 소요되는 비용도 크게 절감될 수 있다. 나아가, 시뮬레이션에 소요되는 시간 또한 크게 단축될 수 있다.

또한, 패턴 이미지들의 패턴 위치를 정렬(align)시킴으로써 딥러닝 모델을 위한 트레이닝셋이 생성될 수 있다. 이에 따라, 고품질의 트레이닝셋이 용이하게 확보될 수 있으며, 딥러닝 모델의 예측 성능은 크게 향상될 수 있다.

또한, 보간법(interpolation) 또는 보외법(extrapolation)을 통해 패턴 이미지와 이에 대응되는 광학적 특성값으로 구성된 데이터셋을 증강(augmentation)시킴으로써, 딥러닝 모델을 위한 트레이닝셋이 생성될 수 있다. 이에 따라, 상대적으로 저렴한 비용으로 대량의 트레이닝셋이 용이하게 확보될 수 있으며, 딥러닝 모델의 예측 성능은 더욱 향상될 수 있다.

또한, 딥러닝 모델을 통해 예측된 타깃 렌즈의 광학적 특성값(e.g. MTF 값, 디포커스 값)을 이용하여 블러(blur) 필터의 강도가 결정되고, 결정된 강도를 갖는 블러 필터를 원본 시야 이미지에 적용함으로써 타깃 렌즈를 통해 보이는 시야가 정확하게 시뮬레이션될 수 있다.

또한, 원본 시야 이미지 내의 서로 다른 물체 거리 영역(e.g. 근거리 영역, 원거리 영역) 별로 대응되는 광학적 특성값에 따른 디포커스 효과를 주입함으로써, 타깃 렌즈를 통해 보이는 시야가 더욱 정확하게 시뮬레이션될 수 있다.

본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 다초점 인공수정체 삽입 후에 나타날 수 있는 빛 번짐 현상을 예시한다.
도 2는 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 시스템과 그의 입출력을 설명하기 위한 예시적인 도면이다.
도 3은 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 방법을 개략적으로 나타내는 예시적인 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 딥러닝 모델의 구축 방법을 설명하기 위한 예시적인 도면이다.
도 5는 본 개시의 일 실시예에 따른 딥러닝 모델의 구조를 설명하기 위한 예시적인 도면이다.
도 6은 본 개시의 일 실시예에 따른 패턴 이미지 정렬 방법을 나타내는 예시적인 흐름도이다.
도 7 내지 도 9는 본 개시의 일 실시예에 따른 패턴 이미지 정렬 방법을 부연 설명하기 위한 예시적인 도면이다.
도 10은 본 개시의 일 실시예에 따른 데이터셋 증강 방법을 설명하기 위한 예시적인 도면이다.
도 11은 본 개시의 일 실시예에 따른 타깃 렌즈의 시야 시뮬레이션 방법을 나타내는 예시적인 흐름도이다.
도 12 및 도 13은 본 개시의 일 실시예에 따른 타깃 렌즈의 시야 시뮬레이션 방법을 부연 설명하기 위한 예시적인 도면이다.
도 14는 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 시스템을 구현할 수 있는 예시적인 컴퓨팅 장치를 도시한다.

이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 개시에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 개시에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 개시에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 개시의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

본 개시에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 첨부된 도면에 따라본 개시의 다양한 실시예들에 대하여 상세하게 설명한다.

도 2는 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 시스템(20)을 설명하기 위한 예시적인 도면이다.

도 1에 도시된 바와 같이, 렌즈 시뮬레이션 시스템(20)은 타깃 렌즈를 통해 보이는 시야를 시뮬레이션할 수 있는 시스템일 수 있다. 가령, 렌즈 시뮬레이션 시스템(20)은 원본 시야 이미지(미도시)에 타깃 렌즈의 광학적 특성값에 따른 디포커스 효과를 주입하여 시뮬레이션 시야 이미지(22)를 생성함으로써, 타깃 렌즈를 통해 보이는 시야를 시뮬레이션할 수 있다. 이하에서는, 설명의 편의상, 렌즈 시뮬레이션 시스템(20)을 '시뮬레이션 시스템(20)'으로 약칭하도록 한다.

구체적으로, 시뮬레이션 시스템(20)은 패턴 이미지(21)로부터 타깃 렌즈의 광학적 특성값을 예측하는 딥러닝 모델(23)을 구축하고, 구축된 딥러닝 모델(23)을 통해 타깃 렌즈의 광학적 특성값을 예측하며, 예측된 특성값을 이용하여 시뮬레이션 시야 이미지(22)를 생성할 수 있다. 이러한 경우, 타깃 렌즈를 직접 제조하지 않고도 타깃 렌즈를 통해 보이는 시야가 시뮬레이션될 수 있는 바, 광학적 특성이 상이한 다양한 렌즈에 대한 시뮬레이션이 용이하게 수행될 수 있다. 시뮬레이션 시스템(20)의 세부 동작에 관한여서는 추후 도 3 이하의 도면을 참조하여 상세하게 설명하도록 한다.

타깃 렌즈는 시뮬레이션 대상이 되는 렌즈로서, 예를 들어 인공수정체, 콘택트렌즈 등이 될 수 있으나, 본 개시의 범위가 이에 한정되는 것은 아니다. 가령, 타깃 렌즈는 안내에 삽입되는 다른 유형의 렌즈 또는 안외에 착용되거나 위치한 렌즈(e.g. 안경 등)가 될 수도 있다.

또한, 타깃 렌즈의 광학적 특성값은 예를 들어 MTF(Modulation Transfer Function), 초점거리(focal length), 굴절율, 디포커스(defocus) 등에 관한 값일 수 있다. 그러나, 본 개시의 범위가 이러한 예시들에 한정되는 것은 아니다. 참고로, 디포커스 값은 렌즈의 초점이 맞지 않는 정도를 나타내는 값으로서, 예를 들어 상이 맺히는 위치와 본래의 상면(e.g. 망막)의 차이를 나타내는 디옵터(diopter) 단위의 값(e.g. 정시의 경우 0.0 디옵터)일 수 있다. 그러나, 본 개시의 범위가 이에 한정되는 것은 아니며, 디포커스 값의 단위, 표현 방식 등은 얼마든지 변형될 수 있다. 디포커스 값은 렌즈의 초점거리 등에 따라 달라질 수 있으므로(e.g. 렌즈와 상면과의 거리가 동일하게 설정하더라도, 렌즈 별로 디포커스 값은 달라질 수 있음), 렌즈의 광학적 특성을 나타내는 값이 될 수 있다.

또한, 패턴 이미지(21)는 렌즈의 광학적 특성값을 측정하는데 이용되는 이미지로서, 예를 들어 USAF 타깃(target) 이미지일 수 있다. 그러나, 본 개시의 범위가 이에 한정되는 것은 아니다. 참고로, USAF 타깃 이미지는 렌즈의 MTF(즉, 분해능) 값을 측정하는 데 이용될 수 있는데, 당해 기술 분야의 종사자라면 USAF 타깃 이미지로부터 MTF 값을 측정하는 방법을 이미 숙지하고 있을 것인 바, 이에 대한 설명은 생략하도록 한다.

시뮬레이션 시스템(20)은 적어도 하나의 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 시뮬레이션 시스템(20)의 모든 기능이 하나의 컴퓨팅 장치에서 구현될 수도 있고, 시뮬레이션 시스템(20)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수도 있다. 또는, 시뮬레이션 시스템(20)의 특정 기능이 복수개의 컴퓨팅 장치들에서 구현될 수도 있다.

컴퓨팅 장치는 컴퓨팅 기능을 구비한 다양한 유형의 장치를 모두 포괄할 수 있으며, 이러한 장치의 일 예시에 관하여서는 도 14를 참조하도록 한다.

지금까지 도 2를 참조하여 본 개시의 몇몇 실시예들에 따른 시뮬레이션 시스템(20)에 대하여 설명하였다. 이하에서는, 도 3 이하의 도면을 참조하여 시뮬레이션 시스템(20)에서 수행될 수 있는 다양한 방법들에 대하여 설명하도록 한다.

이하에서는, 이해의 편의를 제공하기 위해, 후술될 방법들의 모든 단계/동작이 상술한 시뮬레이션 시스템(20)에서 수행되는 것을 가정하여 설명을 이어가도록 한다. 따라서, 특정 단계/동작의 주체가 생략된 경우, 시뮬레이션 시스템(20)에서 수행되는 것으로 이해될 수 있다. 다만, 실제 환경에서는, 후술될 방법들의 일부 단계는 다른 컴퓨팅 장치에서 수행될 수도 있다.

도 3은 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 방법을 개략적으로 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 3에 도시된 바와 같이, 실시예들에 따른 렌즈 시뮬레이션 방법은 복수의 패턴 이미지들과 렌즈의 광학적 특성값들로 구성된 데이터셋을 획득하는 단계 S31에서 시작될 수 있다. 상술한 바와 같이, 패턴 이미지는 예를 들어 USAF 타깃 이미지일 수 있고, 렌즈의 광학적 특성값은 예를 들어 MTF 값(e.g. MTF의 RMS(Root Mean Square) 값)과 디포커스 값일 수 있다. 그러나, 본 개시의 범위가 이에 한정되는 것은 아니다.

예를 들어, 디포커스 값의 조절이 가능한 광학 벤치 테스트(optical bench test)에 다양한 렌즈들을 장착하고 USAF 타깃을 촬영함으로써, 해당 렌즈의 디포커스 값과 그에 따른 다수의 USAF 타깃 이미지들이 획득될 수 있다. 그리고, 획득된 USAF 타깃 이미지들을 각각 분석하여 해당 렌즈의 디포커스 값에 따른 MTF 값이 측정될 수 있다.

또한, 예를 들어, 시뮬레이션 시스템(20)은 렌즈 업체의 사이트 등을 크롤링(crawling)하여 렌즈 업체가 제공하는 데이터(e.g. 해당 렌즈로 촬영한 USAF 타깃 이미지 및/또는 해당 렌즈의 디포커스 값에 따른 MTF 곡선)를 획득할 수도 있다.

단계 S32에서, 획득된 데이터셋을 전처리하여 딥러닝 모델의 학습을 위한 트레이닝셋이 생성될 수 있다. 다만, 구체적인 전처리 방식은 실시예에 따라 달라질 수 있다.

일 실시예에서, 시뮬레이션 시스템(20)은 데이터셋에 포함된 복수의 패턴 이미지들을 정렬(align)하는 전처리를 수행할 수 있다. 이러한 전처리는 트레이닝셋의 품질과 딥러닝 모델의 예측 성능을 향상시키기 위한 데이터 정제(cleaning) 과정으로 이해될 수 있다. 가령, 전처리를 통해 이미지 내의 패턴의 위치를 정렬(또는 정합)시키는 경우, 딥러닝 모델이 패턴의 위치가 아닌 다른 부분에 더 집중하여 렌즈의 특성을 예측하도록 학습되기 때문에, 딥러닝 모델의 예측 성능이 크게 향상될 수 있다. 본 실시예에 관하여서는 도 6 내지 도 9를 참조하여 상세하게 설명하도록 한다.

일 실시예에서, 시뮬레이션 시스템(20)은 보간법(interpolation) 및/또는 보외법(extrapolation)을 이용하여 데이터셋을 증강(augmentation)시키는 전처리를 수행할 수 있다. 이러한 전처리는 트레이닝셋의 규모 증가를 통해 딥러닝 모델의 예측 성능을 향상시키기 위한 과정으로 이해될 수 있다. 본 실시예에 관하여서는 추후 도 10을 참조하여 상세하게 설명하도록 한다.

일 실시예에서, 시뮬레이션 시스템(20)은 상술한 실시예들의 조합에 기초하여 전처리를 수행할 수도 있다. 가령, 시뮬레이션 시스템(20)은 보간법 및/또는 보외법을 통해 데이터셋을 증강시키고, 증강된 데이터셋에 포함된 복수의 패턴 이미지들을 정렬시킴으로써 풍부하고도 양질의 트레이닝셋을 생성할 수 있다.

단계 S33에서, 트레이닝셋을 이용하여 딥러닝 모델이 구축될 수 있다. 여기서, 딥러닝 모델은 입력된 패턴 이미지로부터 렌즈의 광학적 특성을 예측하는 모델일 수 있다. 가령, 도 4에 도시된 바와 같이, 시뮬레이션 시스템(20)은 트레이닝셋의 패턴 이미지(42)를 딥러닝 모델(45)에 입력하여 광학적 특성값(46; e.g. MTF 곡선)을 예측하고, 예측된 값(46)과 트레이닝셋의 광학적 특성값(43; 즉 정답)의 차이에 기초한 손실(47)을 이용하여 딥러닝 모델(45)을 학습시킬 수 있다(즉, 손실 47을 역전파하여 딥러닝 모델 45의 가중치가 업데이트됨). 이러한 학습 과정이 트레이닝셋에 포함된 다수의 패턴 이미지들(41)에 대하여 반복됨에 따라, 딥러닝 모델(45)이 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 정확하게 예측할 수 있게 된다. 도 4는 딥러닝 모델(45)이 MTF 값과 디포커스 값을 함께 예측하는 모델인 것을 예로서 도시하고 있는데, 두 값을 함께 예측하는 이유는 두 값이 서로 밀접하게 연관된 값이기 때문이다(즉, MTF 값과 디포커스 값은 MTF 곡선을 형성하는 두 가지 값으로서, 렌즈의 MTF 값이 디포커스 값에 따라 달라지기 때문에 매우 밀접하게 연관된 값임).

한편, 딥러닝 모델(e.g. 45)의 구조는 다양하게 설계될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 딥러닝 모델은 컨볼루션 신경망(Convolutional Neural Networks; CNN) 기반의 모델로 설계될 수 있다. 컨볼루션 신경망은 이미지 분석에 특화된 모델로서, 패턴 이미지(51)에서 렌즈의 광학적 특성값과 연관된 특징을 잘 추출할 수 있기 때문에, 높은 예측 성능을 보장할 수 있다. 도 5는 딥러닝 모델이 패턴 이미지(51)로부터 특징을 추출하는 복수의 특징 추출 레이어들(52)과 추출된 특징을 종합하여 광학적 특성값(e.g. MTF 값과 디포커스 값)을 예측하는 출력 레이어(53)로 구성되고, 특징 추출 레이어들(52)이 컨볼루션 레이어(convolution layer) 및 풀링 레이어(pooling layer)로 구성되며, 출력 레이어(53)가 완전-연결 레이어(fully-connected layer; 또는 덴스 레이어)로 구성된 것을 예로서 도시하고 있다. 다른 예로서, 딥러닝 모델은 인공 신경망(Artificial Neural Networks; ANN) 기반의 모델로 설계될 수도 있다. 또 다른 예로서, 딥러닝 모델은 비전 트랜스포머(Vision Transformer; Vit)와 같이 셀프-어텐션(self-attention) 기반의 모델로 설계될 수도 있다. 그러나, 본 개시의 범위가 이러한 예시들에 의해 한정되는 것은 아니며, 딥러닝 모델은 다른 구조의 신경망으로 설계될 수도 있다.

또한, 딥러닝 모델(e.g. 45)은 렌즈의 유형별로 구축될 수도 있다. 가령, 시뮬레이션 시스템(20)은 근거리에 적합한 제1 렌즈들(즉, 근거리의 물체를 선명하게 볼 수 있는 렌즈들)을 위한 제1 딥러닝 모델을 구축하고, 원거리에 적합한 제2 렌즈들(즉, 원거리의 물체를 선명하게 볼 수 있는 렌즈들)을 위한 제2 딥러닝 모델을 구축할 수 있다. 또는, 시뮬레이션 시스템(20)은 단초점 렌즈들(e.g. 단초점 인공수정체)을 위한 제1 딥러닝 모델을 구축하고, 다초점 렌즈들(e.g. 다초점 인공수정체)을 위한 제2 딥러닝 모델을 구축할 수도 있다. 또는, 시뮬레이션 시스템(20)은 인공수정체를 위한 제1 딥러닝 모델을 구축하고, 콘택트렌즈를 위한 제2 딥러닝 모델을 구축할 수도 있다.

다시 도 3을 참조하여 설명한다.

단계 S34에서, 구축된 딥러닝 모델을 이용하여 타깃 렌즈를 통해 보이는 시야가 시뮬레이션될 수 있다. 가령, 시뮬레이션 시스템(20)은 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 타깃 렌즈의 광학적 특성값을 예측하고, 원본 시야 이미지에 예측된 특성값에 따른 디포커스 효과를 주입함으로써 시뮬레이션 시야 이미지(즉, 타깃 렌즈 착용 시에 보이는 시야를 시뮬레이션한 이미지)를 생성할 수 있다. 또는, 시뮬레이션 시스템(20)은 복수의 프레임으로 구성된 원본 시야 영상에 예측된 광학적 특성값에 따른 디포커스 효과를 연속적으로 주입함으로써 시뮬레이션 시야 영상을 생성할 수도 있다. 본 단계의 세부 과정에 관하여서는 추후 도 11 내지 도 13을 참조하여 보다 상세하게 설명하도록 한다.

지금까지 도 3 내지 도 5를 참조하여 본 개시의 몇몇 실시예들에 따른 렌즈 시뮬레이션 방법에 대하여 설명하였다. 상술한 방법에 따르면, 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하는 딥러닝 모델이 구축되고, 구축된 딥러닝 모델을 통해 타깃 렌즈의 광학적 특성값이 예측되며, 예측된 광학적 특성값을 이용하여 타깃 렌즈를 통해 보이는 시야가 정확하게 시뮬레이션될 수 있다. 가령, 타깃 렌즈가 인공수정체인 경우 인공수정체를 통해 보이는 시야가 정확하게 시뮬레이션될 수 있는데, 이러한 경우 인공수정체 삽입술을 받기 전에 환자(e.g. 백내장 환자)가 해당 수술의 효과를 간접적으로 경험할 수 있게 된다. 또한, 타깃 렌즈의 광학적 특성값을 이용하여 타깃 렌즈를 통해 보이는 시야가 시뮬레이션되기 때문에, 타깃 렌즈가 실물로 제조될 필요가 없다. 이에 따라, 다양한 렌즈들이 제한없이 시뮬레이션될 수 있으며, 시뮬레이션에 소요되는 비용도 크게 절감될 수 있다. 나아가, 시뮬레이션에 소요되는 시간 또한 크게 단축될 수 있다.

이하에서는, 도 6 내지 도 9를 참조하여 본 개시의 일 실시예에 따른 패턴 이미지 정렬 방법에 대하여 설명하도록 한다.

도 6은 본 개시의 일 실시예에 따른 패턴 이미지 정렬 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 6에 도시된 바와 같이, 본 실시예는 복수의 패턴 이미지들 각각을 전처리하는 단계 S61에서 시작될 수 있다. 여기서, 패턴 이미지에 대한 전처리는 그레이스케일(grayscale) 변환, 이진화(binarization), 디-노이징(de-noising) 등과 같이 이미지에 대해 수행될 수 있는 다양한 종류의 전처리를 포함할 수 있다. 가령, 도 7에 도시된 바와 같이, 시뮬레이션 시스템(20)은 원본 패턴 이미지(71)를 그레이스케일로 변환하고(그레이스케일 이미지 72 참조), 변환된 패턴 이미지(72)를 이진화할 수 있다(이진화 이미지 73 참조). 그렇게 함으로써, 원본 패턴 이미지(71)에 포함된 노이즈가 제거되고, 후술될 정렬 영역이 정확하게 설정될 수 있다.

단계 S62에서, 픽셀 값의 분포를 이용하여 전처리된 패턴 이미지들 각각에서 정렬 영역이 설정될 수 있다. 가령, 도 7에 도시된 바와 같이, 시뮬레이션 시스템(20)은 이진화된 패턴 이미지(73)에서 임계치 이상의 값을 갖는 픽셀들이 분포한 영역(75; 즉, 배경을 제외한 패턴 영역)을 정렬 영역으로 설정할 수 있다. 이를테면, 시뮬레이션 시스템(20)은 이진화된 패턴 이미지(73)의 픽셀 값 분포를 확인하고, 임계치 이상의 값을 픽셀들 중에 최외곽 픽셀들이 포함되도록 정렬 영역(75)을 설정할 수 있다.

단계 S63에서, 설정된 정렬 영역을 이용하여 1차 정렬이 수행될 수 있다. 가령, 시뮬레이션 시스템(20)은 복수의 패턴 이미지들 각각에 설정된 정렬 영역(e.g. 75)이 정렬되도록 하는 처리를 수행할 수 있다. 다만, 그 구체적인 처리 방식은 달라질 수도 있다.

예를 들어, 도 7에 도시된 바와 같이, 시뮬레이션 시스템(20)은 정렬 영역(75)의 주변에 패딩 영역(76)을 설정하고, 정렬 영역(75)과 패딩 영역(76)을 추출할 수 있다(추출 영역 77 참조). 이러한 과정을 복수의 패턴 이미지들에 대해 반복 수행함으로써, 복수의 패턴 이미지들이 용이하게 정렬될 수 있다. 참고로, 패딩 영역(76)의 크기는 정렬 영역(75)의 크기에 비례하도록 설정될 수도 있고, 동일한 크기로 설정될 수도 있다. 또한, 추출 영역(77)의 크기가 패턴 이미지별로 상이한 경우, 추출 영역(77)의 크기를 정합시키는 처리(e.g. 리사이징 등)가 더 수행될 수도 있다.

다른 예로서, 시뮬레이션 시스템(20)은 패딩 영역(e.g. 76)을 설정하지 않고, 정렬 영역(e.g. 75)만을 추출하며, 이러한 과정을 복수의 패턴 이미지들에 대해 반복 수행함으로써 정렬 처리를 수행할 수도 있다.

또 다른 예로서, 시뮬레이션 시스템(20)은 정렬 영역(e.g. 75)을 추출하지 않고, 특정 패턴 이미지의 정렬 영역을 다른 패턴 이미지의 정렬 영역과 정합(e.g. 정렬 영역이 정합되도록 시프팅, 리사이징 등을 수행)시킴으로써 정렬 처리를 수행할 수도 있다.

단계 S64에서, 기준 이미지와의 유사도에 기초하여 2차 정렬이 수행될 수 있다. 가령, 도 8에 도시된 바와 같이, 시뮬레이션 시스템(20)은 1차 정렬된 패턴 이미지(81)와 기준 이미지(82)와의 유사도를 산출하고, 산출된 유사도가 최소(또는 임계치 이하)가 되도록 패턴 이미지(81)를 기준 이미지(82)에 맞게 정합시킴으로써 2차 정렬을 수행할 수 있다(2차 정렬된 패턴 이미지 83 참조). 이때, 패턴 이미지(81)와 기준 이미지(82)와의 유사도는 예를 들어 상관계수에 기초하여 산출될 수 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니며, 두 이미지(81, 82)의 유사도는 다른 방식으로 산출되더라도 무방하다. 또한, 기준 이미지(82)는 1차 정렬된 복수의 패턴 이미지들 중에서 선택된 이미지일 수도 있고, 미리 준비된 다른 패턴 이미지일 수도 있다.

도 9는 상술한 단계 S61 내지 S64를 통해 복수의 패턴 이미지들(91 내지 93)이 정렬된 결과(94 내지 96)를 예로서 도시하고 있다.

한편, 경우에 따라서는, 1차 정렬 방식 또는 2차 정렬 방식 중 어느 하나의 방식만을 이용하여 복수의 패턴 이미지들에 대한 정렬이 수행될 수도 있다.

지금까지 도 7 내지 도 9를 참조하여 본 개시의 일 실시예에 따른 패턴 이미지 정렬 방법에 대하여 설명하였다. 상술한 방법에 따르면, 복수의 패턴 이미지들의 패턴 위치를 정렬시킴으로써 딥러닝 모델을 위한 고품질의 트레이닝셋이 용이하게 생성될 수 있으며, 생성된 트레이닝셋을 이용함으로써 고성능의 딥러닝 모델이 용이하게 구축될 수 있다.

이하에서는, 도 10을 참조하여 본 개시의 일 실시예에 따른 데이터셋 증강 방법에 대하여 설명하도록 한다.

도 10은 본 개시의 일 실시예에 따른 데이터셋 증강 방법을 설명하기 위한 예시적인 도면이다. 특히, 도 10은 보간법을 통해 원본 데이터(e.g. 101, 105 등)에서 신규 데이터(103, 108)를 생성하는 경우를 예로서 도시하고 있고, 데이터셋을 구성하는 광학적 특성값이 MTF 값과 디포커스 값인 것을 가정하고 있다.

도 10에 도시된 바와 같이, 보간법을 통해 원본 패턴 이미지들(101, 102, 104)로부터 신규 패턴 이미지(103)가 생성될 수 있다. 가령, 시뮬레이션 시스템(20)은 서로 다른 디포커스 값을 갖는 원본 패턴 이미지들(102, 104)의 픽셀 값을 보간함으로써, 원본 패턴 이미지들(102, 104) 사이의 디포커스 값을 갖는 신규 패턴 이미지(103)를 생성할 수 있다. 픽셀 값의 보간은 예를 들어 가우시안 보간법을 통해 수행될 수 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니며, 다른 보간법을 통해 수행되더라도 무방하다. 또한, 도 10에는 도시되어 있지 않으나, 시뮬레이션 시스템(20)은 보외법을 통해 원본 패턴 이미지들(e.g. 101, 102, 104)의 범위(즉, 디포커스 값의 범위)를 벗어난 디포커스 값을 갖는 신규 패턴 이미지(미도시)를 생성할 수도 있다.

다음으로, 신규 패턴 이미지(103)에 대응되는 MTF 값이 생성될 수 있다. 가령, 시뮬레이션 시스템(20)은 원본 패턴 이미지들(e.g. 102, 104)의 MTF 값(e.g. 106, 107)을 보간함으로써 신규 패턴 이미지(103)의 MTF 값(108)을 산출할 수 있다. 또는, 시뮬레이션 시스템(20)은 신규 패턴 이미지(103)를 분석하여 MTF 값(108)을 측정할 수도 있다.

시뮬레이션 시스템(20)은 상술한 과정을 서로 다른 디포커스 값을 갖는 다양한 패턴 이미지들에 대해 반복 수행함으로써, MTF 곡선(도 10의 하단에 도시된 그래프 참조) 상의 다양한 좌표 값(즉, 디포커스 값과 MTF 값)과 그에 대응되는 신규 패턴 이미지들을 생성할 수 있다.

지금까지 도 10을 참조하여 본 개시의 일 실시예에 따른 데이터셋 증강 방법에 대하여 설명하였다. 상술한 방법에 따르면, 보간법 및/또는 보외법을 통해 데이터셋을 증강시킴으로써, 딥러닝 모델을 위한 대량의 트레이닝셋이 용이하게 생성될 수 있으며, 대량의 트레이닝셋을 이용함으로써 고성능의 딥러닝 모델이 용이하게 구축될 수 있다.

이하에서는, 도 11 내지 도 13을 참조하여 본 개시의 일 실시예에 따른 타깃 렌즈의 시야 시뮬레이션 방법에 대하여 설명하도록 한다.

도 11은 본 개시의 일 실시예에 따른 타깃 렌즈의 시야 시뮬레이션 방법을 나타내는 예시적인 흐름도이다. 단, 이는 본 개시의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.

도 11에 도시된 바와 같이, 본 실시예는 타깃 렌즈와 연관된 패턴 이미지를 결정하는 단계 S111에서 시작될 수 있다. 여기서, 타깃 렌즈와 연관된 패턴 이미지는 예를 들어 타깃 렌즈 또는 타깃 렌즈와 광학적 특성이 유사한 렌즈(이하, '유사 렌즈')를 통해 촬영된 패턴 이미지, 보간법 또는 보외법을 통해 유사 렌즈를 통해 촬영된 패턴 이미지들로부터 생성된 패턴 이미지 등이 될 수 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니다. 가령, 시뮬레이션 시스템(20)은 사용자로부터 타깃 렌즈와 연관된 패턴 이미지를 입력받을 수도 있고, 기 저장된 패턴 이미지들 중에서 타깃 렌즈와 연관된 패턴 이미지를 자동으로 결정할 수도 있다. 이를테면, 시뮬레이션 시스템(20)은 패턴 이미지를 촬영한 렌즈과 타깃 렌즈와의 유사도(즉, 광학적 특성 간의 유사도)를 기초로 기 저장된 패턴 이미지들 중에서 타깃 렌즈와 연관된 패턴 이미지를 선택할 수도 있다.

단계 S112에서, 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 타깃 렌즈의 광학적 특성값이 예측될 수 있다. 가령, 도 12에 도시된 바와 같이, 시뮬레이션 시스템(20)은 타깃 렌즈와 연관된 패턴 이미지(121)를 학습된 딥러닝 모델(122)에 입력하고, 딥러닝 모델(122)로부터 예측된 광학적 특성값(123)을 획득할 수 있다. 도 12는 딥러닝 모델(122)이 MTF 값과 디포커스 값을 예측하도록 학습된 경우를 예로서 도시하고 있다. 또한, 시뮬레이션 시스템(20)은 타깃 렌즈와 연관된 다수의 패턴 이미지들(e.g. 121)을 이용하여 서로 다른 디포커스 값에 따른 MTF 값들(즉, MTF 곡선)을 예측할 수도 있다.

참고로, 타깃 렌즈의 광학적 특성값을 이미 알고 있는 경우라면, 단계 S111 및 단계 S112는 생략될 수도 있다.

단계 S113에서, 원본 시야 이미지에 예측된 광학적 특성값에 따른 디포커스 효과가 주입될 수 있다. 여기서, 디포커스 효과는 예를 들어 블러(blur) 효과를 포함할 수 있을 것이나, 본 개시의 범위가 이에 한정되는 것은 아니다. 가령, 도 12에 도시된 바와 같이, 시뮬레이션 시스템(20)은 예측된 광학적 특성값(123)을 이용하여 블러 필터(124; e.g. 컨볼루션 필터)의 강도(즉, 강도에 따른 필터 값)를 결정하고, 결정된 강도를 갖는 블러 필터(124)를 원본 시야 이미지(125)에 적용함으로써 블러 효과를 주입할 수 있다. 그리고, 그 결과로 시뮬레이션 시야 이미지(126)가 생성될 수 있다. 이때, 불러 필터(124)의 강도는 예를 들어 MTF 값이 작을수록 또는 디포커스 값의 크기(즉, 절대값)가 클수록 더 큰 값으로 결정될 수 있다.

보다 구체적인 예로서, 시뮬레이션 시스템(20)은 타깃 렌즈의 최적 거리를 이용하여 원본 시야 이미지(e.g. 125)에서 디포커스 효과가 주입될 영역(e.g. 물체 거리가 최적 거리와 다른 영역)을 결정하고, 결정된 영역에 타깃 렌즈의 광학적 특성값에 따른 디포커스 효과를 주입할 수 있다. 이를테면, 시뮬레이션 시스템(20)은 결정된 영역에 블러 필터(e.g. 124)를 적용함으로써 시뮬레이션 시야 이미지(e.g. 126)를 생성할 수 있다.

또한, 예를 들어, 도 13에 도시된 바와 같이, 시뮬레이션 시스템(20)은 원본 시뮬레이션 이미지(131) 내에서 제1 물체 거리를 갖는 제1 영역(132)에 제1 물체 거리에 대응되는 광학적 특성값(134)에 따른 디포커스 효과를 주입하고, 제2 물체 거리를 갖는 제2 영역(133)에 제2 물체 거리에 대응되는 광학적 특성값(135)에 따른 디포커스 효과를 주입할 수 있다. 도 13은 광학적 특성값이 MTF 값과 디포커스 값이고, 제1 영역(132)과 제2 영역(133)이 각각 근거리 영역과 원거리 영역인 경우를 예로서 도시하고 있다. 보다 구체적인 예로서, 타깃 렌즈가 중거리에 적합한 렌즈(e.g. 단초점 인공수정체)인 경우, 시뮬레이션 시스템(20)은 근거리 영역(132)과 원거리 영역(133) 각각에 대한 광학적 특성값(134, 135)을 예측하고, 예측된 광학적 특성값들(134, 135)에 따른 디포커스 효과를 대응되는 영역들(132, 133)에 주입함으로써 정교한 시뮬레이션 시야 이미지를 생성할 수 있다. 다른 예로서, 타깃 렌즈가 근거리 및 원거리에 모두 적합한 렌즈(e.g. 다초점 인공수정체)인 경우, 시뮬레이션 시스템(20)은 원본 시야 이미지(131)의 중거리 영역(즉, 타깃 렌즈의 초점 거리 사이에 위치한 영역)에 대응되는 광학적 특성값에 따른 디포커스 효과를 주입할 수 있다. 그리고, 시뮬레이션 시스템(20)은 근거리 영역(132)과 원거리 영역(133)에도 대응되는 광학적 특성값에 따른 디포커스 효과(e.g. MTF 값에 따라 약한 강도의 디포커스 효과가 주입될 수도 있음)를 주입할 수도 있다. 그렇게 함으로써, 정교한 시뮬레이션 시야 이미지가 생성될 수 있다. 참고로, 특정 물체 거리에 대응되는 타깃 렌즈의 MTF 값은 디포커스 값에 기초하여 판단될 수 있다. 가령, 타깃 렌즈가 중거리에 적합한 렌즈인 경우 중거리에서 디포커스 값이 '0.0'에 가까울 것이고, 물체 거리가 달라지면 디포커스 값도 그에 따라 달라질 것이므로, 다른 물체 거리에 대한 MTF 값은 디포커스 값에 의해 판단될 수 있다(e.g. 딥러닝 모델을 통해 예측된 다수의 광학적 특성값들 중에서 특정 물체 거리에 대응되는 광학적 특성값은 디포커스 값에 의해 판단될 수 있음).

지금까지 도 11 내지 도 13을 참조하여 본 개시의 일 실시예에 따른 타깃 렌즈의 시야 시뮬레이션 방법에 대하여 설명하였다. 상술한 방법에 따르면, 딥러닝 모델을 통해 예측된 타깃 렌즈의 광학적 특성값(e.g. MTF 값, 디포커스 값)을 이용하여 블러 필터의 강도가 결정되고, 결정된 강도를 갖는 블러 필터를 원본 시야 이미지에 적용함으로써 타깃 렌즈를 통해 보이는 시야가 정확하게 시뮬레이션될 수 있다. 또한, 원본 시야 이미지 내의 서로 다른 물체 거리 영역(e.g. 근거리 영역, 원거리 영역) 별로 대응되는 광학적 특성값에 따른 디포커스 효과를 주입함으로써, 타깃 렌즈를 통해 보이는 시야가 더욱 정확하게 시뮬레이션될 수 있다.

이하에서는, 도 14를 참조하여 본 개시의 몇몇 실시예들에 따른 시뮬레이션 시스템(20)을 구현할 수 있는 예시적인 컴퓨팅 장치(140)에 대하여 설명하도록 한다.

도 14은 컴퓨팅 장치(140)를 나타내는 예시적인 하드웨어 구성도이다.

도 14에 도시된 바와 같이, 컴퓨팅 장치(140)는 하나 이상의 프로세서(141), 버스(143), 통신 인터페이스(144), 프로세서(141)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(142)와, 컴퓨터 프로그램(146)을 저장하는 스토리지(145)를 포함할 수 있다. 다만, 도 14에는 본 개시의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 14에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 즉, 컴퓨팅 장치(140)에는, 도 14에 도시된 구성요소 이외에도 다양한 구성요소가 더 포함될 수 있다. 경우에 따라, 컴퓨팅 장치(140)는 도 14에 도시된 구성요소 중 일부가 생략된 형태로 구현될 수도 있다.

프로세서(141)는 컴퓨팅 장치(140)의 각 구성의 전반적인 동작을 제어할 수 있다. 프로세서(141)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(141)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(140)는 하나 이상의 프로세서를 구비할 수 있다.

다음으로, 메모리(142)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(142)는 본 개시의 다양한 실시예들에 따른 방법/동작을 실행하기 위하여 스토리지(145)로부터 하나 이상의 프로그램(146)을 로드할 수 있다. 메모리(142)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위는 이에 한정되지 않는다.

다음으로, 버스(143)는 컴퓨팅 장치(140)의 구성요소 간 통신 기능을 제공할 수 있다. 버스(143)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

다음으로, 통신 인터페이스(144)는 컴퓨팅 장치(140)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(144)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(144)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

다음으로, 스토리지(145)는 하나 이상의 컴퓨터 프로그램(146)을 비임시적으로 저장할 수 있다. 스토리지(145)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(146)은 메모리(142)에 로드될 때 프로세서(141)로 하여금 본 개시의 다양한 실시예들에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들(instructions)을 포함할 수 있다. 즉, 프로세서(141)는 하나 이상의 인스트럭션들을 실행함으로써, 본 개시의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다. 여기서, 인스트럭션은 기능을 기준으로 묶인 일련의 컴퓨터 판독가능 명령어들로서 컴퓨터 프로그램의 구성요소이자 프로세서에 의해 실행되는 것을 가리킨다.

예를 들어, 컴퓨터 프로그램(146)은 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하는 동작, 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 타깃 렌즈의 광학적 특성값을 예측하는 동작 및 예측된 타깃 렌즈의 광학적 특성값을 이용하여 타깃 렌즈를 통해 보이는 시야를 시뮬레이션하는 동작을 수행하도록 하는 인스트럭션들을 포함할 수 있다. 이와 같은 경우, 컴퓨팅 장치(140)를 통해 본 개시의 몇몇 실시예들에 따른 시뮬레이션 시스템(20)이 구현될 수 있다.

지금까지 도 14를 참조하여 본 개시의 몇몇 실시예들에 따른 시뮬레이션 시스템(20)을 구현할 수 있는 예시적인 컴퓨팅 장치(140)에 대하여 설명하였다.

지금까지 도 1 내지 도 14를 참조하여 본 개시의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 설명된 본 개시의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 개시의 실시예를 구성하는 모든 구성요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 개시의 실시예들을 설명하였지만, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 개시가 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

적어도 하나의 컴퓨팅 장치에 의해 수행되는 방법으로서,
입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하는 단계;
상기 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 상기 타깃 렌즈의 광학적 특성값을 예측하는 단계; 및
상기 예측된 광학적 특성값을 이용하여 상기 타깃 렌즈를 통해 보이는 시야를 시뮬레이션하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 패턴 이미지는 USAF 타깃 이미지인,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 광학적 특성값은 MTF(Modulation Transfer Function) 값 및 디포커스 값을 포함하는,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 딥러닝 모델은 컨볼루션 신경망(Convolutional Neural Network) 기반의 모델인 것인,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 타깃 렌즈는 인공수정체인,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 딥러닝 모델은,
복수의 패턴 이미지들과 상기 복수의 패턴 이미지들에 대응되는 광학적 특성값들로 구성된 데이터셋을 획득하는 과정,
상기 복수의 패턴 이미지들을 정렬(align)하여 트레이닝셋을 생성하는 과정 및
상기 트레이닝셋을 이용하여 학습하는 과정을 통해 구축된 것인,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 딥러닝 모델은,
복수의 패턴 이미지들과 상기 복수의 패턴 이미지들에 대응되는 광학적 특성값들로 구성된 데이터셋을 획득하는 과정,
보간법(interpolation) 또는 보외법(extrapolation)을 통해 상기 데이터셋을 증강(augmentation)시킴으로써 트레이닝셋을 생성하는 과정 및
상기 트레이닝셋을 이용하여 학습하는 과정을 통해 구축된 것인,
렌즈 시뮬레이션 방법.
제1항에 있어서,
상기 시뮬레이션하는 단계는,
원본 시야 이미지에 상기 예측된 광학적 특성값에 따른 디포커스 효과를 주입하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제8항에 있어서,
상기 예측된 광학적 특성값은 MTF(Modulation Transfer Function) 값 및 디포커스 값을 포함하고,
상기 디포커스 효과를 주입하는 단계는,
상기 MTF 값 및 상기 디포커스 값을 이용하여 블러(blur) 필터의 강도를 결정하는 단계; 및
상기 결정된 강도를 갖는 블러 필터를 상기 원본 시야 이미지에 적용하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제9항에 있어서,
상기 블러 필터의 강도는,
상기 MTF 값이 작을수록 더 큰 값으로 결정되고,
상기 디포커스 값의 크기가 클수록 더 큰 값으로 결정되는,
렌즈 시뮬레이션 방법.
제8항에 있어서,
상기 예측된 광학적 특성값은 제1 물체 거리에 대응되는 제1 특성값과 상기 제1 물체 거리와 상이한 제2 물체 거리에 대응되는 제2 특성값을 포함하고,
상기 디포커스 효과를 주입하는 단계는,
상기 원본 시야 이미지 내에서 상기 제1 물체 거리를 갖는 영역에 상기 제1 특성값에 따른 디포커스 효과를 주입하는 단계; 및
상기 원본 시야 이미지 내에서 상기 제2 물체 거리를 갖는 영역에 상기 제2 특성값에 따른 디포커스 효과를 주입하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
적어도 하나의 컴퓨팅 장치에 의해 수행되는 방법으로서,
복수의 패턴 이미지들과 상기 복수의 패턴 이미지들에 대응되는 렌즈의 광학적 특성값들로 구성된 데이터셋을 획득하는 단계;
상기 획득된 데이터셋을 전처리하여 트레이닝셋을 생성하는 단계; 및
상기 생성된 트레이닝셋을 이용하여 입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하는 딥러닝 모델을 구축하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제12항에 있어서,
상기 트레이닝셋을 생성하는 단계는,
픽셀 값의 분포를 이용하여 상기 복수의 패턴 이미지들 각각에서 정렬 영역을 설정하는 단계; 및
상기 설정된 정렬 영역이 정렬(align)되도록 하는 처리를 수행하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제13항에 있어서,
상기 정렬 영역을 설정하는 단계는,
상기 복수의 패턴 이미지들을 그레이 스케일로 변환하는 단계;
상기 변환된 패턴 이미지들을 이진화하는 단계; 및
상기 픽셀 값의 분포를 이용하여 상기 이진화된 패턴 이미지들에서 상기 정렬 영역을 설정하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제13항에 있어서,
상기 처리를 수행하는 단계는,
상기 정렬 영역의 주변에 패딩 영역을 설정하는 단계; 및
상기 정렬 영역과 상기 설정된 패딩 영역을 추출하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제12항에 있어서,
상기 트레이닝셋을 생성하는 단계는,
기준 이미지와의 유사도를 기초로 상기 복수의 패턴 이미지들을 상기 기준 이미지에 맞게 정렬하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
제12항에 있어서,
상기 트레이닝셋을 생성하는 단계는,
보간법(interpolation) 또는 보외법(extrapolation)을 통해 상기 복수의 패턴 이미지들로부터 신규 패턴 이미지를 생성하는 단계; 및
상기 신규 패턴 이미지에 대응되는 광학적 특성값을 생성하는 단계를 포함하는,
렌즈 시뮬레이션 방법.
하나 이상의 인스트럭션을 저장하는 메모리; 및
하나 이상의 프로세서를 포함하되,
상기 하나 이상의 프로세서는,
상기 저장된 하나 이상의 인스트럭션을 실행시킴으로써,
입력된 패턴 이미지로부터 렌즈의 광학적 특성값을 예측하도록 구축된 딥러닝 모델을 획득하는 동작,
상기 획득된 딥러닝 모델을 통해 타깃 렌즈와 연관된 패턴 이미지로부터 상기 타깃 렌즈의 광학적 특성값을 예측하는 동작 및
상기 예측된 타깃 렌즈의 광학적 특성값을 이용하여 상기 타깃 렌즈를 통해 보이는 시야를 시뮬레이션하는 동작을 수행하는,
렌즈 시뮬레이션 시스템.