KR101305868B1 - 포화 광학계 - Google Patents

포화 광학계 Download PDF

Info

Publication number
KR101305868B1
KR101305868B1 KR1020087030863A KR20087030863A KR101305868B1 KR 101305868 B1 KR101305868 B1 KR 101305868B1 KR 1020087030863 A KR1020087030863 A KR 1020087030863A KR 20087030863 A KR20087030863 A KR 20087030863A KR 101305868 B1 KR101305868 B1 KR 101305868B1
Authority
KR
South Korea
Prior art keywords
function
sampled
psf
pupil function
imaging system
Prior art date
Application number
KR1020087030863A
Other languages
English (en)
Other versions
KR20090025249A (ko
Inventor
레지스 에스 팬
에드워드 알 다우스키
케네스 에스 쿠발라
Original Assignee
옴니비젼 씨디엠 옵틱스 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2007/009347 external-priority patent/WO2008020899A2/en
Application filed by 옴니비젼 씨디엠 옵틱스 인코퍼레이티드 filed Critical 옴니비젼 씨디엠 옵틱스 인코퍼레이티드
Publication of KR20090025249A publication Critical patent/KR20090025249A/ko
Application granted granted Critical
Publication of KR101305868B1 publication Critical patent/KR101305868B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/20Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle
    • G01J1/28Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle using variation of intensity or distance of source
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Glass Compositions (AREA)
  • Non-Silver Salt Photosensitive Materials And Non-Silver Salt Photography (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
  • Lenses (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

이미징 시스템은 전자기 에너지를 수신하고 그리고 그렇게 수신된 전자기 에너지와 일치하는 표본화된 데이터를 생성하기 위한 검출기를 포함한다. 검출기는 표본화된 데이터가 다음의 2가지 상태 중 하나에 있도록 문턱치에 의해 특징지워진다. i) 그렇게 수신된 전자기 에너지의 강도가 문턱치보다 더 적은 문턱치 미만일 때와, ii) 전자기 에너지의 강도가 문턱치보다 더 큰 문턱치 이상일 때이다. 이미징 시스템은 또한 표본화된 데이터의 특성을 제공하기 위한 포화 광학계를 포함하고, 여기에서 문턱치 미만일 때의 표본화된 데이터의 특성은 문턱치 이상일 때의 표본화된 데이터의 특성과 다르다.
포화 광학계, 표본화된 데이터, 이미징 시스템, 검출기, 전자기 에너지

Description

포화 광학계{SATURATION OPTICS}
본 출원은, 2006년 5월 23일에 출원된 "SATURATION OPTICS"라는 제하의 미국임시특허출원번호 60/802,724, 2006년 5월 26일에 출원된 "SATURATION OPTICS"라는 제하의 미국 임시특허출원번호 60/808,790, 및 2007년 4월 17일에 출원된 "ARRAYED IMAGING SYSTEMS AND ASSOCIATED METHODS"라는 제하의 PCT 특허출원번호 PCT/US07/09347에 대하여 우선권을 주장하며, 이 출원들 모두는 전체로서 참조로 여기에 반영된다.
2003년 2월 27일에 출원된 "OPTIMIZED IMAGE PROCESSING FOR WAVEFRONT CODED IMAGING SYSTEMS"이라는 제하의 미국 특허출원번호 10/376,924는 그것의 전체로서 참조로 여기에 명백히 반영된다.
전형적인 이미징 상태에 있어서, 이미징 시스템은 평균 예상치의 조명 조건에 대하여 최상의 성능과 충분한 품질의 이미지의 산출을 위해 설계된다. 이미지는 다양한 종류의 상태와 장소로부터 수집될 수 있고, 백열광 또는 형광성 조명과 같은 인공 조명을 갖는 실내 장면은, 밝은 태양광 하의 실외 장면과 현저하게 다를 수 있다.
실내 및 실외조명 특성들을 섞는 혼합 조명 상태가 또한 가능하다. 예를 들 면, 이미징 시스템은 빌딩 외부의 밝게 햇빛을 받은 밝은색의 물체들 뿐만 아니라, 빌딩 내부에서 빈약하게 조명받는 어두운색 물체들을 포함하는 장면을 이미징하면서 빌딩 내부에 위치될 수 있다. 이러한 결합된 실내 및 실외 장면은 다중 차수의 크기에 걸친 강도로 범위를 정하는 한 세트의 물체의 이미징을 요구할 수 있다.
장면 또는 물체의 강도는 장면내의 어떤 물체의 휘도를 측정하는 것에 의해 형식적으로 특징지어질 수 있다. 휘도는 평방미터당 칸델라(candelas)("cd/㎡")의 수치로서 정의된다. 예를 들면, 어두운 목재 표면은 1cd/㎡ 이하의 휘도를 가질 수 있고, 밝은색의 벽은 대략 10cd/㎡의 휘도를 가질 수 있고, 콘크리트 주차장은 대략 1,000cd/㎡의 휘도를 가질 수 있고, 하늘은 10,000cd/㎡보다 더 큰 휘도를 가질수 있다.
일 실시예로서, 전자기 에너지를 이미징하기 위한 이미징 시스템이 개시된다. 이미징 시스템은 전자기 에너지를 수신 및 그렇게 수신된 전자기 에너지에 따르는 표본화된 데이터(sampled data)를 생성하기 위한 검출기를 포함한다. 검출기는 표본화된 데이터가 다음의 2가지 상태 중 하나에 있도록 문턱치(threshold point)에 의해 특징지워진다. i) 그렇게 수신된 전자기 에너지의 강도가 문턱치보다 더 작은 문턱치 미만일 때와, ii) 전자기 에너지의 강도가 문턱치보다 더 큰 문턱치 이상일 때이다. 이미징 시스템은 또한 표본화된 데이터의 특성을 제공하기 위한 포화(색의 포화도 및 채도) 광학계를 포함하고, 여기에서 문턱치 미만일 때의 표본화된 데이터의 특성은 문턱치 이상일 때의 표본화된 데이터의 특성과 다르다. 또 하나의 실시예로서, 포화 광학계는 검출기로 전자기 에너지를 보내기 위한 이미징 광학계 및 전자기 에너지의 파면을 변경하기 위한 위상 변경 광학계를 포함한다. 또 하나의 실시예로서, 포화 광학계는 멀티층 대칭을 제공하는 분할 배치를 포함한다.
일 실시예로서, 이미징 시스템에서의 사용을 위한 위상 변경 광학계는, 각 분할편이 위상 변경 광학계의 중심으로부터 반경방향의 벡터에 수직인 직선을 따라 1차원 함수로 규정된 표면 침하(sag)를 포함하는 복수의 분할편들을 포함하는 일정한 윤곽 경로 표면을 포함한다.
일 실시예로서, 이미징 시스템에서의 사용을 위한 동공 함수를 설계하는 방법이 개시된다. 이 방법은 동공 함수를 선택하는 단계와, 이미징 시스템과 상기 동공 함수의 특성들을 고려하여 표본화된 PSF(point spread function)를 계산하는 단계를 포함한다. 이 방법은 선택된 거리함수(metric)에 따라 상기 표본화된 PSF를 평가하는 단계와, 만일 상기 표본화된 PSF가 상기 선택된 거리함수 내에 합치하지 않으면 한 세트의 파라미터 변경요소들을 사용하여 상기 동공 함수를 변경하는 단계 및 상기 표본화된 PSF가 상기 선택된 거리함수 내에 합치할 때까지 상기 동공 함수의 평가 및 변경을 반복하는 단계를 더 포함한다.
설명의 명확성의 목적을 위해, 도면에 있어서 어떤 요소들은 일정한 비율로 도시되지 않을 수도 있다는 점에 주의해야 한다. 또한, 설명의 명확성 및 재생 일치성의 목적을 위해, 어떤 이미지들은 보편성의 손실없이 단순화되고 콘트라스트가 개선될 수도 있다는 점에 주의해야 한다.
도 1은 실시예에 따른, 비포화 조명에 대한 이미징 시스템의 반응을 설명하기 위해 여기에 도시된, 포화 광학계를 포함하는 이미징 시스템의 개략도이다.
도 2는 실시예에 따른, 포화 조명에 대한 이미징 시스템의 반응을 설명하기 위해 여기에 도시된, 포화 광학계를 포함하는 이미징 시스템의 개략도이다.
도 3은 실시예에 따른, 포화 광학계를 위한 동공 함수를 설계하는 과정에 대한 흐름도이다.
도 4는 실시예에 따른, 공간적으로 균일한 분할을 갖는 원형 동공 함수의 설명도이다.
도 5는 실시예에 따른, 공간적으로 비균일한 분할을 갖는 원형 동공 함수의 설명도이다.
도 6은 실시예에 따른, 8섹터의 공간적으로 균일한 분할을 갖는 원형 동공 함수의 설명도이다.
도 7은 도 6에 도시된 원형 동공 함수 중 한 섹터의 상세의 설명도이다.
도 8은 실시예에 따른, 동공 함수의 일부를 규정하기 위한 전형적인 다항식의 도면을 보여준다.
도 9는 실시예에 따른, 전형적인 동공 함수의 3차원(3D) 메쉬(mesh)도를 보여준다.
도 10은 전형적인 평활 함수의 3D 메쉬도를 보여준다.
도 11은 실시예에 따른, 도 9의 전형적인 동공 함수를 도 10의 전형적인 평 활 함수와 결합한 변경된 동공 함수의 3D 메쉬도를 보여준다.
도 12 내지 도 15는 실시예에 따른, 도 9의 동공 함수를 포함하는 이미징 시스템에 의해 획득된 표본화된 PSF(point spread function)의 이미지를 보여준다.
도 16 내지 도 19는 실시예에 따른, 도 11의 변경된 동공 함수를 포함하는 이미징 시스템에 의해 획득된 표본화된 PSF의 이미지를 보여준다.
도 20은 편의를 위해 여기에 반복된 도 9의 3D 메쉬도를 보여준다.
도 21은 실시예에 따른, 전형적인 외부 영역 마스킹(masking) 함수의 3D 메쉬도를 보여준다.
도 22는 실시예에 따른, 전형적인 내부 영역 마스킹 함수의 3D 메쉬도를 보여준다.
도 23은 실시예에 따른, 도 21에 도시된 외부 영역 마스킹 함수에 의해 도 9의 동공 함수의 하나하나의 증배로부터 유래하는 도 9의 동공 함수의 선택된 내부 영역의 3D 메쉬도를 보여준다.
도 24는 실시예에 따른, 도 22에 도시된 내부 영역 마스킹 함수에 의해 도 9의 동공 함수의 하나하나의 증배로부터 유래하는 도 9의 동공 함수의 선택된 외부 영역의 3D 메쉬도를 보여준다.
도 25는 도 23에 도시된 바와 같은 동공 함수의 선택된 내부 영역을 포함하는 이미징 시스템에 의해 획득된 포화된 표본화된 PSF의 도면을 보여준다.
도 26은 도 24에 도시된 바와 같은 동공 함수의 선택된 외부 영역을 포함하는 이미징 시스템에 의해 획득된 포화된 표본화된 PSF의 도면을 보여준다.
도 27은 편의를 위해 여기에 반복된 도 11의 3D 메쉬도를 보여준다.
도 28은 편의를 위해 여기에 반복된 도 21의 3D 메쉬도를 보여준다.
도 29는 편의를 위해 여기에 반복된 도 22의 3D 메쉬도를 보여준다.
도 30은 실시예에 따른, 도 21의 외부 영역 마스킹 함수에 의해 도 11의 동공 함수의 하나하나의 증배로부터 유래하는 선택된 내부 영역의 3D 메쉬도를 보여준다.
도 31은 실시예에 따른, 도 22의 내부 영역 마스킹 함수에 의해 도 11의 동공 함수의 하나하나의 증배로부터 유래하는 선택된 외부 영역의 3D 메쉬도를 보여준다.
도 32는 도 30에 도시된 바와 같은 동공 함수의 선택된 내부 영역을 포함하는 이미징 시스템에 의해 획득된 포화된 표본화된 PSF의 도면을 보여준다.
도 33은 도 31에 도시된 바와 같은 동공 함수의 선택된 외부 영역을 포함하는 이미징 시스템에 의해 획득된 포화된 표본화된 PSF의 도면을 보여준다.
도 34는 실시예에 따른, 코사인 위상 동공 함수의 윤곽도를 보여준다.
도 35는 실시예에 따른, 랜덤 위상 동공 함수의 그레이스케일(grayscale) 이미지를 보여준다.
도 36은 도 34 및 도 35에 각각 도시된 코사인 위상 및 랜덤 위상 동공 함수의 합의 그레이스케일 이미지를 보여준다.
도 37은 도 34의 동공 함수를 포함하는 이미징 시스템에 의해 획득된 비포화된 표본화된 PSF의 그레이스케일 이미지를 보여준다.
도 38은 도 34의 동공 함수를 포함하는 이미징 시스템에 의해 획득된 포화된 표본화된 PSF의 그레이스케일 이미지를 보여준다.
도 39는 도 36의 동공 함수를 포함하는 이미징 시스템에 의해 획득된 비포화된 표본화된 PSF의 그레이스케일 이미지를 보여준다.
도 40은 도 36의 동공 함수를 포함하는 이미징 시스템에 의해 획득된 포화된 표본화된 PSF의 그레이스케일 이미지를 보여준다.
조명 상태가 변화함에 따라, 이미징 시스템의 성능은 영향을 받는다. 그러므로 우리는 지금, 다른 특징들 중에서, 전자기 에너지의 조명 강도가 검출기를 포화시키도록 충분히 높을 때 어떤 방식으로 작용하는 이미징 시스템의 설계 및 실시를 개시한다. 높고 낮은 조명 강도 조건의 두 예가 있다: 1) 검출기를 포화시키는 높은 조명 및 검출기를 포화시키지 않는 낮은 조명, 2) 검출기를 전혀 포화시키지는 않지만, 낮고 높은 조명 강도가 노이즈가 존재하는 상태에서 식별될 수 있을 정도로 충분히 서로 다른 높은 조명. 두 번째 정의는 예를 들어 이진 또는 문턱치의 디지털 이미지와 관련하여 유용하다. 즉, 검출기의 포화점 미만인 관련 조명 강도를 고려해볼 때, 높고 낮은 조명 강도 사이의 구별되는 레벨은 적절한 문턱치가 결정될 수 있는 값으로서 규정될 수 있다.
예를 들면, 전자 데이터를 제공하는 8비트 검출기에 대해, 낮은 조명 강도는 비포화된 0∼254 카운트를 의미할 수 있고, 높은 조명 강도는 255 이상의 카운트를 의미할 수 있다. 즉, 전형적인 8비트 검출기에 대해, 255 카운트의 값은 검출기의 포화점으로서 표시될 수 있다. 이와는 달리, 동일한 8비트 검출기에 대해, 10과 100카운트에 해당하는 조명 레벨은 이러한 조명 레벨에 있어서의 차이가 식별가능하도록 하는 90카운트 이하의 노이즈 레벨의 존재하에서 각각 낮고 높은 것으로 고려될 수 있다.
예를 들면, 이미지화된 장면의 동적 범위가 검출기의 동적 범위보다 더 클 때 검출기의 포화는 발생한다. 전형적인 8비트 검출기에 대해, 예를 들면, 어두운 목재 표면(1 cd/m2보다 적은) 및 밝은 유색의 벽(10 cd/m2)은 검출기를 포화시키지 않을 수 있는 반면, 주차장(~1,000 cd/m2) 및 하늘(10,000 cd/m2보다 큰)은 검출기를 포화시킬 수 있다. 상기 전술된 물체 강도는, 전형적인 검출기가 예를 들어 20cd/m2의 휘도에서 포화점을 갖는다고 가정한다. 여기에 설명된 전형적인 포화된 표본화된 PSF는 포화 레벨과 관련된다. 예를 들면, 도 25의 표본화된 PSF(2500)는 50배 포화된 것으로서 나타내어진다. 그러므로, PSF(2500)는 검출기상에 입사하는 1000 cd/m2 의 강도와 관련될 수 있다.
정상 이미징과는 다른, 검출기의 포화는 예술적 이미징 포화에서 또는 검출기 또는 광학계의 반응을 시험하기 위해서 발생할 수 있다. 예술적 이미징은 구조적 조명 소스, 특수화된 플래시 조명 및/또는 확장된 노출의 사용을 포함할 수 있다. 프로빙(probing)은 높은 강도의 비일관된 또는 일관된 소스를 이용할 수 있다. 프로빙은 예를 들어 군사 목적의 검출기의 검증을 결정하기 위하여 또는 군사적인 적용에 있어서의 검출기의 검출을 위해 사용될 수 있다. 여기에서, 높은 동적 범위 강도 이미징 상태를 위해 특별히 설계된 이미징 광학계는 "포화 광학계"로서 지칭된다. 바꾸어 말하면, 포화 광학계를 포함하는 이미징 시스템은 그 이미징 시스템에 의해 어떤 물체에 관해 형성된 이미지가 예를 들어, 물체의 조명 강도의 함수로서 맞추어질 수 있도록 설계된 이미징 시스템이다. 포화 광학계는 포화 광학계를 포함하는 이미징 시스템이 포화된 이미징 상태 하에 미리 결정된 방식으로 동작하도록 특수 설계된 동공 함수를 포함한다.
포화 광학계는 참고로 여기에 포함된 미국특허번호 5,748,371에 서술된 것과 같이, 그것을 통해 전송된 전자기 에너지의 파면을 코드화하기 위한 이미징 광학계 및/또는 위상 변경 광학계를 추가로 포함할 수 있다. 어떤 적용에서, 위상 변경 광학계는 비순환적으로(비회전식으로) 대칭적인 광학계를 포함할 수 있다. 특히 높은 조명 강도를 가지고 먼 포인트의 이미지를 형성할 때, 위상 변경 광학계는 오로지 순환적으로(회전식으로) 대칭적인 광학계(즉, 위상 변경 광학계를 갖지 않는 "종래의" 이미징 시스템)를 포함하는 이미징 시스템에 의해 산출된 이미지들과는 아주 다르도록 인식되는 이미지들을 산출할 수 있다.
이미징 시스템에 있어서의 포화 광학계의 사용은 어떤 이익을 제공할 수 있다. 예를 들면, 위상 변경 광학계와 결합된 포화 광학계를 포함하는 이미징 시스템은 종래의 이미징 시스템에 의해 생성되어온 것으로 여겨지기는 하지만, 감소된 수차들 및/또는 확장된 피사계 심도(depth of field)와 같은 부가된 장점을 갖는 이미지를 산출하도록 구성될 수 있다. 또한, 포화 광학계는 이미징 시스템에서 사용 된 광학계의 표시기를 제공하는 어떤 식별가능한 특징들(예를 들면, 디지털 워터마킹(digital watermarking))을 갖는 비전통적인 이미징 시스템에 의해 산출된 것으로 여겨지는 이미지를 산출하기 위한 이미징 시스템에서 사용될 수 있다. 추가적 고려사항은, 포화될 때의 종래 이미징 시스템에 의해 형성된 오프축(off-axis) 포화된 이미지는, 예를 들어 조리개가 종래 이미징 시스템에서 하나의 광학 소자에 대항하여 위치될 때 비네팅(vignetting)과 같은, 바람직하지 않은 효과를 나타낼 수 있다는 것이다. 실제로, 조리개는 다른 시야 위치가 다른 물리적인 위치에서 겹치도록 한정된 두께를 가지며, 이것에 의해 이미지 품질을 감소시킬 수 있는 비대칭 포화된 반응을 생성한다. 그러므로 포화 광학계의 사용은 이와 같은 문제를 완화할 수 있다.
여기에서, 많은 실시예들이 포인트 또는 포인트 물체 또는 선택적으로 PSF와 관련하여 설명된다. 본 설명의 문맥 내에서, 이러한 설명들은 상호 교환될 수 있는 것으로 고려된다. 또한, 어떤 물체는 포인트 물체의 세트로 분해될 수 있고 그것의 이미지는 PSF의 관련된 세트로 분해될 수 있다고 인지된다.
본 발명과 관련하여, 하나의 구별이 이미징 시스템의 광학계의 함수인 종래 감각의 PSF와 검출기에 의해 포획된 것으로서의 PSF로 지칭되는 "표본화된 PSF" 사이에서 이루어진다. 즉, 표본화된 PSF는 샘플링 패턴, 픽실레이션(pixilation), 파장 선택 및 포화와 같은, 그러나 그러한 것들에 한정되지 않는, 이미징 시스템에 있어서의 검출기의 어떤 특징들에 의해 변경된 PSF이다. 표본화된 PSF의 특징들은, 이미징 시스템에 의해 이미지화된 입사 전자기 에너지 분포 뿐만 아니라, 이미징 시스템의 설계에 직접적으로 관련된다. 표본화된 PSF의 특징들은 윤곽(contours), 외형선(outlines), 자국(footprints), 공간적 범위, 측면(profiles), 단면(cross-sections), 화소값(pixel values), 방위(orientation), 기울기도(gradients), 강도 및 위치와 같은, 그러나 그러한 것들에 한정되지 않는, 표본화된 PSF의 형상 및 형태를 설명하기 위해 사용된 어떤 분별가능한 특징을 포함한다.
게다가 표본화된 PSF는, 조명 강도가 검출기의 일부를 포화시키기 위해 충분할 때의 포화된 표본화된 PSF, 또는, 검출기가 비포화됐을 때의 비포화된 표본화된 PSF의 둘 중 어떤 한 쪽으로서 또한 분류될 수 있다. 이미지로부터 PSF의 관련 세트는 이미징 시스템의 검출기의 상기 전술된 특징들에 의해 또한 변경될 수 있고, 검출기가 포화됐을 때, 포화된 표본화된 PSF를 갖는 표본화된 이미지 또는 더 간결하게 "포화된 표본화된 이미지"로 귀착된다.
도 1은 실시예에 따른, 저조명 레벨을 갖는 비포화성 조명에 대한 이미징 시스템에 있어서의 검출기의 반응을 설명하기 위해 여기에 도시된 포화 광학계를 포함하는 이미징 시스템(100)의 개략도이다. 이미징 시스템(100)은 검출기를 포화시키기에 충분한 전자기 에너지를 반사하거나 방출하지 않는, 작은, 오프축의 물체 (120)를 이미지화한다. 이미징 시스템(100)은 또한 검출기(160)(예를 들면, 필름, CCD, CMOS 검출기 또는 마이크로볼로미터(microbolometer))에서 물체(120)를 이미징 하기 위한 포화 광학계(140)를 포함한다. 포화 광학계(140)는 아래에 더욱 상세히 논의된 바와 같이, 포화 상태를 수용하도록 설계된 이미징 광학계 및 위상 변경 광학계를 포함할 수 있다. 검출기(160) 및 선택적 신호 처리기(170)는 이미지(180) 를 형성하기 위해 사용될 수 있는 전자데이터를 생성하기 위해 협력한다. 만약 물체(120)가 충분히 작다면, 그러면 이미지(180)는 이미징 시스템(100)을 위한 표본화된 PSF로 고려될 수 있다. 비포화된 상태 하에서, 이미지(180)는 종래의 이미징 시스템으로부터 기대된 것과 유사하다. 즉, 이미지(180)는 물체(120)를 닮은 형상(120')을 포함한다. 신호 처리기(170)는 필터링, 스케일링 및 색보정과 같은, 그러나 그러한 것들에 한정되지 않는, 기술들의 적용에 의해 이미지(180)를 더 처리할 수 있다.
도 2는 높은 조명 레벨을 갖는 포화 조명에 대한 이미징 시스템의 반응을 설명하기 위해 여기에 도시된 포화 광학계를 갖는 이미징 시스템(200)의 개략도이다. 이미징 시스템(200)의 구성요소는, 이미징 시스템(200)이 높은 강도 물체(220)를 이미지화하기 위해 사용되고 있다는 것을 제외하고는, 이미징 시스템(100)의 구성요소로부터 본질적으로 변화되지 않는다. 고강도 물체(220)의 조명 레벨은 포화된 표본화된 이미지(280)로 귀착하도록 충분히 크다. 포화 광학계(140) 및 검출기 (160)는 선택적으로 신호 처리기(170)와의 결합하여 도 1의 비포화된 표본화된 이미지(180)로부터 또는 포화 광학계를 갖지 않는 종래 이미징 시스템에 의해 포착된 포화 표본화된 이미지로부터 다른 특징들을 나타낼 수 있는 포화 표본화된 이미지(280)에 대응하는 전자데이터를 생성한다. 도 2에 도시된 전형적인 경우에 있어서, 포화된 표본화된 이미지(280)는 텍스트 "CDM" 및 이미지(180)(이미지(180)내의 점과 유사한 점이 포화된 표본화된 이미지(280) 내의 "D"의 중심에 위치되는 것에 주목)를 표현하는 형성된 이미지의 중첩이다. 형성된 이미지는 포화된 이미징 상태 하에 포화 광학계(140)에 의해 산출된다. 이러한 형성된 이미지는 예를 들어 어떤 조명 상태 하의 주어진 이미징 시스템의 식별에의 사용을 위한 디지털 워터마크로서 이용될 수 있다. 즉, 조명 레벨은 특별한 이미징 시스템을 식별하기 위해 사용될 수 있다.
이미지(280)는 검출기(160)의 대부분에 걸쳐 분포될 수 있고, 예를 들어 원형으로 대칭인 광학계를 포함하는 종래 이미징 시스템에 의해 형성된 표본화된 PSF에 가까워질 수 있다. 이미지 180과 포화된 표본화된 이미지(280)를 비교함으로써 알 수 있는 바와 같이, 포화 광학계(140)의 사용은 오직 물체의 조명 강도에 의존하여 식별할 수 있게 다른 표본화된 이미지로 귀착한다는 것을 알 수 있다. 포화 광학계(140)는 또한 포화된 표본화된 이미지(280)에 대응하는 표본화된 PSF의 특징들이 시야 내의 물체(220)의 위치에 의존할 수 있도록 규정된 시야에 의해 특징지어질 수 있다. 추가적으로, 포화 광학계(140)의 동공 함수는 시야의 외부에 위치된 물체를 이미지화하는 것은 여전히 다른 특징들을 갖는 표본화된 이미지로 귀착할 수 있도록 더 구성될 수 있다. 선택적으로, 포화 광학계(140)는 표본화된 이미지의 특징들 또는 그것의 일부가 범위, 필드 각도 물체, 용적 측정의 위치, 형상, 조명 강도 및 컬러 중 하나 이상의 함수이도록 설계될 수 있다.
포화 광학계를 위한 동공 함수를 설계하는 프로세스(300)에 대한 흐름도가 도 3에 도시된다. 프로세스(300)는 동공의 가장자리에서 알려진 회절 효과, 포화 광학계의 설계에서 사용될 위상 불연속 및 대칭에 의해 초래될 수 있는 인공물과 같은 어떤 선험적 지식에 의존할 수 있다.
프로세스(300)는 "START" 단계(310)로 시작하여, 설계를 위한 초기 추정치로서 하나 이상의 동공 함수를 선택하는 단계(320)가 뒤따른다. 예를 들면, 도 9의 동공 함수(900), 도 10의 동공 함수(1000), 도 34의 동공 함수(3400), 도 35의 동공 함수(3500)는 단계(320)의 선택에 적절하다. 일단 동공 함수가 초기 추정치로서 선택되면, 프로세스(300)는 단계(340)로 전진하며, 이곳에서 포화 광학계와 함께 사용될 검출기의 상세사항 뿐만 아니라 사용될 광학 요소(예를 들면, 이미징 광학계 및 선택된 동공 함수)의 특징들을 고려하여 상기 선택된 동공 함수에 대응하는 표본화된 PSF가 계산된다. 표본화된 PSF는 켤레(conjugate), 포화 및 파장과 같은 변수들의 함수로서 계산될 수 있다. 표본화된 PSF는 또한 전체 동공 함수라기 보다는 내부 및 외부 영역과 같은, 동공 함수의 부분들에 기초하여 계산될 수 있다.
다음으로, 단계 360에서, 단계 340에서 계산된 표본화된 PSF가 미리 결정된 거리함수와의 비교에 의해 평가된다. 예를 들면, 포화된 표본화된 PSF의 낮은 강도 영역 및 비포화된 표본화된 PSF의 높은 강도 영역은, 조밀함, 대칭, 종래의 이미징 시스템(즉, 포화된 광학계를 갖지 않는)에 의해 산출된 표본화된 PSF와 유사한 정도 및 포화된 이미징 상태 하의 종래 이미징 시스템에 의해 산출된 포화된 표본화된 PSF와 비교하여 포화된 표본화된 PSF에서 제공된 특이성의 정도와 같은 특징들을 제공하기 위해 평가될 수 있다. 그리고 나서, 단계 360에서 평가된 표본화된 PSF가 주어진 이미징 시스템에 대해 수용될 수 있는지에 대하여 결정(370)이 이루어진다. 만일 결정(370)에 대한 대답이 "YES"이면 표본화된 PSF는 수용될 수 있고, 그리고 나서 프로세스(300)는 단계 380에서 끝난다. 만일 결정(370)에 대한 대답이 "NO"이면 표본화된 PSF는 수용될 수 없고, 그러면 프로세스(300)는 단계 350으로 진행하고, 그곳에서 동공 함수는 어떤 파라미터에 따라서 변경되고, 프로세스는 단계 340으로 돌아가서, 그곳에서 표본화된 PSF는 단계 350에서 변경된 동공 함수에 대해 계산된다. 동공 함수는 다음의 특성들, 예를 들면, 각좌표(즉, 극좌표에서의 Θ)의 함수로서의 일정한 위상과, 방사좌표(즉, 극좌표에서의 R)의 함수로서의 최소화된 위상 불연속과, 그리고 포화 및 비포화의 케이스 둘다에 있어서의 관련된 표본화된 PSF(예를 들면, 표본화된 PSF가 원형 또는 닫힌 윤곽선을 갖는다)의 어떤 특징들 중 하나 이상을 성취하거나 유지하도록 변경될 수 있다.
포화 광학계에 대한 적절한 동공 함수 구성의 일 예는 분할된 동공 함수이다. 분할된 동공 함수는 어떤 수의 섹터들을 포함할 수 있다. 예를 들면, 도 4는 섹터들(410, 420, 430, 440, 450)로 공간적으로 균일한 분할을 갖는 원형 동공 함수(400)를 보여준다. 이와는 달리, 도 5는 그 안에 더 소분류화된 6개이 섹터(510, 520, 530, 540, 550, 560)로 공간적으로 비균일한 분할을 갖는 원형 동공 함수(500)를 보여준다. 도 4 및 도 5에 사용된 변화된 쉐이딩(shading)은 서로 다른 수학적 함수 형태를 표현하기 위해 사용된다. 각 섹터는 같은 또는 다른 함수적 형태를 가질 수 있고, 그리고 섹터(예를 들면, 도 5의 섹터(520 및 560))의 각 분할 내에 다른 함수적 형태 및/또는 형상을 더 포함할 수 있다.
분할을 포함하는 동공 함수를 설계하는 것에의 한 가지 접근법은 동공 함수들의 조합을 통하는 것이다. 예를 들면, 만일 Po가 PSF의 첫번째 형태를 산출하는 첫 번째 동공 함수이고, P1은 PSF 등의 두번째 형태를 생성하는 두 번째 동공함수이며 등등일 경우, 그러면 새로운 동공 함수가 다양한 동공 함수의 가중된 조합으로서 규정될 수 있다.
Figure 112008087136715-pct00001
여기에서 a, b 및 z는 파라미터이다. 함수 F는 곱셈, 나눗셈, 덧셈, 뺄셈, 컨볼루션(convolution), 비선형 또는 조합의 함수 또는 그것의 조합과 같은 어떤 수학적 연산을 포함할 수 있다. 파라미터 a, b, z는 동공 함수를 부분적으로 또는 전체적으로 변경하는 스칼라(scalar) 또는 벡터(vector)량일 수 있다. 이하의 예들은 이 러한 함수적 규정을 이용하여 설계된 다양한 동공 함수를 서술한다. EQN. 1에 의해 규정된 동공 함수를 포함하는 포화 광학계는, 물체 및 장면의 최종 이미지가 물체 및 장면의 강도의 함수이도록 하는 신호 처리와 결합될 수 있다.
도 6은 제1 내지 제8 섹터(각각 610, 620, 630, 640, 650, 660, 670, 680)의 공간적으로 균일한 분할을 갖는 원형 동공함수(pupil function)(600)의 설명도이다. 동공 함수(600)는 일정한 윤곽 경로(CPP) 형태의 하나의 예이다. CPP 형태는 복수의 직선 분할을 사용하여 구성된다. 즉, 각 섹터는 원형 동공 함수(600)의 중심으로부터 반경(방사상) 벡터에 수직인 직선 분할을 따라 수학적으로 기술될 수 있다.
각 섹터는 또한 광학축(예를 들면, 제1 섹터(610)는 제1 및 제2 영역(612및 614)을 각각 갖는다)으로부터의 거리에 의해 규정된 적어도 두 개의 영역을 갖는 다. 동공 함수의 중심에 가장 가까운 제1 영역(612)과 같은 영역들은 내부 영역으로 불리고, 제2 영역(614)과 같은 동공 함수의 중심으로부터 가장 먼 영역들은 외부 영역으로 불린다. 명료성을 위해, 단지 제1 섹터(610) 내에 있는 제1 및 제2 영역만 도 6에 분류된다. 일실시예에 있어서, 포화 광학계와 함께 사용하기 위해 설계된 동공 함수의 외부 영역의 윤곽은 전체적인 동공 함수, 특히 내부 영역이 원형 형태로부터 큰 일탈(deviation)을 갖는다 하더라도, 일반적으로 원형 형태일 수 있다. 즉, 비원형 동공 함수들이 원형 동공 함수에 의해 생성된 것으로 보이는 포화된 물체의 이미지를 생성하도록 설계될 수 있다.
도 6으로 돌아가서, 각 섹터의 표면 형상은 동공 함수의 중심으로부터의 거리의 함수로서 변화한다. 섹터(예를 들면, 제1 섹터(610))의 주어진 영역(예를 들면, 제1 영역(612))의 수학적 형태는 1차원 수학적 함수로 표현될 수 있다. 전형적인 동공 함수(600)에 대해, 모든 섹터는 동일한 다항식 함수(예를 들면, 도 8과 관련하여 논의된 다항식 함수(810))로 설명된다. 동공 함수(600)는 적어도 다음의 특성들로 인해 특히 포화 광학계의 사용에 적합하다: 1) 동공 함수(600)는 대칭적 PSF를 산출하는 짝수의 8개 무리의 대칭을 가지며, 그 결과, 홀수 대칭을 갖는 PSF에 의해 산출된 이미지보다 더 "자연스러운" 것으로 생각되는 이미지를 갖는다; 2) 동공 함수(600)의 8개 무리의 대칭은 수평, 수직 및 특히 인간의 눈이 민감한 대각선 방향에 있어서, PSF를 위해 충분한 변조 및 강도를 제공한다; 그리고 3) 동공 함수(600)의 8개 무리의 대칭은 디지털 검출기의 정사각형 격자(square lattice) 및 베이어(Bayer) 패턴과의 통합에 충분히 적합하다.
도 7은 도 6에 도시된 원형 동공 함수의 한 섹터의 확실한 상세를 설명한다. 동공 함수(600)의 8섹터와 같이, 섹터(700)는 내부영역(710)과 외부영역(720)을 포함한다. 선명한 조리개 반경(CR)과 표면 형상 높이 또는 새그(sag) 사이의 수학적 관계가 하기 방정식에 의해 주어진다.
Figure 112008087136715-pct00002
여기에서 x는 일반화된 1차원 좌표이고, αn은 계수 그리고 βn은 지수이다. 추가적으로, 현선(chord line)(730)에 따른 모든 새그값(sag value)은 동일한 값을 갖는 것으로 규정된다. 제1 영역(710)의 표면 새그가 다항식으로 의해 표현된다 해도, 외부영역(720)의 형상은 다른 함수로 결정될 수 있다.
도 8은 동공 함수를 규정하는 전형적인 다항식(삽입박스(810) 내에 표시된)의 도면(800)을 보여준다. 다항식(810)은 CPP 함수의 일 예이다. 도면(800)의 수평축은 0이 동공 함수의 중심이고 1이 엣지에서의 동공 함수 조리개의 에지(edge)인 표준화된 동공 좌표(즉, 동공 함수의 중심으로부터의 거리)를 나타낸다. 수직축은 파장의 단위로 표면 새그의 높이를 나타낸다. 다항식(810)과 같은 CPP 함수는, 위상 변경 광학요소 또는 요소들의 물리적 표면의 형태를 제한할 뿐만 아니라, 적절하게 스케일링될 때, 전자기 에너지의 위상에 대한 수학적 관계를 동공 좌표의 함 수로서 규정한다.
도 6 내지 도 8과 관련된 수학적 규칙들은 동공 함수를 규정하기 위해 결합될 수 있다. 도 9는 상기 서술된 수학적 규칙들의 결합으로부터 그렇게 형성된 전형적인 동공 함수의 3D 메쉬(mesh)도(900)를 보여준다. 여기에서 메쉬도(900) 및 다른 메쉬도에 대해, x 및 y축은 동공 함수의 임의의 공간 좌표를 나타낸다. 이러한 도면의 수직축은 파장단위의 표면 새그를 나타낸다. 메쉬도(900)로 표현된 동공 함수는 예를 들어 어떤 식별가능한 특징들을 갖는 이미지들을 산출할 수 있는 포화 광학계 구성에 있어서의 사용에 적합하다.
메쉬도(900)로 표현된 동공 함수는 3D 메쉬도(1000)로서 도 10에 도시된 바와 같은 평활 함수를 사용하여 변경될 수 있다. 평활 함수를 갖는 동공 함수의 하나하나의 증배(Point-by-point multiplication)는, 3D 메쉬도(1100)로서 도 11에 도시된 바와같은 변경된 동공 함수로 귀착한다. 메쉬도(1100)로 표현된 변경된 동공 함수는 일 실시예로서의 포화 광학계 구성에 있어서의 사용에 적합하다.
평활 함수는 지수 함수, 페르미(Fermi) 함수, 아인슈타인(Einstein) 함수, 가우스 함수(Gaussian function), 시그모이드(sigmoid) 함수와 같은, 그러나 그러한 것들에 한정되지 않는, 원하는 "댐핑(damping)" 특징들을 제공하는 어떤 함수일 수 있다. 3D 메쉬도(1000)로 표현된 평활 함수는 시그모이드 함수의 일 예인 보완적인 에러함수(erfc)이다. 도 10의 메쉬도(1000)로 표현된 것과 같은 erfc 평활 함수를 형성하기 위해, 1차원 함수 erfc는 회전식(순환적)으로 대칭적 원통형 형태(즉, erfc(x)→erfc(r))로 변한다.
평활 함수는 적어도 다음의 몇가지 장점을 제공하는 능력에 대해서 선택될 수 있다. 1) 동공 함수는 CPP 다항식(참조, 도면(800)에서 f'(x=~0.76)=0)의 0 기울기 값을 넘는 반경에서 일정하게 되고, 2) 동공 함수는 동공 함수 조리개에서 원형으로 대칭이고, 3) 반경 방향의 동공 함수의 기울기는 본질적으로 동공 함수의 외부영역의 모든 극선 각도에 대하여 상수이다. 평활 함수는 변경된 동공 함수의 내부 및 외부영역의 사이의 변화가 일정한 기울기의 영역에서 또는 동공 함수의 중심으로부터의 고정된 반경에서 발생하도록 설계될 수 있다. 일실시예에 있어서, 최초 동공 함수 및 변경된 동공 함수의 내부영역은 본질적으로 도 11에 도시된 바와 같이 동일하게 유지될 수 있다. 외부영역은 메쉬도(1100)로 도시된 것처럼 매우 변경되어 아주 다르게 될 수 있다.
다른 방편으로, 전자기 에너지의 강도를 변경하기 위한 아포다이징 (apodizing) 함수는, 그것을 통해 전송된 전자기 에너지의 위상 및 강도 둘다를 변경하는 포화 광학계를 산출하도록, 변경하는 동공 함수를 산출하기 위해 또한 사용될 수 있다. 즉, 포화 광학계 구성에의 사용을 위한 동공 함수는 오직 아포다이징 강도 변경 함수로부터 또한 형성될 수 있다.
도 12 내지 도 15는 가변하는 포화도 하의 메쉬도(900)로 표현된 동공 함수와 관련된 표본화된 PSF의 도면을 보여준다. 이러한 도면 및 후속되는 표본화된 PSF 도면에 있어서의 x 및 y좌표계 단위는, 검출기 픽셀의 단위이다. 도 12는 아주 작고 컴팩트하게 보이는 비포화된 표본화된 PSF(1200)를 보여준다. 도 13은 비포화된 표본화된 PSF(1200)보다 더 클지라도 외관에 있어서 작고 컴팩트함을 유지하는 10배 포화된 표본화된 PSF(1300)를 보여준다. 조명 강도가 도 14 및 도 15에 각각 도시된 바와 같이 50배 및 500배의 포화 레벨로 증가됨에 따라, 포화된 표본화된 PSF는 비포화된 표본화된 PSF(1200)와 아주 다르게 된다. 50배 및 500배 포화된 표본화된 PSF(1400 및 1500)는 각각 별과 같은 외관을 가지며, 종래의 이미징 시스템에 의해 형성된 PSF와 외관에 있어서 아주 다르다. 이러한 효과는 소비자 기기에 종종 바람직하지 않고 불완전하게 이미지화된 물체를 표현하는 것으로 생각될 수 있다 할지라도, 이러한 효과는 워터마킹 및 예술적 이미징과 같은 특수화된 목적을 위해 사용될 수 있다.
도 16 내지 도 19는 가변하는 포화도 하의 도 11의 메쉬도(1100)로 표현된, 변경된 동공 함수와 관련된 표본화된 PSF의 도면을 보여준다. 비포화된 표본화된PSF(1600) 및 10배 포화된 표본화된 PSF(1700)는 메쉬도(900)로 표현된 동공 함수와 관련된 PSF들과 유사하게 보인다. 그러나, 더 큰 포화 레벨(50배 및 500배 포화된 표본화된 PSF(1800 및 1900) 각각)에서의 표본화된 PSF는 50배 및 500배 포화된 표본화된 PSF(1400 및 1500)와 아주 다르게 보인다. 50배 및 500배 포화된 표본화된 PSF(1800 및 1900)는 사용자가 종래 이미징 시스템과 관련된 PSF들로부터 기대하는 것과 유사하게 보인다. 도 12 내지 도 19에 도시된 PSF와 관련된 포화 광학계에 의해 산출된 이미지의 프로세싱은 이미지의 특징들을 변경할 수 있다. 예를 들면, 필터는 프로세싱에 의해 포화된 표본화된 PSF(1400 및 1500)의 "별과 같은" 윤곽을 개선하거나 적어도 부분적으로 제거하기 위하여 사용될 수 있다.
도 20 내지 도 24는 동공 함수의 내부영역 및 외부영역으로의 전형적인 분해 를 보여준다. 도 20은 편의를 위해 여기에 반복된 도 9의 동공 함수의 메쉬도(900)를 보여준다. 도 21 및 도 22는 전형적인 내부영역 마스킹 함수 및 외부영역 마스킹 함수의 3D 메쉬도(2100 및 2200)를 각각 보여준다. 그 영역들에 대한 공통 반경 경계는 이 예에 대해 r = 0.77의 표준화된 반경에 존재하도록 규정된다. 이 표준화된 반경값 경계는 도 8의 반경 CPP 다항식의 기울기가 거의 0이도록 선택된다. 각 마스킹 함수는, 동공 함수의 일부가 선택되는 1의 값과, 동공 함수가 선택되지 않는 0의 값을 갖는다. 도 23 및 도 24는, 도 21 및 도 22에 도시된 마스킹 함수를 이용하여 도 20에 도시된 동공 함수의 하나하나의 증배로부터 유래하는 선택된 내부 및 외부영역 동공 함수의 3D 메쉬도(2300 및 2400)를 각각 보여준다.
도 25 및 도 26은, 도 23 및 도 24의 선택된 내부영역 및 외부영역 동공 함수와 관련된 포화된 표본화된 PSF들의 도면을 각각 보여준다. x 및 y축 단위는 검출기 픽셀의 단위로 되어 있다. 도 25의 내부영역 동공 함수와 관련된 포화된 표본화된 PSF(2500)는 비포화된 표본화된 PSF(예를 들면, 도 12 및 도 16의 비포화된 표본화된 PSF(1200 및 1600), 각각)처럼 그렇게 컴팩트하고, 반면에 도 26의 외부영역 동공 함수와 관련된 포화된 표본화된 PSF(2600)는 큰 별과 같은 형상을 나타낸다. 포화된 표본화된 PSF(2500)의 상대적인 크기는 포화된 표본화된 PSF(2600)의 크기보다 훨씬 더 작다. 따라서, 외부영역 동공 함수는 동공 함수의 PSF에 대한 영향력을 전체적으로 지배하는 것으로 여겨진다.
도 27 내지 도 31은 도 11의 메쉬도(1100)로 표현된 것처럼, 변경된 동공 함수의 내부 및 외부영역으로의 전형적인 분해를 보여준다. 도 27은 편의를 위해 여 기에 반복된, 도 11의 변경된 동공 함수의 메쉬도(1100)를 보여준다. 또한, 도 28 및 도 29는, 편의를 위해 여기에 반복된, 도 21 및 도 22의 마스킹 함수의 3D 메쉬도(2100 및 2200)를 각각 보여준다. 도 30 및 도 31은, 도 28 및 도 29에 도시된 마스킹 함수를 이용하여 도 27의 동공 함수의 하나하나의 증배로부터 유래하는 선택된 내부 및 외부영역 동공 함수의 3D 메쉬도(3000 및 3100)를 각각 보여준다.
도 32 및 도 33은, 도 32 및 도 33의 선택된 내부 및 외부영역 동공 함수와 관련된, 포화된 표본화된 PSF의 도면을 각각 보여준다. 도 32의 내부영역 동공 함수와 관련된, 포화된 표본화된 PSF(3200)는 비포화된 표본화된 PSF만큼 컴팩트하고실제적으로 도 25의 PSF와 동일하다. 도 31의 외부영역 동공 함수와 관련된 포화된 표본화된 PSF(3300)는 도 26의 PSF와 완전히 다르다. 도 33에서 분명한 것처럼, 외부영역 동공 함수와 관련된 포화된 표본화된 PSF(3300)는 원형으로 그리고 폐쇄된 것으로 보인다. 즉, 포화된 표본화된 PSF(3300)는 종래의 이미징 시스템의 사용자가 포화된 이미징 상태 하에서 기대해왔던 윤곽의 타입인 것으로 보인다. 따라서, 외부영역 동공 함수를 맞춤화하는 것은 그것과 함께 관련된 포화된 표본화된 PSF의 형상과 크기에 대한 직접적인 영향(력)을 갖는 것으로 여겨진다.
비포화 및 포화 이미징 상태하의 동공 함수의 효과가 현저하게 다르다는 점이 여기에서 인지된다. 따라서, 포화 광학계에 대한 설계 목표는, 예를 들면, 1) 시스템이 비포화됐을 때 충분한 이미지 품질이 제공되도록 P0와 P1의 적절한 형태 및 비율을 생성하고, 2)이미징 시스템이 포화될 때, 최종적인 포화된 이미지가 원 했던 대로 되도록 P의 적절한 형태를 생성하는 능력을 포함할 수 있다. 원형 조리개를 갖는 동공 함수의 경우에 있어서, 예를 들면, 조리개의 외주 주위의 표면의 기울기가 시야각의 함수로서 일정하게 유지되고 반경 방향의 위상 불연속성이 없는 것이 바람직할 수 있다. 비원형 조리개에 대해, 외주에서의 일정하지 않은 기울기는 포화된 표본화된 이미지가 종래의 이미징 시스템에 의해 형성된 이미지와 유사하게 보이도록 제한될 수 있다. 식별 및/또는 예술적 목적을 위해 이러한 설계 목표는 크게 변경될 수 있다. 이러한 설계 목표는 표본화된 PSF를 평가하기 위해 도 3의 프로세스(300)의 단계 360에서 거리함수로서 사용될 수 있다.
혼합 동공 함수를 구성하기 위한 또 하나의 방법은, 둘 이상의 완전한(full) 동공 함수의 추가에 의한 것이다. 도 34 내지 도 36은 동공 함수의 추가적인 구성의 예를 보여준다. 도 34는 수학적 형태(R3 cos(3Θ)에 근거한 둔 전형적인 동공 함수 P1의 등고선(3400)를 보여주며, 상기 수학적 형태에서 R은 표준화된 반경 동공 좌표계이고, Θ는 각도 동공 좌표계이다. 동공 함수 P1은 대략 1.3파(waves)의 최고 대 최저(peak-to-valley) 파면 변동을 갖는다.
도 35는 대략 0.35파의 최고 대 최저 파면 변동을 갖는 통계적으로 설계된 동공 함수 P2의 그레이스케일(grayscale) 이미지(3500)를 보여준다. 이 동공 함수의 실제 형태는 동공 함수에 대하여 통계적으로 그리고 공간적으로 상호 관련된다. 설계 프로세스는 단위 변화의 가우스 랜덤 변수로서 동공 함수의 전역에 걸치는 값들을 모델링하는 단계와, 그리고 나서 단위 부피의 2차 가우스 함수로 2차원(2D) 랜 덤 공간 변수를 휘감는 단계를 포함한다. 진폭 스케일링을 포함하는 최종 상관 랜덤 변수가 동공 함수 P2에 대한 값이 된다. 이러한 형태의 설계 프로세스는 회절 위상 구성요소를 설계하는데 이용되는 프로세스와 일반적으로 유사한 것으로 보인다. 예를 들면, 바코드 스캐너는 투사형 조명 시스템에 의해 정렬마크를 산출하기 위해 이러한 회절 구성요소를 사용할 수 있다. 또한, 새로운 비즈니스 카드는 일관된 전자기 에너지에 의해 조명될 때 키보드 및 일반적 장면의 그레이스케일 이미지를 산출하기 위해 단순한 회절 광학계를 이용하여 돋을새김될 수 있다. 이러한 회절 광학계를 설계하기 위한 기술은 포화 광학계에 대한 구성요소의 설계에의 사용을 위해 적용가능하다. 동공 함수 P1 및 P2는 도 36에 도시된 그레이스케일 이미지(3600)로 표현된, 포화 광학계 동공 함수 P1+P2를 형성하기 위해 추가될 수 있다.
도 37은 도 34의 동공 함수 P1과 관련된 비포화 표본화된 PSF(3700)의 그레이스케일 이미지를 보여준다. 비포화된 표본화된 PSF(3700)는 일반적으로 컴팩트하고 거의 회전식으로 대칭적이다. 도 38은 도 34의 동공 함수 P1과 관련된 포화된 표본화된 PSF(3800)의 그레이스케일 이미지를 보여준다. 포화된 표본화된 PSF(3800)은 비회전식의 대칭적 특징들을 보여준다. 상술한 바와 같이, 비회전식의 대칭적 특징들은 종래의 이미징 시스템에 의해 산출된 포화된 표본화된 PSF와 비교할 때 덜 즐거운 또는 더 낮은 이미지 품질로 생각될 수 있다. 이와는 달리, 비회전식의 대칭적 특징들은 식별마크로서 유용하게 사용될 수 있다.
도 36의 동공 함수 P1+P2와 관련된 비포화 표본화된 PSF(3900)의 그레이스케일 이미지가 도 39에 도시된다. 도 37 및 도 39의 비교는 비포화 표본화된 PSF(3700 및 3900)가 매우 유사하다는 것을 보여준다. 도 40은 도 36의 동공 함수 P1+P2와 관련된 포화된 표본화된 PSF(4000)의 그레이스케일 이미지를 보여준다. 도 38 및 도 40의 비교는 포화된 표본화된 PSF(3800 및 4000)이 매우 다르다는 것을 보여준다. 즉, 포화된 PSF(3800)가 비회전식의 대칭적 특징들을 나타내었지만, 도 40의 포화된 PSF(4000)는 일반적으로 원형으로 대칭적이고 그리고 종래의 이미징 시스템에 의해 산출된 포화된 PSF와 유사하다.
표본화된 PSF는 그들의 특징들을 바꾸도록 도 1의 신호 처리기(170)와 같은 신호 처리기에 의해 처리될 수 있다. 예를 들면, 필터는 포화된 표본화된 PSF (3800)의 3개 무리의 대칭적 윤곽을 개선 또는 적어도 부분적으로 제거하기 위하여 이용될 수 있거나, 또한 필터는 비포화된 표본화된 PSF(3700 및 3900) 및 포화된 표본화된 PSF(4000)의 컴팩트성(즉, 공간적 범위를 감소시킨다)을 증가시키기 위해 사용될 수 있다.
이미징 시스템으로부터의 가우스와 같은 표본화된 PSF 응답을 형성하기 위해 도 35의 동공 함수 P2를 설계하는 대신에, 동공 함수는 텍스트(도 2에 도시된 텍스트 "CDM"과 같은) 또는 또 하나의 예로서 주어진 이미징 시스템의 모델번호를 표현하는 이미지를 형성하도록 맞춤화될 수 있다. 이러한 동공이 레이저와 같은 높은 조명 강도 소스로 신호를 받을 때, 그리고 나서 산출된 이미지는 이미징 시스템의 타입의 식별자로서 작용할 수 있다. 예를 들면, 이 효과는 오로지 오프축 조명에 의해 조명된 이미징 시스템의 하나의 영역에 함수 P2를 배치함으로써 이미지면 상의 이미지의 위치에 관한 함수일 수 있다.
어떤 변화가 그것의 범위로부터 벗어나지 않으면서 여기에 설명된 이미징 시스템 및 프로세스에서 만들어질 수 있다. 예를 들면, 비록 여기에서 설명된 동공 함수가 포화 광학계를 설계하기 위해 오로지 위상만을 고려할지라도, 강도 또는 위상 및 강도 모두가 사용될 수 있다. 더 나아가, 비록 설명된 실시예들 중의 몇몇이 포화 광학계 동공 함수를 형성하기 위해 두 개의 구성요소의 사용을 특별히 언급할지라도, 두 개 이상이 쉽게 사용될 수 있다. 그러므로, 상기 설명에 포함되거나 첨부 도면에 도시된 사항은 설명적인 것으로 해석되어야 하고 한정하는 의미로 해석되지 말아야 한다는 점을 유념해야 한다. 다음의 청구항은 언어의 문제로서, 그 사이에 포함되는 것으로 말해질 수도 있는 본 방법과 시스템의 범위의 모든 서술들 뿐만 아니라 여기에 설명된 모든 일반적이고 특정한 특징들을 망라하도록 의도된다.

Claims (36)

  1. 전자기 에너지를 이미지화하기 위한 이미징 시스템으로서,
    상기 전자기 에너지를 수신하고 그렇게 수신된 상기 전자기 에너지에 따라 표본화된(sampled) 데이터를 생성하기 위한 검출기; 및
    상기 표본화된 데이터의 특징을 제공하기 위한 포화 광학계를 포함하며,
    상기 검출기는 상기 표본화된 데이터가 두 상태 중의 하나에 있도록 하는 문턱치에 의해 특징지워지고, 상기 두 상태는 1)그렇게 수신된 상기 전자기 에너지의 강도가 상기 문턱치보다 더 작은 경우에는 문턱치 이하이고, 2)상기 전자기 에너지의 강도가 상기 문턱치보다 더 큰 경우에는 문턱치 이상이며,
    문턱치 이하인 경우의 상기 표본화된 데이터의 특징은 문턱치 이상인 경우의 상기 표본화된 데이터의 특징과 다르며,
    상기 표본화된 데이터는 표본화된 PSF(point spread function)를 포함하며, 상기 표본화된 PSF는 문턱치 이상일 때 포화되며, 원형 윤곽선과 폐쇄된 윤곽선 중 하나를 나타내는 것을 특징으로 하는 이미징 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 이미징 시스템은 하나의 시야에 의해 특징지워지며, 상기 표본화된 PSF는 포화될 때 상기 시야 내에 위치된 높은 조명 강도 물체들과 시야 밖에 위치된 물체들에 대하여 서로 다른 특징들을 나타내는 것을 특징으로 하는 이미징 시스템.
  6. 제1항에 있어서,
    상기 이미징 시스템은 하나의 시야에 의해 특징지워지며, 상기 표본화된 PSF는 포화될 때 상기 시야 내의 서로 다른 위치에 위치된 높은 조명 강도 물체들에 대해 서로 다른 특징들을 나타내는 것을 특징으로 하는 이미징 시스템.
  7. 삭제
  8. 제1항에 있어서,
    상기 표본화된 PSF에 따른 상기 표본화된 데이터를 처리하기 위한 신호 처리기를 더 포함하는 것을 특징으로 하는 이미징 시스템.
  9. 제1항에 있어서,
    상기 포화 광학계는 상기 전자기 에너지를 상기 검출기로 보내기 위한 이미징 광학계 및 상기 이미징 광학계를 통해 전송된 상기 전자기 에너지의 파면을 변경하기 위한 위상 변경 광학계를 포함하는 것을 특징으로 하는 이미징 시스템.
  10. 제9항에 있어서,
    상기 위상 변경 광학계는 상기 이미징 광학계와 일체로 형성되는 것을 특징으로 하는 이미징 시스템.
  11. 제1항에 있어서,
    상기 포화 광학계는 복수 무리(multi-fold)의 대칭을 제공하는 분할편들의 배열을 포함하는 것을 특징으로 하는 이미징 시스템.
  12. 제11항에 있어서,
    상기 분할편들의 각 분할편은 상기 포화 광학계의 중심으로부터 반경 벡터에 수직인 직선을 따라 1차원 함수로 기술될 수 있는 표면 새그(sag)에 의해 특징지워지는 것을 특징으로 하는 이미징 시스템.
  13. 제12항에 있어서,
    상기 1차원 함수는 다음의 식을 포함하는 것을 특징으로 하는 이미징 시스템.
    Figure 112013027027972-pct00003
    여기에서, x는 일반화된 1차원 좌표, αn은 계수, βn은 지수, xmax=(선명한 조리개 반경)·cos(π/8), x>xmax인 경우 sag(x)=sag(xmax).
  14. 제13항에 있어서,
    상기 1차원 함수는 하기 식:
    Figure 112008087136715-pct00004
    를 포함하는 것을 특징으로 하는 이미징 시스템.
  15. 제11항에 있어서,
    상기 분할편들의 각각은 서로 다른 표면 윤곽을 갖는 적어도 내부 및 외부영역을 더 포함하는 것을 특징으로 하는 이미징 시스템.
  16. 제15항에 있어서,
    상기 분할편들의 상기 외부영역의 표면 윤곽은 균일하고 일정한 것을 특징으로 하는 이미징 시스템.
  17. 제15항에 있어서,
    상기 분할편들의 상기 외부영역은 평활 함수에 의해 변경되는 것을 특징으로 하는 이미징 시스템.
  18. 제17항에 있어서,
    상기 평활 함수는 시그모이드(sigmoid)를 포함하는 것을 특징으로 하는 이미징 시스템.
  19. 제18항에 있어서,
    상기 시그모이드는 erfc(complementary error function:보충 에러 함수)를 포함하는 것을 특징으로 하는 이미징 시스템.
  20. 제11항에 있어서,
    상기 분할편들의 배열은 크기에 있어서 균일한 분할편들을 포함하는 것을 특징으로 하는 이미징 시스템.
  21. 제20항에 있어서,
    상기 분할편들의 배열은 8개 무리(eight-fold)의 대칭을 나타내는 8개의 분할편을 포함하는 것을 특징으로 하는 이미징 시스템.
  22. 제21항에 있어서,
    상기 표본화된 PSF는 상기 표본화된 데이터가 문턱치 이상일 때 미리결정된 패턴을 나타내는 것을 특징으로 하는 이미징 시스템.
  23. 제22항에 있어서,
    상기 미리결정된 패턴은 별모양 패턴과 디지털 워터마크 중 하나를 포함하는 것을 특징으로 하는 이미징 시스템.
  24. 제23항에 있어서,
    상기 디지털 워터마크는 오프축 및 시야 밖의 조명으로 상기 이미징 시스템을 조명함으로써 보여질 수 있는 것을 특징으로 하는 이미징 시스템.
  25. 제11항에 있어서,
    상기 배열의 분할편들 중 적어도 하나는 상기 배열의 다른 분할편들과 비교하여 크기에 있어서 서로 다른 것을 특징으로 하는 이미징 시스템.
  26. 이미징 시스템에서 사용하기 위한 위상 변경 광학계로서,
    복수의 섹터들을 포함하는 동공 함수(pupil function)를 포함하며,
    상기 복수의 섹터(sector)들의 각각은 반경 벡터에 대응하는 정중선(正中線;mid-line)을 따르는 1차원 수학적 함수로 기술될 수 있는 표면 새그("sag(x)")와, 상기 정중선에 수직인 복수의 직선 분할편들을 포함하고,
    상기 반경 벡터는 상기 동공함수(pupil function)의 중심에서 원점 x = 0을 갖고 x = xmax에서 섹터 현선(弦線;chord line)의 중심점(mid-point)을 통과하며,
    상기 복수의 직선 분할편들은 직선 분할편들의 각각에 따라 sag(x)와 동일한 값을 가지며,
    상기 1차원 수학적 함수는 다음의 식을 포함하는 것을 특징으로 하는 위상 변경 광학계.
    Figure 112013027027972-pct00047
    여기에서, xmax=(선명한 조리개 반경)·cos(π/8)이고,
    x>xmax인 경우 sag(x)=sag(xmax).
  27. 삭제
  28. 삭제
  29. 제26항에 있어서,
    상기 복수의 섹터들의 각각은 서로 다른 표면 윤곽을 갖는 적어도 내부 및 외부영역을 포함하는 것을 특징으로 하는 위상 변경 광학계.
  30. 제29항에 있어서,
    상기 복수의 섹터들의 외부영역의 표면 윤곽은 균일하고 일정한 것을 특징으로 하는 위상 변경 광학계.
  31. 제26항에 있어서,
    평활 함수(smoothing function)에 의한 상기 동공 함수의 변경을 더 포함하는 것을 특징으로 하는 위상 변경 광학계.
  32. 제31항에 있어서,
    상기 평활 함수는 시그모이드를 포함하는 것을 특징으로 하는 위상 변경 광학계.
  33. 제32항에 있어서,
    상기 시그모이드는 보충 에러함수(erfc)를 포함하는 것을 특징으로 하는 위상 변경 광학계.
  34. 제26항에 있어서,
    상기 복수의 섹터들은 크기에 있어서 같은 것을 특징으로 하는 위상 변경 광학계.
  35. 제26항에 있어서,
    상기 복수의 섹터들 중 적어도 하나는 상기 복수의 섹터들의 다른 것들과 비교하여 크기에 있어서 다른 것을 특징으로 하는 위상 변경 광학계.
  36. 이미징 시스템에서 사용하기 위한 동공함수(pupil function)의 설계방법으로서,
    상기 이미징 시스템의 포화 광학계를 위한 동공함수를 선택하는 단계;
    상기 이미징 시스템 및 상기 동공함수의 특징들을 고려하여 표본화된 PSF를 계산하는 단계;
    상기 포화 광학계 없이 상기 이미징 시스템에 의해 산출된 표본화된 PSF들에 대해 표본화된 PSF의 유사성(similarity), 상기 표본화된 PSF의 대칭(symmetry), 상기 표본화된 PSF의 조밀함(compactness) 중 적어도 하나를 포함하는 선택된 거리함수(metric)에 따라 상기 표본화된 PSF를 평가하는 단계; 및
    만일 상기 표본화된 PSF가 상기 선택된 거리함수 내에 합치하지 않으면, 한 세트의 파라미터 변경요소를 사용하여 상기 동공함수를 변경하고, 상기 표본화된 PSF가 상기 선택된 거리함수 내에 합치할 때까지 상기 동공함수의 평가 및 변경을 반복하는 단계를 포함하는 것을 특징으로 하는 동공 함수의 설계방법.
KR1020087030863A 2006-05-23 2007-05-23 포화 광학계 KR101305868B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US80272406P 2006-05-23 2006-05-23
US60/802,724 2006-05-23
US80879006P 2006-05-26 2006-05-26
US60/808,790 2006-05-26
WOPCT/US07/09347 2007-04-17
PCT/US2007/009347 WO2008020899A2 (en) 2006-04-17 2007-04-17 Arrayed imaging systems and associated methods
PCT/US2007/069573 WO2007137293A2 (en) 2006-05-23 2007-05-23 Saturation optics

Publications (2)

Publication Number Publication Date
KR20090025249A KR20090025249A (ko) 2009-03-10
KR101305868B1 true KR101305868B1 (ko) 2013-09-09

Family

ID=40328916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087030863A KR101305868B1 (ko) 2006-05-23 2007-05-23 포화 광학계

Country Status (9)

Country Link
US (1) US8164040B2 (ko)
EP (2) EP2256538B1 (ko)
JP (1) JP4945635B2 (ko)
KR (1) KR101305868B1 (ko)
CN (1) CN101449195B (ko)
AT (1) ATE462154T1 (ko)
DE (1) DE602007005481D1 (ko)
TW (1) TWI447502B (ko)
WO (1) WO2007137293A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4743553B2 (ja) * 2008-09-29 2011-08-10 京セラ株式会社 レンズユニット、撮像装置、および電子機器
US9354212B2 (en) * 2014-01-07 2016-05-31 Applied Materials Israel Ltd. Inspection having a segmented pupil
JP2017143092A (ja) 2016-02-08 2017-08-17 ソニー株式会社 ガラスインタポーザモジュール、撮像装置、および電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4523809A (en) 1983-08-04 1985-06-18 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for generating a structured light beam array
EP0403467A2 (en) * 1989-06-12 1990-12-19 Polaroid Corporation Anti-aliasing optical system
JPH0575921A (ja) * 1991-09-17 1993-03-26 Mitsubishi Electric Corp 露光制御装置
US5748371A (en) 1995-02-03 1998-05-05 The Regents Of The University Of Colorado Extended depth of field optical systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4300167A (en) * 1980-02-07 1981-11-10 Circon Corporation Automatic iris control system
US5418546A (en) * 1991-08-20 1995-05-23 Mitsubishi Denki Kabushiki Kaisha Visual display system and exposure control apparatus
US5886798A (en) * 1995-08-21 1999-03-23 Landis & Gyr Technology Innovation Ag Information carriers with diffraction structures
JPH11237656A (ja) * 1998-02-20 1999-08-31 Nitto Kogaku Kk カメラの光量制御装置
JP3791777B2 (ja) * 2001-12-28 2006-06-28 オリンパス株式会社 電子内視鏡
DE60317472T2 (de) * 2002-02-27 2008-09-04 CDM Optics, Inc., Boulder Optimierte bildverarbeitung für wellenfrontkodierte abbildungssysteme
WO2004090581A2 (en) * 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4523809A (en) 1983-08-04 1985-06-18 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for generating a structured light beam array
EP0403467A2 (en) * 1989-06-12 1990-12-19 Polaroid Corporation Anti-aliasing optical system
JPH0575921A (ja) * 1991-09-17 1993-03-26 Mitsubishi Electric Corp 露光制御装置
US5748371A (en) 1995-02-03 1998-05-05 The Regents Of The University Of Colorado Extended depth of field optical systems

Also Published As

Publication number Publication date
KR20090025249A (ko) 2009-03-10
TWI447502B (zh) 2014-08-01
EP2256538A1 (en) 2010-12-01
WO2007137293A3 (en) 2008-03-27
ATE462154T1 (de) 2010-04-15
US8164040B2 (en) 2012-04-24
EP2033039A2 (en) 2009-03-11
US20100012866A1 (en) 2010-01-21
JP4945635B2 (ja) 2012-06-06
DE602007005481D1 (de) 2010-05-06
EP2033039B1 (en) 2010-03-24
CN101449195B (zh) 2013-04-10
JP2009542044A (ja) 2009-11-26
EP2256538B1 (en) 2015-06-17
WO2007137293A2 (en) 2007-11-29
TW200813593A (en) 2008-03-16
CN101449195A (zh) 2009-06-03

Similar Documents

Publication Publication Date Title
US20210073959A1 (en) Method and system for imaging and image processing
Bolin et al. A perceptually based adaptive sampling algorithm
JP6416083B2 (ja) アフィン不変空間マスクにおけるコードの設計
CN105492878B (zh) 用于快照光谱成像的设备和方法
US11257229B2 (en) Method and system for processing an image
Brauers et al. Direct PSF estimation using a random noise target
CN107610077A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
Courteille et al. Towards shape from shading under realistic photographic conditions
CN103136737B (zh) 用于将合成全息图合并于半色调图像中的方法
JP2014515587A (ja) デジタル画像装置用の画像処理パイプラインの学習
JP2004518312A (ja) データ解像度を増す方法および装置
Petković et al. Single-shot dense 3D reconstruction using self-equalizing De Bruijn sequence
CN107707831A (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
KR101305868B1 (ko) 포화 광학계
Matsui et al. Half-sweep imaging for depth from defocus
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
Cossairt Tradeoffs and limits in computational imaging
Nguyen et al. Multi-mask camera model for compressed acquisition of light fields
Medeiros et al. Using physically based rendering to benchmark structured light scanners
Gowda et al. Diffraction based image synthesis
Silva et al. Extended depth-of-field lensless imaging using an optimized radial mask
Atif Optimal depth estimation and extended depth of field from single images by computational imaging using chromatic aberrations
RU2785988C1 (ru) Система формирования изображений и способ обработки изображений
JP2023034128A (ja) 分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラム
Yao et al. High-resolution and real-time spectral-depth imaging with a compact system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 7