KR20180095830A - 최적화된 범위를 갖는 플렌옵틱 줌 - Google Patents
최적화된 범위를 갖는 플렌옵틱 줌 Download PDFInfo
- Publication number
- KR20180095830A KR20180095830A KR1020187017884A KR20187017884A KR20180095830A KR 20180095830 A KR20180095830 A KR 20180095830A KR 1020187017884 A KR1020187017884 A KR 1020187017884A KR 20187017884 A KR20187017884 A KR 20187017884A KR 20180095830 A KR20180095830 A KR 20180095830A
- Authority
- KR
- South Korea
- Prior art keywords
- zoom
- focal length
- measurement uncertainty
- focal
- matrix array
- Prior art date
Links
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003407 synthetizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/282—Autofocusing of zoom lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B15/00—Optical objectives with means for varying the magnification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H04N5/2254—
-
- H04N5/23229—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Silicon Polymers (AREA)
- Lenses (AREA)
Abstract
발명의 일반적인 분야는 줌 렌즈 (Z) 및 깊이 추정에 의한 광학 검출 유닛을 포함하는 광학 시스템의 분야이며, 상기 깊이 추정에 의한 광학 검출 유닛은, 마이크로렌즈 어레이 (MML) 및 매트릭스 검출기 (DM) 를 포함하고, 마이크로렌즈 어레이는 줌의 초점 평면의 이미지가 매트릭스 검출기의 평면에서 마이크로렌즈 어레이에 의해 포커싱되는 방식으로 배열된다. 발명에 따른 광학 시스템은 줌의 제 1 초점 길이에 대해 그리고 결정된 오브젝트에 대해, 상기 오브젝트의 추정된 거리 (DE) 및 상기 추정에 대한 측정 불확실성을, 상기 제 1 초점 길이 및 상기 추정된 거리의 함수로서 계산하기 위한 계산 수단, 및 이 추정된 거리가 알려져 있으며, 상기 추정에 대한 것보다 작은 측정 불확실성을 갖는 줌의 적어도 하나의 제 2 초점 거리를 결정하기 위한 최적화 수단을 포함한다.
Description
발명의 분야는 이미징의 분야에 관한 것이다. 특히, 발명의 분야는 관찰된 장면에서 오브젝트들의 거리가 추정될 수 있도록 하는 단일 매트릭스 어레이 검출기를 사용하는 이미저들의 분야이다.
광 필드 카메라로 칭하는 카메라들이 이러한 기능을 제공한다. 도 1 은 이러한 카메라의 아키텍처를 나타낸다. 다양한 도면들에서, 다음의 규칙들이 채택되었고, 광학은 굵은 선으로, 광선은 가는 선으로 나타내었다. 이것은 대물렌즈 (1), 마이크로렌즈들 (20) 의 매트릭스 어레이 (2) 및 매트릭스 어레이 검출기 (3) 를 기본적으로 포함한다. 대물렌즈 (1) 는 출력 동공 (pupil)(4) 을 포함한다. 이것은 다음과 같이 동작한다. 오브젝트 평면 (5) 의 이미지는 중간 평면 (6) 에서 대물렌즈 (1) 에 의해 형성된다. 따라서, 각각의 오브젝트 포인트 (Mi) 는 중간 평면에서 이미지 (Mi') 를 갖는다. 이 중간 평면은 마이크로렌즈들 (20) 의 매트릭스 어레이 (2) 의 전방에 배치되어 이 평면의 이미지, 즉 마이크로렌즈들 (20) 에 의해 주어진 이미지가 매트릭스 어레이 검출기 (3) 의 평면에 형성된다. 따라서, 대물렌즈의 어퍼처 (aperture) 및 이미지 (Mi') 의 위치에 의존하여, 소정 수의 마이크로렌즈들 (20) 은 이 이미지 (Mi') 로부터 검출기의 평면에서 이미지들의 모자이크 (Mji'') 를 형성한다. 예를 들어, 도 1 에서, 포인트 (M0) 는 3 개의 포인트들 (M''01, M''02 및 M''03) 을 검출기 상의 이미지들로서 부여하는 포인트 (M0) 을 중간 이미지로서 갖고, 포인트 (M1) 은 포인트들 (M''11, M''12 및 M''13) 의 삼중항을 검출기 상의 이미지들로서 부여하는 포인트 (M'1) 을 중간 이미지로서 갖는다. 검출기 상의 다양한 이미지들 (Mij'') 의 위치는 오브젝트 포인트 (Mi) 의 위치 및 대물렌즈에 대한 그 거리 양자 모두가 결정되도록 한다.
광 필드 카메라들에 대한 부가 정보에 대해, 독자는 "Methods and Apparatus for Full-Resolution Light-Field Capture and Rendering" 라는 명칭의 US 7 962 033 및 "Image Pickup Apparatus" 라는 명칭의 US2013/0308035 의 인용문헌 출원들을 참조한다. 독자는 또한 A. Lumdaine 및 T. Gerogiev 의 "The Focused Plenoptic Camera" 라는 명칭의 공보 및 C. Perwaß 및 L. Wietzke 의 "Single Lens 3D-Camera with Extended Depth-of-Field" 라는 명칭의 공보를 참조한다. 하나 이상의 광학 시스템들을 사용하여 이미징된 장면에서 오브젝트들의 거리를 추정하기 위한 방법들에 관하여, Jung-Young Son, Oleksii Chernyshov, Chun-Hae Lee, Min-Chul Park 및 Sumio Yano,.Opt.Soc.Am.A/Vol.30, No.5/May 20 의 "Depth resolution in three-dimensional images" 라는 명칭의 공보가 참조될 수도 있다.
이러한 타입의 카메라로 주어진 오브젝트 평면 및 깊이 방향 양자 모두에서 최상의 해상도를 획득하려고 하는 것은 분명하다. 그러나, 공지된 방법들에 의하면, 깊이 해상도에서의 증가는 항상 공간 해상도의 손실을 동반한다. 또한, 관찰된 오브젝트들의 거리를 추정하는 것이 가능한 거리 범위는 선택된 대물렌즈의 파라미터들에 의해 설정되고 정의된다. 도 2 는 이러한 문제를 예시한다. 이것은 주어진 초점 거리의 대물렌즈에 대해 상기 추정된 거리의 함수로서 추정된 거리 (DE) 에서의 불확실성 (I) 을 도시한다. 따라서, 200 미터의 추정된 거리에 약 15 미터의 측정 불확실성이 대응하며, 이것은 아마도 높다. 이러한 불확실성은 이미지 프로세싱 방법의 정밀도, 즉 주어진 포인트의 다양한 이미지들 사이의 서브 픽셀 사이즈의 오프셋을 추정하는 능력에 관련된다. 도 2 의 곡선은 이러한 오프셋을 픽셀의 1/10 이내로 추정하는 능력에 대해 도시되고, 이는 상당히 일반적인 값에 대응한다. 곡선의 제한들 (BINF 및 BSUP) 은 대물렌즈의 이러한 초점 거리에 대한 카메라의 필드의 깊이를 나타낸다. 현재의 경우, 필드의 깊이는 30 미터와 300 미터 사이에 포함된다. 예를 들어, 필드 깊이의 계산에 대해 선명함의 기준을 변경하는 것에 의해 더 큰 제한들을 선택하거나, 주어진 대물렌즈 초점 길이 값에 대해 디포커스를 적용하는 것에 의해 이들을 변경하는 것이 가능하지만 불확실성은 소정의 거리 범위들에 대해 여전히 높다.
이러한 결점들을 완화하기 위해서, 다양한 접근법들이 개발되고 있다. 따라서, "Digital imaging method for synthetizing an image using data recorded with a plenoptic camera" 라는 명칭의 특허 EP 2 244 484 는 가변 초점 길이의 마이크로렌즈들을 구현한다. 이 접근법은 또한 C. Perwaß 및 L. Wietzke 의 "Single Lens 3D-Camera with Extended Depth-of-Field" 라는 명칭으로 Raytrix 사에 의한 공보에서 언급된다. 보다 최근에, "An electrically tunable plenoptic camera using a liquid crystal microlens array" 라는 명칭 (Scientific Instruments 86, 053101 (2015) 의 검토) 의 공보는 전기적으로 제어가능한 초점 길이의 마이크로렌즈들의 매트릭스 어레이를 통합하는 광 필드 카메라를 제시한다. 이러한 다양한 접근법들의 결점은 정교한 마이크로렌즈들의 매트릭스 어레이가 필요하다는 것이다.
발명에 따른 광학 시스템은 이러한 결점들을 가지지 않으며 간단하고 동일한 마이크로렌즈들의 매트릭스 어레이를 채용한다. 이는 다음의 분석에 기초한다.
초점 길이가 변경되면, 선행 곡선이 달라진다. 따라서, 도 3 은 11 내지 19 로 언급되는 다양한 초점 길이의 대물렌즈들에 대한 상기 추정된 거리의 함수로서 추정된 거리 (DE) 에서의 불확실성 (I) 을 나타낸다. 중요도의 순서를 부여하기 위해, 초점 거리는 30 과 200 밀리미터 사이에 포함된다. 주어진 거리에 위치된 오브젝트에 대해, 그 후 최소 측정 불확실성을 부여하는 최적의 초점 길이가 있다. 예를 들어, 50 미터에 대해, 광학적 대물렌즈는 대물렌즈 (18) 이며, 이 대물렌즈에 의한 측정 불확실성은 1 미터를 초과하지 않는다. 따라서, 측정 불확실성이 최소인 거리 범위를 각각의 대물렌즈에 대해 결정하는 것이 가능하다. 선행 대물렌즈들에 의해, 도 4 에 표시된 범위들이 획득된다. 명료성을 위해, 대물렌즈들 (11, 12 및 13) 의 최단 초점 거리는 이 도면에 나타내지 않았고, 그 범위들은 서로 매우 근접한다. 더 이상 하나의 옵틱 (optic) 을 사용하지 않고 상이한 초점 거리의 일련의 옵틱을 사용함으로써, 측정 불확실성을 현저하게 감소시키는 것이 가능하다. 물론, 지속적으로 대물렌즈를 변경하는 것이 가능하지는 않다. 따라서, 제안된 해결방안은 대물렌즈로서 즉, 가변 초점 거리의 대물렌즈로서 줌을 사용하는 것이며, 이는 초점 길이 상에서 작용함으로써 장면에서의 오브젝트들의 거리의 가장 정확한 가능한 추정을 허용하기 위해 연속적으로 또는 이산적으로 동작한다.
보다 정확히, 본 발명의 주제는 줌 타입의 대물렌즈 및 깊이 추정 광학 검출 유닛을 포함하는 광학 시스템이며, 상기 깊이 추정 광학 검출 유닛은 마이크로렌즈들의 매트릭스 어레이 및 매트릭스 어레이 검출기를 포함하고, 마이크로렌즈들의 매트릭스 어레이는 줌의 초점 평면의 이미지가 상기 매트릭스 어레이 검출기의 평면 상에서 마이크로렌즈들의 매트릭스 어레이에 의해 포커싱되도록 배열되고,
상기 광학 시스템은, 줌의 제 1 초점 길이에 대해 그리고 주어진 오브젝트에 대해, 오브젝트의 추정된 거리 및 이 추정에서의 측정 불확실성을, 상기 제 1 초점 길이 및 상기 추정된 거리에 의존하여 계산하는 수단, 및 추정된 거리가 알려져 있고, 이 추정에서의 더 낮은 측정 불확실성이 대응하는 줌의 적어도 하나의 제 2 초점 길이가 결정되도록 하는 최적화 수단을 포함하는 것을 특징으로 한다.
유리하게, 최적화 수단은 상기 추정에서의 최소 측정 불확실성이 대응하는 최적 초점 거리가 결정되도록 하는 반복들의 루프를 포함하고, 각각의 반복은 초점 길이의 적어도 하나의 변화를 포함하고, 추정된 거리는 계산될 이 추정에서의 측정 불확실성 및 새로운 초점 거리에 대응한다.
유리하게, 반복들의 루프는 일정한 줌 초점 평면에서 또는 가변 줌 초점 평면에서 수행된다.
유리하게, 반복들의 루프는 일정한 줌 어퍼처에서 또는 가변 줌 어퍼처에서 수행된다.
유리하게, 줌은 연속적인 가변 초점 길이의 줌이거나 또는 다초점 대물렌즈이다.
유리하게, 깊이 추정 광학 검출 유닛은 적외선 검출 유닛이다.
발명은 다음의 비제한적인 설명을 읽으면 그리고 첨부된 도면들에 의해 더 잘 이해될 것이고 다른 이점들이 명백해질 것이다.
도 1 은 종래 기술에 따른 고정 초점 길이 광 필드 카메라를 나타낸다.
도 2 는 알려진 고정 초점 길이 광 필드 카메라에 대한 거리의 함수로서 추정된 거리에서의 측정 불확실성을 나타낸다.
도 3 은 증가하는 초점 길이의 대물렌즈들을 포함하는 광 필드 카메라에 대한 거리의 함수로서 추정된 거리에서의 측정 불확실성을 나타낸다.
도 4 는 각각의 선행 대물렌즈들에 대하여, 거리의 함수로서 최소 측정 불확실성 범위를 나타낸다.
도 5 및 도 6 은 2 개의 극도의 초점 길이 구성들에서의 발명에 따른 광 필드 줌을 나타낸다.
도 7 은 선행 광 필드 줌의 수신 부분의 확대도를 나타낸다.
도 8 은 연속적인 가변 초점 길이의 광 필드 줌에 대해, 추정된 거리의 함수로서 최소 측정 불확실성을 나타낸다.
도 1 은 종래 기술에 따른 고정 초점 길이 광 필드 카메라를 나타낸다.
도 2 는 알려진 고정 초점 길이 광 필드 카메라에 대한 거리의 함수로서 추정된 거리에서의 측정 불확실성을 나타낸다.
도 3 은 증가하는 초점 길이의 대물렌즈들을 포함하는 광 필드 카메라에 대한 거리의 함수로서 추정된 거리에서의 측정 불확실성을 나타낸다.
도 4 는 각각의 선행 대물렌즈들에 대하여, 거리의 함수로서 최소 측정 불확실성 범위를 나타낸다.
도 5 및 도 6 은 2 개의 극도의 초점 길이 구성들에서의 발명에 따른 광 필드 줌을 나타낸다.
도 7 은 선행 광 필드 줌의 수신 부분의 확대도를 나타낸다.
도 8 은 연속적인 가변 초점 길이의 광 필드 줌에 대해, 추정된 거리의 함수로서 최소 측정 불확실성을 나타낸다.
발명의 대상은 줌 타입의 대물렌즈 및 깊이 추정 광학 검출 유닛을 포함하는 광학 시스템이고, 상기 깊이 추정 광학 검출 유닛은 마이크로렌즈들의 매트릭스 어레이 및 매트릭스 어레이 검출기를 포함하고, 마이크로렌즈들의 매트릭스 어레이는 줌의 초점 평면의 이미지가 매트릭스 어레이 검출기의 평면 상에서 마이크로렌즈들의 매트릭스 어레이에 의해 포커싱되도록 배열된다.
깊이가 정확히 추정되는 것을 보장하기 위해, 이 줌의 다양한 초점 길이 값들에 대한 줌의 왜곡 및 필드 곡률을 알 필요가 있다.
줌의 2 가지 범주들이 있다. 한편으로는 연속적인 가변 초점 길이의 줌들이고 다른 한편으로는 다초점 대물렌즈들로서 알려진 줌들이다. 발명은 이들 범주들 양자 모두에 적용된다.
예로서, 도 5 및 도 6 은 2 개의 극도의 초점 길이 구성들에서 발명에 따른 광 필드 줌 (Z) 을 나타낸다. 도 7 은 선행 광 필드 줌의 수신 부분의 확대도를 나타낸다.
이 줌 (Z) 은 G1 및 G2 로 언급된 2 그룹의 고정된 렌즈들 및 3 그룹의 이동가능한 렌즈들 (D1, D2 및 D3) 을 포함한다. 이 3 그룹의 렌즈들을 주어진 방식으로 이동시키면 줌의 초점 거리가 수정되고 그 초점 평면 상에 초점이 유지될 수 있다. 따라서, 도 5 는 장 초점 길이 구성에서의 줌을 나타내고 도 6 은 단 초점 길이 구성에서의 줌을 나타낸다. 이러한 줌의 경우 초점 거리 비율은 약 7 이다. 다른 줌 구성들이 가능하다.
발명에 따른 줌은 광 필드 줌이기 때문에, 종래 줌에서 검출기가 위치되는 경우, 깊이 추정 광학 검출 유닛을 포함하고, 상기 깊이 추정 광학 검출 유닛은 앞서 도 5 및 도 6 의 원으로 둘러싼 부분의 확대도를 나타내는 도 7 에서 알 수 있는 바와 같이, 마이크로렌즈들의 매트릭스 어레이 (MML) 및 매트릭스 어레이 검출기 (DM) 를 포함한다.
상술한 바와 같이, 각각의 추정된 거리에 대해, 최소 측정 불확실성 (IMIN) 을 부여하는 줌의 초점 길이가 있다. 이 최소 측정 불확실성이 추정된 거리 (DE) 의 함수로서 도 8 에 나타나 있다. 이 불확실성은 광학 시스템의 필드 깊이 제한들에 의존한다. 이 곡선에서, 측정 불확실성은 100 미터의 거리에서 1 미터를 초과하지 않는다. 줌의 초점 거리는 이 곡선을 따라 변화한다. 도 8 의 경우, 초점 길이는 곡선의 하부와 곡선의 상부 사이에서 8 의 팩터 만큼 달라진다. 줌은 반드시 최대 초점 길이를 갖는다. 따라서, 이 곡선은 대물렌즈의 초점 길이를 증가시키는 것이 가능하면 선형 양상을 갖는다. 초점 길이가 그 최대 값에 도달할 때, 변동이 더 커지게 된다.
사용자가 측정을 취할 때, 그는 추정될 거리를 선험적으로 알지 못하고, 따라서 이 거리의 측정에서 최저 불확실성을 부여하는 줌의 초점 길이를 미리 알 수 없다. 따라서, 광학 시스템은,
- 줌의 제 1 초점 길이에 대해 그리고 주어진 오브젝트에 대해, 오브젝트의 추정된 거리 및 이 추정에서의 측정 불확실성을, 상기 제 1 초점 길이 및 상기 추정된 거리에 의존하여 계산하는 수단, 및
- 이 추정된 거리가 알려져 있으며, 이 추정에서의 더 낮은 측정 불확실성이 대응하는 줌의 적어도 하나의 제 2 초점 길이가 결정되도록 하는 최적화 수단을 포함한다.
추정된 거리 및 이 거리에서의 측정 불확실성을 계산하기 위한 수단은 광 필드 카메라에서 사용된 종래 방법들을 채용하며, 줌의 초점 길이 및 그 어퍼처는 알려져 있다.
선택된 제 1 초점 길이는, 예로서, 줌의 최소 초점 길이 또는 그 최대 초점 길이 또는 중간 초점 길이일 수도 있다. 이러한 초점 길이의 선택은 임의적이고, 물체에 대해 측정하고자 하는 거리가 채택된 초점 거리의 필드 깊이 간격에 있지 않은 것이 가능하며; 이 경우, 측정은 거리 추정 최적화 프로세스를 개시하기 위해 제 1 거리 평가가 획득될 때까지 수중에 있는 경우에 의존하여 더 크거나 더 작은 초점 길이로 재시작된다.
측정이 최적화되도록 하는 다양한 기법들이 있다. 예로서, 최적화 수단은, 상기 추정에서의 최소 측정 불확실성이 대응하는 최적 초점 길이가 결정되도록 하는 반복들의 루프를 포함하고, 각각의 반복은 적어도 하나의 초점 길이의 변화를 포함하고, 추정된 거리는 계산될 이 추정에서의 측정 불확실성 및 새로운 초점 길이에 대응한다. 따라서, 최적 초점 길이 상에서 빠르게 수렴하는 것이 가능하다. 이 프로세스는 자동화될 수도 있고, 최적화 수단은 원하는 정확도를 획득하기 위해 줌의 초점 길이를 자동으로 조정한다.
이러한 반복들의 루프는 일정한 줌 초점 평면에서 수행될 수도 있다. 또한, 줌에 액세스가능한 거리들의 제한들을 변경하도록, 알려진 디포커스를 적용하고 이로써 정의된 새로운 제한들로 반복 프로세스를 재시작하는 것이 가능하다.
또한, 반복들의 루프에서 거리 계산을 용이하게 하도록 일정한 줌 어퍼처에서 작동하는 것이 가능하다. 이 경우, 오브젝트 필드에 위치된 포인트에 대해, 측정에 채용된 마이크로렌즈들의 수는 일정하게 유지된다. 또한, 측정 불확실성을 개선하도록 가변 줌 어퍼처에서 작동하는 것이 가능하다. 이 경우, 오브젝트 필드에 위치된 포인트에 대해, 측정에 채용된 마이크로렌즈들의 수는 어퍼처에 의해 증가한다.
Claims (9)
- 줌 (Z) 타입의 대물렌즈 및 깊이 추정 광학 검출 유닛을 포함하는 광학 시스템으로서,
상기 깊이 추정 광학 검출 유닛은 마이크로렌즈들의 매트릭스 어레이 (MML) 및 매트릭스 어레이 검출기 (DM) 를 포함하고, 상기 마이크로렌즈들의 매트릭스 어레이는 상기 줌의 초점 평면의 이미지가 상기 매트릭스 어레이 검출기의 평면 상에서 상기 마이크로렌즈들의 매트릭스 어레이에 의해 포커싱되도록 배열되고,
상기 광학 시스템은,
상기 줌의 제 1 초점 길이에 대해 그리고 주어진 오브젝트에 대해, 상기 오브젝트의 추정된 거리 (DE) 및 이 추정에서의 측정 불확실성 (I) 을, 상기 제 1 초점 길이 및 상기 추정된 거리에 의존하여 계산하는 수단, 및
상기 추정된 거리가 알려져 있으며, 이 추정에서의 더 낮은 측정 불확실성이 대응하는 상기 줌의 적어도 하나의 제 2 초점 길이가 결정되도록 하는 최적화 수단을 포함하는 것을 특징으로 하는, 광학 시스템. - 제 1 항에 있어서,
상기 최적화 수단은 상기 추정에서의 최소 측정 불확실성이 대응하는 최적 초점 거리가 결정되도록 하는 반복들의 루프를 포함하고, 각각의 반복은 초점 길이의 적어도 하나의 변화를 포함하고, 상기 추정된 거리는 계산될 이 추정에서의 측정 불확실성 및 새로운 초점 거리에 대응하는 것을 특징으로 하는, 광학 시스템. - 제 2 항에 있어서,
상기 반복들의 루프는 일정한 줌 초점 평면에서 수행되는 것을 특징으로 하는, 광학 시스템. - 제 2 항에 있어서,
상기 반복들의 루프는 가변 줌 초점 평면에서 수행되는 것을 특징으로 하는, 광학 시스템. - 제 2 항에 있어서,
상기 반복들의 루프는 일정한 줌 어퍼처 (aperture) 에서 수행되는 것을 특징으로 하는, 광학 시스템. - 제 2 항에 있어서,
상기 반복들의 루프는 가변 줌 어퍼처에서 수행되는 것을 특징으로 하는, 광학 시스템. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 줌은 연속적인 가변 초점 길이의 줌인 것을 특징으로 하는, 광학 시스템. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 줌은 다초점 대물렌즈인 것을 특징으로 하는, 광학 시스템. - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 깊이 추정 광학 검출 유닛은 적외선 검출 유닛인 것을 특징으로 하는, 광학 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1502681 | 2015-12-23 | ||
| FR1502681A FR3046256B1 (fr) | 2015-12-23 | 2015-12-23 | Zoom plenoptique a portee optimisee |
| PCT/EP2016/080178 WO2017108417A1 (fr) | 2015-12-23 | 2016-12-08 | Zoom plenoptique a portee optimisee |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180095830A true KR20180095830A (ko) | 2018-08-28 |
Family
ID=56117758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187017884A KR20180095830A (ko) | 2015-12-23 | 2016-12-08 | 최적화된 범위를 갖는 플렌옵틱 줌 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10838165B2 (ko) |
| EP (1) | EP3394653B1 (ko) |
| JP (1) | JP6778753B2 (ko) |
| KR (1) | KR20180095830A (ko) |
| CN (1) | CN108431660B (ko) |
| DK (1) | DK3394653T3 (ko) |
| FR (1) | FR3046256B1 (ko) |
| IL (1) | IL260034B2 (ko) |
| WO (1) | WO2017108417A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020053240A1 (en) * | 2018-09-12 | 2020-03-19 | Brainlab Ag | Intra-operative determination of a focal length of a camera for medical applications |
| CN112285925A (zh) * | 2020-11-11 | 2021-01-29 | 南开大学 | 可变焦三维成像系统 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5017956A (en) * | 1988-01-18 | 1991-05-21 | Canon Kabushiki Kaisha | Flash photography system |
| KR0147572B1 (ko) * | 1992-10-09 | 1998-09-15 | 김광호 | 자동 줌잉을 위한 피사체 추적방법 및 그 장치 |
| JP2004361740A (ja) * | 2003-06-05 | 2004-12-24 | Canon Inc | 自動焦点調節装置及び方法 |
| JP2005157268A (ja) * | 2003-11-06 | 2005-06-16 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
| CN101149254B (zh) * | 2007-11-12 | 2012-06-27 | 北京航空航天大学 | 高精度视觉检测系统 |
| US7962033B2 (en) * | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
| CN101276139A (zh) * | 2008-04-11 | 2008-10-01 | 电子科技大学 | 全光纤干涉型转镜转速传感器 |
| CN101655966A (zh) * | 2008-08-19 | 2010-02-24 | 阿里巴巴集团控股有限公司 | 一种贷款风险控制方法及系统 |
| CN101354308B (zh) * | 2008-09-19 | 2010-08-04 | 北京理工大学 | 数字视差测量仪及测量方法 |
| US8289440B2 (en) * | 2008-12-08 | 2012-10-16 | Lytro, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
| ATE551841T1 (de) | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
| US8027582B2 (en) * | 2009-12-21 | 2011-09-27 | Sony Corporation | Autofocus with confidence measure |
| JP5757099B2 (ja) * | 2010-02-15 | 2015-07-29 | 株式会社ニコン | 焦点調節装置、及び焦点調節プログラム |
| US8197068B2 (en) * | 2010-02-26 | 2012-06-12 | Corning Incorporated | Speckle pattern scrambling in laser projection systems |
| JP5956808B2 (ja) * | 2011-05-09 | 2016-07-27 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US8531581B2 (en) * | 2011-05-23 | 2013-09-10 | Ricoh Co., Ltd. | Focusing and focus metrics for a plenoptic imaging system |
| US8934045B2 (en) * | 2012-03-12 | 2015-01-13 | Apple Inc. | Digital camera system having remote control |
| JP5677366B2 (ja) * | 2012-05-21 | 2015-02-25 | キヤノン株式会社 | 撮像装置 |
| CN103728813B (zh) * | 2012-10-15 | 2016-10-26 | 浙江大华技术股份有限公司 | 一种变倍过程中同步聚焦的方法 |
| CN103064184A (zh) * | 2012-12-12 | 2013-04-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种轴向变焦三视场红外光学系统 |
| CN203101791U (zh) * | 2012-12-26 | 2013-07-31 | 山东省科学院海洋仪器仪表研究所 | 红外变焦光场相机 |
| JP6214233B2 (ja) * | 2013-06-21 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 |
| CN203759335U (zh) * | 2014-01-07 | 2014-08-06 | 中国科学院西安光学精密机械研究所 | 一种高精度自动调整像面装置 |
| CN103823294B (zh) * | 2014-02-24 | 2016-06-08 | 湖北久之洋红外系统股份有限公司 | 具有超长焦距的连续变焦中波红外光学系统 |
| JP6341736B2 (ja) * | 2014-04-16 | 2018-06-13 | キヤノン株式会社 | 撮像装置、制御方法、プログラム、記憶媒体 |
-
2015
- 2015-12-23 FR FR1502681A patent/FR3046256B1/fr not_active Expired - Fee Related
-
2016
- 2016-12-08 US US16/064,418 patent/US10838165B2/en active Active
- 2016-12-08 KR KR1020187017884A patent/KR20180095830A/ko not_active Application Discontinuation
- 2016-12-08 JP JP2018532753A patent/JP6778753B2/ja active Active
- 2016-12-08 CN CN201680075092.7A patent/CN108431660B/zh active Active
- 2016-12-08 WO PCT/EP2016/080178 patent/WO2017108417A1/fr active Application Filing
- 2016-12-08 EP EP16809013.2A patent/EP3394653B1/fr active Active
- 2016-12-08 DK DK16809013.2T patent/DK3394653T3/da active
- 2016-12-08 IL IL260034A patent/IL260034B2/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN108431660B (zh) | 2020-11-27 |
| FR3046256A1 (fr) | 2017-06-30 |
| EP3394653B1 (fr) | 2020-04-08 |
| JP6778753B2 (ja) | 2020-11-04 |
| US10838165B2 (en) | 2020-11-17 |
| JP2019501392A (ja) | 2019-01-17 |
| EP3394653A1 (fr) | 2018-10-31 |
| IL260034B2 (en) | 2023-03-01 |
| IL260034B (en) | 2022-11-01 |
| IL260034A (en) | 2018-07-31 |
| FR3046256B1 (fr) | 2018-01-05 |
| US20190004283A1 (en) | 2019-01-03 |
| WO2017108417A1 (fr) | 2017-06-29 |
| DK3394653T3 (da) | 2020-07-20 |
| CN108431660A (zh) | 2018-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| US10291894B2 (en) | Single-sensor system for extracting depth information from image blur | |
| EP2214139B1 (en) | Two-dimensional polynomial model for depth estimation based on two-picture matching | |
| KR101580545B1 (ko) | 화상처리장치, 촬상장치, 제어 방법 및 기록 매체 | |
| US10375292B2 (en) | Image pickup apparatus and method for generating image having depth information | |
| JP5211714B2 (ja) | 撮像装置 | |
| JP4673202B2 (ja) | 画像入力装置 | |
| JP2017207771A (ja) | 焦点検出装置、焦点調節装置およびカメラ | |
| KR20140057190A (ko) | 이미지들 내에서 초점 에러 추정 | |
| US20120249816A1 (en) | Focus direction detection confidence system and method | |
| JP2014153509A (ja) | 撮像装置及び撮像方法 | |
| KR101715553B1 (ko) | 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램 | |
| KR20180095830A (ko) | 최적화된 범위를 갖는 플렌옵틱 줌 | |
| WO2015115452A1 (ja) | 焦点検出装置、焦点調節装置およびカメラ | |
| JP2016053491A (ja) | 三次元形状計測装置及び三次元形状の計測方法 | |
| JP2016142924A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP2018180135A (ja) | 撮像装置 | |
| KR20170102755A (ko) | 라이트필드 카메라용 오토포커싱 장치 및 그 방법 | |
| KR101839357B1 (ko) | 촬상 장치 및 촬상 방법 | |
| JP5923900B2 (ja) | 焦点検出装置および撮像装置 | |
| JP6900228B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム | |
| JP2018018012A (ja) | 撮像装置及びその制御方法 | |
| JP2018180134A (ja) | 撮像装置 | |
| JP2018028654A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
| JP2018197771A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |