KR20210018420A - 카메라에서의 동적 투영 패턴을 생성하기 위한 장치, 방법 및 시스템 - Google Patents
카메라에서의 동적 투영 패턴을 생성하기 위한 장치, 방법 및 시스템 Download PDFInfo
- Publication number
- KR20210018420A KR20210018420A KR1020217000100A KR20217000100A KR20210018420A KR 20210018420 A KR20210018420 A KR 20210018420A KR 1020217000100 A KR1020217000100 A KR 1020217000100A KR 20217000100 A KR20217000100 A KR 20217000100A KR 20210018420 A KR20210018420 A KR 20210018420A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- lenses
- lens array
- light
- light source
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 36
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 21
- 238000005286 illumination Methods 0.000 claims description 9
- 238000001454 recorded image Methods 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 239000013307 optical fiber Substances 0.000 claims description 3
- 229920000642 polymer Polymers 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229910000497 Amalgam Inorganic materials 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
- G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
- G02B19/0009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only
- G02B19/0014—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only at least one surface having optical power
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
- G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
- G02B19/0047—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source
- G02B19/0061—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a LED
- G02B19/0066—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a LED in the form of an LED array
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/30—Collimators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0062—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between
- G02B3/0068—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between arranged in a single integral body or plate, e.g. laminates or hybrid structures with other optical elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H04N5/2254—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Dentistry (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
광학 어레이 생성기를 이용하여 3차원(3D) 측정을 위해 노이즈를 감소시키고 데이터 밀도를 증가시키면서, 대상물의 표면 상으로 투영하기 위한 치과용 카메라에서의 동적 패턴들을 생성하기 위한 장치, 방법 및 시스템. 투영된 광 패턴들을 사용하여 측정 대상물의 표면 상에서 광학 특징점들이 생성될 수 있고, 삼각 측량 원리들에 따라 운용되는 광학 3D 측정 방법들을 사용하여 대상물이 측정될 수 있다.
Description
본 출원은 일반적으로 카메라에서의 동적 투영 패턴들을 생성하기 위한 장치에 관한 것이며, 더 구체적으로는 광학 어레이 생성기를 이용하여 3차원(3D) 측정을 위해 대상물의 표면 상으로 투영하기 위한 카메라에서의 동적 패턴들을 생성하기 위한 장치, 방법 및 시스템에 관한 것이다.
간섭 무늬 투영(fringe projection)과 같은 구조화 광 스캐닝 방법들에서, 정현파 간섭 패턴들과 같은 구조화 패턴들의 광이 대상물들에 조명될 수 있다. 구조화 패턴들은 대상물들에 의해 기하적으로 왜곡되거나 위상 변조되고 그 다음 투영에 대해 알고 있는 각도로 있는 카메라를 이용하여 이미지들로서 기록될 수 있다. 기록된 이미지들을 분석함으로써 왜곡, 변위 또는 위상 변조를 계산하는 데에는 푸리에 변환과 같은 기술들이 사용될 수 있다. 기록된 이미지들에서의 깊이 단서들(depth cues)은 예를 들어, 적합한 위상 펼침 알고리즘(phase unwrapping algorithm), 패턴 인식 또는 가장자리 검출 방법을 사용하여, 재구성을 위해 3D 좌표들로 변환될 수 있다. 예를 들어, 대상물의 높이 변화에 비례하는 연속적인 위상 분포가 얻어질 수 있고 시스템은 캘리브레이션되어 펼쳐진 위상 분포를 실세계 3D 좌표들에 매핑할 수 있다.
구체적으로 3D 정보는 대상물의 이미지를 투영된 패턴의 투영 방향에 대해 일정 각도로 기울어진 관찰 각도에서 촬영함으로써 얻어질 수 있다. 그 다음 투영된 패턴은 대상물의 표면 형상에 따라 왜곡될 것이다. 투영된 패턴의 특징점들은 이미지 처리 알고리즘들을 통해 왜곡된 이미지에서의 대응하는 특징점들과 정합될 수 있다. 측정되는 대상물이 반투명한 경우 문제가 발생한다. 투영된 광은 반투명 대상물에 침투하여 대상물의 깊이 내로 확산된다. 그러한 소재의 예들에는 왁스, 피부 또는 치아가 포함된다. 그 결과, 대상물의 깊이로부터 확산되어 구조화되지 않은 산란광이 대상물의 표면에 의해 반사되는 원하는 광에 중첩되기 때문에, 대상물 표면 상의 패턴 콘트라스트가 크게 감소한다. 콘트라스트가 감소되면 노이즈가 신호 진폭보다 더 커질 수 있으므로 투영된 특징점들을 검출하지 못할 수 있다. 유사하게, 프로젝터 지원 입체 표시 장치의 경우, 투영된 이미지와 기록된 이미지 간의 상관 관계가 찾아지지 않을 수 있다. 이러한 상황에서는 센서 상의 광량을 증가시켜 신호에 관한 센서의 샷 노이즈를 감소시키는 개선이 가능하다. 그러나, 이는 이미지 센서 픽셀들의 풀-웰 능력(full-well capacities)에 의해 기술적으로 제한된다. 또한, 광량을 증가시키더라도 "대상물 노이즈"(대상물 자체에 의해, 예를 들어 거친 표면 또는 불균일한 컬러로 인해 발생되는 교란)는 감소될 수 없다.
전술한 내용과 연관된 기존의 한계들, 뿐만 아니라 다른 한계들은 광학 어레이 생성기를 이용하여 3차원(3D) 측정을 위해 노이즈를 감소시키고 데이터 밀도를 증가시키면서, 대상물의 표면 상으로 투영하기 위한 카메라/스캐너에서의 동적 패턴들을 생성하기 위한 장치, 방법 및 시스템에 의해 극복될 수 있다. 여기서, 측정 대상물의 표면 상의 광학 특징점들을 생성하기 위해 투영된 광 패턴들이 사용될 수 있고, 대상물을 측정하기 위해 삼각 측량 원리들에 따라 운용되는 광학 3D 측정 방법들이 사용될 수 있다. 광 패턴은 카메라에 의해 이미징되는 대상물 상으로 투영될 수 있다. 대상물의 표면이 아무런 3D 표면 변화 없이 평면인 경우, 대응하는 반사 이미지에서 나타나는 패턴은 투영된 광 패턴의 것과 동일(또는 유사)할 수 있다. 그러나, 대상물의 표면이 평면이 아닌 경우, 대응하는 이미지에서의 투영된 구조화 광 패턴은 표면 기하구조에 의해 왜곡될 수 있다. 투영된 구조화 광 패턴의 왜곡으로부터의 정보가 측정되는 대상물의 3D 표면 기하구조를 추출하는 데 사용될 수 있다. 다양한 구조화 조명 패턴들을 노이즈 감소 및 데이터 밀도 증가 셋업들/기술들과 함께 사용함으로써, 대상물들의 3D 표면 프로파일들이 측정될 수 있다.
일 양태로, 본 발명은 3D 카메라를 제공하며, 3D 카메라는: 투영을 위한 복수의 동적 패턴들을 생성하기 위한 광학 어레이 생성기; 복수의 동적 패턴들을 측정 대상물의 표면 상으로 집속(focus)시키도록 카메라 내에 배열된 제1 이미징 광학계; 복수의 동적 패턴들이 측정 대상물의 표면에 의해 반사되어 형성된 복수의 반사 이미지들을 기록하도록 카메라 내에 배열된 이미징 센서; 복수의 반사 이미지들을 이미징 센서 상으로 이미징하도록 카메라 내에 배열된 제2 이미징 광학계를 포함하며, 광학 어레이 생성기는 (i) 복수의 개별 영역들을 포함하는 광원 - 복수의 개별 영역들 각각의 광도(luminous intensity)는 독립적으로 제어됨 - , (ii) 광원으로부터의 광을 이미지 평면 상으로 이미징하여 복수의 동적 패턴들을 형성하도록 구성된 복수의 렌즈들을 포함하는 렌즈 어레이, 및 (iii) 광원의 광을 렌즈 어레이 상으로 지향시키도록 구성된 콜리메이터를 더 포함하고, 광원의 복수의 영역들의 광도들은 복수의 동적 패턴들을 시변 방식으로 생성하도록 전자적으로 제어된다.
다른 양태로, 본 발명은 다음의 특징들 중 하나 이상을 포함할 수 있다: (i) 복수의 렌즈들 각각은 양면 볼록(biconvex)인 것인 카메라, (ii) 광원의 복수의 개별 영역들은 LED 다이들, 레이저 다이오드들 및 타단에 다른 광원들이 부착된 복수의 광섬유들의 일단으로 이루어지는 군으로부터 선택되는 것인 카메라, (iii) 다수의 콜리메이터들 및 다수의 광원들을 더 포함하는 것인 카메라, (iv) 기록된 이미지들을 처리하기 위한 디지털 신호 처리 유닛을 더 포함하는 것인 카메라, (v) 이미징 센서는 픽셀 단위 복조(in-pixel demodulation)를 수행하도록 구성되는 것인 카메라, (vi) 광원은 LED 다이들의 2x2 LED 어레이인 것인 카메라, (vii) 복수의 렌즈들 각각은 구면(spherical)인 것인 카메라, (viii) 복수의 렌즈들 각각은 원주(cylindrical)인 것인 카메라, (ix) 렌즈 어레이의 두께는 50㎛ 내지 10mm인 것인 카메라, (x) 렌즈 어레이는 유리 캐리어(glass carrier), 유리 캐리어의 대향 측들 상에 몰딩된 두 개의 폴리머 층들, 및 광원의 광을 선택적으로 변경하기 위해 유리 캐리어에 적용된 구조화 마스크를 포함하는 것인 카메라, (xi) 마스크는 광원으로부터의 광에 바이너리 또는 컬러 코드를 각인시키기 위한 구조화 컬러 필터인 것인 카메라. (xii) 복수의 동적 패턴들은 비주기적인 것인 카메라, (xiii) 렌즈 어레이의 복수의 렌즈들의 중심들이 개별적으로 오프셋되어, 비주기적인 동적 패턴들을 생성하는 것인 카메라, (xiv) 복수의 동적 패턴들은 주기적인 것인 카메라, (xv) 렌즈 어레이는 입사 렌즈(entrance lens) 및 사출 렌즈(exit lens) 쌍들을 포함하고, 입사 렌즈들은 푸리에 렌즈들(Fourier lenses)로서 작용하고 사출 렌즈들은 시야 렌즈들(field lenses)로서 작용하며, 각 쌍은 이미지 평면에서 서브 이미지를 생성하는 것인 카메라, (xvi) 렌즈 어레이는 푸리에 렌즈들로서 작용하는 입사 렌즈들을 갖는 제1 렌즈 어레이 및 시야 렌즈들로서 작용하는 사출 렌즈들을 갖는 제2 렌즈 어레이를 포함하고, 제1 및 제2 마이크로 렌즈 어레이들은 단면(single sided) 프로파일을 갖고 서로 마주 보도록 구성되는 것인 카메라, 및 (xvii) 이들의 임의의 조합들.
일 양태로, 본 발명은 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하기 위한 방법을 제공하며, 방법은: 콜리메이터에 대해 구조화 광을 생성하도록 광원의 복수의 개별 영역들 각각의 광도들을 전자적으로 제어하는 단계; 콜리메이터를 사용하여 광원으로부터의 구조화 광을 렌즈 어레이 상으로 지향시키는 단계; 렌즈 어레이의 복수의 렌즈들을 사용하여 구조화 광의 서브 이미지들을 생성하는 단계 - 서브 이미지들은 렌즈 어레이의 초점면에 형성되어 복수의 동적 패턴들을 형성함 - ; 복수의 동적 패턴들을 측정 대상물의 표면 상으로 집속시키는 단계; 복수의 반사 이미지들을 이미징 센서 상으로 이미징하는 단계; 이미징 센서를 이용하여 복수의 반사 이미지들을 기록하는 단계; 및 광원의 변조 신호를 사용하여 기록된 복수의 반사 이미지들을 처리하여 대상물의 3차원 이미지를 획득하는 단계를 포함한다.
일 양태로, 본 발명은 다음의 특징들 중 하나 이상을 포함하는 방법을 제공한다: (i) 동적 패턴들을 시간적 시퀀스로 투영하고 평가하여, 전체 패턴을 투영하기 위해 수신될 3D 데이터 점들(data points)의 수와 총 합이 동일 또는 실질적으로 동일한 수의 3D 데이터 점들을 수신함으로써 대상물의 평균 방사 조도(irradiance)를 감소시키는 단계를 더 포함하는 방법, (ii) 대상물의 평균 방사 조도가 일정 배수만큼 감소되는 것인 방법. 일 양태로, 배수는 2배수이고, (iii) 렌즈 어레이의 복수의 렌즈들의 중심들을 개별적으로 오프셋시킴으로써 비주기적인 패턴들을 생성하는 단계를 더 포함하는 방법 및 (iv) 이들의 임의의 조합들.
또 다른 양태로, 본 발명은 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하기 위한 시스템을 제공하며, 시스템은: 적어도 하나의 프로세서를 포함하며, 적어도 하나의 프로세서는: 콜리메이터에 대해 구조화 광을 생성하도록 광원의 복수의 개별 영역들 각각의 광도들을 전자적으로 제어하도록; 콜리메이터를 사용하여 광원으로부터의 구조화 광을 렌즈 어레이 상으로 지향시키도록; 렌즈 어레이의 복수의 렌즈들을 사용하여 구조화 광의 서브 이미지들을 생성하도록 - 서브 이미지들은 렌즈 어레이의 초점면에 형성되어 복수의 동적 패턴들을 형성함 - ; 조명 광학계를 이용하여 복수의 동적 패턴들을 측정 대상물의 표면 상으로 이미징하도록; 이미징 센서를 이용하여 대상물의 표면으로부터의 복수의 반사 이미지들을 기록하도록; 그리고 광원의 변조 신호를 사용하여 복수의 반사 이미지들을 처리하여 대상물의 3차원 이미지를 획득하도록 작동 가능하다.
본 명세서의 다양한 실시 예들의 구조 및 동작뿐만 아니라 추가 특징들 및 이점들은 첨부 도면들을 참조하여 아래에서 상세히 설명된다.
예시적인 실시 예들은 본 명세서에서 아래에 제공되는 구체적인 내용 및 첨부 도면들로부터 더 완전히 이해될 수 있으며, 여기서 같은 요소들은 같은 참조 부호들로 표기되고, 이는 단지 예시로서 제공됨에 따라 본 명세서의 예시적인 실시 예들을 제한하지 않으며, 여기서:
도 1은 대상물을 측정하기 위해 패턴들을 투영하는 데 사용되는 카메라 시스템을 도시한다;
도 2는 도 1의 시스템의 예시적인 컴퓨터 시스템의 블록도를 도시한다;
도 3은 구조화 조명을 위한 프로젝터의 도식적인 표현이다;
도 4는 본 명세서의 일 실시 예에 따른 광학 어레이 생성기를 도시한다;
도 5는 본 명세서의 일 실시 예에 따른 구면 렌즈들(spherical lenses)의 어레이들을 이용한 도트 패턴들의 생성을 도시한다;
도 6은 본 명세서의 일 실시 예에 따른 원주 렌즈 어레이(cylindrical lens array)를 이용한 스트라이프 패턴들의 생성을 도시한다;
도 7은 본 명세서에서 논의되는 대표적인 실시 예를 도시한다;
도 8은 렌즈 어레이 및 추가 마스크의 조합을 도시한다;
도 9는 본 명세서의 일 실시 예의 두 개의 투영 패턴들 간의 관계를 도시하는 도해이다; 그리고
도 10은 서로 마주 보는 렌즈들이 장착된, 두 개의 단면 정렬 렌즈 어레이들을 도시하는 도해이다.
도면들 중 상이한 도면들은 동일한 구성요소들을 식별하기 위해 적어도 몇몇 동일한 참조 부호들을 가질 수 있지만, 각각의 그러한 구성요소에 대한 구체적인 내용은 아래에서 각 도면에 대해 제공되지 않을 수 있다.
도 1은 대상물을 측정하기 위해 패턴들을 투영하는 데 사용되는 카메라 시스템을 도시한다;
도 2는 도 1의 시스템의 예시적인 컴퓨터 시스템의 블록도를 도시한다;
도 3은 구조화 조명을 위한 프로젝터의 도식적인 표현이다;
도 4는 본 명세서의 일 실시 예에 따른 광학 어레이 생성기를 도시한다;
도 5는 본 명세서의 일 실시 예에 따른 구면 렌즈들(spherical lenses)의 어레이들을 이용한 도트 패턴들의 생성을 도시한다;
도 6은 본 명세서의 일 실시 예에 따른 원주 렌즈 어레이(cylindrical lens array)를 이용한 스트라이프 패턴들의 생성을 도시한다;
도 7은 본 명세서에서 논의되는 대표적인 실시 예를 도시한다;
도 8은 렌즈 어레이 및 추가 마스크의 조합을 도시한다;
도 9는 본 명세서의 일 실시 예의 두 개의 투영 패턴들 간의 관계를 도시하는 도해이다; 그리고
도 10은 서로 마주 보는 렌즈들이 장착된, 두 개의 단면 정렬 렌즈 어레이들을 도시하는 도해이다.
도면들 중 상이한 도면들은 동일한 구성요소들을 식별하기 위해 적어도 몇몇 동일한 참조 부호들을 가질 수 있지만, 각각의 그러한 구성요소에 대한 구체적인 내용은 아래에서 각 도면에 대해 제공되지 않을 수 있다.
본 명세서에 설명되는 예시적인 양태들에 따르면, 3차원(3D) 측정을 위해 대상물의 표면 상으로 투영하기 위한 카메라, 예를 들어 치과용 카메라에서의 동적 패턴들을 생성하기 위한 장치, 방법 및 시스템이 제공된다.
일 양태로, 투영 패턴들을 생성하기 위한 광학 어레이 생성기(2)가 카메라(1), 예를 들어 치과용 카메라에 제공될 수 있다. 광학 어레이 생성기는 콜리메이터(21), LED 어레이(20) 및 렌즈 어레이(22)를 포함할 수 있다. 콜리메이터(21)는 LED 어레이(20)의 광을 서브 렌즈들(25)을 포함하는 렌즈 어레이(22) 상으로 지향시키도록 구성될 수 있다. 컴퓨터 시스템(100)은 미리 결정된 패턴으로 광을 방출하도록 (i) 이미지 센서들(4)의 노출 시간들 및 (ii) LED 어레이(20)의 LED들을 제어 및 동기화한다. 예를 들어, 미리 결정된 패턴의 구조화 광을 생성하기 위해 일부 LED들이 턴 온될 수 있고 동시에 다른 LED들은 턴 오프될 수 있다. 본 명세서의 일 실시 예에서, LED들의 시간적 조명 시퀀스는 주기적으로 반복될 수 있다. 렌즈 어레이(22)의 각각의 서브 렌즈(25)는 제어되는 LED 어레이(20)의 이미지를 생성하도록 구성될 수 있다. 그에 따라 LED 어레이(20)에 의해 생성되는 이미지/구조화 광은 렌즈 어레이(22)에 의해 서브 이미지들(26)의 어레이로 배가될 수 있다. 렌즈 어레이(22)의 서브 이미지들(26)은 렌즈 어레이(22)의 초점면(23)에서 조합되어 조합된 이미지(27)를 형성한다. 렌즈 어레이(22)의 렌즈들(25)은 양면 볼록형이여서 조명 경로에서 높은 개구수들을 사용하여 광 효율을 높일 수 있다. 본 명세서의 일 실시 예에서, 양면 볼록 렌즈의 제1 계면은 푸리에 렌즈(Fourier lens)로서 작용하여 이미지를 생성할 수 있다. 제2 계면은 시야 렌즈(field lens)로서 작용하여, 카메라 시스템의 이미징 광학계의 퓨필(pupil)로 광을 지향시킬 수 있다. 다른 실시 예에서, 카메라(1)는 조합된 이미지(27)를 측정 대상물(14)의 표면 상으로 투영하기 위한 투영 광학계를 구비한다. 본 명세서의 일 실시 예에서, 서브 이미지들로의 변환을 위해 LED 어레이(20)에 의해 생성되는 이미지들은 구조화되고 가변적(비고정적)일 수 있다. 본 명세서의 일 실시 예에서, 광원은 LED 다이들(59)을 포함할 수 있다. 다른 실시 예에서는, 레이저 다이오드들 또는 다른 발광 소자들(도시되지 않음)이 사용될 수도 있다. 또 다른 실시 예에서, 광원은 타단에 광원들이 부착된 복수의 광섬유들의 일단으로 형성될 수 있다. 또 다른 실시 예에서는, 각각 다수의 광원들을 갖는 다수의 콜리메이터들(21)이 사용될 수도 있다.
본 명세서의 다른 예시적인 예에 따르면, 카메라 시스템(101)이 제공된다. 카메라 시스템은 측정 대상물(14) 상으로 투영 패턴들을 생성하도록 구성된 광학 어레이 생성기(2), 반사되는 투영 패턴들을 기록하기 위한 센서(4), 및 기록된 이미지들을 처리하기 위한 디지털 신호 처리 유닛(5)을 포함할 수 있다. 일 실시 예에서, 센서(4)는 픽셀 단위 복조 기능(in pixel demodulation function)을 포함할 수 있으며, 이때 센서는 포토 다이오드, 전치 증폭기, 동기 복조기 및 적분기를 포함한다. 다른 실시 예에서, 센서(4)는 광학 어레이 생성기에 의해 생성되는 상이한 투영 패턴들에 대한 이미지들의 연속 시퀀스를 기록하기 위한 2D 센서이다. 다른 실시 예에서, 시스템(101)은 기록된 이미지들을 추가로 처리하고 대상물(14)의 3차원 측정을 디스플레이하기 위한 획득 유닛(6)을 포함한다.
본 명세서의 다른 예시적인 실시 예에 따르면, 광학 어레이 생성기(2)를 이용하여 3차원(3D) 측정을 위해 대상물의 표면(15) 상으로 투영하기 위한 카메라에서의 동적 패턴들을 생성하기 위한 방법이 제공된다. 본 명세서의 예시적인 실시 예에 따르면, 상기 방법은 LED 어레이(20)로부터 복수의 투영 패턴들을 생성하는 단계, 콜리메이터(21)를 사용하여 LED 어레이(20)의 복수의 투영 패턴들 각각을 렌즈 어레이(22) 상으로 지향시키는 단계, 렌즈 어레이의 서브 렌즈들(25)을 이용하여 복수의 투영 패턴들 각각의 서브 이미지들(26)을 생성하는 단계 - 서브 이미지들(26)은 렌즈 어레이(22)의 초점면(23)에 형성되어 조합된 이미지(27)를 형성함 - , 복수의 투영 패턴들을 측정 대상물(14)의 표면(15) 상으로 집속시키는 단계; 이미징 센서(4) 상으로 복수의 반사 이미지들을 이미징하는 단계, 센서(4)를 이용하여 대상물(15)의 표면으로부터의 복수의 반사 이미지들을 기록하는 단계, 및 기록된 복수의 이미지들을 처리하여 대상물의 3차원 이미지를 획득하는 단계를 포함한다.
일 실시 예에서, 복수의 투영 패턴들을 생성하는 단계는 LED 어레이로 투영을 위한 시변 패턴들 - 투영되는 패턴의 하나 이상의 표시(예를 들어, 형상, 스트라이프, 도트 및/또는 기타)가 생략됨 - 을 생성함으로써 측정 대상물의 평균 방사 조도를 감소시키는 단계를 포함할 수 있다. 일 실시 예에서, 투영되는 패턴의 매 n 번째, 예를 들어 두 번째 밝은 표시(예를 들어, 스트라이프, 체커보드 패턴)이 컴퓨터 시스템(100)에 의한 LED 어레이(22)의 제어를 통해 생략될 수 있다. 투영되는 패턴의 매 두 번째 밝은 표시(예를 들어, 스트라이프)가 생략되는 일 실시 예에서는, 대상물(14)의 평균 방사 조도가 2배 감소될 수 있으며, 이는 또한 대상물(14)의 확산 배경 방사를 절반으로 줄이나, 나머지 간섭 무늬들의 신호 진폭은 동일 또는 실질적으로 동일하게 유지된다. 투영되는 패턴의 매 두 번째 밝은 표시(예를 들어, 스트라이프)가 생략되는 일 실시 예에서, 신호 대 잡음비는 sqrt(2)배 개선될 수 있다. 스트라이프들을 생략하면 3D 재구성에 이용 가능한 특징점들의 수가 감소하므로, 3D 재구성을 위해 생략이 없었던 경우와 총 합이 동일 또는 실질적으로 동일한 수의 3D 데이터 점들이 획득되도록 주기의 배수만큼 시프트된 교대 패턴들이 시간적 시퀀스로 투영된다. 예를 들어, 일 실시 예에서, 밝은 스트라이프들 및 어두운 스트라이프들을 교대로 포함하는 표준 투영 패턴으로부터 제1 투영 패턴 및 제2 투영 패턴이 획득될 수 있다. 제1 투영 패턴은 표준 투영 패턴의 매 두 번째 밝은 스트라이프를 생략함으로써 획득될 수 있다. 제2 투영 패턴은 제1 투영 패턴을 반주기만큼 시프트시킴으로써 획득될 수 있다. 제1 투영 패턴 및 제2 투영 패턴(즉, 반주기만큼 시프트된 제1 투영 패턴)을 교대 방식으로 투영함으로써, 투영에 표준 투영 패턴이 사용되었던 경우와 동일 또는 실질적으로 동일한 수의 3D 데이터 점들이 획득됨에 따라, 각 투영마다 측정되는 대상물에 입사되는 밝은 스트라이프들의 수 그리고 그에 따른 측정 대상물(14)의 평균 방사 조도를 감소시킬 수 있다.
다른 실시 예에서, 기록하는 단계는 픽셀 단위 복조 기능(in pixel demodulation function)을 구비한 센서(4)를 이용하여 수행될 수 있으며, 이때 센서는 포토 다이오드, 전치 증폭기, 동기 복조기 및/또는 적분기를 포함한다. 다른 실시 예에서, 기록하는 단계는 광학 어레이 생성기에 의해 생성되는 상이한 투영 패턴들에 대한 이미지들의 연속 시퀀스를 기록하도록 2D 센서를 이용하여 수행될 수 있다. 다른 실시 예에서, 처리하는 단계는 기록된 이미지들에서 투영된 특징점들의 위치를 찾고 기록된 이미지들을 대상물(14)의 3차원 측정으로 처리하는 단계를 포함한다.
본 명세서의 또 다른 실시 예에서, 렌즈 어레이(22)의 렌즈들(25)은 구면(spherical) 또는 원주(cylindrical)일 수 있다.
장치 방법 및 시스템은 3차원 측정 시 발생되는 노이즈를 감소시키고 대상물을 스캔할 때 수집되는 데이터의 밀도를 증가시키는 데 유용할 수 있다. 장치 방법 및 시스템은 이하에서 더 상세히 설명된다.
광학 어레이 생성기, 카메라 및 카메라 시스템
도 1은 카메라에서의 동적 패턴들을 생성하기 위한 카메라(1)를 포함하고 본 명세서의 적어도 하나의 예시적인 실시 예에 따라 구성 및 작동될 수 있는 카메라 시스템(101)의 블록도를 도시한다. 시스템은 또한 대상물의 3차원 표현들을 생성하고 디스플레이하기 위한 컴퓨터 시스템(100)을 포함할 수 있다. 컴퓨터 시스템(100)은 카메라(1)에 전기적으로 연결될 수 있다. 카메라는 시공간적으로 변조된 광원(예를 들어, LED 어레이(20)), 콜리메이터(21), 및 LED 어레이의 조합된 이미지(27)를 생성하기 위한 서브 렌즈들(25)을 포함하는 렌즈 어레이(22)를 포함하는 광학 어레이 생성기(2)를 포함할 수 있다. 조합된 이미지(27)는 서브 이미지들(26)을 포함할 수 있으며, 이때 각각의 서브 렌즈가 서브 이미지(26)를 생성할 수 있다. 조명을 위한 이미징 광학계(12)는 조합된 이미지를 측정 대상물(14) 상으로 투영할 수 있다. 본 명세서의 일 실시 예에서, 이미징 광학계(12)는 스캐닝 프로세스 또는 노출 동안 대상물(14) 상으로 다양한 조합된 이미지들을 포함하는 동적 패턴들을 투영한다. 대상물(14)은 예를 들어, 치아, 피부, 잇몸, 세라믹, 아말감, 금 및/또는 기타 일 수 있다. 카메라는 스캐닝 프로세스 또는 노출 동안 대상물(14)에 의해 반사되는 이미지들의 검출을 위한 이미징 광학계(13)를 더 포함한다. 수신되는 이미지들은 예를 들어, 편향 미러(3) 또는 90° 프리즘에 의해, 기록될 센서(4)로 전파된다. 센서는 표준 2D 센서 또는 픽셀 단위 복조 기능을 갖는 센서일 수 있으며, 이때 센서의 각 픽셀은 포토 다이오드, 전치 증폭기, 동기식 복조기 및 적분기를 포함할 수 있다. 각 픽셀의 포토 다이오드는 대상물(14)로부터의 광을 광전류로 변환할 수 있다. 그 다음 광전류는 증폭되어 동기식 복조기로 공급될 수 있다. 복조기는 광학 어레이 생성기(2)의 광원들의 변조 신호에 의해 동기화될 수 있다. 변조 주파수는 단지 광원들에 의해서만 제한될 수 있는 것으로 볼 수 있다. 그에 따라, 적합한 LED들 또는 레이저 다이오드들이 사용되는 경우 변조에 사용되는 주파수는 MHz 범위에서 상향될 수 있다. 높은 변조 주파수(이를테면 20kHz ~ 500kHz 사이 또는 1kHz ~ 100MHz 사이)를 사용하면 매우 높은 조명도들이 사용될 때에도 픽셀 적분기들이 포화되지 않을 수 있다는 이점을 가질 수 있다. 복조기 출력은 적분기에 의해 노출 시간 동안 합산될 수 있다. 노출의 종료 시, 적분된 신호는 광 변조의 진폭에 비례할 수 있다. 일정한 배경 광은 복조에 의해 억제된다. 판독을 위해, 이미지 매트릭스의 픽셀들은 스위치 매트릭스에 의해 순차적으로 어드레싱될 수 있고 적분기들의 전압들은 디지털화되어 디지털 신호 전처리 유닛(5)으로 전달될 수 있다. 센서가 표준 2D 센서일 때, 센서는 광학 어레이 생성기(2)에 의해 생성되는 상이한 조명 패턴들에 대한 이미지들의 연속 시퀀스를 기록할 수 있다.
노출/스캔 동안, 디지털 신호 전처리 유닛(5)은 센서(4)의 단일 이미지 프레임들을 수집하고 이 유닛의 로컬 메모리에 이미지를 저장할 수 있다. 이미지들은 카메라의 처리 유닛(5)에서 전처리되거나 추가 처리 단계들을 위해 획득 유닛(6)으로 전송될 수 있다. 처리에는 노이즈를 감소시키기 위해 이미지를 필터링하는 것, 배경 광을 제거하기 위해 상이한 광원으로 생성된 이미지들을 제거하는 것 및 가장자리 검출과 같은 단계들이 포함될 수 있다. 획득 유닛(6)은 디스플레이(128) 및 중앙 처리 유닛(CPU)(123) 및 랜덤 액세스 메모리(RAM)(133)를 포함하는 컴퓨터 프로세서를 포함할 수 있다.
본 명세서의 일 실시 예에서, 전처리된 이미지 데이터는 표면을 나타내는 3D 점구름들을 추출하기 위해 추가로 분석될 수 있다. 점들에 적용되는 왜곡 보정은 광학계의 이미징 속성들을 보정한다. 기록하는 동안 카메라가 이동될 때, 일련의 점구름들은 상이한 관점들에서 대상물(14)의 상이한 섹션들을 보여주게 된다. 이러한 점구름들은 일관된 3D 모델을 제공하기 위해 CPU(123)에 의해 개별적으로 회전 및 병진 이동된다. 이러한 3D 모델이 최종적으로 디스플레이(128) 상에서 렌더링된다.
도 3은 간섭 무늬 투영을 위한 프로젝터의 기본적인 표현이다. 광원(10)으로부터의 광은 콜리메이터(11)에 의해 마스크(16) 상으로 지향된다. 마스크(16)로부터의 광은 이미징 광학계(17)에 의해 대상물(14) 상으로 투영되고 그에 따라 표면(15) 상에서 보이기 시작한다.
도 4는 시변 동적 패턴들을 생성하기 위한 광학 어레이 생성기(2)의 도식적인 표현을 제공한다. 도 5는 광학 어레이 생성기(2)의 LED 어레이(20)의 상면도를 제공한다. 콜리메이터(21)는 LED 어레이(20)의 광을 렌즈 어레이(22) 상으로 지향시킨다. 렌즈 어레이의 각각의 서브 렌즈(25)는 LED 어레이의 서브 이미지(26)를 생성할 것이다. 본 명세서의 일 실시 예에서, LED 어레이는 도 5에 도시된 바와 같이 2X2 LED 어레이(30)이나, 다른 LED 어레이들도 사용될 수 있으며, 예를 들어 nXm LED(여기서 "n"은 1~10 사이이고 "m"은 2~10 사이일 수 있다)가 사용될 수 있지만, 이에 제한되지는 않을 수 있다. 서브 이미지들(26)은 렌즈 어레이(22)의 초점면(23)에서 조합되어 조합된 이미지(27)를 형성한다. 그 다음 이러한 평면에서 조합된 이미지(27)는 스캐너의 조명(12)을 위한 이미징 광학계(12)(투영 광학계)에 의해 대상물 표면 상으로 이미징될 수 있다. 본 명세서의 예시적인 실시 예에서는, 도 4에 도시된 바와 같이, LED 어레이(20)의 두 개의 광원들(A, B)이 콜리메이터(21)의 대상물 평면(X-Y 평면)에 배치된다. 광원들에서 비롯되는 빔들은 콜리메이터(21) 뒤에서, 두 개의 경사 빔들(24)을 형성한다. 빔들은 렌즈 어레이(22)에 의해 이미지 평면(23) 내로 집속될 수 있다. 각 개별 렌즈는 하나의 초점 쌍(A`, B`)을 생성할 수 있다. 초점들(A`와 B`) 간의 오프셋은 경사 빔들(24)의 입사각 및 렌즈 어레이의 초점 길이의 선택에 의해 결정될 수 있다. 일 실시 예에서는, 다수의 콜리메이터들(21) 및 다수의 광원들이 사용될 수 있다. 여기서, 광원은 콜리메이터(21)와 결합된다. 개별 콜리메이터들은 렌즈 어레이(22)에 대해 필요한 입사각 하에 있게끔 직접 정렬될 수 있다. 그러나, 공간을 절약하려면 콜리메이터들을 평행하게 정렬시키고 편향 소자들, 예를 들어 미러들을 사용하여 렌즈 어레이(22)에 대한 광의 입사각을 설정하는 것이 바람직할 수 있다.
도 7은 본 명세서의 다른 실시 예를 도시한다. 콜리메이터 어셈블리(50)는 예를 들어, 두 개의 LED 다이들(59)로부터의 광을 입사 및 사출 렌즈 쌍들(54, 55)을 포함하는 원주형 양면 볼록 렌즈 어레이(51) 상으로 집속시킬 수 있으며, 이때 각 쌍은 각 LED 다이(59)에 대해 이미지 평면(56)에서 스트라이프를 생성할 수 있다. 본 명세서의 일 실시 예에서, 두 개의 LED 다이들의 중심들은 1.5mm 간격(또는 예를 들어, 0.5mm ~ 15mm 사이의 간격)으로 이격될 수 있고 콜리메이터는 10mm의 유효 초점 길이를 가질 수 있다. 이는 콜리메이터 어셈블리(50)를 빠져 나가는 평행 광 번들에 대해 atan((1.5mm / 2) / 10mm) = 4.3°(또는 예를 들어, 2° ~ 10° 사이 또는 0.1° ~ 30° 사이)의 경사각을 초래할 수 있다. 이 각도는 렌즈 어레이(51)의 예를 들어, n = 1.52의 굴절률로 인해, 어레이의 기판에서 2.8°로 감소될 수 있다. 그에 따라 이는 스트라이프들의 간격이 100㎛(또는 예를 들어, 2㎛ 내지 200㎛ 사이) 이어야 한다는 요건으로부터, 렌즈 어레이의 두께가 (100㎛ / 2) / tan(2.8°) = 1.0mm(또는 예를 들어, 50㎛ 내지 10mm 사이)가 되게 한다. 인접한 두 마이크로 렌즈들의 중심들 간의 거리(피치)는 스트라이프 간격의 두 배(예를 들어, 200㎛)일 수 있다. 섹션(58)은 어레이의 확대된 하나의 렌즈 쌍을 단면으로 도시한다. 입사 렌즈들(54)은 푸리에 렌즈들로서 작용하여 이미지 평면(56)에 초점들을 생성할 수 있다. 사출 렌즈들(55)은 시야 렌즈들로서 작용하여 초점들 뒤의 빔 콘들이 이미지 평면(56)에 수직이게 할 수 있다. 그 결과, 광은 렌즈(52)에 의해 비네팅(vignetting) 없이 테스트 대상물(53)에 이미징된다.
도 8은 본 명세서의 또 다른 실시 예를 도시한다. 렌즈 어레이(22)는 두 개의 폴리머 층들이 몰딩된 유리 캐리어(glass carrier)(60) 및 유리 캐리어(60)에 적용된 구조화 마스크(62)를 포함할 수 있다. 여기서, 마스크(62)의 사용에 의해 특정 광원들에 대해 점들 또는 선들이 선택적으로 가려질 수 있다. 본 명세서의 다른 실시 예에서, 마스크는 바이너리 또는 컬러 코드가 LED 어레이(20)에 의해 생성되는 주기적인 패턴 상에 각인될 수 있는 구조화 컬러 필터일 수 있다.
도 10은 견고한 마이크로 렌즈 어레이 구성이 실현될 수 있는 본 명세서의 또 다른 실시 예를 도시하며, 이때 상기 구성은 "샌드위치" 구성일 수 있고, 각각 두꺼운 단면 프로파일을 갖고 각각의 렌즈들(54, 55)이 도 10에 도시된 바와 같이 정렬되고 서로 마주 보며 장착될 수 있는 복수의 마이크로 렌즈 어레이들(82)(예를 들어, 두 개의 마이크로 렌즈 어레이들)을 포함할 수 있다. 여기서 들어오는 평행 광선들(80)은 푸리에 렌즈들로서 작용하여 이미지 평면(56)에 초점들을 생성할 수 있는 입사 렌즈들(54)에 입사될 수 있다. 사출 렌즈들(55)은 시야 렌즈들로서 작용하여 초점들 뒤의 빔 콘들이 이미지 평면(56)에 수직이게 할 수 있다.
3D 측정을 위해 카메라에서의 동적 패턴들을 생성하기 위한 컴퓨터 시스템
3차원(3D) 측정을 위해 대상물의 표면 상으로 투영하기 위한 카메라에서의 동적 패턴들을 생성하기 위한 시스템(101)을 설명했으며, 이제 본 명세서의 예시적인 실시 예들 중 적어도 일부에 따라 채용될 수 있는 컴퓨터 시스템(100)의 블록도를 도시하는 도 2를 참조할 것이다. 다양한 실시 예들이 이러한 대표적인 컴퓨터 시스템(100)과 관련하여 본 명세서에 설명되지만, 이 설명을 읽은 후, 관련 기술분야(들)의 당업자에게는 다른 컴퓨터 시스템들 및/또는 아키텍처들을 사용하여 본 개시 내용을 구현하는 방법도 명백해질 것이다.
본 명세서의 하나의 예시적인 실시 예에서, 컴퓨터 시스템(100)의 적어도 일부 구성요소들은 도 1의 컴퓨터 시스템(100)을 형성하거나 이에 포함될 수 있다. 컴퓨터 시스템(100)은 적어도 하나의 컴퓨터 프로세서(122)를 포함한다. 컴퓨터 프로세서(122)는 예를 들어, 도 1에 도시된 바와 같은 중앙 처리 유닛(123), 다중 처리 유닛, 주문형 집적 회로("ASIC"), 현장 프로그램 가능한 게이트 어레이("FPGA") 또는 그 밖에 유사한 것을 포함할 수 있다. 프로세서(122)는 통신 인프라스트럭처(124)(예를 들어, 통신 버스, 크로스-오버 바 장치 또는 네트워크)에 연결될 수 있다. 본 명세서의 일 실시 예에서, 프로세서(122)는 픽셀 단위 복조 기능을 갖는 센서(4)를 갖는 카메라(1)의 전처리 유닛(5)으로부터 이미지 데이터를 획득하는 CPU(123)를 포함한다. 이미지 데이터는 일시적으로 메모리에 저장된 다음 분석될 수 있다. 기록하는 동안 카메라(1)를 이동 시, 일련의 점구름들이 형성된다. CPU(123)는 컴퓨터 시스템(100)의 디스플레이 인터페이스(126) 상에서 렌더링하기 위한 일관된 3D 모델을 제공하기 위해 점구름들을 회전 및 병진 이동시킬 수 있다. 다른 실시 예에서, CPU는 센서(4)에 의해 검출되는 이미지 특징점들을 투영된 특징점들과 정합시키고 이들을 삼각 측량에 의해 각 이미지가 별개의 점구름이 되는 3D 점구름으로 변환할 수 있다. 여기서, 센서는 픽셀 단위 복조 기능을 갖지 않을 수 있다. 카메라가 이동될 때 일련의 점구름들이 생긴다. 이러한 점구름들은 일관된 3D 모델을 제공하기 위해 CPU(123)에 의해 개별적으로 회전 및 병진 이동될 수 있다. 이러한 3D 모델이 최종적으로 디스플레이(128) 상에서 렌더링된다. 본 명세서의 일 실시 예에서는, 이미지 데이터의 가장자리들 또는 특징점들의 직접 검출이 수행될 수 있다. 본 명세서의 또 다른 실시 예에서는, 카메라(1)의 디지털 신호 처리 유닛(5)이 컴퓨터 시스템(100) 내로 통합될 수 있다.
디스플레이 인터페이스(또는 다른 출력 인터페이스)(126)는 통신 인프라스트럭처(124)로부터(또는 프레임 버퍼(도시되지 않음)로부터) 디스플레이 유닛(128)(하나의 예시적인 실시 예에서, 이는 도 1의 디스플레이 유닛(128)을 형성하거나 이에 포함될 수 있다) 상에서 디스플레이하기 위해 비디오 그래픽, 텍스트 및 다른 데이터를 포워딩한다. 예를 들어, 디스플레이 인터페이스(126)는 그래픽 처리 유닛을 갖는 비디오 카드를 포함할 수 있다.
컴퓨터 시스템(100)은 또한 정보를 컴퓨터 프로세서(122)로 전송하기 위해 컴퓨터 시스템(100)의 사용자에 의해 사용될 수 있는 입력 유닛(130)을 포함한다. 본 명세서의 하나의 예시적인 실시 예에서, 입력 유닛(130)은 도 1의 입력 유닛(130)을 형성하거나 이에 포함될 수 있다. 입력 유닛(130)은 트랙볼 또는 다른 입력 장치를 포함할 수 있다. 일 예에서, 디스플레이 유닛(128), 입력 유닛(130) 및 컴퓨터 프로세서(122)는 공동으로 사용자 인터페이스를 형성할 수 있다.
동적 패턴들을 생성하는 하나 이상의 단계는 컴퓨터 판독 가능한 프로그램 명령어들의 형태로 비일시적 저장 장치에 저장될 수 있다. 절차를 실행하기 위해, 프로세서(122)는 저장 장치에 저장된 적절한 명령어들을 메모리로 로딩한 다음 로딩된 명령어들을 실행한다.
도 2의 컴퓨터 시스템(100)은 도 1에 도시된 바와 같은 랜덤 액세스 메모리("RAM")(123)일 수 있는 메인 메모리(132)를 포함할 수 있고, 또한 보조 메모리(134)를 포함할 수 있다. 보조 메모리(134)는 예를 들어, 하드 디스크 드라이브(136) 및/또는 탈착 가능식 저장 드라이브(138)(예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 플래시 메모리 드라이브 기타 같은 종류의 것)를 포함할 수 있다. 탈착 가능식 저장 드라이브(138)는 주지되어 있는 방식으로 탈착 가능식 저장 유닛(140)으로부터 판독하고/거나 이에 기록한다. 탈착 가능식 저장 유닛(140)은 예를 들어, 플로피 디스크, 자기 테이프, 광 디스크, 플래시 메모리 장치 기타 같은 종류의 것일 수 있으며, 탈착 가능식 저장 드라이브(138)에 의해 이에 기록되고 이로부터 판독된다. 탈착 가능식 저장 유닛(140)은 컴퓨터 실행 가능한 소프트웨어 명령어들 및/또는 데이터를 저장하는 컴퓨터 판독 가능한 비일시적 저장 매체를 포함할 수 있다.
추가의 대안적인 실시 예들에서, 보조 메모리(134)는 컴퓨터 실행 가능한 프로그램들 또는 컴퓨터 시스템(100)으로 로딩될 다른 명령어들을 저장하는 다른 컴퓨터 판독 가능한 매체들을 포함할 수 있다. 그러한 장치들은 탈착 가능식 저장 유닛(144) 및 인터페이스(142)(예를 들어, 프로그램 카트리지 및 카트리지 인터페이스); 탈착 가능식 메모리 칩(예를 들어, 소거 가능한 프로그램 가능한 판독 전용 메모리("EPROM") 또는 프로그램 가능한 판독 전용 메모리("PROM")) 및 관련 메모리 소켓; 및 소프트웨어 및 데이터가 탈착 가능식 저장 유닛(144)으로부터 컴퓨터 시스템(100)의 다른 부분들로 전달될 수 있게 하는 다른 탈착 가능식 저장 유닛들(144) 및 인터페이스들(142)을 포함할 수 있다.
컴퓨터 시스템(100)은 또한 소프트웨어 및 데이터가 컴퓨터 시스템(100)과 외부 장치들 간에서 전달될 수 있게 하는 통신 인터페이스(146)를 포함할 수 있다. 그러한 인터페이스에는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드, 블루투스 또는 IEEE 802.11 무선 LAN 인터페이스), 통신 포트(예를 들어, 범용 직렬 버스("USB") 포트 또는 FireWire®포트), 개인용 컴퓨터 메모리 카드 국제 협회("PCMCIA", Personal Computer Memory Card International Association) 인터페이스 기타 같은 종류의 것이 포함될 수 있다. 통신 인터페이스(146)를 통해 전달되는 소프트웨어 및 데이터는 신호들의 형태일 수 있으며, 이는 전자, 전자기, 광학 또는 통신 인터페이스(146)에 의해 송신 및/또는 수신될 수 있는 다른 유형의 신호일 수 있다. 신호들은 통신 경로(148)(예를 들어, 채널)를 통해 통신 인터페이스(146)에 제공된다. 통신 경로(148)는 신호들을 운반하고 유선 또는 케이블, 광섬유, 전화선, 셀룰러 링크, 무선 주파수("RF") 링크 또는 그 밖에 유사한 것을 사용하여 구현될 수 있다. 통신 인터페이스(146)는 컴퓨터 시스템(100)과 원격 서버 또는 클라우드 기반 저장 장치(도시되지 않음) 간에서 소프트웨어 또는 데이터 또는 다른 정보를 전달하는 데 사용될 수 있다.
하나 이상의 컴퓨터 프로그램 또는 컴퓨터 제어 로직이 메인 메모리(132) 및/또는 보조 메모리(134)에 저장될 수 있다. 컴퓨터 프로그램들은 또한 통신 인터페이스(146)를 통해 수신될 수 있다. 컴퓨터 프로그램들은 컴퓨터 프로세서(122)에 의해 실행될 때, 컴퓨터 시스템(100)이 후술될 바와 같은 방법들을 수행하게 하는 컴퓨터 실행 가능한 명령어들을 포함한다. 그에 따라, 컴퓨터 프로그램들은 컴퓨터 시스템(100) 및 카메라 시스템(101)의 다른 구성요소들을 제어할 수 있다.
다른 실시 예에서, 소프트웨어는 컴퓨터 판독 가능한 비일시적 저장 매체에 저장될 수 있고 탈착 가능식 저장 드라이브(138), 하드 디스크 드라이브(136) 및/또는 통신 인터페이스(146)를 사용하여 컴퓨터 시스템(100)의 메인 메모리(132) 및/또는 보조 메모리(134)로 로딩될 수 있다. 제어 로직(소프트웨어)은 프로세서(122)에 의해 실행될 때, 컴퓨터 시스템(100) 및 일부 실시 예에서는 더 일반적으로 카메라 시스템이 후술될 방법들 중 일부를 수행하게 한다.
마지막으로, 다른 예시적인 실시 예에서는, ASIC, FPGA 기타 같은 종류의 것과 같은 하드웨어 구성요소들이 본 명세서에 설명된 기능을 수행하는 데 사용될 수 있다. 본 명세서에 설명된 기능들을 수행하기 위한 그러한 하드웨어 장치의 구현은 이 설명을 고려하여 관련 기술분야(들)의 숙련자에게 명백할 것이다.
3D 측정을 위해 카메라에서의 동적 패턴들을 생성하기 위한 방법
도 2의 컴퓨터 시스템(100)을 설명하였으며, 이제 상이한 렌즈 유형들을 사용하여 투영 패턴들을 생성하는 방법들을 도시하는 도 4 내지 도 6과 관련하여 카메라 시스템(101)이 추가로 설명될 것이다.
본 명세서의 예시적인 실시 예에 따르면, 투영되는 패턴의 일부 스트라이프들, 예를 들어 투영되는 패턴의 매 두 번째 밝은 스트라이프를 생략함으로써 투영을 위한 시변 패턴들이 생성될 수 있다. 이렇게 하면 대상물의 평균 방사 조도가 2배 감소하며, 이는 또한 대상물의 확산 배경 방사를 절반으로 줄인다. 그러나, 나머지 간섭 무늬들의 신호 진폭은 동일하게 유지된다. 이는 그에 따라 신호 대 잡음비를 sqrt(2)배 개선할 것이다. 이는 픽셀 노이즈가 최신 이미지 센서들 상에서 샷 노이즈에 의해 좌우되기 때문이다. 샷 노이즈는 픽셀들이 무작위로 도달하는 광자들에 대한 계수기들로서 여겨질 수 있기 때문에 발생한다. 광의 세기가 일정한 경우, 계수된 광자들의 통계는 표준 편차가 sqrt(n)(여기서 n은 계수된 평균 광자 수이다)인 정규 분포로 근사할 수 있다. 그에 따라, 신호 대 잡음비(S/N)는 S/N = n/sqrt(n) = sqrt(n)이다. 단일 픽셀의 판독은 계수된 배경 광 광자들(nb) 및 원하는 신호 광자들(ns)의 합에 비례하는 신호를 제공할 수 있다. 반투명 소재들에서는 배경 광이 신호보다 우세할 수 있기 때문에(nb>>ns), 신호 대 잡음비는 배경 광의 세기에 의해 결정될 수 있다(S/N = sqrt(n)~sqrt(nb)). 그에 따라, 매 두 번째 밝은 스트라이프를 생략함으로써 확산 산란되는 배경 광(nb)이 반감되고 나머지 스트라이프들의 세기는 변함 없이 유지되기 때문에 신호(ns)가 일정하게 유지되는 본 명세서의 예시적인 실시 예에서, 신호 대 잡음비는 sqrt(2)배 개선된다.
본 명세서의 예시적인 실시 예에서, 측정되는 대상물(14)에 입사하는 밝은 스트라이프들의 감소는 3D 재구성에 이용 가능한 특징점들의 수를 감소시킨다. 여러 상이한 패턴들을 시간적 시퀀스로 투영 및 평가하여, 생략이 없었던 경우와 총 합이 동일한 수의 3D 데이터 점들을 수신하면 동일한 공간 해상도로 3D 재구성이 가능하다. 예를 들어, 도 9에 도시된 바와 같이, 밝은 스트라이프들(74) 및 어두운 스트라이프들(73)을 교대로 포함하는 표준 투영 패턴(70)으로부터 제1 투영 패턴(71) 및 제2 투영 패턴(72)이 획득될 수 있다. 제1 투영 패턴(71)은 표준 투영 패턴(70)의 매 두 번째 밝은 스트라이프(74b)를 생략함으로써 획득될 수 있다. 제2 투영 패턴(72)은 제1 투영 패턴(71)을 반주기(0.5*P1)만큼 시프트시킴으로써 획득될 수 있다. 제1 투영 패턴(71) 및 제2 투영 패턴(72)(즉, 반주기만큼 시프트된 제1 투영 패턴(71))을 교대 방식으로 투영함으로써, 표준 투영 패턴(70)이 투영되었던 경우와 동일한 수의 3D 데이터 점들이 획득될 수 있으며, 그에 따라 재구성을 위해 동일한 수의 데이터 점들을 획득하면서 각 투영마다 측정되는 대상물에 입사되는 밝은 스트라이프들(74)의 수를 감소시키고 그에 따라 측정 대상물의 평균 방사 조도를 감소시킨다. 표준 투영 패턴(70)은 제1 투영 패턴(71) 및 제2 투영 패턴(71)을 중첩시킴로써 획득될 수 있다. 본 명세서의 예시적인 실시 예에서, 어두운 스트라이프들(73)은 LED 어레이(20) 중 턴 오프된 LED에 대응할 수 있고 밝은 스트라이프들(74)은 LED 어레이(20) 중 턴 온된 LED에 대응할 수 있다. 해당 기술분야의 통상의 기술자(POSA)는 이 기술이 다양한 투영 패턴들에 적용될 수 있음을 알 수 있다. 예를 들어, 또 다른 표준 투영 패턴(도시되지 않음)의 매 두 번째 및 세 번째 밝은 스트라이프가 생략되어 또 다른 제1 투영 패턴(도시되지 않음)이 획득될 수 있으며, 여기서 또 다른 제1 투영 패턴이 1/3 주기만큼 시프트되어 또 다른 제2 투영 패턴(도시되지 않음)이 획득되고 또 다른 제2 투영 패턴이 1/3 주기만큼 시프트되어 제3 투영 패턴(도시되지 않음)이 획득되며, 또 다른 제1, 또 다른 제2 및 제3 투영 패턴들을 중첩하면 또 다른 표준 투영 패턴이 생성될 것이다.
투영 패턴들을 획득하기 위해, LED 어레이의 각 LED/다이의 세기가 개별적으로 제어될 수 있다.
이제 네 개의 LED들(A, B, C, D) 중 하나의 LED(A)만 활성화된 도 5를 참조하면, 노출 시 송신되는 특징점들의 사분의 일(¼)과 평균 광 세기의 사분의 일(¼)만을 갖는 패턴을 갖는 도트 패턴(31)이 렌즈 어레이의 이미지 평면에 생성될 수 있다. 그에 따라, 네 개의 LED들이 모두 동시에 턴 온될 때 발생할 산란 광량에 비해 더 적은 산란 광량이 발생한다. 네 개의 LED 다이들(A, B, C, D)은 셋업에 의해 축소된 이미지들의 어레이로 이미지징됨을 알 수 있다. LED가 하나만 턴 온될 때에는, 얇아진 도트 패턴이 생성된다. 또 다른 LED가 턴 온되고 첫 번째 LED가 턴 온되면, 시프트된 얇아진 도트 패턴이 생성된다. 그에 따라 대상물(14)로 송신될 LED 어레이(30)의 전체 정보는 4개의 LED들을 연속적으로 턴 온하고 턴 온되는 각 LED에 대해 대응하는 반사 이미지들을 기록함으로써 획득된다.
구면 렌즈들의 어레이들은 도 5에 도시된 바와 같은 도트 패턴들을 생성하는 데 사용될 수 있는 한편, 원주 렌즈들의 선형 어레이는 도 6에 도시된 바와 같은 간섭 무늬 패턴들을 생성하는 데 사용될 수 있다는 것을 볼 수 있다. 단면 렌즈들도 사용될 수 있다. 여기서, 광원들(LED들)은 이미지 평면(23)에 수직인 행으로 배열될 수 있다. 각 렌즈는 도 6에 도시된 바와 같이 각 광원의 스트라이프 형상의 이미지를 생성할 수 있다. 각각의 광원들을 순차적으로 활성화함으로써, 투영 및 기록을 위해 측면으로 시프트된 간섭 무늬 패턴들이 생성될 수 있다.
본 발명에 따른 추가 실시 예에서는, 입체 이미징 및 재구성이 사용될 수 있다. 입체 대상물 재구성은 다수의 관점들에서 관찰되는 바와 같은 대상물의 상이한 이미지들로부터 대응하는 픽셀들 간의 시차(parallax)를 통해 대상물의 공간적 형상 및 위치를 추론함으로써 3D 대상물을 재구성한다. 입체시 기술들의 원리는 삼각 측량이며, 두 대의 평행하지 않은 카메라들에서 촬영된 사진들을 이용하여 대상물의 특유의 윤곽들이 결정될 수 있다. 입체시 접근법들은 두 대의 카메라들로부터의 사진 요소들 간의 대응 관계에 의존할 수 있는데 이는 때때로 결정하기 어려울 수 있다. 입체 대상물 재구성의 모호성을 회피하기 위해 비주기적인 투영 패턴들이 사용될 수 있다. 또한 이러한 비주기적인 패턴들은 렌즈 어레이(22)에서의 렌즈들의 중심들이 개별적으로 오프셋되는 경우 상술된 방법들에 의해 생성될 수 있다. 공칭 격자 위치들로부터의 렌즈들의 오프셋은 무작위일 수 있고, 렌즈 직경의 절반을 초과할 수 없다. 마찬가지로, 비주기적인 타일링이 렌즈 배열의 기초가 될 수도 있다.
규칙적인 렌즈 어레이의 패턴의 주기성을 회피하는 또 다른 방법은 렌즈 어레이의 초점면 근처에 패턴화된 마스크(62)를 배치하는 것일 수 있다. 여기서 특정 렌즈들 및 광원들의 조합에 의해 생성되는 개별적인 스트라이프들 또는 스팟들이 억제될 수 있다. 예를 들어, 입체 이미징에서, 도 8에 도시된 바와 같이, 하나의 광원을 사용하여 고밀도 3D 점들을 위한 완전한 스트라이프 또는 도트 패턴이 생성될 수 있고 다른 광원을 사용하여 얇아진 무작위의 도트 패턴이 생성되어 입체 이미지들의 명확한 정합을 위한 추가 정보를 제공할 수 있다. 또한 구조화 컬러 필터가 렌즈 어레이(22)에 의해 생성된 주기적인 패턴 상에 추가 컬러 코드를 추가하기 위해 렌즈 어레이(22)의 초점면에서 사용될 수 있으며, 상기 코드는 각 광원에 대해 개별적으로 변경 가능하다.
시간 순차적 투영은 전체 밀도 3D 재구성을 위해 다수의 이미지들을 획득해야 할 수 있다. 대상물들이 이동하거나 카메라들/스캐너들이 이동하면, 대상물 재구성에 불필요한 허상들(artifacts)이 발생할 수 있다. 따라서 한 번에 완전한 3D 정보를 획득하는 것이 바람직할 수 있다. 시간 순차적 획득에 대한 대안은 개별 이미지 프레임들의 스펙트럼 코딩이다. 이를 위해 스펙트럼 중첩이 작은 복수의 협대역 광원들이 사용될 수 있다. 모든 광원들이 동시에 활성화되면, 다수의 컬러 패턴들이 동시에 대상물에 중첩될 수 있다. 그 다음 대응하는 스펙트럼 채널들을 갖는 컬러 카메라(도시되지 않음)가 개별 이미지들을 동시에 기록할 수 있다. 가장 간단한 경우에는, 이를 위해 표준 RGB 컬러 센서들이 사용될 수 있다. 세 개보다 많은 컬러들이 사용되는 경우에는, 하이퍼스펙트럼 센서가 사용될 수 있다.
또 다른 실시 예에서는, 상보적인 패턴들이 생성될 수 있다. 패턴들이 동일한 채우기 비율(fill factor)을 갖는 경우, 두 개의 상보적인 대상물 이미지들(예를 들어, 하나의 패턴의 밝은 영역이 다른 패턴의 어두운 영역에 대응하는 두 개의 패턴들)을 공제함으로써 확산 배경 노이즈가 제거될 수 있는데, 이는 두 이미지들에서 배경이 동일하기 때문이다. 상보적인 패턴들의 예들에는 각각 반주기 또는 다른 방식으로 오프셋된 체커보드 패턴들, 스트라이프 패턴들 또는 도트 패턴들이 포함될 수 있다.
본 명세서에서 설명된 실시 예들의 이점들은 이동하는 부분들이 없기 때문에 견고성을 포함한다. 또한, 광학 셋업이 슬라이드들 또는 격자 구조들을 포함하지 않을 수 있기 때문에, 콜리메이터(21)로부터의 광이 흡수가 없거나 거의 없이 렌즈 어레이(22)를 통해 조명을 위한 이미징 광학계(12)로 전달된다. 또한, 디지털 미소 반사 표시기들(DMDs, digital micro mirror devices) 또는 액정 소자들(LCDs, liquid crystal devices)을 사용하는 카메라들과 같은 다른 장치들에 비해, 컴팩트한 크기로 인해 공간이 절약될 수 있다.
전술한 설명을 고려하여, 본 명세서에서 설명된 예시적인 실시 예들은 카메라에서의 동적 투영 패턴들을 생성하기 위한 장치, 방법 및 시스템을 제공한다는 것이 이해될 수 있다.
달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 기술적 및 과학적 용어들은 본 발명이 속하는 기술분야의 통상의 기술자에 의해 통상적으로 이해되는 바와 동일한 의미를 갖는다. 본 명세서에 설명된 것들과 유사하거나 균등한 방법들 및 소재들이 본 개시 내용의 실시 또는 시험에 사용될 수 있지만, 적합한 방법들 및 소재들이 상술되었다. 본 명세서에서 언급된 모든 공보, 특허 출원, 특허 및 다른 참고 문헌들은 준거법 및 규정들에 의해 허용되는 범위까지 그 전체가 참고로 통합된다. 본 개시 내용은 그 정신 또는 본질적인 속성들에서 벗어나지 않고 다른 구체적인 형태들로 구현될 수 있고, 그에 따라 본 실시 예는 모든 측면들에서 제한적이지 않고 예시적인 것으로 간주되는 것이 바람직하다. 본 설명 내에 이용된 임의의 제목들은 단지 편의를 위한 것이고 법적 또는 제한적인 효과는 없다.
Claims (18)
- 카메라로서,
투영을 위한 복수의 동적 패턴들을 생성하기 위한 광학 어레이 생성기;
상기 복수의 동적 패턴들을 측정 대상물의 표면 상으로 집속(focus)시키도록 상기 카메라 내에 배열된 제1 이미징 광학계;
상기 복수의 동적 패턴들이 상기 측정 대상물의 상기 표면에 의해 반사되어 형성된 복수의 반사 이미지들을 기록하도록 상기 카메라 내에 배열된 이미징 센서;
상기 복수의 반사 이미지들을 상기 이미징 센서 상으로 이미징하도록 상기 카메라 내에 배열된 제2 이미징 광학계
를 포함하며,
상기 광학 어레이 생성기는, (i) 복수의 개별 영역들을 포함하는 광원 - 상기 복수의 개별 영역들 각각의 광도(luminous intensity)는 독립적으로 제어됨 -, (ii) 상기 광원으로부터의 광을 이미지 평면 상으로 이미징하여 상기 복수의 동적 패턴들을 형성하도록 구성된 복수의 렌즈들을 포함하는 렌즈 어레이, 및 (iii) 상기 광원의 광을 상기 렌즈 어레이 상으로 지향시키도록 구성된 콜리메이터를 더 포함하고,
상기 광원의 복수의 영역들의 광도들은 상기 복수의 동적 패턴들을 시변 방식으로 생성하도록 전자적으로 제어되는 것인, 카메라. - 제1항에 있어서, 상기 복수의 렌즈들 각각은 양면 볼록(biconvex), 구면(spherical) 또는 원주(cylindrical)인 것인, 카메라.
- 제1항에 있어서, 상기 광원의 상기 복수의 개별 영역들은 LED 다이들, 레이저 다이오드들 및 타단에 다른 광원들이 부착된 복수의 광섬유들의 일단으로 이루어지는 군으로부터 선택되는 것인, 카메라.
- 제1항에 있어서, 다수의 콜리메이터들 및 다수의 광원들을 더 포함하는 것인, 카메라.
- 제1항에 있어서, 기록된 상기 이미지들을 처리하기 위한 디지털 신호 처리 유닛을 더 포함하는 것인, 카메라.
- 제1항에 있어서, 상기 이미징 센서는 픽셀 단위 복조(in-pixel demodulation)를 수행하도록 구성되는 것인, 카메라.
- 제1항에 있어서, 상기 광원은 LED 다이들의 2x2 LED 어레이인 것인, 카메라.
- 제1항에 있어서, 상기 렌즈 어레이의 두께는 50㎛ 내지 10mm인 것인, 카메라.
- 제1항에 있어서,
상기 렌즈 어레이는 유리 캐리어(glass carrier), 상기 유리 캐리어의 대향 측들 상에 몰딩된 두 개의 폴리머 층들, 및 상기 광원의 광을 선택적으로 변경하기 위해 상기 유리 캐리어에 적용된 구조화 마스크를 포함하는 것인, 카메라. - 제9항에 있어서, 상기 구조화 마스크는 상기 광원으로부터의 상기 광에 바이너리 또는 컬러 코드를 각인시키기 위한 구조화 컬러 필터인 것인, 카메라.
- 제1항에 있어서, 상기 복수의 동적 패턴들은 비주기적인 것인, 카메라.
- 제9항에 있어서, 상기 렌즈 어레이의 상기 복수의 렌즈들의 중심들은 개별적으로 오프셋되어, 비주기적인 동적 패턴들을 생성하는 것인, 카메라.
- 제1항에 있어서, 상기 복수의 동적 패턴들은 주기적인 것인, 카메라.
- 제1항에 있어서, 상기 렌즈 어레이는 입사 렌즈(entrance lens) 및 사출 렌즈(exit lens) 쌍들을 포함하고, 상기 입사 렌즈들은 푸리에 렌즈들(Fourier lenses)로서 작용하고 상기 사출 렌즈들은 시야 렌즈들(field lenses)로서 작용하며, 각 쌍은 상기 이미지 평면에서 서브 이미지를 생성하는 것인, 카메라.
- 제1항에 있어서, 상기 렌즈 어레이는 푸리에 렌즈들로서 작용하는 입사 렌즈들을 갖는 제1 렌즈 어레이 및 시야 렌즈들로서 작용하는 사출 렌즈들을 갖는 제2 렌즈 어레이를 포함하고, 제1 및 제2 마이크로 렌즈 어레이들은 단면(single sided) 프로파일을 갖고 서로 마주 보도록 구성되는 것인, 카메라.
- 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하는 방법으로서,
콜리메이터에 대해 구조화 광을 생성하도록 광원의 복수의 개별 영역들 각각의 광도들을 전자적으로 제어하는 단계;
상기 콜리메이터를 사용하여 상기 광원으로부터의 상기 구조화 광을 렌즈 어레이 상으로 지향시키는 단계;
상기 렌즈 어레이의 복수의 렌즈들을 사용하여 상기 구조화 광의 서브 이미지들을 생성하는 단계 - 상기 서브 이미지들은 상기 렌즈 어레이의 초점면에 형성되어 상기 복수의 동적 패턴들을 형성함 - ;
상기 복수의 동적 패턴들을 측정 대상물의 표면 상으로 집속시키는 단계;
복수의 반사 이미지들을 이미징 센서 상으로 이미징하는 단계;
상기 이미징 센서를 이용하여 상기 복수의 반사 이미지들을 기록하는 단계; 및
상기 광원의 변조 신호를 사용하여 기록된 상기 복수의 반사 이미지들을 처리하여 상기 대상물의 3차원 이미지를 획득하는 단계를 포함하는, 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하는 방법. - 제16항에 있어서,
상이한 패턴들을 시간적 시퀀스로 투영하고 평가하여, 전체 패턴을 투영하기 위해 수신될 3D 데이터 점들(data points)의 수와 총 합이 동일 또는 실질적으로 동일한 수의 3D 데이터 점들을 수신함으로써 상기 대상물의 평균 방사 조도(irradiance)를 감소시키는 단계를 더 포함하는, 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하는 방법. - 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하기 위한 시스템으로서,
적어도 하나의 프로세서
를 포함하며, 상기 적어도 하나의 프로세서는:
콜리메이터에 대해 구조화 광을 생성하도록 광원의 복수의 개별 영역들 각각의 광도들을 전자적으로 제어하도록;
상기 콜리메이터를 사용하여 상기 광원으로부터의 상기 구조화 광을 렌즈 어레이 상으로 지향시키도록;
상기 렌즈 어레이의 복수의 렌즈들을 사용하여 상기 구조화 광의 서브 이미지들을 생성하도록 - 상기 서브 이미지들은 상기 렌즈 어레이의 초점면에 형성되어 상기 복수의 동적 패턴들을 형성함 - ;
조명 광학계를 이용하여 상기 복수의 동적 패턴들을 상기 측정 대상물의 표면 상으로 이미징하도록;
이미징 센서를 이용하여 상기 대상물의 상기 표면으로부터의 복수의 반사 이미지들을 기록하도록; 그리고
상기 광원의 변조 신호를 사용하여 상기 복수의 반사 이미지들을 처리하여 상기 대상물의 3차원 이미지를 획득하도록 작동 가능한 것인, 대상물을 측정하기 위한 복수의 동적 패턴들을 생성하기 위한 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/003,592 US10986328B2 (en) | 2018-06-08 | 2018-06-08 | Device, method and system for generating dynamic projection patterns in a camera |
| US16/003,592 | 2018-06-08 | ||
| PCT/US2019/035927 WO2019236934A1 (en) | 2018-06-08 | 2019-06-07 | Device, method and system for generating dynamic projection patterns in a camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210018420A true KR20210018420A (ko) | 2021-02-17 |
Family
ID=67003735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217000100A KR20210018420A (ko) | 2018-06-08 | 2019-06-07 | 카메라에서의 동적 투영 패턴을 생성하기 위한 장치, 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10986328B2 (ko) |
| EP (2) | EP3801366B1 (ko) |
| JP (1) | JP7450558B2 (ko) |
| KR (1) | KR20210018420A (ko) |
| CN (1) | CN112384167B (ko) |
| WO (1) | WO2019236934A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11300806B2 (en) * | 2018-11-08 | 2022-04-12 | Brass Roots Technologies, LLC | Multi-image projection method utilizing bit segment rate switching |
| US11317078B2 (en) * | 2019-05-28 | 2022-04-26 | Purdue Research Foundation | Method and system for automatic exposure determination for high- resolution structured light 3D imaging |
| US10805549B1 (en) * | 2019-08-20 | 2020-10-13 | Himax Technologies Limited | Method and apparatus of auto exposure control based on pattern detection in depth sensing system |
| US20210121049A1 (en) * | 2019-10-24 | 2021-04-29 | Align Technology, Inc. | Window self-detection |
| CN111787301A (zh) * | 2020-06-15 | 2020-10-16 | 广东朗呈医疗器械科技有限公司 | 镜头、三维成像方法、装置、设备及存储介质 |
| EP3982113A1 (en) * | 2020-10-06 | 2022-04-13 | Sens-Tech Ltd. | Method and apparatus for inspection of a subject article |
| CN112866774A (zh) * | 2021-01-07 | 2021-05-28 | 福建捷联电子有限公司 | 一种具有多功能相机的显示器及其控制方法 |
| EP4193905A1 (en) | 2021-12-07 | 2023-06-14 | Sopro SA | Intraoral scanner, intraoral scanning system, method for performing intraoral scans and computer program product |
| US11979548B2 (en) | 2022-04-08 | 2024-05-07 | Himax Technologies Limited | Structured light projector and three-dimensional image sensing apparatus |
| WO2023201596A1 (zh) * | 2022-04-20 | 2023-10-26 | 华为技术有限公司 | 一种探测装置及终端设备 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4440613C1 (de) * | 1994-11-14 | 1996-07-25 | Leica Ag | Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes |
| JP3776500B2 (ja) * | 1996-03-26 | 2006-05-17 | オリンパス株式会社 | 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置 |
| RU2181498C1 (ru) * | 2001-01-15 | 2002-04-20 | Общество с ограниченной ответственностью "Лаборатория АМФОРА" | Способ определения микрорельефа объекта и оптических свойств приповерхностного слоя, модуляционный интерференционный микроскоп для осуществления способа |
| JP2003050112A (ja) * | 2001-08-07 | 2003-02-21 | Minolta Co Ltd | 三次元形状入力装置及び投影装置 |
| DE10304111B4 (de) | 2003-01-31 | 2011-04-28 | Sirona Dental Systems Gmbh | Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts |
| JP4383840B2 (ja) * | 2003-12-11 | 2009-12-16 | 浜松ホトニクス株式会社 | ３次元形状計測装置 |
| EP2051042B1 (de) | 2007-10-18 | 2010-11-03 | Nectar Imaging S.r.l. | Vorrichtung zur tomografischen Erfassung von Objekten |
| DE102007054906B4 (de) | 2007-11-15 | 2011-07-28 | Sirona Dental Systems GmbH, 64625 | Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten |
| DE102007054907A1 (de) | 2007-11-15 | 2009-05-28 | Sirona Dental Systems Gmbh | Verfahren zur optischen Vermessung von Objekten unter Verwendung eines Triangulationsverfahrens |
| DE102007058590B4 (de) | 2007-12-04 | 2010-09-16 | Sirona Dental Systems Gmbh | Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts und Aufnahmevorrichtung |
| WO2010006081A1 (en) * | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
| DE102008040949B4 (de) | 2008-08-01 | 2012-03-08 | Sirona Dental Systems Gmbh | Optisches Projektionsgitter, Messkamera mit optischem Projektionsgitter und Verfahren zur Erzeugung eines optischen Projektionsgitters |
| DE102008040947B4 (de) * | 2008-08-01 | 2014-02-06 | Sirona Dental Systems Gmbh | 3D-Dentalkamera zur Erfassung von Oberflächenstrukturen eines Messobjekts mittels Triangulation |
| JP2010067439A (ja) * | 2008-09-10 | 2010-03-25 | Harison Toshiba Lighting Corp | 面発光装置および表示装置 |
| CN101694375B (zh) * | 2009-10-23 | 2011-06-22 | 北京航空航天大学 | 一种用于强反射表面三维形貌测量的立体视觉检测方法 |
| GB2507020A (en) * | 2011-07-13 | 2014-04-16 | Faro Tech Inc | Device and method using a spatial light modulator to find 3D coordinates of an object |
| US9742993B2 (en) * | 2012-02-16 | 2017-08-22 | University Of Washington Through Its Center For Commercialization | Extended depth of focus for high-resolution optical image scanning |
| WO2014102341A1 (en) * | 2012-12-31 | 2014-07-03 | Iee International Electronics & Engineering S.A. | Optical system generating a structured light field from an array of light sources by meand of a refracting or reflecting light structuring element |
| DE102013013791B4 (de) * | 2013-08-14 | 2015-03-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum berührungslosen Vermessen von Oberflächenkonturen |
| DE102013218231A1 (de) | 2013-09-11 | 2015-03-12 | Sirona Dental Systems Gmbh | Optisches System zur Erzeugung eines sich zeitlich ändernden Musters für ein Konfokalmikroskop |
| US9389069B2 (en) * | 2014-03-26 | 2016-07-12 | Alces Technology, Inc. | Compact 3D depth capture systems |
| CN110716381B (zh) * | 2014-05-06 | 2021-10-15 | 宁波舜宇光电信息有限公司 | 转光三维成像装置和投射装置及其应用 |
| US10772506B2 (en) * | 2014-07-07 | 2020-09-15 | Align Technology, Inc. | Apparatus for dental confocal imaging |
| DE102015209402A1 (de) * | 2015-05-22 | 2016-11-24 | Sirona Dental Systems Gmbh | Vorrichtung zur optischen 3D-Vermessung eines Objekts |
| EP3165874B1 (en) * | 2015-11-04 | 2020-08-19 | Hexagon Technology Center GmbH | Method and device for triangulation-based distance measurement |
| DE102016000415A1 (de) * | 2016-01-19 | 2017-07-20 | DüRR DENTAL AG | Vorrichtung zum dreidimensionalen Erfassen einer Oberflächenstruktur |
-
2018
- 2018-06-08 US US16/003,592 patent/US10986328B2/en active Active
-
2019
- 2019-06-07 CN CN201980045668.9A patent/CN112384167B/zh active Active
- 2019-06-07 EP EP19733328.9A patent/EP3801366B1/en active Active
- 2019-06-07 EP EP24153197.9A patent/EP4372447A2/en active Pending
- 2019-06-07 KR KR1020217000100A patent/KR20210018420A/ko not_active Application Discontinuation
- 2019-06-07 WO PCT/US2019/035927 patent/WO2019236934A1/en unknown
- 2019-06-07 JP JP2020568340A patent/JP7450558B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112384167B (zh) | 2022-02-18 |
| CN112384167A (zh) | 2021-02-19 |
| US20190379881A1 (en) | 2019-12-12 |
| WO2019236934A1 (en) | 2019-12-12 |
| EP4372447A2 (en) | 2024-05-22 |
| EP3801366B1 (en) | 2024-02-28 |
| US10986328B2 (en) | 2021-04-20 |
| JP7450558B2 (ja) | 2024-03-15 |
| JP2021527206A (ja) | 2021-10-11 |
| EP3801366A1 (en) | 2021-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112384167B (zh) | 用于在相机中生成动态投影图案的设备、方法和系统 | |
| US20230392920A1 (en) | Multiple channel locating | |
| EP3801365B1 (en) | Device, method and system for generating dynamic projection patterns in a confocal camera | |
| KR102040368B1 (ko) | 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 | |
| JP4823212B2 (ja) | 共焦点顕微鏡法の原理に基づく測定装置および方法 | |
| JP5646604B2 (ja) | 物体を３次元的に測定するための方法および測定装置 | |
| CN107624047B (zh) | 用于对牙科对象进行三维测量的相机和方法 | |
| JP2007518098A (ja) | 三次元ビデオスキャナ | |
| CN107024850B (zh) | 高速结构光三维成像系统 | |
| JP2016166811A (ja) | 物体検出装置 | |
| KR101824328B1 (ko) | 색수차를 이용한 3차원 스캐너 및 스캐닝 방법 | |
| JP3414624B2 (ja) | 実時間レンジファインダ | |
| KR101223800B1 (ko) | Ｒｇｂ 컬러가 적용된 모아레를 이용한 형상 측정장치 | |
| JP3668466B2 (ja) | 実時間レンジファインダ | |
| JPS62291510A (ja) | 距離測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |