KR102646521B1 - 편광 큐를 이용한 표면 모델링 시스템 및 방법 - Google Patents
편광 큐를 이용한 표면 모델링 시스템 및 방법 Download PDFInfo
- Publication number
- KR102646521B1 KR102646521B1 KR1020227012815A KR20227012815A KR102646521B1 KR 102646521 B1 KR102646521 B1 KR 102646521B1 KR 1020227012815 A KR1020227012815 A KR 1020227012815A KR 20227012815 A KR20227012815 A KR 20227012815A KR 102646521 B1 KR102646521 B1 KR 102646521B1
- Authority
- KR
- South Korea
- Prior art keywords
- polarization
- tensors
- image
- representation
- physical object
- Prior art date
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 364
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000007547 defect Effects 0.000 claims description 56
- 238000013527 convolutional neural network Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 26
- 238000013179 statistical model Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 16
- 238000013450 outlier detection Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 49
- 238000011156 evaluation Methods 0.000 description 42
- 239000000463 material Substances 0.000 description 31
- 238000012549 training Methods 0.000 description 27
- 238000004519 manufacturing process Methods 0.000 description 21
- 230000011218 segmentation Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 11
- 239000011521 glass Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000002950 deficient Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 239000003973 paint Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 239000002184 metal Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 241001425390 Aphis fabae Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003746 surface roughness Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101150049278 US20 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011247 coating layer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0016—Technical microscopes, e.g. for inspection or measuring in industrial production processes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0092—Polarisation microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
표면 모델링용 컴퓨터 구현 방법은 물리적 물체 표면의 하나 이상의 편광 원본 프레임을 수신하는 단계 -- 편광 원본 프레임은 서로 다른 선형 편광 각도에서 편광 필터를 사용하여 캡처됨; 편광 원본 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하는 단계; 및 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 기초하여 물리적 물체 표면의 표면 특징을 탐지하는 단계;를 포함한다.
Description
[관련 출원에 대한 상호 참조]
본 특허 출원은 미합중국 특허청에 2019년 09월 17일자로 출원한 미합중국 가출원 제62/901,731호 및 미합중국 특허청에 2020년 03월 29일자로 출원한 미합중국 가출원 제63/001,445호의 우선권 및 이득을 주장하며, 그 전체 개시 내용은 참조에 의해서 본 출원 명세서에 합체된다.
[발명의 분야]
본 개시의 각 실시예의 여러 측면은 컴퓨터 비전(computer vision) 및 머신 비전(machine vision)을 이용하여 물체 표면을 모델링하는 분야에 대한 것이다.
제조업 분야에서는 종종 다양한 이유로 대규모의 표면 모델링(surface modeling)이 바람직한 경우가 있다. 이용하는 일 분야 중의 하나는 자동차 및 자동차 부품을 제조하는 분야이며, 이들 분야에서는 컴퓨터 비전 또는 머신 비전을 이용한 표면 모델링을 통해서 스캔된 표면의 자동화된 검사가 제공되며, 이는 효율을 향상시키고 그 결과 제조 비용 절감을 달성할 수 있다.
대규모의 표면 모델링은 또한, 예컨대 대량 생산 분야 이외의 연구소 작업이나 개개의 공작물의 검사와 같은 다른 맥락에도 적용될 수 있다.
본 개시의 각 실시예의 여러 측면은 광의 편광(예컨대, 광파의 회전)을 이용하여 물체의 표면을 특징화하는 방법에 대한 추가적인 정보 채널을 제공하는 것과 관련된다. 본 개시의 각 실시예의 여러 측면은 제품 생산 라인에서 생산되는 불량품을 탐지하고, 이들 불량품을 제거하거나 수리하는 등의 품질 보증 프로세스의 일 구성 요소로서 물체 검사를 수행하는데 표면 특징 평가를 사용하는 제품 제조와 같은 상황에 적용될 수 있다.
본 발명의 일 실시예에 따르면, 표면 모델링용 컴퓨터 구현 방법으로서, 물리적 물체 표면의 하나 이상의 편광 원본 프레임을 수신하는 단계 -- 편광 원본 프레임은 편광 필터를 포함하는 편광 카메라에 의해서 서로 다른 편광에서 캡처됨; 편광 원본 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하는 단계; 및 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 기초하여 물리적 물체 표면의 표면 특징을 탐지하는 단계;를 포함한다.
하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서는 DOLP 표현 공간 내의 선형 편광도(DOLP, degree of linear polarization) 이미지; 및 AOLP 표현 공간 내의 선형 편광각(AOLP, angle of linear polarization) 이미지;를 포함할 수 있다.
하나 이상의 제 1 텐서는 하나 이상의 비편광 표현 공간 내의 하나 이상의 비편광 텐서를 더 포함할 수 있으며, 또한 하나 이상의 비편광 텐서는 명도 표현 공간 내의 하나 이상의 명도 이미지(intensity image)를 포함할 수 있다.
하나 이상의 명도 이미지는 제 1 컬러 명도 이미지, 제 2 컬러 명도 이미지, 및 제 3 컬러 명도 이미지를 포함할 수 있다.
표면 특징은 물리적 물체 표면 내의 결함 탐지를 포함할 수 있다.
표면 특징을 탐지하는 단계는 물리적 물체 표면의 일 위치에 대응하는 저장된 모델을 로딩하는 단계; 및 저장된 모델과 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 따라서 표면 특징을 계산하는 단계;를 포함할 수 있다.
저장된 모델은 하나 이상의 편광 표현 공간 내의 하나 이상의 기준 텐서를 포함할 수 있으며, 또한 표면 특징의 계산 단계는 하나 이상의 편광 표현 공간 내의 하나 이상의 기준 텐서와 하나 이상의 제 1 텐서 간의 차이를 계산하는 단계를 포함할 수 있다.
이 차이는 프레넬 거리(Fresnel distance)를 이용하여 계산될 수 있다.
저장된 모델은 기준 3 차원 메쉬를 포함할 수 있으며, 표면 특징의 계산 단계는, 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 기초하여 물리적 물체 표면의 3 차원 점군(point cloud)을 계산하는 단계; 및 3 차원 점군과 기준 3 차원 메쉬 간의 차이를 계산하는 단계;를 포함할 수 있다.
저장된 모델은 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 기초하여 표면 특징의 예측치를 계산하도록 구성된 훈련된 통계 모델을 포함할 수 있다.
훈련된 통계 모델은 이상치 탐지 모델을 포함할 수 있다.
훈련된 통계 모델은 물리적 물체 표면 내의 결함을 탐지하도록 훈련된 합성곱 신경망(convolutional neural network)을 포함할 수 있다.
훈련된 통계 모델은 결함을 탐지하도록 훈련된 훈련된 분류기를 포함하고 있다.
본 개시의 일 실시예에 따르면, 표면 모델링 시스템은 편광 필터를 포함하는 편광 카메라 -- 상기 편광 카메라는 서로 다른 편광에서 편광 원본 프레임을 캡처하도록 구성됨; 및 프로세서와 인스트럭션을 저장하고 있는 메모리를 포함하는 처리 시스템;을 포함하며, 상기 인스트럭션은 상기 프로세서에 의해서 실행될 때 상기 프로세서로 하여금, 물리적인 물체 표면의 하나 이상의 편광 원본 프레임을 수신하도록 하고 -- 상기 편광 원본 프레임은 광의 서로 다른 편광에 대응함; 상기 편광 원본 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하도록 하고, 또한 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 물리적 물체의 상기 표면의 표면 특징을 탐지하도록 한다.
하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서는 DOLP 표현 공간 내의 선형 편광도(DOLP, degree of linear polarization) 이미지; 및 AOLP 표현 공간 내의 선형 편광각(AOLP, angle of linear polarization) 이미지;를 포함할 수 있다.
하나 이상의 제 1 텐서는 하나 이상의 비편광 표현 공간 내의 하나 이상의 비편광 텐서를 더 포함할 수 있으며, 또한 하나 이상의 비편광 텐서는 명도 표현 공간 내의 하나 이상의 명도 이미지(intensity image)를 포함할 수 있다.
하나 이상의 명도 이미지는 제 1 컬러 명도 이미지, 제 2 컬러 명도 이미지, 및 제 3 컬러 명도 이미지를 포함할 수 있다.
표면 특징은 물리적 물체 표면 내의 결함 탐지를 포함할 수 있다.
메모리는 프로세서에 의해서 실행될 때 프로세서로 하여금 물리적 물체 표면의 일 위치에 대응하는 저장된 모델을 로딩하는 단계; 및 상기 저장된 모델과 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 따라서 상기 표면 특징을 계산하는 단계;에 의해서 표면 특징을 탐지하도록 하는 인스트럭션을 더 저장할 수 있다.
저장된 모델은 하나 이상의 편광 표현 공간 내의 하나 이상의 기준 텐서를 포함할 수 있으며, 메모리는 프로세서에 의해서 실행될 때 프로세서로 하여금 하나 이상의 편광 표현 공간 내의 하나 이상의 기준 텐서와 하나 이상의 제 1 텐서 간의 차이를 계산하는 단계에 의해서 표면 특징을 계산하도록 하는 인스트럭션을 더 저장할 수 있다.
이 차이는 프레넬 거리(Fresnel distance)를 이용하여 계산될 수 있다.
저장된 모델은 기준 3 차원 메쉬를 포함할 수 있으며, 메모리는 프로세서에 의해서 실행될 때 프로세서로 하여금 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 기초하여 물리적 물체 표면의 3 차원 점군(point cloud)을 계산하는 단계; 및 3 차원 점군과 기준 3 차원 메쉬 간의 차이를 계산하는 단계;에 의해서 표면 특징을 계산하도록 하는 인스트럭션을 더 저장할 수 있다.
저장된 모델은 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서에 기초하여 표면 특징의 예측치를 계산하도록 구성된 훈련된 통계 모델을 포함할 수 있다.
훈련된 통계 모델은 이상치 탐지 모델을 포함할 수 있다.
훈련된 통계 모델은 물리적 물체 표면 내의 결함을 탐지하도록 훈련된 합성곱 신경망(convolutional neural network)을 포함할 수 있다.
훈련된 통계 모델은 결함을 탐지하도록 훈련된 훈련된 분류기를 포함하고 있다.
첨부 도면은 명세서와 함께 본 발명의 예시적인 각각의 실시예를 도시하고 있으며, 또한, 발명의 설명과 함께 본 발명의 원리를 설명하는데 기여한다.
도 1a는 본 개시의 일 실시예에 따른 표면 특징 평가 시스템에 의해서 검사 중인 물체(예컨대, 자동차) 표면을 개략적으로 나타낸 도면이다.
도 1b는 본 발명의 일 실시예에 따른 표면 특징 평가 시스템의 개략적인 블록 다이아그램이다.
도 2a는 두 개의 투명한 공("가짜", spoof)과 몇 개의 배경 잡음(clutter)을 포함하고 있는 다른 장면을 나타내고 있는 사진 출력물의 상단에 위치한 한 개의 실제 투명한 공을 구비한 장면의 이미지 또는 명도 이미지(intensity image)를 나타낸 도면이다.
도 2b는 실제의 투명한 공은 인스턴스로서 정확하게 식별하고, 두 개의 가짜(spoof)는 인스턴스로서 부정확하게 식별하는 투명한 공의 인스턴스를 식별하는 마스크 영역 기반 합성곱 신경망(Mask Region-based Convolutional Neural Network, Mask R-CNN)에 의해서 계산되는 중첩 분할 마스크를 구비한 도 2a의 명도 이미지를 나타낸 도면이다.
도 2c는 본 발명의 일 실시예에 따른 장면의 캡처된 편광 원본 프레임으로부터 계산된 편광각 이미지(angle of polarization image)를 나타낸 도면이다.
도 2d는 실제의 투명한 공은 인스턴스로서 정확하게 식별하고, 두 개의 가짜(spoof)는 인스턴스로서 정확하게 배제하고 있는, 본 발명의 일 실시예에 따른 편광 데이터를 이용하여 계산되는 중첩 분할 마스크를 구비한 도 2a의 명도 이미지를 나타낸 도면이다.
도 3은 투명 물체 및 불투명(예컨대, 산란성 및/또는 반사성) 물체와 광의 상호 작용을 고수준으로 나타낸 도면이다.
도 4는 대략 1.5의 굴절률을 갖는 표면에 대해 일련의 입사각에 걸쳐 투과된 광과 반사된 광의 에너지를 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따른 편광 데이터에 기초하여 표면 특징 평가 출력을 계산하기 위한 처리 회로(100)의 블록 다이아그램이다.
도 6은 본 발명의 일 실시예에 따른 표면 특징 평가 출력을 계산하기 위해 입력 이미지에 기초하여 표면 특징 평가를 수행하기 위한 방법의 플로우 차트이다.
도 7a는 본 발명의 일 실시예에 따른 자질 추출기의 블록 다이아그램이다.
도 7b는 편광 원본 프레임으로부터 자질을 추출하기 위해 본 발명의 일 실시예에 따른 방법을 도시한 플로우 차트이다.
도 8a는 본 발명의 일 실시예에 따른 예측기의 블록 다이아그램이다.
도 8b는 물체 표면의 특징을 탐지하기 위한 본 발명의 일 실시예에 따른 방법을 나타낸 플로우 차트이다.
도 1a는 본 개시의 일 실시예에 따른 표면 특징 평가 시스템에 의해서 검사 중인 물체(예컨대, 자동차) 표면을 개략적으로 나타낸 도면이다.
도 1b는 본 발명의 일 실시예에 따른 표면 특징 평가 시스템의 개략적인 블록 다이아그램이다.
도 2a는 두 개의 투명한 공("가짜", spoof)과 몇 개의 배경 잡음(clutter)을 포함하고 있는 다른 장면을 나타내고 있는 사진 출력물의 상단에 위치한 한 개의 실제 투명한 공을 구비한 장면의 이미지 또는 명도 이미지(intensity image)를 나타낸 도면이다.
도 2b는 실제의 투명한 공은 인스턴스로서 정확하게 식별하고, 두 개의 가짜(spoof)는 인스턴스로서 부정확하게 식별하는 투명한 공의 인스턴스를 식별하는 마스크 영역 기반 합성곱 신경망(Mask Region-based Convolutional Neural Network, Mask R-CNN)에 의해서 계산되는 중첩 분할 마스크를 구비한 도 2a의 명도 이미지를 나타낸 도면이다.
도 2c는 본 발명의 일 실시예에 따른 장면의 캡처된 편광 원본 프레임으로부터 계산된 편광각 이미지(angle of polarization image)를 나타낸 도면이다.
도 2d는 실제의 투명한 공은 인스턴스로서 정확하게 식별하고, 두 개의 가짜(spoof)는 인스턴스로서 정확하게 배제하고 있는, 본 발명의 일 실시예에 따른 편광 데이터를 이용하여 계산되는 중첩 분할 마스크를 구비한 도 2a의 명도 이미지를 나타낸 도면이다.
도 3은 투명 물체 및 불투명(예컨대, 산란성 및/또는 반사성) 물체와 광의 상호 작용을 고수준으로 나타낸 도면이다.
도 4는 대략 1.5의 굴절률을 갖는 표면에 대해 일련의 입사각에 걸쳐 투과된 광과 반사된 광의 에너지를 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따른 편광 데이터에 기초하여 표면 특징 평가 출력을 계산하기 위한 처리 회로(100)의 블록 다이아그램이다.
도 6은 본 발명의 일 실시예에 따른 표면 특징 평가 출력을 계산하기 위해 입력 이미지에 기초하여 표면 특징 평가를 수행하기 위한 방법의 플로우 차트이다.
도 7a는 본 발명의 일 실시예에 따른 자질 추출기의 블록 다이아그램이다.
도 7b는 편광 원본 프레임으로부터 자질을 추출하기 위해 본 발명의 일 실시예에 따른 방법을 도시한 플로우 차트이다.
도 8a는 본 발명의 일 실시예에 따른 예측기의 블록 다이아그램이다.
도 8b는 물체 표면의 특징을 탐지하기 위한 본 발명의 일 실시예에 따른 방법을 나타낸 플로우 차트이다.
이하의 "발명을 실시하기 위한 구체적인 내용"에 있어서, 설명을 위해서 본 발명의 특정한 예시적인 실시예만을 나타내고 설명하였다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명이 서로 다른 다양한 형태로 구현될 수 있으며, 또한 본 명세서에서 설명한 각 실시예로 제한되는 것으로 간주되어서는 안된다는 것을 잘 알 것이다. 동일한 도면 참조 부호는 본 명세서의 전체에 걸쳐서 동일한 구성 요소를 지시한다.
본 명세서에서 사용되는 바와 같이, "표면 모델링"(surface modeling)이라는 용어는 표면의 삼차원 형상과 같은 실세계 물체의 표면에 대한 정보를 캡처하는 것을 통칭하며, 또한 표면에 대한 색상 (또는 '텍스처') 정보를 및 표면의 반사율(예컨대, 양방향 반사율 분포 함수 또는 BRDF(bidirectional reflectance distribution function))에 대한 기타 정보를 캡처하는 것을 포함할 수 있다.
표면 프로파일 검사는 표면의 내부 형태(intrinsic shape)와 곡률 속성 또는 특징을 분석하는데 중요하다. 실세계 물체의 표면 모델링은 표면 특징의 평가가 바람직한 다양한 분야에서 응용되고 있다. 예를 들면, 제조업 분야에 있어서, 제조 공정 중에 생산되는 물체의 검사를 수행하는데 표면 모델링을 이용할 수 있으며, 이에 의해서 물체(또는 제조된 상품이나 부품) 내의 결함을 탐지할 수 있고 또한 제조 공정의 흐름으로부터 이들 결함이 있는 물체를 제거할 수 있다. 이용하는 일 분야 중의 하나는 자동차 및 자동차 부품을 생산하는 분야, 예컨대, 결함이 있는 자동차 부품의 자동 탐지와 같은 분야가 있으며, 해당 분야에서는 컴퓨터 비전 또는 머신 비전 시스템이 (예컨대, 하나 이상의 카메라를 이용하여) 자동차 부품의 이미지를 캡처하고 또한 자동차 유리창에 스크래치가 나 있는 지 또는 도어 패널에 덴트가 있는 지와 같은 해당 부분의 품질과 관련된 분류 결과 및/또는 다른 탐지 정보를 생성하고 있다. 컴퓨터 비전을 이용하여 스캔한 표면의 자동 검사를 수행하는 표면 모델링 기법을 적용하면, 예컨대, 제조 또는 조립 공정 중에 미리 불량을 탐지하여 제조 효율을 개선하고 및 비용을 절감한다.
컴퓨터 비전 및 머신 비전 기법은, 예를 들어, 물리적인 접촉을 통해서 물체를 조사하는 접촉식 삼차원(3-D) 스캐너와는 대조적으로 신속하면서 또한 비접촉식의 표면 모델링을 가능하게 한다. 그러나, 비교의 컴퓨터 비전 기법은 (예컨대, 추가적인 조명없이) 수동적으로 또는 (예컨대, 구조 광을 발광할 수 있는 능동형 조명 디바이스를 사용하여) 능동적으로 수행하거나 간에 표면 특징 클래스를 신뢰성있게 보장할 수 없을 수 있으며, 이는 "광학적 난제"(optically challenging)라고 명명될 수 있다. 이들은 결함의 컬러(색상, color)가 결함이 나타나는 표면의 배경 컬러와 매우 유사한 경우에서의 상황일 가능성이 있다. 예를 들면, 차 유리창 또는 광택 페인트의 투명 코팅층에 생긴 스크래치 및 페인트칠하거나 안한 금속 표면 상의 얕은 덴트와 같은 결함은 표준 컬러 표면 이미지에서는 종종 알아채기가 힘들 수 있는데, 이는 이들 결함으로 인한 컬러(또는 텍스처)의 변동이 상대적으로 작기 때문이다. 달리 말하자면, 페인트칠된 도어 패널의 덴트가 덴트가 없는 부분에서와 동일한 컬러를 갖는 경우에서와 같이, 결함이 있는 표면의 컬러와 결함이 없는(또는 "깨끗한") 표면의 컬러 차이는 상대적으로 작을 수 있다.
따라서, 본 개시의 각 실시예의 일부 측면은 (예컨대, 광 경로 내의 편광 필터를 포함하는 카메라와 같은) 하나 이상의 편광 카메라를 이용하여 캡처된 검사 중인 물체의 원본 편광 프레임에 기초하여 계산되는 것과 같은 물체의 편광 자질에 기초하여 물체 내의 결함을 탐지하는 단계와 관련되어 있다. 편광 강화 이미징은, 일부 실시예에 있어서, 표면 법선의 탐지 방향의 정밀도를 포함하여 표면 형상의 특징 평가에 대해서 자릿수가 다른 개선점을 제공할 수 있다. 미적 측면에서 보았을 때 평탄한 표면은 표면 법선 표현(surface normal representation)으로 정의되는 국부 곡률(local curvature)에서의 실질적인 변동인 범프(bump)나 덴트(dent)가 있을 수가 없다. 따라서, 고정밀 제조 산업 분야에서의 평탄도 탐지 및 형상 충실도에 대해서 본 개시 중의 일부 실시예를 적용할 수 있다. 하나의 사용례는 조립 라인을 벗어나기 전에 제조된 부품을 검사하여 최종 고객에게 인도되도록 하는 것을 포함한다. 많은 제조 시스템에 있어서, 제조되는 부품은 컨베이어 시스템(예컨대, 컨베이어 벨트)의 조립 라인에서 고속으로 이탈하고, 처리 속도를 효율화하기 위해서, 부품이 여전히 이동 중일 때, 또한 부품 간의 시간이 매우 촉박한 상태에서 검사를 수행할 필요가 있었다.
따라서, 본 개시의 각 실시예의 일부 측면은 특징이 평가될 표면의 편광 원본 프레임을 캡처하고, 또한 이들 편광 원본 프레임에 기초하여 해당 표면 내의 결함을 탐지하는 것과 같은 특징 평가를 계산하는 단계를 포함하는 표면 특징 평가 시스템 및 방법에 관련된다.
도 1a는 본 개시의 일 실시예에 따른 표면 특징 평가 시스템에 의해서 검사 중인 물체(예컨대, 자동차) 표면을 개략적으로 나타낸 도면이다. 도 1a에 나타낸 배치에 있어서, 검사 중인 물체(1)는 장면 또는 환경 내에 위치할 수 있다. 예를 들면, 팩토리나 기타 제조 공장의 맥락에 있어서, 검사 중인 물체(1)는 조립 라인 위에 위치할 수 있으며, 또한 컨베이어 벨트나 (예컨대, 오버헤드 체인 컨베이어와 같은) 오버헤드 컨베이어와 같은 컨베이어 시스템(40) 상에서 이동 중일 수도 있다. 검사 중인 물체(1)는 하나 이상의 편광 카메라(10)에 의해서 이미지화되는 (도 1a에서 표면(2), 표면(3), 및 표면(4)으로 도면 부호가 첨부된) 하나 이상의 표면을 가질 수 있다. 편광 카메라(10)는 로봇 암(arm)(32)의 엔드 이펙터와 같은 이동 가능한 마운트일 수 있는 마운트 상에 장착될 수 있으며, 다르게는 컨베이어 시스템 상부에 고정되는 갠트리(34) 상에 또는 컨베이어 시스템의 일부로서의 고정 마운트에 고정될 수도 있다. 편광 카메라(10)는 검사 중인 물체(1)의 다양한 표면(2, 3, 및 4)의 편광 원본 프레임(이미지)(18)을 캡처하며, 여기에서 각각의 편광 카메라(10)는 광 경로 내의 편광 필터를 포함하고 있다.
도 1b는 본 발명의 일 실시예에 따른 표면 특징 평가 시스템의 개략적인 블록 다이아그램이다. 특히, 도 1b는 검사 중인 물체(1)의 표면(2)을 이미지화하도록 구성된 편광 카메라(10) 중의 하나를 도시하고 있다. 도 1b에 나타낸 실시예에 있어서, 편광 카메라(10)는 시야를 갖는 렌즈(12)를 가지고 있으며, 여기에서 이 렌즈(12)와 카메라(10)는 그 시야가 검사 중인 표면(예컨대, 검사 중인 물체(1)의 검사 중인 표면(2))을 둘러싸도록 지향되어 있다. 렌즈(12)는 장면으로부터(예컨대, 검사 중인 표면으로부터) 이미지 센서(14)(예컨대, 상보형 금속 산화물 반도체(CMOS, complementary metal oxide semiconductor) 이미지 센서 또는 전하 결합 디바이스(CCD, charge-coupled device) 이미지 센서)와 같은 광 민감성 매체 상으로 광을 지향(예컨대, 광을 집중)시키도록 구성된다.
편광 카메라(10)는 또한 장면(1)과 이미지 센서(14) 사이의 광 경로에 위치하는 편광자 또는 편광 필터 또는 편광 마스크(16)를 더 포함하고 있다. 본 개시의 다양한 실시예에 따르면, 편광자 또는 편광 마스크(16)는 편광 카메라(10)로 하여금 (예컨대, 45° 회전 또는 60° 회전 또는 불균일한 간격의 회전과 같은) 다양한 특정 각도로 설정된 편광자를 사용하여 장면(1)의 이미지를 캡처할 수 있도록 구성된다.
일례로써, 도 1b는 컬러 카메라의 적녹청(RGB, red-green-blue) 컬러 필터(예컨대, Bayer 필터)와 유사한 방식으로 편광 마스크(16)가 이미지 센서(14)의 픽셀 그리드와 일치시킨 편광 모자이크인 일 실시예를 나타내고 있다. 컬러 필터 모자이크가 파장에 기초하여 입사광을 필터링하여 이미지 센서(14) 내의 각각의 픽셀이 모자이크의 컬러 필터 패턴에 따라서 (예컨대, 적색, 녹색, 또는 청색) 스펙트럼의 특정 부분에서의 광을 수신하도록 하는 것과 유사한 방식으로 편광 모자이크를 이용하는 편광 마스크(16)는 선형 편광에 기초하여 광을 필터링하여 서로 다른 픽셀이 서로 다른 편광 각도에서 (예컨대, 0°, 45°, 90°, 및 135°에서, 또는 0°, 60° 도, 및 120°에서) 광을 수신하도록 한다. 따라서, 도 1에 나타낸 것과 같은 편광 마스크(16)를 이용하는 편광 카메라(10)는 네 개의 서로 다른 선형 편광에서 동시에 빛을 캡처할 수 있다. 편광 카메라의 일례로는 미합중국 오레곤주(Oregon)의 윌슨빌(Wilsonville)에 소재하는 FLIR® Systems, Inc.에 의해서 생산되는 Blackfly® S Polarization Camera가 있다.
상술한 설명은 편광 모자이크를 이용하는 편광 카메라의 일부 가능한 구현과 관련된 것이지만, 본 개시의 각 실시예는 이에 한정되지 않고 또한 서로 다른 복수의 편광에서 이미지를 캡처할 수 있는 다른 유형의 편광 카메라도 포함한다. 예를 들면, 편광 마스크(16)는 네 개 미만의 편광 또는 네 개를 초과하는 서로 다른 편광을 가지거나, 상술한 각도와 다른 (예컨대, 0°, 60°, 및 120°의 편광 각도에서, 또는 0°, 30°, 60°, 90°, 120°, 및 150°의 편광 각도에서) 각도에서의 편광을 가질 수도 있다. 다른 예시로서, 편광 마스크(16)는 (예컨대, 액정층을 포함할 수 있는) 전자 광학 모듈레이터와 같은 전자적으로 제어되는 편광 마스크를 이용하여 구형될 수 있으며, 여기에서 이미지 센서(14)의 서로 다른 부분이 서로 다른 편광을 갖는 광을 수신할 수 있도록 마스크의 개별적인 픽셀의 편광 각도는 독립적으로 제어될 수 있다. 다른 예시로서, 전자 광학 모듈레이터는, 예컨대, 서로 다른 프레임을 캡처할 때 서로 다른 선형 편광의 광을 투과하도록 구성되며, 따라서 카메라는 편광 마스크 전체가 서로 다른 선형 편광기 각도로 연속적으로 설정(예컨대, 연속적으로 0 도, 45 도, 90 도, 또는 135 도로 설정)된 이미지를 캡처할 수 있게 된다. 다른 예시로서, 편광 마스크(16)는 기계적으로 회전하는 편광 필터를 포함할 수 있으며, 따라서 렌즈(12)에 대해서 기계적으로 회전하는 편광 필터가 서로 다른 편광 각도에서 광을 이미지 센서(14)로 투과시키도록 하면서 편광 카메라(10)에 의해서 서로 다른 편광 원본 프레임이 캡처된다. 또한, 상술한 예시는 선형 편광 필터의 사용과 관련되어 있지만, 본 개시의 각 실시예는 이에 한정되지 않으며, 또한 원형 편광 필터(예컨대, 4 분의 1 파장판을 갖는 선형 편광 필터)를 포함하고 있는 편광 카메라의 사용 또한 포함한다. 따라서, 본 개시의 다양한 실시예에 있어서, 편광 카메라는 서로 다른 선형 편광 각도 및 (예컨대, 좌우 구별이 되는) 서로 다른 회전 편광과 같은 서로 다른 편광 광에서 복수의 편광 원본 프레임을 캡처하도록 편광 필터를 이용한다.
그 결과, 편광 카메라(10)는 검사 중인 물체(1)의 검사 중인 표면(2)을 포함하는 장면의 입력 이미지(18)(또는 편광 원본 프레임)를 복수개 캡처한다. 일부 실시예에 있어서, 각각의 편광 원본 프레임(18)은 서로 다른 편광각(φ pol )(예컨대, 0 도, 45 도, 90 도, 또는 135 도)에서 편광 필터 또는 편광기 뒤에서 취한 이미지에 대응한다. 각각의 편광 원본 프레임(18)은 장면(1)에 대해서 실질적으로 동일한 자세로 캡처(예컨대, 0 도, 45 도, 90 도, 또는 135 도에서 편광 필터를 사용하여 캡처된 이미지가 모두 동일한 위치 및 방향에 위치한 동일한 편광 카메라(100)로 캡처)되었으며, 이는 해당 장면에 대해서 완전히 다른 위치 및 방향에서 편광 원본 프레임을 캡처하는 것과는 대조적이다. 편광 카메라(10)는 전자기 스펙트럼 중의 사람이 볼 수 있는 영역, 사람이 볼 수 있는 스펙트럼 중의 적색, 녹색, 및 청색 영역, 뿐만 아니라 적외선과 자외선과 같은 전자기 스펙트럼 중의 볼 수 없는 영역과 같은 전자기 스펙트럼의 다양한 서로 다른 영역에서 광을 탐지하도록 구성될 수 있다.
본 개시의 일부 실시예에 있어서, 상술한 일부 실시예에서와 같이, 서로 다른 편광 원본 프레임은 동일한 편광 카메라(10)에 의해서 캡처되며, 따라서 장면(1)에 대해서 실질적으로 동일한 자세(예컨대, 위치 및 방향)로 캡처될 수 있다. 하지만, 본 개시의 각 실시예는 이들만으로 한정되지는 않는다. 예를 들면, 편광 카메라(10)는 (예컨대, 기계적으로 회전하는 편광 필터의 경우에서와 같이, 서로 다른 편광각에 대응하는 서로 다른 원본 편광 원본 프레임이 서로 다른 시간에 캡처된 경우) 장면(1)에 대해서 서로 다른 편광 원본 프레임 사이에서 이동할 수 있는데, 이는 편광 카메라(10)가 이동하였거나 (예컨대, 물체가 이동 중인 컨베이어 시스템 상에서 위치하는 경우) 물체(1)가 이동하였기 때문이다. 일부 실시예에 있어서, 서로 다른 편광 카메라가 서로 다른 시간대에서 물체의 이미지를 캡처하지만, 해당 물체에 대해서 실질적으로 동일한 자세로 캡처한다(예컨대, 서로 다른 카메라가 컨베이어 시스템의 서로 지점에서 해당 물체의 동일한 표면의 이미지를 캡처한다). 따라서, 본 개시의 일부 실시예에 있어서, 편광 카메라(10)를 사용하여 검사 중인 물체(1) 및/또는 검사 중인 표면(2)에 대해서 서로 다른 자세 또는 동일한 상대 자세로 서로 다른 편광 원본 프레임을 캡처한다.
편광 원본 프레임(18)은 처리 회로(100)로 공급되며, 이하에서 더욱 상세하게 설명하겠지만, 처리 회로는 편광 원본 프레임(18)에 기초한 특징 평가 출력(20)을 계산한다. 도 1b에 나타낸 실시예에 있어서, 특징 평가 출력(20)은 결함(예컨대, 자동차 도어의 덴트)이 탐지된 표면(2) 이미지의 일 영역(21)을 포함하고 있다.
도 2a, 도 2b, 도 2c, 및 도 2d는 본 개시의 각 실시예에 따른 편광 원본 프레임에 기초한 비교 접근법 및 의미적 분할(semantic segmentation) 또는 인스턴스 분할(instance segmentation)에 의해서 계산된 분할 맵을 설명하기 위한 배경 지식을 제공한다. 더욱 상세하게 설명하자면, 도 2a는 두 개의 투명한 공("가짜", spoof)과 몇 개의 배경 잡음(clutter)을 포함하고 있는 다른 장면을 나타내고 있는 사진 출력물의 상단에 위치한 한 개의 실제 투명한 공을 구비한 장면의 이미지 또는 명도 이미지(intensity image)를 나타낸 도면이다. 도 2b는 서로 다른 패턴의 선분을 사용한 도 2a의 명도 이미지 상에 중첩된 투명한 공(ball)의 인스턴스를 식별하는 마스크 영역 기반 합성곱 신경망(Mask Region-based Convolutional Neural Network)(Mask R-CNN)에 의해서 계산되는 분할 마스크를 나타내고 있으며, 여기에서 실제 투명한 공은 정확하게 인스턴스로 식별되고, 두 개의 가짜는 인스턴스로 부정확하게 식별되고 있다. 달리 말하자면, Mask R-CNN 알고리즘은 두 개의 투명한 가짜(spoof) 공에 대해서 장면 내에서 실제로는 투명한 공의 경우와 같이 잘못된 라벨링을 하게 된다.
도 2c는 본 발명의 일 실시예에 따른 장면의 캡처된 편광 원본 프레임으로부터 계산된 선형 편광각(AOLP) 이미지를 나타낸 도면이다. 도 2c에 나타낸 바와 같이, 투명 물체는 AOLP 영역(domain)과 같은 편광 공간 내에서 매우 독특한 텍스처를 가지고 있으며, 여기에서 에지(edge) 상의 기하학에 의존하는 시그니처(signature) 및 선형 편광각에서 투명 물체 표면 상에 생성되는 뚜렷하거나 독특하거나 특정한 패턴이 존재한다. 달리 말하자면, (투명 물체를 관통하여 보여질 수 있는 배경 표면으로부터 채용된 외부 텍스처와는 반대로) 투명 물체의 내부 텍스처(intrinsic texture)는 도 2a의 명도 이미지(intensity image) 보다 도 2c의 편광각 이미지에서 더 잘 보여질 수 있다.
도 2d는 본 발명의 일 실시예에 따른 편광 데이터를 이용하여 계산되는 중첩 분할 마스크를 구비한 도 2a의 명도 이미지를 나타낸 도면으모, 여기에서 실제의 투명한 공은 중첩된 선분 패턴을 사용하여 인스턴스로서 정확하게 식별하고, 두 개의 가짜(spoof)는 인스턴스로서 정확하게 배제하고 있다(예컨대, 도 2b와는 대조적으로, 도 2d는 두 개의 가짜에 대해서 중찹된 선분 패턴을 포함하고 있지 않다). 도 2a, 도 2b, 도 2c, 및 도 2d가 가짜 투명 물체의 존재 하에 실제 투명 물제를 탐지하는 방법과 관련된 예시를 도시하고 있지만, 본 개시의 각 실시예는 이에 한정되지 않고 또한 다른 광학적으로 난제가 되는, 예를 들면, 투명, 반투명, 및 비매트(non-matte) 또는 비램버시안(non-Lambertian) 물체, 뿐만 아니라 비반사성(예컨대 매트한 재질의 흑색 물체) 및 다중 경로 유도 물체와 같은 물체에도 적용할 수 있다.
따라서, 본 개시의 각 실시예의 일부 측면은, 편광 원본 프레임으로부터 표면 특징 평가 알고리즘 또는 기타 컴퓨터 비전 알고리즘의 입력으로 공급되어지는 표현 공간 내의 텐서(또는 편광 자질 맵과 같은 제 1 표현 공간 내의 제 1 텐서)를 추출하는 방법과 관련되어 있다. 제 1 표현 공간 내의 이들 제 1 텐서는 도 2c에 나타낸 AOLP 이미지, 선형 편광도(DOLP) 자질 맵 등(예컨대, 기타 스토크스 벡터 또는 편광 원본 프레임 중의 개별적인 하나의 변환의 조합)의 정보를 인코딩한 편광 자질 맵을 포함할 수 있다. 일부 실시예에 있어서, 이들 편광 자질 맵은 의미론적 분할 알고리즘에서 사용하기 위한 추가적인 정보 채널을 제공하기 위해서 비편광 자질 맵(예컨대, 도 2a에 나타낸 이미지에서와 같은 명도 이미지)과 함께 이용된다.
본 발명의 각 실시예가 특정한 표면 특징 평가 알고리즘과 함께 사용하는 것을 제한하고 있지는 않지만, 본 발명의 각 실시예의 일부 측면은 (예컨대, 자동차의 유리창 및 투명하고 광택이 나는 페인트층과 같은) 투명 물체 또는 기타 (예컨대, 투명, 반투명, 비램버시안, 다중 경로 유도 물체, 및 (예컨대, 매우 어두운) 비반사성 물체와 같은) 광학적으로 난제가 되는 물체의 편광 기반 표면 특징 평가를 위한 심층 학습 프레임워크(framework)에 관련되어 있으며, 여기에서 이들 프레임워크는 편광 합성곱 신경망(Polarized CNN)으로 지칭될 수 있다. 이 Polarized CNN 프레임워크는 특정한 텍스처의 편광을 처리하기에 적합한 백본(backbone)을 포함하고 있으며, 또한 (예컨대, 편광 마스크 R-CNN 아키텍처를 형성하기 위해) Mask R-CNN과 같은 다른 컴퓨터 비전 아키텍처와 결합되어 투명 물체 및 기타 광학적으로 난제가 되는 물체의 정확하고 또한 강인한 특징 평가를 위한 해결책을 제공할 수 있다. 더 나아가서 이 접근법은 투명 및 (예컨대, 불투명한 물체와 같은) 비투명이 혼합된 장면에 적용할 수 있으며 또한 검사 중인 물체 또는 물체들의 투명, 반투명, 비램버시안, 다중 경로 유도, 어두운, 및 불투명한 표면의 특징 평가에도 이용될 수 있다.
편광 자질 표현 공간
본 개시의 각 실시예의 일부 측면은 단계(650)에서 편광 원본 프레임으로부터 자질을 추출하기 위한 시스템 및 방법과 관련되어 있으며, 여기에서 이들 추출된 자질은, 단계(690)에서, 물체 표면에서의 광학적 난제가 되는 특징을 강인하게 탐지하는데 사용된다. 이와는 대조적으로, 명도 이미지에만 의존하는 비교의 기법은 (예컨대, 상술한 바와 같이, 도 2a의 명도 이미지와 도 2c의 AOLP 이미지를 비교하면) 이들 광학적인 난제가 있는 자질 또는 표면을 탐지하는데 실패할 수 있다. "제 1 표현 공간"(first representation space) 내의 "제 1 텐서"(first tensor)라는 용어는 본 명세서에서 편광 카메라에 의해서 캡처된 편광 원본 프레임(18)으로부터 계산된 (예컨대, 추출된) 자질을 지칭하는 것으로 사용되며, 여기에서 이들 제 1 표현 공간은 적어도 편광 자질 공간(예컨대, 이미지 센서에 의해서 탐지된 광의 편광에 대한 특정 정보인 AOLP 및 DOLP와 같은 자질 공간)을 포함하고 있으며, 또한 비편광 자질 공간(예컨대, 편광 필터를 사용하지 않고 캡처된 명도 이미지에만 기초하여 계산된 이미지와 같이, 이미지 센서에 도달한 광의 편광과 관련된 정보를 필요로 하지 않는 자질 공간)을 포함하고 있을 수 있다.
광과 투명 물체 간의 상호 작용은 다양하고 복잡하지만, 물체의 소재가 가시 광선 하의 해당 물체의 투명도를 결정한다. 많은 투명한 가정 내 물체에 대해서, 대부분의 가시 광선은 곧장 관통하여 통과하며 일부(굴절률에 따라서 ~4 % 내지 ~8 %)만 반사된다. 이는 스펙트럼 중의 가시 광선 부분에서의 광이 투명 물체 내의 원자를 여기하는데 불충분한 에너지를 가지고 있기 때문이다. 그 결과, 투명 물체 뒤에 있는 (또는 이 투명 물체를 관통하여 보여지는) 물체의 텍스처(예컨대, 외관)가 투명 물체의 외관을 결정하게 된다. 예를 들면, 테이블 위에 있는 투명한 유리잔 또는 텀블러를 바라 보는 경우, 일반적으로 텀블러의 반대쪽(예컨대, 테이블 표면)에 있는 물체의 외관이 해당 컵을 통해서 보여지는 것을 결정한다. 이 속성은 명도 이미지에만 기초하여 투명 물체, 예를 들어 투명 유리창 및 광택이 있는 투명한 페인트 층과 같은 표면의 특징을 탐지하려고 시도하는 경우 약간의 문제점을 초래하게 된다.
도 3은 투명 물체 및 불투명(예컨대, 산란성 및/또는 반사성) 물체와 광의 상호 작용을 고수준으로 나타낸 도면이다. 도 3에 나타낸 바와 같이, 편광 카메라(10)는 불투명한 배경 물체(303) 앞의 투명 물체(302)를 포함하는 장면의 편광 원본 프레임을 캡처한다. 편광 카메라(10)의 이미지 센서(14)에 부딪히는 광선(310)은 투명 물체(302) 및 배경 물체(303) 모두로부터의 편광 정보를 포함하고 있다. 투명 물체(302)로부터 반사된 광(312)의 적은 부분이 심각하게 편광되고, 따라서 편광 측정값에 큰 영향을 미치며, 반면에 광(313)은 배경 물체(303)에서 반사되고 투명 물체(302)를 관통하여 통과해 버린다.
유사하게, 물체의 표면에 부딪히는 광선은 다양한 방식으로 표면의 형상과 상호 작용할 수 있다. 예를 들면, 광택 페인트를 갖는 표면은 도 3에 나타낸 바와 같이 불투명 물체 앞의 투명 물체와 실질적으로 유사한 거동을 할 수 있으며, 여기에서 광선과 광택 페인트의 투명 또는 반투명 층 (또는 투명 코팅층) 간의 상호 작용은 투명 또는 반투명 층의 특징에 기초하여 (예컨대, 층의 두께 및 표면 법선에 기초하여) 표면으로부터 반사되는 광이 편광되도록 하며, 이는 이미지 센서에 부딪히는 광선 내에 인코딩되어 있다. 마찬가지로, 편광으로부터의 형상(SfP, shape from polarization) 이론에 관하여 이하에서 더욱 상세하게 설명하는 바와 같이, 표면 형상의 (예컨대, 표면 법선 방향의) 변동은 물체의 표면에서 반사되는 광의 현저한 편광을 일으킬 수 있다. 예를 들면, 평탄한 표면은 일반적으로 전체적으로 동일한 편광 특징을 나타낼 수 있지만, 표면 내의 스크래치나 덴트가 이들 영역 내의 표면 법선의 방향을 변경하게 되고, 따라서 스크래치나 덴트에 부딪히는 광은 해당 물체 표면의 다른 부분과는 다른 방식으로 편광되거나, 감쇠되거나, 또는 반사될 수 있다. 광(light)과 소재 간의 상호 작용 모델은 일반적으로 기하학, 조명, 및 소재의 세 가지를 기본적으로 고려한다. 기하학은 소재의 형상에 기초한다. 조명은 조명의 방향과 컬러를 포함한다. 소재는 광의 굴절률 또는 각 반사(angular reflection)/투과에 의해서 파라미터화될 수 있다. 이 각 반사는 양방향 반사율 분포 함수(BRDF, bi-directional reflectance distribution function)로 알려져 있지만, 다른 함수의 형태가 특정한 경우를 더욱 정확하게 나타낼 수 있다. 예를 들면, 양방향 표면 하 산란 분포 함수(BSSRDF, bidirectional subsurface scattering distribution function)는 표면 하 산란을 나타내는 소재(예컨대, 대리석 또는 왁스)의 맥락에서는 더욱 정확해진다.
편광 카메라(10)의 이미지 센서(16)에 입사되는 광선(310)은 광의 명도(명도 이미지/I), 선형 편광되는 광의 퍼센티지 또는 비율(선형 편광도/DOLP/ρ), 및 해당 선형 편광의 방향(선형 편광각/AOLP/φ)과 같은 세 개의 측정 가능한 성분을 가진다. 이들 속성은 이미지화될 물체 표면의 곡률 및 소재에 대한 정보를 인코딩하며, 이는 예측기(800)에 의해서 이용되어, 이하에서 더욱 상세하게 설명하는 바와 같이, 투명 물체를 탐지할 수 있게 된다. 일부 실시예에 있어서, 예측기(800)는 반투명 물체를 통과하는 광 및/또는 다중 경로 유도 물체 또는 비반사성 물체(예컨대, 매트한 재질의 흑색 물체)와 상호 작용하는 광의 유사한 편광 속성에 기초하여 광학적인 난제가 있는 다른 물체를 탐지할 수 있다.
따라서, 본 발명의 각 실시예의 일부 측면은 명도(I), DOLP(ρ), 및 AOLP(φ)에 기초하는 유도된 자질 맵을 포함할 수 있는 하나 이상의 제 1 표현 공간 내의 제 1 텐서를 계산하도록 하는 자질 추출기(700)를 이용하는 것과 관련되어 있다. 자질 추출기(700)는 일반적으로 "편광 이미지"(polarization image)와 같은 편광 표현 공간(또는 편광 자질 공간)을 포함하는 제 1 표현 공간(또는 제 1 자질 공간) 내로 정보를 추출할 수 있으며, 편광 이미지는 달리 말하자면 (예컨대, 편광 필터 또는 그 이미지 센서에 도달하는 광의 편광을 탐지하기 위한 다른 메커니즘을 포함하지 않는 카메라에 의해서 캡처된 이미지와 같은) 명도 이미지로부터 계산 가능하지 않은 편광 원본 프레임에 기초하여 추출되는 이미지이며, 여기에서 이들 편광 이미지는 (DOLP 표현 공간 또는 자질 공간 내의) DOLP(ρ) 이미지, (AOLP 표현 공간 또는 자질 공간 내의) AOLP(φ) 이미지, 스토크스 벡터(Stokes vector)로부터 계산되는 편광 원본 프레임의 다른 조합, 뿐만 아니라 편광 원본 프레임으로부터 계산되는 정보 중의 다른 이미지(또는 더욱 일반적으로 제 1 텐서 또는 제 1 자질 텐서)를 포함할 수 있다. 제 1 표현 공간은 명도(I) 표현 공간과 같은 비편광 표현 공간을 포함할 수 있다.
각 픽셀에서의 명도(I), DOLP(ρ), 및 AOLP(φ)의 측정은 (예컨대, 세 개의 미지의 값, 명도(I), DOLP(ρ), 및 AOLP(φ)를 결정해야 하기 때문에) 서로 다른 각도(φ pol )에서 편광 필터(또는 편광기) 뒤쪽에서 취한 장면의 3 개 이상의 편광 원본 프레임을 필요로 한다. 예를 들면, 상술한 FLIR® Blackfly® S Polarization Camera는 0 도, 45 도, 90 도, 또는 135 도의 편광 각도(φ pol )를 갖는 편광 원본 프레임을 캡처하고, 따라서 본 명세서에서 I 0, I 45, I 90, 및 I 135로 표시되는 네 개의 편광 원본 프레임(
)을 생성한다.
각 픽셀에서의 및 명도(I), DOLP(ρ), 및 AOLP(φ) 간의 관계는 다음 수학식 1과 같이 표현될 수 있다.
따라서, 네 개의 서로 다른 편광 원본 프레임((I 0, I 45, I 90, 및 I 135)을 사용하게 되면, 네 개의 방정식으로 이루어진 시스템을 사용하여 명도(I), DOLP(ρ), 및 AOLP(φ)의 해를 구할 수 있다.
편광으로부터의 형상(Sfp, Shape from Polarization) 이론(예컨대, Gary A Atkinson and Edwin R Hancock. Recovery of surface orientation from diffuse polarization. IEEE transactions on image processing, 15(6):1653-1664, 2006. 참조)은 물체의 표면 법선 중의 굴절률(n), 방위각(θ a ), 및 천정각(θ z ) 및 확산 반사가 지배적일 때 물체로부터 도달하는 광선의 φ 및 ρ 성분 간의 관계가 하기 수학식 2 및 수학식 3의 특징을 따른다고 기술하고 있다.
또한, 경면 반사가 지배적일 때는 수학식 4 및 수학식 5의 특징을 따른다.
두 경우 모두 θ z 가 증가함에 따라서 ρ가 기하 급수적으로 증가하며 또한 굴절률이 동일한 경우라면 경면 반사가 확산 반사에 비해서 더 많이 편광되어짐을 알아야 한다.
따라서, 본 개시의 각 실시예의 일부 측면은 해당 표면의 원본 편광 프레임(18)에 기초하여 표면의 형상(예컨대, 표면의 방향)을 탐지하기 위해 SfP 이론을 적용하는 방법과 관련되어 있다. 이 방법은 물체의 형상을 결정하기 위해, 예컨대 비행 시간 측정(ToF, time-of-flight) 깊이 감지 및/또는 스테레오 비전 기법과 같은 다른 컴퓨터 비전 기법을 사용하지 않고 물체 형상의 특징을 평가할 수 있도록 하지만, 본 개시의 각 실시예는 이와 같은 기법과 연동하여 사용될 수도 있다.
보다 공식적으로, 본 개시의 각 실시예의 여러 측면은 제 1 표현 공간 내의 제 1 텐서(50)를 계산하는 단계와 관련되어 있으며, 여기에는 편광 카메라(10)에 의해서 캡처된 편광 원본 프레임에 기초하여 단계(650)에서 편광 이미지를 형성하는 단계 (또는 유도된 편광 자질 맵을 추출하는 단계)와 같은 편광 표현 공간 내의 제 1 텐서를 추출하는 단계가 포함되어 있다.
투명 물체로부터 들어오는 광선은 반사된 명도(I r ), 반사된 DOLP(ρ r ), 및 반사된 AOLP(φ r )를 포함하는 반사된 부분, 및 굴절된 명도(I t ), 굴절된 DOLP(ρ t ), 및 굴절된 AOLP(φ t )를 포함하는 굴절된 부분의 두 개의 성분을 가지고 있다. 얻어진 이미지에서의 단일 픽셀의 명도(intensity)는 다음 수학식 6으로 나타낼 수 있다.
φ pol 의 선형 편광 각도를 갖는 편광 필터를 카메라의 전방에 위치시키는 경우, 주어진 픽셀에서의 값은 다음 수학식 7과 같다.
I r , ρ r , φ r , I t , ρ t , 및 φ t 항에 대해서 DOLP(ρ) 이미지 내의 픽셀 및 AOLP(φ) 이미지 내의 픽셀의 값에 대한 상술한 방정식의 해를 구하면 다음 수학식 8 및 수학식 9와 같다.
따라서, 상술한 수학식 7, 수학식 8, 및 수학식 9는 본 개시의 일 실시예에 따른 명도 이미지(I), DOLP 이미지(ρ), 및 AOLP 이미지(φ)를 포함하는 제 1 표현 공간 내의 제 1 텐서(50)를 형성하기 위한 모델을 제공하며, 여기에서 (수학식 8 및 수학식 9에 기초한 DOLP 이미지(ρ), 및 AOLP 이미지(φ)를 포함하는) 편광 표현 공간 내에서의 편광 이미지 또는 텐서의 이용은 단지 입력으로서 명도(I) 이미지만 이용하는 비교 시스템에 의해서는 일반적으로 탐지할 수 없는 광학적 난제가 있는 물체의 표면 특징을 신뢰성있게 탐지할 수 있도록 한다.
더욱 상세하게 설명하자면, 편광 이미지(DOLP(ρ) 및 AOLP(φ))와 같은 (유도된 자질 맵(50) 중의) 편광 표현 공간 내의 제 1 텐서는 명도(I) 영역에서 텍스처가 없는 것으로 보여지는 물체의 표면 특징을 드러낼 수 있게 한다. 투명 물체는 명도 영역(I)에서 볼 수 있는 텍스처를 가질 수 있는데, 이 명도는 I r /I t 의 비율에 완전히 종속적이기 때문이다(수학식 6 참조). I t = 0인 불투명한 물체와는 달리, 투명 물체는 입사광의 대부분을 투과하고 또한 이 입사광의 적은 양만 반사한다. 다른 예시로서, 다른 부분은 평탄한 표면의 형상에서의 거의 없거나 작은 편차(또는 다른 부분은 거친 표면인 평탄한 부분)는 실질적으로 볼 수 없거나 (예컨대, 광의 편광을 고려하지 않는 영역인) 명도(I) 영역에서 낮은 대비를 가질 수 있지만, DOLP(ρ) 또는 AOLP(φ)와 같은 편광 표현 공간에서는 쉽게 볼 수 있거나 고대비를 가질 수도 있다.
따라서, 표면 형상을 얻기 위한 예시적인 일 방법은 기하학적 규칙화와 함께 편광 큐(polarization cue)를 이용하는 것이다. 프레넬 방정식은 표면 법선을 갖는 AOLP(φ) 및 DOLP(ρ)에 관련된 것이다. 이들 방정식은 해당 표면의 편광 패턴(polarization pattern)으로 알려진 것을 사용하여 이상치를 탐지하는데 유용할 수 있다. 편광 패턴은 크기가 [M, N, K]인 텐서이며, 여기에서 M 및 N은, 각각, 수평 및 수직의 픽셀 치수이며, 또한 K는 크기가 변동될 수 있는 편광 데이터 채널이다. 예를 들면, 원형 편광을 무시하고 단지 선형 편광만 고려한다면, K는 2와 동일하게 되는데, 이는 선형 편광이 편광각 및 편광도(AOLP(φ) 및 DOLP(ρ)) 모두를 가지고 있기 때문이다. 모아레 패턴(Moire pattern)과 유사하게, 본 개시의 일부 실시예에 있어서, 자질 추출 모듈(700)은 편광 표현 공간(예컨대, AOLP 공간 및 DOLP 공간)에서 편광 패턴을 추출한다. 위에서 설명한 도 1a 및 도 1b에 나타낸 특징 평가 출력(20)의 예시에 있어서, 수평 및 수직 방향의 치수는 편광 카메라(10)에 의해서 캡처된 표면(2)의 좁은 스트립 또는 패치의 측방향 시야에 대응한다. 하지만, 이는 하나의 예시적인 경우이며, 다양한 실시예에 있어서, 표면의 스트립 또는 패치는 (예컨대, 폭 보다 상당히 높은) 수직, (예컨대, 높이 보다는 상당히 넓은) 수평, 또는 (예컨대, 폭 대 높이가 4:3 비율 또는 16:9의 비율인) 사각형에 근접하는 경향을 보이는 더욱 통상적인 시야(FoV, field of view)를 가질 수도 있다.
상술한 설명으로부터 하나 이상의 선형 편광 필터를 갖는 편광 카메라를 이용하여 서로 다른 각도의 선형 편광에 대응하는 편광 원본 프레임을 캡처하고 또한 DOLP 및 AOLP와 같은 선형 편광 표현 공간 내의 텐서를 계산하도록 하는 경우의 선형 편광에 기초한 편광 표현 공간의 구체적인 예시를 제공하였지만, 본 개시의 각 실시예는 이에 한정되지 않는다. 예를 들면, 본 개시의 일부 실시예에 있어서, 편광 카메라는 원형으로 편광된 광만 통과시키도록 구성된 하나 이상의 원형 편광 필터를 포함하고 있으며, 여기에서 원형 편광 표현 공간 내의 편광 패턴 또는 제 1 텐서는 편광 원본 프레임으로부터 추가적으로 추출된다. 일부 실시예에 있어서, 원형 편광 표현 공간 내의 이들 추가적인 텐서는 단독으로 이용되었으며, 다른 실시예에 있어서, 이들은 AOLP 및 DOLP와 같은 선형 편광 표현 공간 내의 텐서와 함께 이용된다. 예를 들면, 편광 표현 공간 내의 텐서를 포함하는 편광 패턴은 원형 편광 공간 내의 텐서, AOLP, 및 DOLP를 포함할 수 있으며, 여기에서 편광 패턴은 차원([M, N, K])을 가질 수 있고, 여기에서 K는 원형 편광 표현 공간 내의 텐서를 더 포함하기 위해 3이다.
도 4는 대략 1.5의 굴절률을 갖는 표면에 대해 일련의 입사각에 걸쳐 투과된 광과 반사된 광의 에너지를 나타낸 그래프이다. 도 4에 나타낸 바와 같이, 투과된 에너지(도 4에서 실선으로 나타냄) 및 반사된 에너지(도 4에서 점선으로 나타냄)의 선분의 기울기는 낮은 입사각(예컨대, 표면의 평면에 대해서 수직에 가까운 각도에서)에서 상대적으로 작다. 따라서, 표면의 각도가 조금 변동하는 경우 입사각이 낮은(예컨대, 표면에 대해서 수직에 가까운, 다른 말로 하자면, 표면 법선에 근접하는 경우) 편광 패턴에서의 (낮은 대비를) 탐지하기 어려울 수 있다. 다른 한편으로는, 반사된 에너지의 기울기는 입사각이 증가함에 따라서 평평한 상태에서 증가하고, 투과된 에너지의 기울기는 입사각이 증가함에 따라서 (더 큰 절대값을 가지도록) 평평한 상태에서 감소한다. 굴절률 1.5를 갖는 도 4에 나타낸 예시에 있어서, 양 직선의 기울기는 약 60°의 입사각에서 실질적으로 경사지기 시작하고, 약 80°의 입사각에서는 현저한 경사를 이룬다. 곡선의 특정한 형상은 소재의 굴절률에 따라서 서로 다른 소재에 대해서 변동될 수 있다. 따라서, 곡선의 가파른 부분에 대응하는 입사각(예컨대, 도 4에 나타낸 바와 같이, 굴절률이 1.5인 경우에, 표면에 대해서 평행한 각도에 근접하는 대략 80°의 각도)에서 검사 중인 표면의 이미지를 캡처하면 편광 원본 프레임(18) 내의 표면 형상에서의 변동의 대조 및 탐지도를 개선시킬 수 있고, 또한 (표면 법선에서의 작은 변동에 기인하는) 입사각에서의 작은 변동이 캡처된 편광 원본 프레임에서의 큰 변동을 초래하기 때문에 편광 표현 공간 내의 텐서에서의 그와 같은 자질의 탐지도를 개선시킬 수 있다.
따라서, 본 개시의 각 실시예의 일부 측면은 투명 물체의 표면 특징 및/또는 검사 중인 물체의 광학적 난제가 되는 다른 표면 특징을 계산하거나 탐지하기 위해 예측기(predictor)로의 입력으로서 편광 원본 프레임으로부터 추출된 (예컨대, 편광 표현 공간 내의 자질 맵을 포함하는) 제 1 표현 공간 내에 제 1 텐서를 공급하는 단계와 관련되어 있다. 이들 제 1 텐서는 명도 자질 맵(I), 선형 편광도(DOLP)(ρ) 자질 맵, 및 선형 편광각(AOLP)(φ) 자질 맵을 포함할 수 있는 유도된 자질 맵을 포함할 수 있으며, 여기에서, DOLP(ρ) 자질 맵 및 AOLP(φ) 자질 맵은 편광 카메라에 의해서 탐지된 편광 광과 관련된 정보를 인코딩하는 자질 맵과 관련하여 편광 표현 공간 내의 편광 자질 맵 또는 텐서의 예시이다. 일부 실시예에 있어서, 편광 표현 공간 내의 자질 맵(feature map) 또는 텐서는, 예를 들면, SfP 이론을 이용하여 편광 카메라(10)에 의해서 이미지화되는 물체의 표면 형상의 특징을 평가하도록 하는 탐지 알고리즘으로의 입력으로서 공급된다.
편광 자질에 기초한 표면 특징 평가
도 1a 및 도 1b에서 이미 나타낸 바와 같이, 본 발명의 각 실시예의 여러 측면은 처리 시스템 또는 처리 회로(100)에 의해서 분석되는 편광 원본 프레임(18)을 캡처하는 하나 이상의 편광 카메라(10)를 이용하여 물체(1) 표면의 이미지를 캡처하는 것에 의해서 검사 중인 물체의 표면 특징 평가를 수행하기 위한 시스템 및 방법에 관한 것이다. 표면의 특징 평가는, 예를 들면, 편광 정보를 이용하지 않는 비교의 컴퓨터 비전 또는 머신 비전을 이용하여 탐지하기에는 어렵거나 불가능할 수 있는 표면 특징과 같은 광학적으로 과제가 되는 표면 특징을 탐지하는 단계를 포함할 수 있다. 본 개시의 각 실시예의 일부 측면이 제조된 물품에서의 (예컨대, 크랙, 파열부, 불균일한 페인트 또는 염료의 도포, 표면 불순물의 존재, 비고의적인 표면 불규칙 또는 기준 모델로부터의 기타 기하학적인 편차 등과 같은) 결함에 대응하는 표면 특징과 관련되어 있지만, 본 개시의 각 실시예는 이에 한정되지 않고 또한 서로 다른 유형의 소재 간 위치 경계를 탐지하는 것과 같은 다른 표면 특징을 탐지하는 것, 영역을 가로지르는 소재의 굴절률에서의 균일성을 측정하는 것, 소재의 일 부분에 적용된 (예컨대, 소재의 에칭 및/또는 표면 상으로의 소재의 증착과 같은) 표면 처리의 기하학적 형상의 특징을 평가하는 것 등에도 적용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 편광 데이터에 기초하여 표면 특징 평가 출력을 계산하기 위한 처리 회로(100)의 블록 다이아그램이다. 도 6은 본 발명의 일 실시예에 따른 표면 특징 평가 출력을 계산하기 위해 입력 이미지에 기초하여 표면 특징 평가를 수행하기 위한 방법(600)의 플로우 차트이다.
본 개시의 다양한 실시예에 따르면, 처리 회로(100)는, 이하에서 더욱 상세하게 설명하는 바와 같이, 다양한 동작을 수행하도록 구성된 하나 이상의 전자 회로를 이용하여 구현된다. 전자 회로의 유형에는 중앙 처리 유닛(CPU), 그래픽스 처리 유닛(GPU), (예컨대, dot product와 softmax와 같은 신경망에 공통적인 연산을 효율적으로 수행하도록 구성된 벡터 연산 로직 유닛을 포함할 수 있는 벡터 프로세서와 같은) 인공 지능(AI) 가속기, 현장 프로그래머블 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 디지털 신호 처리기(DSP) 등이 포함될 수 있다. 예를 들면, 일부 경우에 있어서, 본 개시의 각 실시예의 일부 측면은 (예컨대, CPU, GPU, AI 가속기, 또는 이들을 조합한) 전자 회로에 의해서 실행될 때 입력된 편광 원본 프레임(18)으로부터 특징 평가 출력(20)을 계산하도록 하는 본 명세서에서 설명한 연산을 수행하도록 비휘발성 컴퓨터 판독 가능 메모리 내에 저장되어 있는 프로그램 인스트럭션에 구현되어 있다. 처리 회로(100)에 의해서 수행되는 연산은 단일 전자 회로(예컨대, 단일 CPU, 단일 GPU 등)에 의해서 수행될 수 있거나 복수의 전자 회로(예컨대, 복수의 GPU, 또는 GPU와 결합된 CPU) 사이에 할당될 수 있다. 복수의 전자 회로는 서로에 대해서 인근에 위치(예컨대, 동일한 다이(die) 상에 위치하거나, 동일한 패키지 내에 위치하거나, 또는 동일한 매립형 디바이스 또는 컴퓨터 시스템 내에 위치)하거나 및/또는 서로로부터 원격에 위치(예컨대, Bluetooth®와 같은 로컬 개인 네트워크와 같은 네트워크를 통하거나, 로컬 유선 및/또는 무선 네트워크와 같은 근거리 통신 네트워크를 통하거나, 및/또는 인터넷과 같은 광역 네트워크를 통하여 통신하며, 이 경우 일부 조작은 로컬에서 수행되고 또한 다른 조작은 클라우드 컴퓨팅 서비스에 의해서 운영되는 서버 상에서 수행된다)할 수 있다. 처리 회로(100)를 구현하도록 동작되는 하나 이상의 전자 회로는 본 명세서에서는 컴퓨터 또는 컴퓨터 시스템으로 통칭될 수 있으며, 여기에는 하나 이상의 전자 회로에 의해서 실행될 때, 본 명세서에서 설명한 시스템 및 방법을 구현하도록 하는 인스트럭션을 저장하는 메모리가 포함될 수 있다.
도 5에 나타낸 바와 같이, 일부 실시예에 있어서, 처리 회로(100)는 자질 추출기 또는 자질 추출 시스템(700) 및 자질 추출 시스템(700)의 출력에 기초하여 물체의 표면 특징과 관련된 예측 출력(20)(예컨대, 통계적인 예측)을 계산하도록 구성된 (예컨대, 고전적인 컴퓨터 비전 예측 알고리즘 및/또는 훈련된 신경망과 같은 훈련된 통계 모델인) 예측기(800)를 포함하고 있다. 본 명세서에서는 탐지하는데 광학적 난제가 될 수 있는 제조된 물체 표면에서의 결함을 탐지하기 위한 표면 특징 평가 시스템의 맥락에서 본 개시의 일부 실시예에 대해서 설명하였지만, 본 개시의 각 실시예에는 이들만으로 한정되지는 않는다. 예를 들면, 본 개시의 각 실시예의 일부 측면은 반투명 물체, 다중 경로 유도 물체, 완전히 또는 실질적으로 매트(matte)하거나 램버시안(Lambertian) 면이거나, 및/또는 완전히 어두운 물체의 표면과 같은 탐지하게 광학적 난제가 될 수 있는 소재로 형성되거나 표면 특징을 갖는 물체 표면의 특징을 평가하기 위한 기법에 적용될 수 있다. 이들 광학적 난제가 될 수 있는 대상에는 광의 편광에 대해서 민감하지 않은 카메라 시스템에 의해서 캡처된 이미지(예컨대, 광 경로 내에 편광 필터가 없는 카메라로 캡처한 이미지에 기초하거나 또는 서로 다른 이미지가 서로 다른 편광 각도에 기초하여 이미지를 캡처하지 않는 경우)를 이용하여 해결하거나 탐지하기 어려운 물체 및 그 표면 특징이 포함된다. 예를 들면, 이들 표면 특징은 특징이 나타나는 표면과 매우 유사한 외관 또는 컬러의 표면을 가질 수 있다(예컨대, 하부 소재와 동일한 컬러를 갖는 덴트 및 유리와 같은 투명한 소재 상의 스크래치 또한 실질적으로 투명할 수 있다). 또한, 본 명세서에서 본 개시의 각 실시예를 광학적 난제가 되는 표면 특징을 탐지하는 맥락으로 설명하였지만, 본 개시의 각 실시예는 단지 광학적 난제가 되는 표면 결함을 탐지하는 것만으로 한정되지는 않는다. 예를 들면, 일부 실시예에 있어서, 예측기(800)는 광학적 난제가 되는 표면 특징 뿐만 아니라 편광 정보를 사용하지 않고도 견고하게 탐지 가능한 표면 특징 모두를 탐지하도록 구성된다(예컨대, 통계 모델은 훈련용 데이터를 이용하여 훈련된다).
편광을 이용하여 명도 정보(예컨대, 컬러 명도 정보)만을 이용하는 경우 광학적 난제가 되는 표면 특징 또는 자질(feature)을 탐지할 수 있다. 예를 들면, 편광 정보는 물체 표면에서의 기하학적인 형상의 변동 및 소재의 변동을 탐지할 수 있다. 서로 다른 유형의 소재 간의 경계선과 같은 소재의 변동(또는 소재의 변경)(예컨대, 검은 길 위의 검은색 금속 물체 또는 표면 상의 무색 액체는 모두 컬러 공간에서는 실질적으로 보이지 않지만, 이들 모두는 편광 공간 내에서 대응하는 편광 시그니처를 갖는다)은 편광 공간 내에서는 더 잘 볼 수 있는데, 이는 서로 다른 다른 소재의 굴절률에서의 차이가 광의 편광에서 변동을 초래하기 때문이다. 마찬가지로, 다양한 소재의 경면성(specularity)에서의 차이는 회전 편광각에서의 서로 다른 변동을 초래하고, 또한 편광 필터를 사용하지 않고는 탐지할 수 없는 광학적인 난제가 될 수 있는 편광 공간 내의 자질을 탐지할 수 있도록 한다. 따라서, 이는 편광 표현 공간 내의 이미지 또는 텐서에서 대비가 나타나도록 하며, 여기에서 명도 공간(예컨대, 광의 편광에 대해서 전혀 고려하지 않은 컬러 표현 공간) 내에서 계산된 대응하는 영역의 텐서는 (예컨대, 이들 표면 특징에서의 대비가 낮은 경우 또는 이들 공간 내에서 보이지 않을 수 있는 경우) 이들 표면 특징을 캡처하는데 실패할 수 있다. 광학적 난제가 되는 표면 특징의 예시로는 표면의 특정한 형상(예컨대, 평탄도 및 표면에 대한 이상적이거나 수용 가능한 물리적인 설계 허용 공차로부터의 편차), 표면 거칠기 및 표면 거칠기 패턴의 형상(예컨대, 투명 물체 및 기계 가공 부품 표면에서의 고의 에칭, 스크래치, 및 에지의 경우), 기계 가공된 부품과 성형 부품의 에지에서의 버(burr)와 플래시(flash) 등을 포함할 수 있다. 편광은 또한 동일한 컬러를 갖지만 산란율 또는 굴절률과 같은 서로 다른 소재 속성을 갖는 물체를 탐지하는도 유용할 수 있다.
도 6에 나타낸 바와 같이, 또한, 예를 들어, 도 1b를 참조하면, 단계(610)에 있어서, 처리 회로(100)는 검사 중인 물체(1) 표면(2)의 편광 원본 프레임(18)을 캡처한다. 예를 들면, 일부 실시예에 있어서, 처리 회로(100)는 하나 이상의 편광 카메라(10)를 제어하여 물체의 특정 표면(2)을 나타내는 편광 원본 프레임(18)을 캡처한다. 본 개시의 다양한 실시예에 있어서, 검사 중인 물체의 특정 표면의 캡처는 (예컨대, 물체의 일부 또는 컨베이어 시스템이 물체의 현재 위치를 알리는 전자 스위치를 폐쇄하는 경우의) 기계적 스위치 트리거, (예컨대, 물체(1)의 일부가 탐지기에 도달하는 레이저 빔을 차단하는 경우의) 레이저 트리거, 또는, 광학식 트리거(예컨대, 특정 위치에서의 물체의 존재를 탐지하는 카메라 시스템)와 같은 하나 이상의 탐지 시스템을 이용하여 기동될 수 있다.
도 1a를 다시 참조하면, 본 개시의 각 실시예에 따른 편광 강화 이미지화 시스템 또는 표면 특징 평가 시스템은 컨베이어 벨트 주위에 위치한 갠트리 상에 또는 컨베이어 벨트 상에서 물체(1)가 이동함에 따라서 물체(1)의 패치에 기반한 이미지(예컨대, 물체(1) 표면의 이미지 또는 패치(patch) 또는 스트립(strip))를 제공하는데 사용할 수 있는 로봇 암(arm)의 엔드 이펙터 상에 장착된 편광 카메라(10)를 이용할 수 있다. 본 개시의 일부 실시예에 있어서, 이동 가능한 마운트에 부착된 편광 카메라(10)는 (예컨대, 검사 중인 표면과 장면 내의 광원의 전체적인 방향에 기초하여) 표면 상으로의 광의 입사각이 도 4에 나타낸 곡선의 더 가파르거나 더 높은 대비 영역에 있도록 하는 자세로 편광 카메라(10)가 위치하도록 자동적으로 시스템에 의해서 위치가 재설정된다. 본 개시의 일부 실시예에 있어서, 조명원(예컨대, 동작등 또는 플래시) 또한 임의의 입사각에서 광을 물체의 표면에 조사할 수 있도록 고정된 위치에 위치하거나 (예컨대, 대응하는 편광 카메라에 견고하게 부착되거나 다르게는 독립적으로 이동 가능한 이동 가능한 마운트에 부착되는) 이동 가능한 마운트에 부착될 수 있어 (예컨대, 높은 입사각에서) 물체 표면 형상의 자질을 더욱 용이하게 탐지 가능하게 된다.
따라서, 본 개시의 일부 실시예에 있어서, 단계(610)에서 검사 중인 물체(1) 표면(2)의 편광 원본 프레임(18)을 캡처하는 단계는 특징을 평가하게 될 표면(2)의 특정한 특징에 따라서 검사 중인 표면(2)에 대해 자세를 취하도록 편광 카메라(10) 및/또는 조명원을 이동시키는 단계를 포함하고 있다. 예를 들면, 일부 실시예에 있어서, 이는 조명원으로부터의 광이 고입사각(예컨대, 80 도 정도로) 표면(2)에 입사되로고 편광 카메라(10) 및/또는 조명원을 자동적으로 위치시키는 단계와 관련된다. 본 개시의 일부 실시예에 있어서, 고입사각이 적절할 수 있는 특정한 위치는 검사할 표면의 특정한 형상(예컨대, 자동차 도어의 설계는 현저하게 상이한 표면 법선을 갖는 서로 다른 부분을 포함할 수 있는데, 예를 들어, 도어 핸들에서의 오목부, 도어가 창문과 만나는 곳에서의 에지, 및 스타일 및/또는 공기 역학을 위한 도어의 주 표면 내의 오목부)에 기초하여 변경될 수 있다.
본 개시의 일부 실시예에 있어서, 처리 회로(100)는 검사 중인 물체의 유형 또는 클래스와 관련된 프로파일을 로드하며, 여기에서 프로파일은 편광 카메라(10)가 검사 중인 물체(1)와 관련하여 이동하도록 하는 하나 이상의 자세의 집합을 포함하고 있다. 서로 다른 형상을 갖는 서로 다른 유형 또는 클래스의 물체는 서로 다른 프로파일과 관련되어 있을 수 있지만, 동일한 유형 또는 클래스의 제조된 물체는 동일한 형상을 가지고 있을 것으로 예상된다. (예를 들면, 서로 다른 차량 모델은 서로 다른 형상을 가질 수 있고, 또한 이들 서로 다른 차량 모델은 하나의 조립 라인에서 혼합될 수 있다. 따라서, 처리 회로(100)는 서로 다른 프로파일 컬렉션으로부터 현재 검사 중인 차량의 유형에 대응하는 프로파일을 선택할 수 있다.) 따라서, 편광 카메라(10)는 검사 중인 물체(1) 표면의 편광 원본 프레임(18)을 캡처하도록 프로파일 내에 저장된 일련의 자세(pose)를 통해서 자동적으로 이동할 수 있다.
도 5 및 도 6에 나타낸 실시예에 있어서, 단계(650)에서, 처리 회로(100)의 자질 추출 시스템(700)은 장면 중의 입력된 편광 원본 프레임(18)으로부터 (다양한 편광 표현 공간 내의 편광 이미지 또는 편광 자질 맵을 포함하여) 하나 이상의 제 1 표현 공간 내의 하나 이상의 제 1 자질 맵(50)을 추출한다.
도 7a는 본 발명의 일 실시예에 따른 자질 추출기(700)의 블록 다이아그램이다. 도 7b는 편광 원본 프레임으로부터 자질을 추출하기 위해 본 발명의 일 실시예에 따른 방법을 도시한 플로우 차트이다. 도 7a에 나타낸 실시예에 있어서, 자질 추출기(700)는 (예컨대, 비편광 표현 공간의 일례로서 수학식 7에 따른) 명도 표현 공간 내의 명도 이미지(I)(52)를 추출하도록 구성된 명도 추출기(720) 및 하나 이상의 편광 표현 공간 내의 각 자질을 추출하도록 구성된 편광 자질 추출기(730)를 포함한다. 본 개시의 일부 실시예에 있어서, 명도 추출기(720)가 생략되며 따라서 자질 추출기는 명도 이미지(I)(52)를 추출하지 않는다.
도 7b에 나타낸 바와 같이, 단계(650)에서의 편광 이미지의 추출은 단계(651)에서 제 1 스토크스 벡터로부터 편광 원본 프레임으로부터 제 1 편광 표현 공간 내의 제 1 텐서를 추출하는 단계를 포함할 수 있다. 단계(652)에서, 자질 추출기(700)는 또한 편광 원본 프레임으로부터 제 2 편광 표현 공간 내의 제 2 텐서를 추출한다. 예를 들면, 편광 자질 추출기(730)는 DOLP(ρ) 이미지(54)(예컨대, 제 1 편광 표현 공간으로서 DOLP를 갖는 수학식 8에 따른 제 1 편광 이미지 또는 제 1 텐서)를 추출하도록 구성된 DOLP 추출기(740), 및 공급된 편광 원본 프레임(18)으로부터 AOLP(φ) 이미지(56)(예컨대, 제 2 편광 표현 공간으로서 AOLP를 갖는 수학식 9에 따른 제 2 편광 이미지 또는 제 2 텐서)를 추출하도록 구성된 AOLP 추출기(760)를 포함하고 있을 수 있다. 또한, 다양한 실시예에 있어서, 자질 추출 시스템(700)은 두 개 이상의 표현 공간(예컨대, n 개의 표현 공간) 내의 두 개 이상의 서로 다른 텐서(예컨대, n 개의 서로 다른 텐서)를 추출하며, 여기에서 제 n 텐서는 단계(614)에서 추출된다. 상술한 바와 같이, 본 개시의 일부 실시예에 있어서, 편광 자질 추출기(730)는 (예컨대, 선형 편광 필터를 사용하여 캡처한 편광 원본 프레임으로부터 추출한 상술한 AOLP 및 DOLP 표현 공간 내의 텐서인) 선형 편광 표현 공간 및 (예컨대, 원형 편광 필터를 사용하여 캡처한 편광 원본 프레임으로부터 추출한 텐서인) 원형 편광 표현 공간 모두를 포함하는 편광 표현 공간 내의 편광 자질을 추출한다. 다양한 실시예에 있어서, 표현 공간은, 제한하지 않고, 편광 표현 공간을 포함하고 있다.
편광 표현 공간은 스토크스 벡터(Stokes vector)에 따른 편광 원본 프레임의 조합을 포함할 수 있다. 추가적인 예시로서, 편광 표현은 (예컨대, 이미지의 대비를 높이기 위한 필터 또는 잡음 제거 필터인) 하나 이상의 이미지 처리 필터를 따르는 편광 원본 프레임의 변형 또는 변환을 포함할 수 있다. 제 1 편광 표현 공간 내의 자질 맵(52, 54, 및 56)은 이후에 자질 맵(50)에 기초하여 표면 특징을 탐지하기 위해서 예측기(800)로 공급될 수 있다.
도 7b는 두 개 이상의 서로 다른 표현 공간 내의 편광 원본 프레임(18)으로부터 두 개 이상의 서로 다른 텐서가 추출되는 경우에 대해서 도시하고 있지만, 본 개시의 각 실시예는 이에 한정되지 않는다. 예를 들면, 본 개시의 일부 실시예에 있어서, 편광 표현 공간 내의 정확히 하나의 텐서만 편광 원본 프레임(18)으로부터 추출된다. 예를 들면, 원본 프레임의 편광 표현 공강 중의 하나는 AOLP(φ)이고 다른 하나는 DOLP(ρ)이다(예컨대, 일부 응용에 있어서, 투명 물체의 표면 특징을 탐지하거나, 예를 들면, 반투명, 비램버시안(non-Lambertian), 다중 경로 유도, 및/또는 비반사성 물체와 같은 기타 광학적 난제가 되는 물체의 표면 특징을 탐지하는 데에는 AOLP가 충분할 수 있다).
따라서, 편광 원본 프레임(18)으로부터 편광 자질 맵 또는 편광 이미지와 같은 자질을 추출하면 제 1 텐서(50)가 생성되는데, 이로부터 검사 중인 물체의 표면 이미지로부터 광학적 난제가 되는 표면 특징을 탐지할 수 있다. 일부 실시예에 있어서, 자질 추출기(700)로부터 추출된 (예컨대, 상술한 바와 같이, 선형 편광 공간에서의 AOLP 및 DOLP 이미지의 계산 및 원형 편광 공간에서의 텐서의 계산과 같은) 제 1 텐서는 편광 원본 프레임에서 나타내어질 수 있는 근원적인 물리적인 현상과 관련된 (예컨대, 인간 디자이너에 의한 수작업과 같은) 명시적으로 유도된 자질일 수 있다. 본 개시의 추가적인 일부 실시예에 있어서, 자질 추출기(700)는 서로 다른 컬러의 광(예컨대, 적색, 녹색, 및 청색광)에 대한 명도 맵 및 (예컨대, 이 명도 맵에 대해서 이미지 처리 필터를 적용하여) 해당 명도 맵의 변환과 같은 다른 비편광 자질 맵 또는 비편광 이미지를 추출한다. 본 개시의 일부 실시예에 있어서, 자질 추출기(700)는 라벨이 첨부된 훈련용 데이터에 기초하여 엔드-투-엔드(end-to-end) 방식의 지도 훈련 과정을 통해서 자동적으로 학습되는 (예컨대, 사람에 의해서 수작업으로 규정되지 않은 자질과 같은) 하나 이상의 자질을 추출하도록 구성될 수 있다. 일부 실시예에 있어서, 이들 학습된 자질 추출기는 (예컨대, Haar 웨이블릿 변환, Canny 에지(edge) 탐지기 등과 같은) 전통적인 컴퓨터 비전 필터와 함께 이용될 수 있는 심층 합성곱 신경망을 포함할 수 있다.
편광 표현 공간을 포함하는 표현 공간 내의 텐서에 기초한 표면 특징 평가
자질 추출 시스템(700)에 의해서 추출되는 제 1 편광 표현 공간(50) 내의 (편광 이미지를 포함하는) 자질 맵은 단계(690)에서 하나 이상의 예측 모델로 하여금 표면 특징 평가 출력(20)을 계산하도록 구현된 처리 회로(100)의 예측기(800)에 입력으로서 제공된다.
예측기(800)가 결함 탐지 시스템인 경우에 있어서, 예측은 표면(2)의 (예컨대, 명도 이미지와 같은) 이미지(20)일 수 있으며, 여기에서 이미지의 일부는 결함을 포함하고 있다고 표시(21)되어거나 하일라이트된다. 일부 실시예에 있어서, 결함 탐지 시스템의 출력은 분할 맵이며, 여기에서 각각의 픽셀은 해당 픽셀이 표면 특징 평가 시스템이 검사하도록 훈련된 물체에서 발견될 수 있는 표면 특징(예컨대, 결함)의 다양한 가능한 클래스(또는 유형)의 위치에 대응하는 하나 이상의 신뢰도, 또는 해당 픽셀이 검사 중인 물체의 표면 이미지에서의 비정상 상태에 대응하는 신뢰도와 관련되어 있을 수 있다. 예측기가 분류 시스템인 경우에 있어서, 예측은 복수의 클래스 및 이미지가 각각의 클래스의 인스턴스를 나타내는 (예컨대, 이 이미지가, 예를 들어, 평탄한 유리, 에칭된 유리, 스크래치가 난 유리 등과 같은 다양한 유형의 결함 또는 서로 다른 유형의 표면 특징을 나타내는) 대응하는 신뢰도를 포함할 수 있다. 예측기(800)가 고전적인 컴퓨터 비전 예측 알고리즘인 경우에 있어서, 예측기는 (예컨대, 제 1 표현 공간 내의 추출된 자질 맵과 제 1 표현 공간 내의 모델 자질 맵을 비교하여 결함을 탐지하거나 평탄할 것으로 예상되는 영역에서의 자질 맵 내의 첨예한 또는 불연속적인 변동을 갖는 에지 또는 영역을 식별하는 것에 의해서) 탐지 결과를 계산할 수 있다.
도 5에 나타낸 실시예에 있어서, 예측기(800)는 결함 탐지 시스템으로 구현되고 또한, 단계(690)에서, 입력 편광 원본 프레임(18)으로부터 추출되고, 제 1 표현 공간 내의 추출된 제 1 텐서(50)에 기초하여 탐지된 결함 위치를 포함하는 표면 특징 평가 출력(20)을 계산한다. 상술한 바와 같이, 자질 추출 시스템(700) 및 추측기(800)는, 이하에서 더욱 상세하게 설명하는 바와 같이, 해당 동작을 수행하도록 구성된 하나 이상의 전자적인 회로를 사용하여 구현된다.
본 개시의 다양한 실시예에 따르면, 하나 이상의 편광 카메라(10)에 의해서 이미화되어지는 물체(1)의 표면(2)은 해당 표면과 관련된 모델에 따라서 특징이 평가된다. 본 발명의 각 실시예에 따른 표면 특징 평가 시스템에 의해서 수행되는 표면 특징 평가의 특정한 구체적인 내용은 특정한 응용 및 특징을 평가하게 될 표면에 의해서 결정된다.
자동차 표면 상의 결함을 탐지하는 일례에 대해서 계속 설명하자면, 자동차의 서로 다른 표면 상에 서로 다른 유형의 결함이 출현할 수 있는데, 이는 다양한 부품의 위치와 제조 방법 및 서로 다른 부품에서 사용되는 소재의 유형으로 인한 것이다. 예를 들면, 페인트를 칠한 금속제 도어 패널은 (예컨대, 스크래치, 칩, 및 크랙과 같은) 유리창과 달리 다른 유형의 (예컨대, 스크래치, 덴트와 같은) 결함을 나타낼 수 있으며, 이는 플라스틱 부품에서 발견되는 것과는 다른 결함(예컨대, 자동차 헤드라이트 커버는 스크래치, 칩, 및 크랙 결함을 또한 나타낼 수 있으나, 표면 리지(ridge) 및 범프(bump) 및 이젝터 핀의 흔적과 같은 결함을 포함하는 예상되고 또한 의도적인 표면 불규칙 또한 포함할 수 있다)을 나타낼 수 있다.
다른 예시로서, 기계 가공된 금속 부품에 있어서, 일부 표면은 평탄하고 광택이 있을 것으로 기대할 수 있지만, 다른 표면은 (예컨대, 그루브, 범프, 또는 임의의 텍스처와 같은) 거칠거나 또는 특정한 물리적인 패턴을 기대할 수 있는데, 여기에서 기계 가공된 부품의 서로 다른 표면은 서로 다른 허용 공차를 가질 수 있다.
도 8a는 본 발명의 일 실시예에 따른 예측기의 블록 다이아그램이다. 도 8a에 나타낸 바와 같이, 예측기(800)는 제 1 표현 공간(50) 내의 입력 텐서를 수신한다. 예측기(800)는 표면 특징 평가 시스템에 의해서 분석되도록 예상되는 서로 다른 유형의 표면과 관련된 모델(810) 컬렉션을 포함할 수 있다. 도 8a에 나타낸 실시예에 있어서, 예측기(800)는 m 개의 서로 다른 모델(예컨대, 처리 회로(100)의 메모리 내에 저장되는 서로 다른 모델)에 액세스할 수 있다. 예를 들면, 제 1 모델(811)은 도어 패널의 주표면과 관련되어 있을 수 있고, 제 2 모델(812)은 도어 패널의 핸들 부분과 관련되어 있을 수 있으며, 제 m 모델(814)은 미등(tail light)과 관련되어 있을 수 있다.
도 8b는 물체 표면의 특징을 탐지하기 위한 본 발명의 일 실시예에 따른 방법(690)을 나타낸 플로우 차트이다. 단계(691)에 있어서, 처리 시스템(100)은 현재의 표면에 대응하는 모델(810)의 컬렉션 중으로부터 하나의 모델을 선택한다. 일부 실시예에 있어서, 검사 중인 물체(1)와 관련되고 또한 편광 카메라(10)에 의해서 편광 원본 프레임(18)이 캡처되는 특정한 자세(pose)와 관련된 프로파일에 저장된 메타데이터에 기초하여 특정한 모델이 선택된다.
본 개시의 일부 실시예에 있어서, 검사 중인 물체의 방향은 하나의 물체로부터 다음 물체까지 일관되게 놓여 있다. 예를 들면, 자동차 제조의 경우에 있어서, 각각의 조립된 자동차는 (예컨대, 운전석 쪽이 일부 앞쪽으로 이동하는 경우 및 차량의 후방이 일부 앞쪽으로 이동하는 것과는 반대로) 컨베이어 벨트를 따라서 자동차의 노즈(nose) 부분이 앞쪽으로 가도록 이동할 수 있다. 따라서, 컨베이어 시스템 상의 자동차의 위치 및 그 속도에 대해서 알려진 정보에 기초하여 검사 중인 물체(1)의 서로 다른 표면의 이미지를 신뢰성있게 캡처할 수 있다. 예를 들면, 자동차의 운전석 쪽의 특정 높이에 위치한 카메라는 범퍼, 펜더, 휠 커버(wheel well), 운전석쪽 도어, 쿼터 판넬(quarter panel), 및 차량의 후방 범퍼의 특정 부분의 이미지화를 기대할 수 있다. 컨베이어 시스템의 속도와 자동차가 표면 특징 평가 시스템의 시야에 진입하는 기동 시간에 기초하여, 물체의 유형(예컨대, 차량의 유형, 클래스, 및 모델명)과 관련된 프로파일에 따라서 서로 다른 시간에 자동차의 다양한 표면을 이미지화할 수 있게 된다.
일부 실시예에 있어서, 검사 중인 물체의 방향은 일관성이 없을 수 있으며, 따라서 별도의 등록 절차를 채택하여 어떤 표면이 편광 카메라(10)에 의해서 이미지화될 지를 결정하도록 할 수 있다. 이들 실시예에 있어서, 프로파일에는 검사 중인 물체의 (예컨대, 물리적인 물체의 컴퓨터 보조 설계 또는 CAD 모델 또는 삼차원 메쉬 또는 점군(point cloud) 모델인) 삼차원(3-D) 모델을 포함할 수 있다. 따라서, 일부 실시예에 있어서, 동시 위치 측정 및 맵핑(SLAM, simultaneous location and mapping) 알고리즘을 적용하여 검사 중인 물체의 어떤 부분을 편광 카메라(10)로 이미지화할 것인지를 결정하고, 또한 결정된 위치를 이용하여 3-D 모델 상의 대응하는 위치를 식별하며, 따라서 3-D 모델의 어떤 표면을 편광 카메라(10)에 의해서 이미지화할 지를 결정할 수 있다. 예를 들면, 키 포인트 탐지 알고리즘(keypoint detection algorithm)을 이용하여 해당 물체의 독특한 부분을 탐지할 수 있으며, 또한 키 포인트를 이용하여 3-D 모델의 방향과 검사 중인 물리적인 물체(1)의 방향을 일치시킨다.
따라서, 본 개시의 일부 실시예에 있어서, 예측 시스템(800)의 표면 등록 모듈(820)은 모델(810)의 컬렉션으로부터 편광 원본 프레임(18)에 의해서 이미지화되는 현재 표면과 관련된 모델을 선택하도록 해당 물체와 관련된 프로파일에 기초하여 검사 중인 물체의 특정 부분을 사용하여 편광 카메라에 의해서 캡처되는 편광 원본 프레임(18)(및/또는 표현 공간(50) 내의 텐서)을 등록한다.
단계(693)에 있어서, 처리 시스템은 표면 분석기(830)를 이용하여 선택된 모델을 적용하여 현재 표면에 대한 표면 특징 평가 출력(20)을 계산하도록 한다. 본 개시의 다양한 실시예에 따른 이들 서로 다른 유형의 모델에 기초한 표면 분석기(830)에 의해서 수행되는 다양한 유형의 모델 및 특정한 공정의 상세에 대해서는 이하에서 더욱 상세하게 설명하기로 한다.
설계 모델 및 대표 모델의 대비를 통한 표면 특징 평가
본 개시의 일부 실시예에 있어서, 저장된 모델은 검사 중인 물체의 표현 모델(예컨대, 설계 모델)로부터 계산된 표현 공간 내의 자질 맵(feature map)을 포함하고 있으며, 또한 표면 분석기는 캡처된 편광 원본 프레임(18)으로부터 계산된 자질 맵과 동일한 표현 공간 내에 저장된 대표(예컨대, 이상적인) 자질 맵을 대비한다.
예를 들면, 상술한 바와 같이, 본 개시의 일부 실시예에 있어서, 표현 공간은 선형 편광도(DOLP, degree of linear polarization)(ρ) 및 선형 편광각(AOLP, angle of linear polarization)(φ)을 포함하고 있다. 그와 같은 일부 실시예에 있어서, 모델(810)은 내부 표면 법선(intrinsic surface normal)을 가지고 있는 표면의 기준 2D 및/또는 3D 모델(예컨대, CAD 모델)을 포함하고 있다. 이들 내부 표면 기준 모델은 경우에 따라서 설계 표면 법선(design surface normal)으로 참조되며 또한 해당 표면의 설계 목표(예컨대, 해당 표면의 이상적인 형태)가 되며, 따라서 이들은 검사 중인 패치(예컨대, 일련의 편광 원본 프레임(18)에 의해 이미지화된 해당 표면의 패치)에 대한 부정할 수 없는 진실을 나타낸다.
그와 같은 실시예에 있어서, 자질 추출 시스템(700)은 편광으로부터 형상(SfP) 기법을 이용하여 표면 법선을 추출하며, 또한 이들 표면 법선은, 표면 등록 모듈(820)에 의해서, 대응하는 표면 부분의 기준 2-D 및/또는 3-D 모델(예컨대, CAD 모델)과 일치된다.
본 실시예에 있어서, 표면 분석기(830)는 편광 원본 프레임(18)으로부터 계산된 표현 공간(50) 내의 텐서로 표현되는 표면 법선과 모델(810) 중의 대응하는 하나로부터의 설계 표면 법선 간의 대비를 수행하여 일치하지 않는 영역을 찾아내고 이로써 서로 다른 영역을 식별하고 플래그 처리될 수 있다. 예를 들면, 원본 편광 프레임(18)으로부터 계산된 표현 공간(50) 내 텐서의 일부가 (텐서(50)와 동일한 표현 공간 내의) 설계 표면 법선의 대응하는 부분과 역치를 초과하여 상이한 부분은 불일치 또는 잠재적인 결함이 있는 것으로 표시되며, 역치 미만으로 상이한 다른 부분은 (예컨대, 결함이 없는) 깨끗한 것으로 표시된다. 본 개시의 다양한 실시예에 있어서, 이 역치는, 예를 들면, 검사 중인 표면에 대해 지정된 허용 공차 및 (예컨대, 편광 카메라(10)의 이미지 센서(14)에서의 센서 노이즈와 같은 시스템 내의 노이즈 레벨에 따르는) 시스템의 민감도에 기초하여 설정될 수 있다.
또한, 계산된 표면 법선 및 모델(810)로부터 선택된 모델로부터 로딩된 설계 목표로부터의 표면의 3-D 좌표 모두를 관심 영역이 가지고 있다고 간주하면, 일부 실시예에 있어서, 표면 해석기(830)는 관심 영역을 (예컨대, 편광 방정식으로부터의 형상을 이용하여) 이미지화된 표면의 형상을 나타내는 3-D 점군으로 변환하고, 또한 표면 해석기(830)는 생성된 3-D 점군에 대해서, 예를 들어서, 3-D 점군의 형상과 기준 3-D 모델에서의 대응하는 표면의 형상을 대비함으로써 추가적인 조사와 분석을 수행한다. 대비는 점군(point cloud)의 각 지점과 기준 3-D 모델 표면 간의 거리를 최소화하기 위해 점군을 반복적으로 재배향하는 단계를 포함하고 있을 수 있으며, 여기에서 기준 3-D 모델의 표면으로부터 역치 거리를 초과하여 벗어나서 위치하는 점군의 각 지점은 기준 모델로부터 이탈한 검사 중 표면 영역이며 또한 (예컨대, 덴트, 버(burr), 또는 기타 표면 불규칙과 같은) 기하학적인 결함에 대응할 수 있다.
다른 예시로서, 동일한 허용 공차를 만족하는 제조 부품은 유사한 조명하에서 실질적으로 동일한 편광 패턴(예컨대, 제조 허용 공차에 따른 변동을 갖는 동일한 편광 패턴)을 가지게 된다. 이상적인 또는 예상되는 또는 기준 부품의 편광 패턴은 (모델(810) 집합으로부터 선택된 하나의 모델에 대응할 수 있는) 템플리트 편광 패턴 또는 기준 텐서로 지칭하기로 한다. 이들 실시예에 있어서, 자질 추출 시스템(700)은 검사 중인 물체의 일 표면에 대한 측정된 편광 패턴(예컨대, 상술한 제 1 표현 공간 내의 측정된 텐서인 AOLP 및 DOLP 자질 맵)을 추출한다. 물체 표면에 이상치, 예를 들면, 표면의 마이크로 덴트(micro-dent)와 같은 이상치가 포함되어 있는 경우, 이 이상치는 측정된 편광 패턴 내에 나타나게 되며, 따라서 해당 이상치는 제 1 표현 공간 내의 템플리트 편광 패턴 또는 기준 텐서와는 다른 비정상 편광 패턴(또는, 예를 들어, 도 1b에 나타낸 영역(21)과 같은 이상치를 포함하는 영역을 갖는 것)으로 분류되어진다. 다른 한편으로는, 무결점 표면은 (허용 공차 범위 내에서) 템플리트 편광 패턴 또는 기준 텐서와 일치하는 측정된 편광 패턴을 생성하게 된다(예컨대, 측정된 편광 패턴이 일치하게 되면, 이 패턴은 깨끗한 편광 패턴으로 분류된다).
본 개시의 각 실시예의 일부 측면은 템플리트 편광 패턴과 측정된 편광 패턴을 비교하기 위한 수학적인 연산과 관련되어 있다. 일부 실시예에 있어서, 템플리트와 비정상적인 편광 패턴 간의 감산 또는 수학적인 차이를 계산하여 이들 패턴을 대비한다. 그러나, 도 4에 나타낸 바와 같이, 프레넬 방정식은 입사각과 투과 에너지 및 반사 에너지 간의 비선형 관계를 모델링하며, 여기에서 곡선의 형상은 굴절률(도 4는 굴절률 1.5에 대한 예시적인 곡선을 나타내었다)에 따라 이동한다. 서로 다른 입사각에서의 표면 법선의 유사한 변동에 대해 반사된 에너지의 이 비선형 변동은 편광 패턴 간의 (예컨대, 측정된 편광 패턴에 대해서 템플리트 편광 패턴을 비교하는 것과 같은) 비교를 수행하기 어렵게 할 수 있다. 60 도 인근에서의 입사각의 1 도 변동(예컨대, 60 도의 평균 입사각 및 입사각에서의 0.5 도의 변동이 60.5 도를 초래하는 표면 법선 변동의 경우)은 10 도 인근에서의 유사한 변동(예컨대, 평균 입사각 0 도 및 입사각에서의 0.5 도의 변동이 0.5 도를 초래하는 표면 법선 변동의 경우) 보다 반사되는 에너지이 변동이 더 크게 된다. 다른 말로 하자면, 이들 각 실시예는 비선형 현상을 비교하기 위한 선형 측정 항목을 이용하게 되며, 이는 더욱 평평한 곡선 부분(예컨대, 더 작은 제 1 차 도함수를 갖는 곡선 부분)에서 탐지 문제를 초래하거나 또는 더욱 가파른 곡선 부분(예컨대, 더 큰 제 1 차 도함수를 갖는 곡선 부분)에서의 신호의 포화 또는 오버플로(overflow)를 초래할 수 있다.
따라서, 본 개시의 각 실시예의 일부 측면은 입사각과 반사된 또는 투과된 에너지 간의 비선형 관계를 고려하는 방식으로 템플리트 편광 패턴과 측정된 편광 패턴을 비교하기 위해서 프레넬 거리를 계산하도록 프레넬 감산을 이용하는 것과 관련되어 있다. 따라서, 본 개시의 각 실시예의 일부 측면에 따른 프레넬 감산은 표면 법선의 선형 비교를 가능하게 하는 비선형 연산자이다. 실제로는, 프레넬 감산은 도 4에 나타낸 곡선을 선형화하며, 이에 의해서 30 도의 상대적인 마이크로 표면의 편차가 원래의 방향이 0° 또는 60°(예컨대, 표면에 대한 평균 입사각)였는지를 (예컨대, 프레넬 거리에 따라서 계산된 이상치 점수와 같은) 일관된 이상치 점수로 나타낼 수 있도록 한다. 달리 말하자면, 프레넬 거리(Fresnel distance)는 본 개시의 각 실시예에 따른 프레넬 감산을 사용하여 계산된 것이며, 여기에서 두 개의 편광 패턴 간의 프레넬 거리는 표면의 원래 방향과는 실질적으로 무관하다(예컨대, 표면에 대한 평균 입사각과는 실질적으로 무관하다). 본 개시의 일부 실시예에 있어서, 프레넬 감산 함수는 패턴 일치 분야의 기호 회귀 분석법을 사용한 파라미터 기반으로 학습된 것이다. 본 개시의 일부 실시예에 있어서, 프레넬 감산 함수는 소재의 굴절률과 표면의 방향에 따른 공지의 프레넬 방정식에 기초하여, 예를 들면, 표면 법선의 변동이 충분히 작아서 곡선 인근에서 실질적으로 또는 충분히 선형이라는 가정에 기초하여 측정된 반사광을 표면 상의 근사 입사각(예컨대, 표면 중의 실질적으로 평평한 국부 패치에 대한 평균 입사각)에서 반사된 에너지의 퍼센티지로 나눈 수치 근사된 함수이다. 본 개시의 일부 실시예에 있어서, 닫힌 형식 방정식(closed form equation)은, 예를 들면, 소재의 굴절률과 같은 소재 속성의 사전 지식에 기초하여 유도된다.
프레넬 방정식이 굴절률 의존형이기 때문에, 프레넬 감산 역시 소재의 굴절률에 의존한다(예컨대, 도 4에 나타낸 곡선의 형상은 굴절률에 따라서 이동한다). 제조된 부품은 서로 다른 패치에서 (예컨대, 서로 다른 표면에서) 서로 다른 굴절률을 가질 수 있다. 본 개시의 일부 실시예에 있어서, 표준 굴절률은 응용에 따라서 물체의 서로 다른 표면에 대해서 필요한 민감도를 조절하는 것에 기초하여 선택된다(예컨대, 제조되는 부품의 접촉면은 이들 제조되는 부품의 비접촉면 보다 더 중요할 수 있으며, 따라서 이 접촉면의 굴절률에 더 근접한 굴절률이 선택될 수 있다). 예를 들면, 표준 굴절률은 1.5로 설정될 수 있으며, 충분히 근접한 것으로 간주될 수 있다.
본 개시의 일부 실시예에 있어서, 설계 표면 법선을 사용하는 국부 교정(local calibration)을 수행하여 각각의 패치에 대해 국부적으로 평탄한 굴절률을 결정하며, 따라서 각각의 패치에 대해서 맞춤 설계되는 더 고정밀한 프레넬 감산(Fresnel Subtraction)을 가능하게 한다. 일부 실시예에 있어서, 국부 교정은 굴절률이 서로 다른 픽셀에 걸쳐서 변동하지 않는 스칼라 상수라고 가정하고 또한 서로 다른 픽셀로부터의 정보를 이용하여 주어진 소재에 대한 굴절률 값을 추정하여 수행된다. 일부 실시예에 있어서, 국부 교정은 Kadambi, Achuta, et al. "Polarized 3d: High-quality depth sensing with polarization cues", Proceedings of the IEEE International Conference on Computer Vision. 2015.의 "refractive distortion" 섹션에 설명된 기법을 사용하는 굴절률 값 추정법에 의해서 수행된다.
따라서, 본 개시의 각 실시예의 일부 측면은 측정된 자질 맵 또는 검사 중인 물체의 캡처된 편광 원본 프레임으로부터 추출된 텐서와 (예컨대, CAD 모델과 같은 설계로부터의 이상적인 표면에 기초하거나, 공지의 양호한 물체의 측정에 기초하여) 기준 또는 템플리트 물체에 대응하는 기준 텐서 또는 기준 자질 맵 또는 템플리트 자질 맵과 대비하여 결함을 탐지하는 방법과 관련되어 있다.
이상치 탐지 알고리즘을 이용한 표면 자질 탐지
본 개시의 일부 실시예에 있어서, 표면 자질은 이상치 탐지 기법을 이용하여 탐지된다. 예를 들면, 일부 경우에 있어서, 검사 중인 물체의 일 인스턴스로부터 다음 인스턴스까지 일부 현저한 변동이 예상되는 경우가 있을 수 있다. 예를 들면, 소재가 나타내는 편광 패턴은 제조 공정에 의해서 불규칙하고 비균일하게 변동될 수 있다. 이들 변동은 제조 공정 중의 공차 범위 내에 있을 수도 있지만, 이들 변동은 해당 물체 전체에 대한 특정한 물리적인 위치와 일치하지 않을 수도 있다. 예를 들면, 유리창은 특정 유리 시트의 냉각 공정에 따라서 하나의 유리창과 그 다음 유리창이 일부 일치하지 않는 편광 패턴을 나타낼 수 있다. 그러나, 편광 패턴에서의 불일치는 결함을 탐지하는데 어려움을 줄 수 있다. 예를 들면, "기준"(reference) 유리창을 사용하여 편광 패턴 템플리트를 생성하는 경우, 이 편광 패턴 템플리트와 다른 유리창으로부터의 측정된 편광 패턴의 차이는 역치가 너무 낮은 경우에는 결함을 탐지하도록 하지만, 이 역치가 더 높게 설정되는 경우에는 결함을 탐지할 수 없도록 할 수 있다. 일부 실시예는 적응형 역치 및/또는 물리학에 기반한 사전 지식(prior)에 기초한 역치를 사용한다. 예를 들면, 표면이 휘어진 경우, 곡률이 높은 영역은 더 강한 편광 신호를 가질 가능성이 더 높다. 따라서, 일부 실시예에 있어서, 이 영역에 대한 역치는 평평하다고 추정되거나 예상되는 영역과는 다르게 설정된다. 이 적응형 역치는 대부분 평평한 표면과 휘어진 표면 사이에서의 편광 강도가 두 자릿수 정도로 서로 상이할 수 있는 것과 같이 (예컨대, 서로 다른 표면 간에 역치의 자릿수가 다를 정도로) 매우 높을 수 있다.
따라서, 본 개시의 일부 실시예는 물체의 표면 자질(feature)을 탐지하기 위한 이상치 탐지 방법에 관련된다. 예를 들면, 본 개시의 일부 실시예에 있어서, 표현 공간 내의 텐서(tensor)는 공지의 대규모로 수집된 양호한 기준 샘플로부터 추출된다. 표현 공간 내의 이들 기준 텐서(reference tensor)는 자연 변동(예컨대, 이들 편광 패턴에서의 자연 변동)에 따라 서로 상이할 수 있다. 따라서, 다양한 기준 텐서를 클러스터화하도록 표현 공간 내의 이들 기준 텐서에 대해서, DOLP의 최대 및 최소를 계산하는 단계, 또는 해당 표면의 서로 다른 부분에 걸친 AOLP 분포 특징, 또는 서로 다른 수준의 DOLP에서의 천이의 평탄도 특징을 평가하는 단계와 같은 하나 이상의 측정 항목 요약을 계산할 수 있다. 이후에, 일련의 잘 알려진 양호한 물체에 대한 이들 측정 항목 요약의 통계적인 분포는 일 표면에 대한 특징 평가를 위한 저장 모델(810)의 일부로 저장될 수 있다.
본 개시의 이들 실시예에서는, 상기한 방법에 기초하여, 저장된 모델(810)이 원본 편광 프레임(18)(또는 표현 공간(50) 내의 계산된 텐서)의 등록에 기초하여 로딩되는 물체의 특정 표면에 대해서 공통적으로 예상되는 특징에 대한 통계 모델로서의 이상치 탐지 모델을 포함하고 있으며, 검사 중인 표면으로부터 계산된 텐서(50)에 대해서 측정값으로부터 계산되는 유사한 측정 항목 요약이 수행된다. 검사 중인 해당 표면에 대한 이들 측정 항목 요약이 이상치 탐지 모델에 표현된 것과 같은 잘 알려진 양호한 샘플로부터의 측정 항목 분포 내에 들어가 있다면, 해당 표면의 이 특정 부분은 깨끗한 또는 결함이 없는 부분으로 표시될 수 있다. 한편, 하나 이상의 이들 측정값이 측정값 분포를 벗어나는 경우(예를 들면, 이미 알려진 양호한 표본의 분포로부터 역치 이상의 거리, 예컨대 평균으로부터 2 표준 편차 이상의 거리에 있는 경우)라면 해당 표면은 결함을 포함하고 있는 표면으로 표시될 수 있다.
훈련된 합성곱 신경망을 이용한 표면 특징 탐지
본 개시의 일부 실시예에 있어서, 저장된 모델(810)은 표현 공간 내에 공급된 텐서(tensor)에 기초하여 물체 표면에서의 하나 이상의 결함을 탐지하도록 훈련된 합성곱 신경망(CNN, convolutional neural network)을 포함하고 있다. 이들 CNN은 라벨이 첨부된 훈련용 데이터(예컨대, 표현 공간 내의 훈련용 텐서를 이용하여 신경망 내의 접속 가중치를 훈련시켜서 라벨이 첨부된 훈련용 데이터에 따라서 결함이 있는 부분에 라벨을 첨부하여 출력하도록 계산되는 데이터)에 기초하여 훈련될 수 있다.
본 개시의 일부 실시예에 있어서, 모델은 결함의 의미적 분할(semantic segmentation)을 위해서 인코더-디코더 신경망, 또는 U-net 아키텍처 중의 하나 이상을 이용하여 구현된다. U-net은 다중 스케일 정보(multiscale information)가 전파될 수 있도록 한다. 본 개시의 일부 실시예에 있어서, 의미적 분할 및/또는 인스턴스 분할을 위한 CNN 아키텍처는 편광 훈련용 데이터(예컨대, 편광 원본 프레임을 훈련용 입력으로 하고 또한 분할 마스크를 라벨이 붙여진 훈련용 출력으로 포함하는 훈련용 데이터)를 이용하여 훈련된다.
심층 인스턴스 분할을 이용하는 본 개시의 일 실시예는 편광 마스크 R-CNN(Polarized Mask R-CNN) 아키텍처를 형성하도록 변형된 마스크 영역 기반 합성곱 신경망(Mask R-CNN) 아키텍처에 기반한다. Mask R-CNN은 H×W×3 텐서의 이미지 명도값(예컨대, 높이 X 폭 X 적색, 녹색, 및 청색 채널에서 컬러 명도)인 입력 이미지(x)를 취하고, 이어서 백본 네트워크를 통해서 실행(C = B(x))시키는 것에 의해서 동작한다. 백본 네트워크(B(x))는 입력된 이미지로부터 유용한 학습 자질의 추출을 담당하며 또한 AlexNet(예컨대, Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "ImageNet classification with deep convolutional neural networks", Advances in neural information processing systems. 2012. 참조), VGG (예컨대, Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition", arXiv preprint arXiv:1409.1556 (2014). 참조), ResNet-101 (예컨대, Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770-778, 2016. 참조), MobileNet (예컨대, Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications", arXiv preprint arXiv:1704.04861(2017). 참조), MobileNetV2 (예컨대, Sandler, Mark, et al. "MobileNetV2: Inverted residuals and linear bottlenecks", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018. 참조), 및 MobileNetV3 (예컨대, Howard, Andrew, et al. "Searching for MobileNetV3", Proceedings of the IEEE International Conference on Computer Vision. 2019. 참조)와 같은 임의의 표준 CNN 아키텍처일 수 있다.
백본 네트워크(B(x))는 일련의 텐서, 예컨대, C = {C 1, C 2, C 3, C 4, C 5}를 출력하며, 여기에서 각각의 텐서(C i )는 서로 다른 해상도의 자질 맵(feature map)을 나타낸다. 이들 자질 맵은 이후에 자질 피라미드 네트워크(FPN, feature pyramid network)(예를 들면, Tsung-Yi Lin, Piotr Doll´ar, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2117-2125, 2017. 참조) 내에서 조합되고, 국부 제안 네트워크(RPN, region proposal network)(예컨대, Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems, pages 91-99, 2015. 참조)로 처리되고, 또한 최종적으로 출력 서브 네트워크(예컨대, Ren et al. and He et al., 전게 참조)를 통과하여 클래스(class), 경계 박스(bounding box), 및 픽셀 단위 분할을 생성한다. 이들은 인스턴스 분할을 위해서 비-최대 억제(non-maximum suppression)되어 병합된다.
일부 실시예에 있어서, Mask R-CNN 아키텍처는 편광 표현 공간 내의 텐서를 포함하는 몇 개의 입력 텐서를 취하도록 구성되고, 또한 제 2 표현 공간 내의 다중 스케일 제 2 텐서를 계산하도록 구성된 편광 마스크 R-CNN(Polarized Mask R-CNN) 아키텍처의 일 성분으로서 사용된다. 일부 실시예에 있어서, 서로 다른 제 1 표현 공간 내의 텐서는 서로 다른 "모드"(mode)에 있는 것으로 간주되며, 각 모드의 텐서는 각 모드에 대한 별도의 Mask R-CNN 백본으로 공급되어질 수 있다. 이들 각각의 백본(backbone)은 복수의 스케일 또는 (예컨대, 입력된 제 1 텐서의 서로 다른 스케일의 버전에 대응하는) 해상도에서 모드 텐서를 계산하며, 서로 다른 모드에 대해서 서로 다른 스케일로 계산된 모드 텐서는 융합되어 해당 스케일 각각에 대해서 융합된 텐서를 생성한다. 융합된 텐서 또는 제 2 텐서는 이후에 융합된 텐서 또는 제 2 텐서에 기초하여 예측(예컨대, 표면 특징의 식별)을 계산하도록 훈련된 예측 모듈로 공급될 수 있다. 편광 Mask R-CNN(Polarized Mask R-CNN) 아키텍처는 2020년 03월 29일자로 미합중국 특허청에 출원한 미합중국 가출원 제63/001,445호, 및 2020년 08월 28일자로 미합중국 특허청에 출원한 국제 특허 출원 제PCT/US20/48604호에 더욱 상세하게 설명되어 있으며, 그 전체 개시 내용은 참조에 의해서 본 출원 명세서에 합체된다.
본 개시의 일부 실시예가 R-CNN 백본을 포함하는 편광 CNN 아키텍처를 이용하는 표면 특징 평가에 관련되어 있지만, 본 개시의 각 실시예는 이에 한정되지 않으며, AlexNet, VGG, MobileNet, MobileNetV2, MobileNetV3 등과 같은 다른 백본을 Mask R-CNN 백본 중 하나 이상을 대신하여 (예컨대, 모두를 대신하여) 유사한 방식으로 변형할 수 있다.
따라서, 본 개시의 일부 실시예에 있어서, 표면 특징 평가 결과(20)는 편광 자질 표현 공간 내의 텐서를 포함하는 제 1 텐서를, 예를 들면, 편광 마스크 R-CNN 아키텍처와 같은 훈련된 합성곱 신경망(CNN)에 공급하여 분할 맵(segmentation map)을 계산하도록 하여 계산되며, 여기에서, 분할 맵은 (예컨대, 예를 들면, 크랙, 덴트, 불균일한 페인트, 표면 오여물의 존재 등 또는, 예를 들면, 표면 평탄도/조도, 표면 평평도/곡률도 등과 같은) 특정한 표면 특징에 대응하는 (예컨대, 입력된 편광 원본 이미지와 같은) 입력 이미지의 위치 또는 부분을 식별한다.
분류기를 이용한 표면 특징 탐지
본 개시의 일부 실시예에 있어서, 다양한 (예컨대, 결함을 포함하는) 관심 표면 특징을 포함하는 검사 중인 표면 영역을 식별하기 위해 합성곱 신경망을 이용하는 것 대신에, 모델(810)은 주어진 입력을 하나 이상의 카테고리로 분류하는 훈련된 분류기를 포함하고 있다. 예를 들면, 훈련된 분류기는 이 훈련된 분류기가 탐지하도록 훈련된 다수의 서로 다른 가능한 표면 특징과 동일한 길이를 갖는 벡터를 포함하는 특징 평가 출력(20)을 계산할 수 있으며, 여기에서 벡터 내의 각각의 값은 입력 이미지가 대응하는 표면 특징을 나타내는 신뢰도에 대응한다.
분류기는 고정 크기의 입력 이미지를 취하도록 훈련될 수 있으며, 여기에서 입력은, 예를 들면, 원본 편광 프레임으로부터 제 1 표현 공간 내의 제 1 텐서를 추출하고 또한 이 제 1 텐서 전체를 입력으로 하여 분류기로 공급하거나 제 1 텐서를 고정된 크기의 블록으로 분할하는 것에 의해서 계산될 수 있다. 본 개시의 다양한 실시예에 있어서, 분류기는, 예를 들어서, 서포트 벡터 머신(support vector machine), (예컨대, 심층 완전 연결 신경망과 같은) 심층 신경망 등을 포함할 수 있다.
통계 모델을 훈련시키기 위한 훈련용 데이터
본 개시의 각 실시예의 일부 측면은 표면 자질(surface feature)을 탐지하기 위한 통계 모델을 훈련시키기 위한 훈련용 데이터를 준비하는 것과 관련되어 있다. 일부 경우에 있어서, 예를 들면, 편광 카메라를 이용하여 물체 표면의 편광 원본 프레임을 수동으로 캡처하고 또한 해당 이미지의 각 영역을 (예컨대, 서로 다른 유형 소재의 경계, 덴트 및 크랙과 같은 결함의 위치, 또는 평탄할 것으로 기대되는 표면의 거친 부분과 같은 불규칙한 표면과 같은) 관심 표면 특징을 포함하고 있는 것으로 라벨을 처리한 형식과 같은 수작업으로 라벨 처리된 (예컨대, 사람이 라벨을 처리한) 훈련용 데이터를 사용할 수도 있다. 이들 수작업으로 라벨이 첨부된 훈련용 데이터는 상술한 바와 같이 이상치 탐지기 또는 합성곱 신경망과 같은 통계 모델을 훈련시키기 위한 훈련용 세트의 일부로서 이용될 수도 있다.
수작업으로 라벨이 첨부된 훈련용 데이터는 일반적으로 양호한 훈련용 데이터로 간주될 수 있지만, 이 수작업으로 라벨이 첨부된 데이터가 양호한 통계 모델을 훈련시키기에는 충분히 크지 않다는 경우가 있을 수 있다. 따라서, 본 개시의 각 실시예의 일부 측면은 또한 추가적인 훈련용 데이터를 합성하는 단계를 포함할 수 있는 훈련용 데이터 세트를 강화하는 단계와 관련되어 있다.
본 개시의 일부 실시예에 있어서, 관심이 있는 표면 특징을 갖는 또한 갖지 않는 훈련용 물체 데이터를 합성하고 있다. 예를 들면, 탐지기를 훈련시켜 표면의 결함을 탐지하도록 하는 경우, 무결함 표면의 편광 원본 프레임을 크랙(crack), 칩(chip), 불균일한 페인트 칠 등과 같은 결함을 나타내는 편광 원본 프레임과 조합될 수 있다. 이들 별도의 이미지는 (예컨대, 결함을 포함하고 있는 표면의 편광 원본 프레임을 시뮬레이션하거나 또는 합성하기 위해 결함이 없는 편광 원본 프레임에 결함이 있는 편광 원본 프레임을 프로그래밍적으로 복제하거나 합성하는 이미지 편집 툴과 같은) 컴퓨터 그래픽 기법을 이용하여 조합될 수도 있다. 합성된 결함은 청정 표면의 물리적으로 합리적인 위치에 위치할 수 있다(예컨대, 도어 패널에서의 덴트 이미지는 덴트될 수 있는 도어 패널 부분의 이미지에 합성되며 유리창과 같은 물리적으로 비현실적인 영역에는 위치하지 않으며, 마찬가지로, 유리 표면의 칩(chip)은 유리 표면에 합성될 수 있지만 플라스틱 트림(trim)의 이미지에는 합성되지 않는다).
다른 예시로서, 본 개시의 일부 실시예에 있어서, 합성 데이터를 생성하기 위해 생성적 적대 신경망(GAN, generative adversarial network)을 훈련시키며, 여기에서 생성적 네트워크(generative network)는 결함을 나타내는 표면의 편광 원본 프레임을 합성하도록 훈련되고 또한 판단 네트워크(judging network)는 그 입력이 위조되지 않은 편광 원본 프레임인지 (예컨대, 생성적 네트워크에 의해서) 합성된 것인지를 결정하도록 훈련된다.
본 개시의 일부 실시예에 있어서, "도메인 랜덤화"(domain randomization)라고 알려진 기법을 사용하여 "랜덤한" 이미지 기반의 요동을 시뮬레이션된 또는 합성된 훈련용 데이터에 추가하여 합성된 훈련용 데이터가 더욱 더 실세계 데이터와 닮도록 한다. 예를 들면, 본 개시의 일부 실시예에 있어서, 훈련용 데이터에 회전 증강을 적용하여 다양한 자질 중의 회전 형태를 사용하여 이 훈련용 데이터를 증강한다. 이는 자연 이미지에서는 잘 표현되지 않는 극단적인 종횡비를 갖는 결함(예컨대, 스크래치)의 탐지 정밀도에 특히 도움이 될 수 있다.
본 개시의 다양한 실시예에 있어서, 통계 모델(statistical model)은 대응하는 기법에 기초한 훈련용 데이터를 이용하여 훈련된 것이다. 예를 들면, 이상치 탐지 방식을 이용하는 실시예에 있어서, 주어진 표본(샘플)이 수용 가능한지 또는 비정상(예컨대, 결함)인지를 결정하기 위한 역치 거리(예컨대, 2 표준 편차)를 결정하기 위해, 양호한 데이터 세트에 대해서 양호한 데이터 점(data point)의 평균 및 분산과 같은 다양한 통계가 계산된다. 합성곱 신경망(예컨대, 편광 마스크 R-CNN(Polarization Mask R-CNN))과 같은 신경망을 사용하는 실시예에 있어서, 훈련 과정은 역전파 알고리즘(backpropagation algorithm)에 따라서 신경망의 다양한 층위 중의 뉴런(neuron) 간의 연결 가중치를 갱신하고, 구배 강하(gradient descent)를 이용하여 신경망의 출력과 라벨이 부착된 훈련용 데이터 간의 에러(또는 손실)을 최소화하도록 가중치를 반복적으로 조정하는 단계를 포함할 수 있다.
따라서, 본 개시의 각 실시예의 여러 측면은 조립 라인에서 벗어나면서 제조품을 자동화하여 검사하는 것과 같은 자동화된 표면의 특징 평가를 위한 시스템 및 방법을 제공한다. 이들 자동 공정은 제조업자들에게는 자동화 및 이로 인한 검사에서의 노동력의 절감 뿐만 아니라 (예컨대, 제조 공정의 흐름으로부터 결합이 있는 제품을 자동적으로 제거하는 것과 같은) 제품 자체에서의 이상치(anomaly)를 강인하고 정확하게 취급하는 것을 통해 비용 절감을 가능하게 한다.
특정한 예시적인 실시예와 연관시켜 본 발명을 설명하였지만, 본 발명은 개시된 실시예로 한정되지 않으며, 오히려 첨부한 청구 범위 및 그 등가물의 정신 및 범위 내에 포함되는 다양한 변형 및 유사한 배열을 포함하고자 의도되었다.
Claims (26)
- 표면 모델링 시스템을 위한 컴퓨터 구현 방법에 있어서,
상기 표면 모델링 시스템은 편광 카메라, 및 프로세서와 인스트럭션을 저장하고 있는 메모리를 포함하는 처리 시스템;을 포함하며,
상기 컴퓨터 구현 방법은,
물리적 물체 표면의 하나 이상의 편광 원본 프레임을 수신하는 단계 -- 상기 편광 원본 프레임은 편광 필터를 포함하는 상기 편광 카메라에 의해서 서로 다른 편광에서 캡처됨;
상기 처리 시스템에 의해서, 상기 편광 원본 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하는 단계; 및
상기 처리 시스템에 의해서, 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 물리적 물체의 상기 표면의 표면 특징을 탐지하는 단계;를 포함하며,
상기 표면 특징은 상기 물리적 물체의 상기 표면 내의 결함 탐지를 포함하며,
상기 표면 특징을 탐지하는 상기 단계는,
상기 처리 시스템에 의해서, 상기 물리적 물체의 상기 표면의 일 위치에 대응하는 저장된 모델을 로딩하는 단계; 및
상기 처리 시스템에 의해서, 상기 저장된 모델과 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 따라서 상기 표면 특징을 계산하는 단계;를 포함하며,
상기 저장된 모델은 상기 하나 이상의 편광 표현 공간 내의 하나 이상의 기준 텐서를 포함하며;
상기 표면 특징의 계산 단계는 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 기준 텐서와 상기 하나 이상의 제 1 텐서 간의 차이를 계산하는 단계를 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 1에 있어서,
상기 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서는,
DOLP 표현 공간 내의 선형 편광도(DOLP, degree of linear polarization) 이미지; 및
AOLP 표현 공간 내의 선형 편광각(AOLP, angle of linear polarization) 이미지;를 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 1에 있어서,
상기 하나 이상의 제 1 텐서는 하나 이상의 비편광 표현 공간 내의 하나 이상의 비편광 텐서를 더 포함하며;
상기 하나 이상의 비편광 텐서는 명도 표현 공간 내의 하나 이상의 명도 이미지를 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 3에 있어서,
상기 하나 이상의 명도 이미지는,
제 1 컬러 명도 이미지;
제 2 컬러 명도 이미지; 및
제 3 컬러 명도 이미지;를 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 차이는 프레넬 거리(Fresnel distance)를 이용하여 계산되는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 1에 있어서,
상기 저장된 모델은 기준 3 차원 모델을 포함하며,
상기 표면 특징의 상기 계산 단계는,
편광으로부터의 형상(SfP, Shape from Polarization) 방정식의 사용에 기초하여 상기 물리적 물체의 상기 표면의 3 차원 점군(point cloud)을 계산하는 단계; 및
상기 3 차원 점군과 상기 기준 3 차원 모델 간의 차이를 계산하는 단계;를 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 1에 있어서,
상기 저장된 모델은 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 표면 특징의 예측치를 계산하도록 구성된 훈련된 통계 모델을 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 10에 있어서,
상기 훈련된 통계 모델은 이상치 탐지 모델을 포함하는 것을 특징으로 하는, 컴퓨터 구현 방법. - 청구항 10에 있어서,
상기 훈련된 통계 모델은 상기 물리적 물체의 상기 표면 내의 결함을 탐지하도록 훈련된 합성곱 신경망을 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 청구항 10에 있어서,
상기 훈련된 통계 모델은 결함을 탐지하도록 훈련된 훈련된 분류기를 포함하는 것을 특징으로 하는,
컴퓨터 구현 방법. - 표면 모델링 시스템에 있어서,
편광 필터를 포함하는 편광 카메라 -- 상기 편광 카메라는 서로 다른 편광에서 편광 원본 프레임을 캡처하도록 구성됨; 및
프로세서와 인스트럭션을 저장하고 있는 메모리를 포함하는 처리 시스템;을 포함하며, 상기 인스트럭션은 상기 프로세서에 의해서 실행될 때 상기 프로세서로 하여금,
물리적인 물체 표면의 하나 이상의 편광 원본 프레임을 수신하도록 하고 -- 상기 편광 원본 프레임은 광의 서로 다른 편광에 대응함;
상기 편광 원본 프레임으로부터 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서를 추출하도록 하고, 또한
상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 물리적 물체의 상기 표면의 표면 특징을 탐지하도록 하며,
상기 표면 특징은 상기 물리적 물체의 상기 표면 내의 결함 탐지를 포함하며,
상기 메모리는, 상기 프로세서에 의해서 실행될 때, 상기 프로세서로 하여금,
상기 물리적 물체의 상기 표면의 일 위치에 대응하는 저장된 모델을 로딩하는 단계; 및
상기 저장된 모델과 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 따라서 상기 표면 특징을 계산하는 단계;에 의해서
상기 표면 특징을 탐지하도록 하는 인스트럭션을 더 저장하고 있으며,
상기 저장된 모델은 상기 하나 이상의 편광 표현 공간 내의 하나 이상의 기준 텐서를 포함하며;
상기 메모리는, 상기 프로세서에 의해서 실행될 때, 상기 프로세서로 하여금, 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 기준 텐서와 상기 하나 이상의 제 1 텐서 간의 차이를 계산하는 단계에 의해서 상기 표면 특징을 계산하도록 하는 인스트럭션을 더 저장하고 있는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 14에 있어서,
상기 하나 이상의 편광 표현 공간 내의 하나 이상의 제 1 텐서는,
DOLP 표현 공간 내의 선형 편광도(DOLP, degree of linear polarization) 이미지; 및
AOLP 표현 공간 내의 선형 편광각(AOLP, angle of linear polarization) 이미지;를 포함하는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 14에 있어서,
상기 하나 이상의 제 1 텐서는 하나 이상의 비편광 표현 공간 내의 하나 이상의 비편광 텐서를 더 포함하며;
상기 하나 이상의 비편광 텐서는 명도 표현 공간 내의 하나 이상의 명도 이미지를 포함하는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 16에 있어서,
상기 하나 이상의 명도 이미지는,
제 1 컬러 명도 이미지;
제 2 컬러 명도 이미지; 및
제 3 컬러 명도 이미지;를 포함하는 것을 특징으로 하는,
표면 모델링 시스템. - 삭제
- 삭제
- 삭제
- 청구항 14에 있어서,
상기 차이는 프레넬 거리(Fresnel distance)를 이용하여 계산되는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 14에 있어서,
상기 저장된 모델은 기준 3 차원 모델을 포함하며,
상기 메모리는, 상기 프로세서에 의해서 실행될 때, 상기 프로세서로 하여금,
편광으로부터의 형상(SfP, Shape from Polarization) 방정식의 사용에 기초하여 상기 물리적 물체의 상기 표면의 3 차원 점군(point cloud)을 계산하는 단계; 및
상기 3 차원 점군과 상기 기준 3 차원 모델 간의 차이를 계산하는 단계;에 의해서 상기 표면 특징을 계산하도록 하는 인스트럭션을 더 저장하고 있는 것을 특징으로 하는,
표면 모델링 시스템.
- 청구항 14에 있어서,
상기 저장된 모델은 상기 하나 이상의 편광 표현 공간 내의 상기 하나 이상의 제 1 텐서에 기초하여 상기 표면 특징의 예측치를 계산하도록 구성된 훈련된 통계 모델을 포함하는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 23에 있어서,
상기 훈련된 통계 모델은 이상치 탐지 모델을 포함하는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 23에 있어서,
상기 훈련된 통계 모델은 상기 물리적 물체의 상기 표면 내의 결함을 탐지하도록 훈련된 합성곱 신경망을 포함하는 것을 특징으로 하는,
표면 모델링 시스템. - 청구항 23에 있어서,
상기 훈련된 통계 모델은 결함을 탐지하도록 훈련된 훈련된 분류기를 포함하는 것을 특징으로 하는,
표면 모델링 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962901731P | 2019-09-17 | 2019-09-17 | |
| US62/901,731 | 2019-09-17 | ||
| US202063001445P | 2020-03-29 | 2020-03-29 | |
| US63/001,445 | 2020-03-29 | ||
| PCT/US2020/051243 WO2021055585A1 (en) | 2019-09-17 | 2020-09-17 | Systems and methods for surface modeling using polarization cues |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220051430A KR20220051430A (ko) | 2022-04-26 |
| KR102646521B1 true KR102646521B1 (ko) | 2024-03-21 |
Family
ID=74884390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227012815A KR102646521B1 (ko) | 2019-09-17 | 2020-09-17 | 편광 큐를 이용한 표면 모델링 시스템 및 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11270110B2 (ko) |
| EP (1) | EP3821267A4 (ko) |
| JP (1) | JP7273250B2 (ko) |
| KR (1) | KR102646521B1 (ko) |
| CN (1) | CN114600165A (ko) |
| BR (1) | BR112022004811A2 (ko) |
| DE (1) | DE112020004391T5 (ko) |
| MX (1) | MX2022003020A (ko) |
| WO (1) | WO2021055585A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10877540B2 (en) * | 2019-10-04 | 2020-12-29 | Intel Corporation | Content adaptive display power savings systems and methods |
| US20220307819A1 (en) * | 2019-10-07 | 2022-09-29 | Intrinsic Innovation Llc | Systems and methods for surface normals sensing with polarization |
| JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
| US11430105B2 (en) * | 2020-06-15 | 2022-08-30 | Mitutoyo Corporation | Workpiece inspection and defect detection system including monitoring of workpiece images |
| CH717628B1 (fr) | 2020-07-14 | 2024-05-31 | Chopard Tech Sa | Article de joaillerie. |
| EP3971556A1 (en) * | 2020-09-17 | 2022-03-23 | Evonik Operations GmbH | Qualitative or quantitative characterization of a coating surface |
| US20220272285A1 (en) * | 2021-02-23 | 2022-08-25 | Fris, Inc. | Sensing and processing unit generating a trigger signal upon occurrence of specified conditions |
| US11829450B2 (en) * | 2021-03-26 | 2023-11-28 | Siemens Healthineers International Ag | Dual domain tracking of target structures |
| US11546508B1 (en) * | 2021-07-21 | 2023-01-03 | Black Sesame Technologies Inc. | Polarization imaging system with super resolution fusion |
| US11756186B2 (en) | 2021-09-15 | 2023-09-12 | Mitutoyo Corporation | Workpiece inspection and defect detection system utilizing color channels |
| CN114897725A (zh) * | 2022-05-09 | 2022-08-12 | 马上消费金融股份有限公司 | 图像降噪方法、装置、设备及存储介质 |
| CN116109798B (zh) * | 2023-04-04 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、设备及介质 |
| CN116878407B (zh) * | 2023-09-08 | 2023-12-01 | 法博思(宁波)半导体设备有限公司 | 一种基于红外干涉的外延片测厚方法及装置 |
| CN117437202A (zh) * | 2023-11-01 | 2024-01-23 | 深圳市宇创显示科技有限公司 | 基于图像的偏光片缺陷检测方法、装置、设备及存储介质 |
| CN117291918B (zh) * | 2023-11-24 | 2024-02-06 | 吉林大学 | 一种基于三维点云的汽车冲压件缺陷检测方法 |
| CN117313552B (zh) * | 2023-11-28 | 2024-02-02 | 菏泽学院 | 半导体器件建模方法、系统及电子设备 |
Family Cites Families (1068)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4124798A (en) | 1965-12-09 | 1978-11-07 | Thompson Kenneth B | Optical viewing apparatus |
| US4198646A (en) | 1978-10-13 | 1980-04-15 | Hughes Aircraft Company | Monolithic imager for near-IR |
| US4323925A (en) | 1980-07-07 | 1982-04-06 | Avco Everett Research Laboratory, Inc. | Method and apparatus for arraying image sensor modules |
| JPS5769476A (en) | 1980-10-16 | 1982-04-28 | Fuji Xerox Co Ltd | Reader control system |
| JPS5925483A (ja) | 1982-08-04 | 1984-02-09 | Hitachi Denshi Ltd | 固体撮像装置 |
| US4652909A (en) | 1982-09-14 | 1987-03-24 | New York Institute Of Technology | Television camera and recording system for high definition television having imagers of different frame rate |
| US4460449A (en) | 1983-01-03 | 1984-07-17 | Amerace Corporation | Apparatus for making a tool |
| US4888645A (en) | 1984-01-16 | 1989-12-19 | International Business Machines Corporation | Method for encoding and decoding a digital image |
| JPS60228564A (ja) | 1984-04-27 | 1985-11-13 | Tokuyama Soda Co Ltd | 液晶性組成物 |
| JPS6129851A (ja) | 1984-07-20 | 1986-02-10 | Toshiba Corp | 電子写真装置 |
| JPS6140709U (ja) | 1984-08-20 | 1986-03-14 | 三洋電機株式会社 | 磁気ヘツド |
| EP0289885A1 (de) | 1987-05-08 | 1988-11-09 | Siemens Aktiengesellschaft | Blendensystem zur Erzeugung mehrerer Teilchensonden mit veränderbarem Querschnitt |
| JPS6437177A (en) | 1987-08-03 | 1989-02-07 | Canon Kk | Image pickup device |
| DE58902538D1 (de) | 1988-05-19 | 1992-12-03 | Siemens Ag | Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens. |
| US5070414A (en) | 1988-09-20 | 1991-12-03 | Kabushiki Kaisha Toshiba | Method and apparatus for reading image information formed on material |
| JPH02285772A (ja) | 1989-04-26 | 1990-11-26 | Toshiba Corp | 画像読取装置 |
| US4962425A (en) | 1988-10-27 | 1990-10-09 | National Research Council Of Canada/Conseil National Deresherches Canada | Photometric device |
| US5157499A (en) | 1990-06-29 | 1992-10-20 | Kabushiki Kaisha N A C | High-speed video camera using solid-state image sensor |
| US5144448A (en) | 1990-07-31 | 1992-09-01 | Vidar Systems Corporation | Scanning apparatus using multiple CCD arrays and related method |
| US5463464A (en) | 1991-10-04 | 1995-10-31 | Kms Fusion, Inc. | Electro-optical system for gauging surface profile deviations using infrared radiation |
| US5325449A (en) | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
| JP3032382B2 (ja) | 1992-07-13 | 2000-04-17 | シャープ株式会社 | デジタル信号のサンプリング周波数変換装置 |
| JPH06129851A (ja) | 1992-10-13 | 1994-05-13 | Sumitomo Electric Ind Ltd | ステレオカメラの校正方法 |
| US5670935A (en) | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| EP0687366B1 (en) | 1993-03-03 | 2000-01-26 | STREET, Graham Stewart Brandon | Method and apparatus for image alignment |
| US5659424A (en) | 1993-05-25 | 1997-08-19 | Hitachi, Ltd. | Projecting lens and image display device |
| JPH0715457A (ja) | 1993-06-18 | 1995-01-17 | Hitachi Ltd | ディジタル通信切替方式 |
| US5475422A (en) | 1993-06-21 | 1995-12-12 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
| US6419638B1 (en) | 1993-07-20 | 2002-07-16 | Sam H. Hay | Optical recognition methods for locating eyes |
| US6095989A (en) | 1993-07-20 | 2000-08-01 | Hay; Sam H. | Optical recognition methods for locating eyes |
| JP2761837B2 (ja) | 1993-08-19 | 1998-06-04 | 株式会社日鉄エレックス | 立体像表示装置 |
| EP0677821A3 (en) | 1994-04-14 | 1996-03-06 | Hewlett Packard Co | Enlargement of a digital image by slaving. |
| WO1995034044A1 (en) | 1994-06-09 | 1995-12-14 | Kollmorgen Instrument Corporation | Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line |
| US5517236A (en) | 1994-06-22 | 1996-05-14 | Philips Electronics North America Corporation | Video surveillance system |
| JPH0877356A (ja) | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
| US5703961A (en) | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| US20020195548A1 (en) | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
| US5629524A (en) | 1995-02-21 | 1997-05-13 | Advanced Scientific Concepts, Inc. | High speed crystallography detector |
| EP0739039A3 (en) | 1995-04-18 | 1998-03-04 | Interuniversitair Micro-Elektronica Centrum Vzw | Pixel structure, image sensor using such pixel, structure and corresponding peripheric circuitry |
| US5963664A (en) | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
| US6005607A (en) | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
| US5675377A (en) | 1995-06-30 | 1997-10-07 | Telefonaktiebolaget Lm Ericsson | True three-dimensional imaging and display system |
| GB2302978A (en) | 1995-07-04 | 1997-02-05 | Sharp Kk | LIquid crystal device |
| US5880691A (en) | 1995-11-07 | 1999-03-09 | California Institute Of Technology | Capacitively coupled successive approximation ultra low power analog-to-digital converter |
| US5757425A (en) | 1995-12-19 | 1998-05-26 | Eastman Kodak Company | Method and apparatus for independently calibrating light source and photosensor arrays |
| JP3502713B2 (ja) | 1995-12-21 | 2004-03-02 | 本田技研工業株式会社 | 車両用距離測定装置 |
| JPH09181913A (ja) | 1995-12-26 | 1997-07-11 | Olympus Optical Co Ltd | カメラシステム |
| US5793900A (en) | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
| US5973844A (en) | 1996-01-26 | 1999-10-26 | Proxemics | Lenslet array systems and methods |
| US6124974A (en) | 1996-01-26 | 2000-09-26 | Proxemics | Lenslet array systems and methods |
| US6493465B2 (en) | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
| US5832312A (en) | 1996-02-22 | 1998-11-03 | Eastman Kodak Company | Watertight body for accommodating a photographic camera |
| US5867584A (en) | 1996-02-22 | 1999-02-02 | Nec Corporation | Video object tracking method for interactive multimedia applications |
| MY118360A (en) | 1996-04-30 | 2004-10-30 | Nippon Telegraph & Telephone | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding |
| US6084979A (en) | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
| US6002743A (en) | 1996-07-17 | 1999-12-14 | Telymonde; Timothy D. | Method and apparatus for image acquisition from a plurality of cameras |
| GB9616262D0 (en) | 1996-08-02 | 1996-09-11 | Philips Electronics Nv | Post-processing generation of focus/defocus effects for computer graphics images |
| US6141048A (en) | 1996-08-19 | 2000-10-31 | Eastman Kodak Company | Compact image capture device |
| US6137535A (en) | 1996-11-04 | 2000-10-24 | Eastman Kodak Company | Compact digital camera with segmented fields of view |
| US5808350A (en) | 1997-01-03 | 1998-09-15 | Raytheon Company | Integrated IR, visible and NIR sensor and methods of fabricating same |
| JPH10232626A (ja) | 1997-02-20 | 1998-09-02 | Canon Inc | 立体画像表示装置 |
| JPH10253351A (ja) | 1997-03-14 | 1998-09-25 | Kyocera Corp | 測距装置 |
| US5801919A (en) | 1997-04-04 | 1998-09-01 | Gateway 2000, Inc. | Adjustably mounted camera assembly for portable computers |
| US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| NO304715B1 (no) | 1997-05-06 | 1999-02-01 | Dimensions As | FremgangsmÕte ved bildebehandling |
| US6515701B2 (en) | 1997-07-24 | 2003-02-04 | Polaroid Corporation | Focal plane exposure control system for CMOS area image sensors |
| US6563537B1 (en) | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| JP3430935B2 (ja) | 1997-10-20 | 2003-07-28 | 富士ゼロックス株式会社 | 画像読取装置及びレンズ |
| NO305728B1 (no) | 1997-11-14 | 1999-07-12 | Reidar E Tangen | Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme |
| JP4243779B2 (ja) | 1997-11-14 | 2009-03-25 | 株式会社ニコン | 拡散板の製造方法および拡散板、並びにマイクロレンズアレイの製造方法およびマイクロレンズアレイ |
| US6069365A (en) | 1997-11-25 | 2000-05-30 | Alan Y. Chow | Optical processor based imaging system |
| JPH11242189A (ja) | 1997-12-25 | 1999-09-07 | Olympus Optical Co Ltd | 像形成法、像形成装置 |
| US6721008B2 (en) | 1998-01-22 | 2004-04-13 | Eastman Kodak Company | Integrated CMOS active pixel digital camera |
| US6833863B1 (en) | 1998-02-06 | 2004-12-21 | Intel Corporation | Method and apparatus for still image capture during video streaming operations of a tethered digital camera |
| JPH11223708A (ja) | 1998-02-09 | 1999-08-17 | Nikon Corp | 圧子およびマイクロ光学素子アレイの製造方法 |
| US6198577B1 (en) | 1998-03-10 | 2001-03-06 | Glaxo Wellcome, Inc. | Doubly telecentric lens and imaging system for multiwell plates |
| US6054703A (en) | 1998-03-20 | 2000-04-25 | Syscan, Inc. | Sensing module for accelerating signal readout from image sensors |
| US6160909A (en) | 1998-04-01 | 2000-12-12 | Canon Kabushiki Kaisha | Depth control for stereoscopic images |
| KR100307883B1 (ko) | 1998-04-13 | 2001-10-19 | 박호군 | 정합화소수를이용한유사도측정방법및이를구현하기위한장치 |
| JP3745117B2 (ja) | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP3931936B2 (ja) | 1998-05-11 | 2007-06-20 | セイコーエプソン株式会社 | マイクロレンズアレイ基板及びその製造方法並びに表示装置 |
| JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
| US6205241B1 (en) | 1998-06-01 | 2001-03-20 | Canon Kabushiki Kaisha | Compression of stereoscopic images |
| US6198852B1 (en) | 1998-06-01 | 2001-03-06 | Yeda Research And Development Co., Ltd. | View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry |
| US6137100A (en) | 1998-06-08 | 2000-10-24 | Photobit Corporation | CMOS image sensor with different pixel sizes for different colors |
| US6069351A (en) | 1998-07-16 | 2000-05-30 | Intel Corporation | Focal plane processor for scaling information from image sensors |
| US6903770B1 (en) | 1998-07-27 | 2005-06-07 | Sanyo Electric Co., Ltd. | Digital camera which produces a single image based on two exposures |
| US6340994B1 (en) | 1998-08-12 | 2002-01-22 | Pixonics, Llc | System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems |
| DE19838362C1 (de) | 1998-08-18 | 2000-02-10 | Deutsch Zentr Luft & Raumfahrt | Fokalebenenplatte für eine hochauflösende CCD-Kamera |
| US6269175B1 (en) | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| US6879735B1 (en) | 1998-09-14 | 2005-04-12 | University Of Utah Reasearch Foundation | Method of digital image enhancement and sharpening |
| US6185529B1 (en) | 1998-09-14 | 2001-02-06 | International Business Machines Corporation | Speech recognition aided by lateral profile image |
| US6310650B1 (en) | 1998-09-23 | 2001-10-30 | Honeywell International Inc. | Method and apparatus for calibrating a tiled display |
| GB2343320B (en) | 1998-10-31 | 2003-03-26 | Ibm | Camera system for three dimentional images and video |
| JP3596314B2 (ja) | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
| US6700588B1 (en) | 1998-11-09 | 2004-03-02 | Broadcom Corporation | Apparatus and method for blending graphics and video surfaces |
| US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
| JP3875423B2 (ja) | 1999-01-19 | 2007-01-31 | 日本放送協会 | 固体撮像素子およびそれ用の映像信号出力装置 |
| US6603513B1 (en) | 1999-02-16 | 2003-08-05 | Micron Technology, Inc. | Using a single control line to provide select and reset signals to image sensors in two rows of a digital imaging device |
| JP3634677B2 (ja) | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US6563540B2 (en) | 1999-02-26 | 2003-05-13 | Intel Corporation | Light sensor with increased dynamic range |
| US20020063807A1 (en) | 1999-04-19 | 2002-05-30 | Neal Margulis | Method for Performing Image Transforms in a Digital Display System |
| US6819358B1 (en) | 1999-04-26 | 2004-11-16 | Microsoft Corporation | Error calibration for digital image sensors and apparatus using the same |
| US6292713B1 (en) | 1999-05-20 | 2001-09-18 | Compaq Computer Corporation | Robotic telepresence system |
| US6864916B1 (en) | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
| JP2001008235A (ja) | 1999-06-25 | 2001-01-12 | Minolta Co Ltd | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 |
| JP2001042042A (ja) | 1999-07-27 | 2001-02-16 | Canon Inc | 撮像装置 |
| US6801653B1 (en) | 1999-08-05 | 2004-10-05 | Sony Corporation | Information processing apparatus and method as well as medium |
| US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
| US6647142B1 (en) | 1999-08-19 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Badge identification system |
| US6771833B1 (en) | 1999-08-20 | 2004-08-03 | Eastman Kodak Company | Method and system for enhancing digital images |
| US6628330B1 (en) | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
| US6358862B1 (en) | 1999-09-02 | 2002-03-19 | Micron Technology, Inc | Passivation integrity improvements |
| JP3280001B2 (ja) | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
| US6639596B1 (en) | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
| US6628845B1 (en) | 1999-10-20 | 2003-09-30 | Nec Laboratories America, Inc. | Method for subpixel registration of images |
| US6774941B1 (en) | 1999-10-26 | 2004-08-10 | National Semiconductor Corporation | CCD output processing stage that amplifies signals from colored pixels based on the conversion efficiency of the colored pixels |
| US6671399B1 (en) | 1999-10-27 | 2003-12-30 | Canon Kabushiki Kaisha | Fast epipolar line adjustment of stereo pairs |
| US6674892B1 (en) | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
| JP2001195050A (ja) | 1999-11-05 | 2001-07-19 | Mitsubishi Electric Corp | グラフィックアクセラレータ |
| DE60014420T2 (de) | 1999-11-26 | 2005-10-13 | Sanyo Electric Co., Ltd., Moriguchi | Verfahren zur 2d/3d videoumwandlung |
| JP3950926B2 (ja) | 1999-11-30 | 2007-08-01 | エーユー オプトロニクス コーポレイション | 画像表示方法、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス |
| JP3728160B2 (ja) | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
| US7068851B1 (en) | 1999-12-10 | 2006-06-27 | Ricoh Co., Ltd. | Multiscale sharpening and smoothing with wavelets |
| FI107680B (fi) | 1999-12-22 | 2001-09-14 | Nokia Oyj | Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite |
| US6502097B1 (en) | 1999-12-23 | 2002-12-31 | Microsoft Corporation | Data structure for efficient access to variable-size data objects |
| US6476805B1 (en) | 1999-12-23 | 2002-11-05 | Microsoft Corporation | Techniques for spatial displacement estimation and multi-resolution operations on light fields |
| JP2001194114A (ja) | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
| EP3620210A1 (en) | 2000-02-18 | 2020-03-11 | William Beaumont Hospital | Cone-beam computerized tomography with a flat-panel imager |
| US6523046B2 (en) | 2000-02-25 | 2003-02-18 | Microsoft Corporation | Infrastructure and method for supporting generic multimedia metadata |
| JP2001264033A (ja) | 2000-03-17 | 2001-09-26 | Sony Corp | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 |
| US6571466B1 (en) | 2000-03-27 | 2003-06-03 | Amkor Technology, Inc. | Flip chip image sensor package fabrication method |
| JP2001277260A (ja) | 2000-03-30 | 2001-10-09 | Seiko Epson Corp | マイクロレンズアレイ、その製造方法及びその製造用原盤並びに表示装置 |
| WO2001075949A1 (fr) | 2000-04-04 | 2001-10-11 | Advantest Corporation | Appareil d'exposition multifaisceau comprenant une lentille electronique multiaxe, et procede de fabrication d'un dispositif a semi-conducteur |
| US20020015536A1 (en) | 2000-04-24 | 2002-02-07 | Warren Penny G. | Apparatus and method for color image fusion |
| JP2001337263A (ja) | 2000-05-25 | 2001-12-07 | Olympus Optical Co Ltd | 測距装置 |
| JP4501239B2 (ja) | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| KR20030028553A (ko) | 2000-07-21 | 2003-04-08 | 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 | 이미지 모자이크 방법 및 장치 |
| AU2001277110A1 (en) | 2000-07-21 | 2002-02-05 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for reducing distortion in images |
| US7154546B1 (en) | 2000-08-07 | 2006-12-26 | Micron Technology, Inc. | Pixel optimization for color |
| ATE313218T1 (de) | 2000-08-25 | 2005-12-15 | Fuji Photo Film Co Ltd | Vorrichtung zur parallaxbildaufnahme und parallaxbildverarbeitung |
| US7085409B2 (en) | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| US6734905B2 (en) | 2000-10-20 | 2004-05-11 | Micron Technology, Inc. | Dynamic range extension for CMOS image sensors |
| US6774889B1 (en) | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
| US7262799B2 (en) | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
| US6476971B1 (en) | 2000-10-31 | 2002-11-05 | Eastman Kodak Company | Method of manufacturing a microlens array mold and a microlens array |
| JP3918499B2 (ja) | 2000-11-01 | 2007-05-23 | セイコーエプソン株式会社 | 間隙測定方法、間隙測定装置、形状測定方法、形状測定装置並びに液晶装置の製造方法 |
| US6573912B1 (en) | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
| US6788338B1 (en) | 2000-11-20 | 2004-09-07 | Petko Dimitrov Dinev | High resolution video camera apparatus having two image sensors and signal processing |
| US7490774B2 (en) | 2003-11-13 | 2009-02-17 | Metrologic Instruments, Inc. | Hand-supportable imaging based bar code symbol reader employing automatic light exposure measurement and illumination control subsystem integrated therein |
| JP2002171537A (ja) | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
| ATE552572T1 (de) | 2000-12-01 | 2012-04-15 | Imax Corp | Verfahren und vorrichtung zum erzeugen hochauflösender bilder |
| WO2002047031A2 (en) | 2000-12-05 | 2002-06-13 | Yeda Research And Development Co. Ltd. | Apparatus and method for alignment of spatial or temporal non-overlapping image sequences |
| JP2002252338A (ja) | 2000-12-18 | 2002-09-06 | Canon Inc | 撮像装置及び撮像システム |
| JP2002195910A (ja) | 2000-12-26 | 2002-07-10 | Omron Corp | 光学部品の検査装置 |
| JP2002209226A (ja) | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
| US7805680B2 (en) | 2001-01-03 | 2010-09-28 | Nokia Corporation | Statistical metering and filtering of content via pixel-based metadata |
| JP3957460B2 (ja) | 2001-01-15 | 2007-08-15 | 沖電気工業株式会社 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
| JP2002250607A (ja) | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
| CN2488005Y (zh) | 2001-03-15 | 2002-04-24 | 左耀太 | 型煤燃烧器 |
| US6635941B2 (en) | 2001-03-21 | 2003-10-21 | Canon Kabushiki Kaisha | Structure of semiconductor device with improved reliability |
| JP2002324743A (ja) | 2001-04-24 | 2002-11-08 | Canon Inc | 露光方法及び装置 |
| US6443579B1 (en) | 2001-05-02 | 2002-09-03 | Kenneth Myers | Field-of-view controlling arrangements |
| US7235785B2 (en) | 2001-05-11 | 2007-06-26 | Irvine Sensors Corp. | Imaging device with multiple fields of view incorporating memory-based temperature compensation of an uncooled focal plane array |
| US20020167537A1 (en) | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
| US20020190991A1 (en) | 2001-05-16 | 2002-12-19 | Daniel Efran | 3-D instant replay system and method |
| US7738013B2 (en) | 2001-05-29 | 2010-06-15 | Samsung Electronics Co., Ltd. | Systems and methods for power conservation in a CMOS imager |
| WO2002098112A2 (en) | 2001-05-29 | 2002-12-05 | Transchip, Inc. | Patent application cmos imager for cellular applications and methods of using such |
| US6482669B1 (en) | 2001-05-30 | 2002-11-19 | Taiwan Semiconductor Manufacturing Company | Colors only process to reduce package yield loss |
| US6525302B2 (en) | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
| US7113634B2 (en) | 2001-07-31 | 2006-09-26 | Canon Kabushiki Kaisha | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
| US20030025227A1 (en) | 2001-08-02 | 2003-02-06 | Zograph, Llc | Reproduction of relief patterns |
| WO2003014796A1 (en) | 2001-08-09 | 2003-02-20 | The Trustees Of Columbia University In The City Of New York | Adaptive imaging using digital light processing |
| DE60141901D1 (de) | 2001-08-31 | 2010-06-02 | St Microelectronics Srl | Störschutzfilter für Bayermusterbilddaten |
| JP3978706B2 (ja) | 2001-09-20 | 2007-09-19 | セイコーエプソン株式会社 | 微細構造体の製造方法 |
| JP2003139910A (ja) | 2001-10-30 | 2003-05-14 | Sony Corp | 光学素子、その製造方法およびその製造装置、並びにそれを用いた液晶表示装置および画像投影型表示装置 |
| DE10153237A1 (de) | 2001-10-31 | 2003-05-15 | Lfk Gmbh | Verfahren und Vorrichtung zur automatisierten Bestimmung der Modulations-Transfer-Funktion (MTF) von Focal-Plane-Array (FPA)- Kameras |
| JP3705766B2 (ja) | 2001-11-28 | 2005-10-12 | 独立行政法人科学技術振興機構 | 画像入力装置 |
| JP4249627B2 (ja) | 2001-12-18 | 2009-04-02 | ザ ユニバーシティ オブ ロチェスター | 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像 |
| US7212228B2 (en) | 2002-01-16 | 2007-05-01 | Advanced Telecommunications Research Institute International | Automatic camera calibration method |
| US7302118B2 (en) | 2002-02-07 | 2007-11-27 | Microsoft Corporation | Transformation of images |
| US20030179418A1 (en) | 2002-03-19 | 2003-09-25 | Eastman Kodak Company | Producing a defective pixel map from defective cluster pixels in an area array image sensor |
| US8369607B2 (en) | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
| JP2003298920A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
| US20030188659A1 (en) | 2002-04-05 | 2003-10-09 | Canadian Bank Note Company Limited | Method and apparatus for reproducing a color image based on monochrome images derived therefrom |
| WO2003087929A1 (en) | 2002-04-10 | 2003-10-23 | Pan-X Imaging, Inc. | A digital imaging system |
| US6856314B2 (en) | 2002-04-18 | 2005-02-15 | Stmicroelectronics, Inc. | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling |
| US6917702B2 (en) | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
| JP3567327B2 (ja) | 2002-05-08 | 2004-09-22 | 富士写真光機株式会社 | 撮像レンズ |
| US6783900B2 (en) | 2002-05-13 | 2004-08-31 | Micron Technology, Inc. | Color filter imaging array and method of formation |
| JP2004048644A (ja) | 2002-05-21 | 2004-02-12 | Sony Corp | 情報処理装置、情報処理システム、及び対話者表示方法 |
| JP2003347192A (ja) | 2002-05-24 | 2003-12-05 | Toshiba Corp | エネルギービーム露光方法および露光装置 |
| US7013318B2 (en) | 2002-05-29 | 2006-03-14 | Raytheon Company | Method and system for encapsulating cells |
| JP2004088713A (ja) | 2002-06-27 | 2004-03-18 | Olympus Corp | 撮像レンズユニットおよび撮像装置 |
| US7129981B2 (en) | 2002-06-27 | 2006-10-31 | International Business Machines Corporation | Rendering system and method for images having differing foveal area and peripheral view area resolutions |
| JP4147059B2 (ja) | 2002-07-03 | 2008-09-10 | 株式会社トプコン | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| JP2004037924A (ja) | 2002-07-04 | 2004-02-05 | Minolta Co Ltd | 撮像装置 |
| WO2004008403A2 (en) | 2002-07-15 | 2004-01-22 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
| US20040012689A1 (en) | 2002-07-16 | 2004-01-22 | Fairchild Imaging | Charge coupled devices in tiled arrays |
| JP2004078296A (ja) | 2002-08-09 | 2004-03-11 | Victor Co Of Japan Ltd | 画像生成装置 |
| US20070166447A1 (en) | 2002-08-27 | 2007-07-19 | Select Milk Producers, Inc. | Dairy compositions and method of making |
| AU2003274951A1 (en) | 2002-08-30 | 2004-03-19 | Orasee Corp. | Multi-dimensional image system for digital image input and output |
| US7447380B2 (en) | 2002-09-12 | 2008-11-04 | Inoe Technologies, Llc | Efficient method for creating a viewpoint from plurality of images |
| US20040050104A1 (en) | 2002-09-18 | 2004-03-18 | Eastman Kodak Company | Forming information transfer lens array |
| US20040207836A1 (en) | 2002-09-27 | 2004-10-21 | Rajeshwar Chhibber | High dynamic range optical inspection system and method |
| US7084904B2 (en) | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
| US7477781B1 (en) | 2002-10-10 | 2009-01-13 | Dalsa Corporation | Method and apparatus for adaptive pixel correction of multi-color matrix |
| US20040075654A1 (en) | 2002-10-16 | 2004-04-22 | Silicon Integrated Systems Corp. | 3-D digital image processor and method for visibility processing for use in the same |
| JP4171786B2 (ja) | 2002-10-25 | 2008-10-29 | コニカミノルタホールディングス株式会社 | 画像入力装置 |
| US7742088B2 (en) | 2002-11-19 | 2010-06-22 | Fujifilm Corporation | Image sensor and digital camera |
| KR101237945B1 (ko) | 2002-11-21 | 2013-02-28 | 비젼 Ⅲ 이미징 인코퍼레이티드 | 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법 |
| US20040105021A1 (en) | 2002-12-02 | 2004-06-03 | Bolymedia Holdings Co., Ltd. | Color filter patterns for image sensors |
| US20040114807A1 (en) | 2002-12-13 | 2004-06-17 | Dan Lelescu | Statistical representation and coding of light field data |
| US6878918B2 (en) | 2003-01-09 | 2005-04-12 | Dialdg Semiconductor Gmbh | APS pixel with reset noise suppression and programmable binning capability |
| US7340099B2 (en) | 2003-01-17 | 2008-03-04 | University Of New Brunswick | System and method for image fusion |
| DE10301941B4 (de) | 2003-01-20 | 2005-11-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kamera und Verfahren zur optischen Aufnahme eines Schirms |
| US7379592B2 (en) | 2003-01-21 | 2008-05-27 | United States Of America As Represented By The Secretary Of The Navy | System and method for significant dust detection and enhancement of dust images over land and ocean |
| AU2003272936A1 (en) | 2003-01-31 | 2004-08-23 | The Circle For The Promotion Of Science And Engineering | Method for creating high resolution color image, system for creating high resolution color image and program for creating high resolution color image |
| US7005637B2 (en) | 2003-01-31 | 2006-02-28 | Intevac, Inc. | Backside thinning of image array devices |
| US7308157B2 (en) | 2003-02-03 | 2007-12-11 | Photon Dynamics, Inc. | Method and apparatus for optical inspection of a display |
| WO2004071085A1 (ja) | 2003-02-04 | 2004-08-19 | Matsushita Electric Industrial Co., Ltd. | コード変換方法及びその装置 |
| US7595817B1 (en) | 2003-02-12 | 2009-09-29 | The Research Foundation Of State University Of New York | Linear system based, qualitative independent motion detection from compressed MPEG surveillance video |
| US20040165090A1 (en) | 2003-02-13 | 2004-08-26 | Alex Ning | Auto-focus (AF) lens and process |
| JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
| US7106914B2 (en) | 2003-02-27 | 2006-09-12 | Microsoft Corporation | Bayesian image super resolution |
| US7148861B2 (en) | 2003-03-01 | 2006-12-12 | The Boeing Company | Systems and methods for providing enhanced vision imaging with decreased latency |
| US8218052B2 (en) | 2003-03-07 | 2012-07-10 | Iconix Video, Inc. | High frame rate high definition imaging system and method |
| US7218320B2 (en) | 2003-03-13 | 2007-05-15 | Sony Corporation | System and method for capturing facial and body motion |
| US6801719B1 (en) | 2003-03-14 | 2004-10-05 | Eastman Kodak Company | Camera using beam splitter with micro-lens image amplification |
| US7206449B2 (en) | 2003-03-19 | 2007-04-17 | Mitsubishi Electric Research Laboratories, Inc. | Detecting silhouette edges in images |
| US7425984B2 (en) | 2003-04-04 | 2008-09-16 | Stmicroelectronics, Inc. | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions |
| US7373005B2 (en) | 2003-04-10 | 2008-05-13 | Micron Technology, Inc. | Compression system for integrated sensor devices |
| US7221445B2 (en) | 2003-04-11 | 2007-05-22 | Metrolaser, Inc. | Methods and apparatus for detecting and quantifying surface characteristics and material conditions using light scattering |
| US7097311B2 (en) | 2003-04-19 | 2006-08-29 | University Of Kentucky Research Foundation | Super-resolution overlay in multi-projector displays |
| US6958862B1 (en) | 2003-04-21 | 2005-10-25 | Foveon, Inc. | Use of a lenslet array with a vertically stacked pixel array |
| US7428330B2 (en) | 2003-05-02 | 2008-09-23 | Microsoft Corporation | Cyclopean virtual imaging via generalized probabilistic smoothing |
| SE525665C2 (sv) | 2003-05-08 | 2005-03-29 | Forskarpatent I Syd Ab | Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar |
| CN1802847A (zh) | 2003-05-13 | 2006-07-12 | 艾科悉德成像有限公司 | 用于增强图像分辨率的光学方法和系统 |
| JP2004348674A (ja) | 2003-05-26 | 2004-12-09 | Noritsu Koki Co Ltd | 領域検出方法及びその装置 |
| US20040239782A1 (en) | 2003-05-30 | 2004-12-02 | William Equitz | System and method for efficient improvement of image quality in cameras |
| US20040240052A1 (en) | 2003-06-02 | 2004-12-02 | Pentax Corporation | Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device |
| JP2004363478A (ja) | 2003-06-06 | 2004-12-24 | Sanyo Electric Co Ltd | 半導体装置の製造方法 |
| KR100539234B1 (ko) | 2003-06-11 | 2005-12-27 | 삼성전자주식회사 | 투명 고분자 소재를 적용한 씨모스형 이미지 센서 모듈 및그 제조방법 |
| US6818934B1 (en) | 2003-06-24 | 2004-11-16 | Omnivision International Holding Ltd | Image sensor having micro-lens array separated with trench structures and method of making |
| US7362918B2 (en) | 2003-06-24 | 2008-04-22 | Microsoft Corporation | System and method for de-noising multiple copies of a signal |
| US7495694B2 (en) | 2004-07-28 | 2009-02-24 | Microsoft Corp. | Omni-directional camera with calibration and up look angle improvements |
| US20050117015A1 (en) | 2003-06-26 | 2005-06-02 | Microsoft Corp. | Foveated panoramic camera system |
| US7315630B2 (en) | 2003-06-26 | 2008-01-01 | Fotonation Vision Limited | Perfecting of digital image rendering parameters within rendering devices using face detection |
| US8204330B2 (en) | 2009-06-29 | 2012-06-19 | DigitalOptics Corporation Europe Limited | Adaptive PSF estimation technique using a sharp preview and a blurred image |
| US7388609B2 (en) | 2003-07-07 | 2008-06-17 | Zoran Corporation | Dynamic identification and correction of defective pixels |
| US7090135B2 (en) | 2003-07-07 | 2006-08-15 | Symbol Technologies, Inc. | Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes |
| US20050007461A1 (en) | 2003-07-11 | 2005-01-13 | Novatek Microelectronic Co. | Correction system and method of analog front end |
| JP3731589B2 (ja) | 2003-07-18 | 2006-01-05 | ソニー株式会社 | 撮像装置と同期信号発生装置 |
| US7233737B2 (en) | 2003-08-12 | 2007-06-19 | Micron Technology, Inc. | Fixed-focus camera module and associated method of assembly |
| US20050111705A1 (en) | 2003-08-26 | 2005-05-26 | Roman Waupotitsch | Passive stereo sensing for 3D facial shape biometrics |
| US7643703B2 (en) | 2003-09-03 | 2010-01-05 | Battelle Energy Alliance, Llc | Image change detection systems, methods, and articles of manufacture |
| US20050084179A1 (en) | 2003-09-04 | 2005-04-21 | Keith Hanna | Method and apparatus for performing iris recognition from an image |
| WO2005027038A2 (en) | 2003-09-08 | 2005-03-24 | Honda Motor Co., Ltd. | Systems and methods for directly generating a view using a layered approach |
| JP4015090B2 (ja) | 2003-09-08 | 2007-11-28 | 株式会社東芝 | 立体表示装置および画像表示方法 |
| JP4020850B2 (ja) | 2003-10-06 | 2007-12-12 | 株式会社東芝 | 磁気記録媒体の製造方法、製造装置、インプリントスタンパ及びその製造方法 |
| US7079251B2 (en) | 2003-10-16 | 2006-07-18 | 4D Technology Corporation | Calibration and error correction in multi-channel imaging |
| JP4071793B2 (ja) | 2003-10-22 | 2008-04-02 | 松下電器産業株式会社 | 撮像装置とその製造方法、及び携帯機器 |
| US7840067B2 (en) | 2003-10-24 | 2010-11-23 | Arcsoft, Inc. | Color matching and color correction for images forming a panoramic image |
| JP4118916B2 (ja) | 2003-11-11 | 2008-07-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
| JP4235539B2 (ja) | 2003-12-01 | 2009-03-11 | 独立行政法人科学技術振興機構 | 画像構成装置及び画像構成方法 |
| US20050128509A1 (en) | 2003-12-11 | 2005-06-16 | Timo Tokkonen | Image creating method and imaging device |
| US7328288B2 (en) | 2003-12-11 | 2008-02-05 | Canon Kabushiki Kaisha | Relay apparatus for relaying communication from CPU to peripheral device |
| US7453510B2 (en) | 2003-12-11 | 2008-11-18 | Nokia Corporation | Imaging device |
| JP3859158B2 (ja) | 2003-12-16 | 2006-12-20 | セイコーエプソン株式会社 | マイクロレンズ用凹部付き基板、マイクロレンズ基板、透過型スクリーン、およびリア型プロジェクタ |
| US7123298B2 (en) | 2003-12-18 | 2006-10-17 | Avago Technologies Sensor Ip Pte. Ltd. | Color image sensor with imaging elements imaging on respective regions of sensor elements |
| US7511749B2 (en) | 2003-12-18 | 2009-03-31 | Aptina Imaging Corporation | Color image sensor having imaging element array forming images on respective regions of sensor elements |
| US7376250B2 (en) | 2004-01-05 | 2008-05-20 | Honda Motor Co., Ltd. | Apparatus, method and program for moving object detection |
| US7496293B2 (en) | 2004-01-14 | 2009-02-24 | Elbit Systems Ltd. | Versatile camera for various visibility conditions |
| US7773143B2 (en) | 2004-04-08 | 2010-08-10 | Tessera North America, Inc. | Thin color camera having sub-pixel resolution |
| US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
| US7453688B2 (en) | 2004-01-29 | 2008-11-18 | Inventec Corporation | Multimedia device for portable computers |
| US7774044B2 (en) | 2004-02-17 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | System and method for augmented reality navigation in a medical intervention procedure |
| US20050185711A1 (en) | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
| SE527889C2 (sv) | 2004-03-17 | 2006-07-04 | Thomas Jeff Adamo | Apparat för avbildning av ett objekt |
| JP2006047944A (ja) | 2004-03-24 | 2006-02-16 | Fuji Photo Film Co Ltd | 撮影レンズ |
| JP4468442B2 (ja) | 2004-03-31 | 2010-05-26 | キヤノン株式会社 | イメージングシステム性能測定 |
| US7633511B2 (en) | 2004-04-01 | 2009-12-15 | Microsoft Corporation | Pop-up light field |
| JP4665422B2 (ja) | 2004-04-02 | 2011-04-06 | ソニー株式会社 | 撮像装置 |
| US8634014B2 (en) | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
| US7091531B2 (en) | 2004-04-07 | 2006-08-15 | Micron Technology, Inc. | High dynamic range pixel amplifier |
| US8049806B2 (en) | 2004-09-27 | 2011-11-01 | Digitaloptics Corporation East | Thin camera and associated methods |
| US7620265B1 (en) | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
| JP2005303694A (ja) | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | 複眼撮像装置 |
| US7292735B2 (en) | 2004-04-16 | 2007-11-06 | Microsoft Corporation | Virtual image artifact detection |
| US7773404B2 (en) | 2005-01-07 | 2010-08-10 | Invisage Technologies, Inc. | Quantum dot optical devices with enhanced gain and sensitivity and methods of making same |
| US8218625B2 (en) | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
| US20060034531A1 (en) | 2004-05-10 | 2006-02-16 | Seiko Epson Corporation | Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method |
| JP4691552B2 (ja) | 2004-05-14 | 2011-06-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 乳癌診断システム及び方法 |
| JP4610411B2 (ja) | 2004-05-17 | 2011-01-12 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 物体を含むシーンの様式化された画像を生成する方法 |
| US7355793B2 (en) | 2004-05-19 | 2008-04-08 | The Regents Of The University Of California | Optical system applicable to improving the dynamic range of Shack-Hartmann sensors |
| WO2006083277A2 (en) | 2004-05-25 | 2006-08-10 | Sarnoff Corporation | Low latency pyramid processor for image processing systems |
| JP2005354124A (ja) | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
| US20060013318A1 (en) | 2004-06-22 | 2006-01-19 | Jennifer Webb | Video error detection, recovery, and concealment |
| US7330593B2 (en) | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
| JP4408755B2 (ja) | 2004-06-28 | 2010-02-03 | Ｎｅｃエレクトロニクス株式会社 | デインタリーブ装置、移動通信端末及びデインタリーブ方法 |
| JP4479373B2 (ja) | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
| US7447382B2 (en) | 2004-06-30 | 2008-11-04 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation |
| JP2006033228A (ja) | 2004-07-14 | 2006-02-02 | Victor Co Of Japan Ltd | 画像撮像装置 |
| JP2006033493A (ja) | 2004-07-16 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 撮像装置 |
| US7189954B2 (en) | 2004-07-19 | 2007-03-13 | Micron Technology, Inc. | Microelectronic imagers with optical devices and methods of manufacturing such microelectronic imagers |
| JP2006033570A (ja) | 2004-07-20 | 2006-02-02 | Olympus Corp | 画像生成装置 |
| US8027531B2 (en) | 2004-07-21 | 2011-09-27 | The Board Of Trustees Of The Leland Stanford Junior University | Apparatus and method for capturing a scene using staggered triggering of dense camera arrays |
| GB0416496D0 (en) | 2004-07-23 | 2004-08-25 | Council Of The Central Lab Of | Imaging device |
| US20060023197A1 (en) | 2004-07-27 | 2006-02-02 | Joel Andrew H | Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media |
| US7068432B2 (en) | 2004-07-27 | 2006-06-27 | Micron Technology, Inc. | Controlling lens shape in a microlens array |
| DE102004036469A1 (de) | 2004-07-28 | 2006-02-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung |
| US20060028476A1 (en) | 2004-08-03 | 2006-02-09 | Irwin Sobel | Method and system for providing extensive coverage of an object using virtual cameras |
| US7333652B2 (en) | 2004-08-03 | 2008-02-19 | Sony Corporation | System and method for efficiently performing a depth map recovery procedure |
| JP2006050263A (ja) | 2004-08-04 | 2006-02-16 | Olympus Corp | 画像生成方法および装置 |
| KR20070064319A (ko) | 2004-08-06 | 2007-06-20 | 유니버시티 오브 워싱톤 | 가변 응시 시거리 주사 광 디스플레이 |
| US7430339B2 (en) | 2004-08-09 | 2008-09-30 | Microsoft Corporation | Border matting by dynamic programming |
| US7609302B2 (en) | 2004-08-11 | 2009-10-27 | Micron Technology, Inc. | Correction of non-uniform sensitivity in an image array |
| US7061693B2 (en) | 2004-08-16 | 2006-06-13 | Xceed Imaging Ltd. | Optical method and system for extended depth of focus |
| US7645635B2 (en) | 2004-08-16 | 2010-01-12 | Micron Technology, Inc. | Frame structure and semiconductor attach process for use therewith for fabrication of image sensor packages and the like, and resulting packages |
| EP1797523A4 (en) | 2004-08-23 | 2009-07-22 | Sarnoff Corp | METHOD AND DEVICE FOR PRODUCING A CONDENSED IMAGE |
| US7795577B2 (en) | 2004-08-25 | 2010-09-14 | Richard Ian Olsen | Lens frame and optical focus assembly for imager module |
| US8124929B2 (en) | 2004-08-25 | 2012-02-28 | Protarius Filo Ag, L.L.C. | Imager module optical focus and assembly method |
| US7916180B2 (en) | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
| CN101427372B (zh) | 2004-08-25 | 2012-12-12 | 普罗塔里斯菲洛有限责任公司 | 用于多个相机装置的设备和操作该设备的方法 |
| US7564019B2 (en) | 2005-08-25 | 2009-07-21 | Richard Ian Olsen | Large dynamic range cameras |
| CN100489599C (zh) | 2004-08-26 | 2009-05-20 | 财团法人秋田企业活性化中心 | 液晶透镜 |
| JP4057597B2 (ja) | 2004-08-26 | 2008-03-05 | 独立行政法人科学技術振興機構 | 光学素子 |
| US20060046204A1 (en) | 2004-08-31 | 2006-03-02 | Sharp Laboratories Of America, Inc. | Directly patternable microlens |
| JP2006080852A (ja) | 2004-09-09 | 2006-03-23 | Olympus Corp | 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム |
| US20060055811A1 (en) | 2004-09-14 | 2006-03-16 | Frtiz Bernard S | Imaging system having modules with adaptive optical elements |
| US7145124B2 (en) | 2004-09-15 | 2006-12-05 | Raytheon Company | Multispectral imaging chip using photonic crystals |
| JP4202991B2 (ja) | 2004-09-29 | 2008-12-24 | 株式会社東芝 | 立体画像用データの記録方法及び表示再生方法 |
| JP3977368B2 (ja) | 2004-09-30 | 2007-09-19 | クラリオン株式会社 | 駐車支援システム |
| DE102004049676A1 (de) | 2004-10-12 | 2006-04-20 | Infineon Technologies Ag | Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium |
| JP2006119368A (ja) | 2004-10-21 | 2006-05-11 | Konica Minolta Opto Inc | 広角光学系、撮像レンズ装置、モニタカメラ及びデジタル機器 |
| JP4534715B2 (ja) | 2004-10-22 | 2010-09-01 | 株式会社ニコン | 撮像装置および画像処理プログラム |
| DE102004052994C5 (de) | 2004-11-03 | 2010-08-26 | Vistec Electron Beam Gmbh | Multistrahlmodulator für einen Partikelstrahl und Verwendung des Multistrahlmodulators zur maskenlosen Substratsstrukturierung |
| KR100603601B1 (ko) | 2004-11-08 | 2006-07-24 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
| US7598996B2 (en) | 2004-11-16 | 2009-10-06 | Aptina Imaging Corporation | System and method for focusing a digital camera |
| JP2006165795A (ja) | 2004-12-03 | 2006-06-22 | Canon Inc | 画像形成装置およびその方法 |
| US7538326B2 (en) | 2004-12-03 | 2009-05-26 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
| US7483065B2 (en) | 2004-12-15 | 2009-01-27 | Aptina Imaging Corporation | Multi-lens imaging systems and methods using optical filters having mosaic patterns |
| US7728878B2 (en) | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
| US8854486B2 (en) | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
| US20060139475A1 (en) | 2004-12-23 | 2006-06-29 | Esch John W | Multiple field of view camera arrays |
| US20110102553A1 (en) | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
| JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック，インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
| US7073908B1 (en) | 2005-01-11 | 2006-07-11 | Anthony Italo Provitola | Enhancement of depth perception |
| US7671321B2 (en) | 2005-01-18 | 2010-03-02 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
| US7767949B2 (en) | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
| US7602997B2 (en) | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
| US8700729B2 (en) | 2005-01-21 | 2014-04-15 | Robin Dua | Method and apparatus for managing credentials through a wireless network |
| BRPI0606747A2 (pt) | 2005-02-02 | 2009-07-14 | Intergraph Software Technologies Co | detecção de imagem em tempo real usando dados de polarização |
| US7408627B2 (en) | 2005-02-08 | 2008-08-05 | Canesta, Inc. | Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture |
| US7965314B1 (en) | 2005-02-09 | 2011-06-21 | Flir Systems, Inc. | Foveal camera systems and methods |
| US20060187322A1 (en) | 2005-02-18 | 2006-08-24 | Janson Wilbert F Jr | Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range |
| US7561191B2 (en) | 2005-02-18 | 2009-07-14 | Eastman Kodak Company | Camera phone using multiple lenses and image sensors to provide an extended zoom range |
| JP4871352B2 (ja) | 2005-03-11 | 2012-02-08 | クリアフォーム インク． | ３次元スキャンの自動参照システム及び装置 |
| JP2006258930A (ja) | 2005-03-15 | 2006-09-28 | Nikon Corp | マイクロレンズの製造方法、及びマイクロレンズ用の型の製造方法 |
| US7692147B2 (en) | 2005-03-21 | 2010-04-06 | Massachusetts Institute Of Technology | Real-time, continuous-wave terahertz imaging using a microbolometer focal-plane array |
| WO2006100903A1 (ja) | 2005-03-23 | 2006-09-28 | Matsushita Electric Industrial Co., Ltd. | 車載撮像装置 |
| US7297917B2 (en) | 2005-03-24 | 2007-11-20 | Micron Technology, Inc. | Readout technique for increasing or maintaining dynamic range in image sensors |
| CN101147392B (zh) | 2005-03-24 | 2012-05-09 | 松下电器产业株式会社 | 成像装置及其中使用的透镜阵列 |
| US7683950B2 (en) | 2005-04-26 | 2010-03-23 | Eastman Kodak Company | Method and apparatus for correcting a channel dependent color aberration in a digital image |
| US7956871B2 (en) | 2005-04-28 | 2011-06-07 | Samsung Electronics Co., Ltd. | Color disparity correction in image sensors methods and circuits |
| US7656428B2 (en) | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
| US7876874B2 (en) | 2005-05-18 | 2011-01-25 | Hitachi Medical Corporation | Radiographing apparatus and image processing program |
| US8411182B2 (en) | 2005-06-02 | 2013-04-02 | Xerox Corporation | System for controlling integration times of photosensors in an imaging device |
| US7968888B2 (en) | 2005-06-08 | 2011-06-28 | Panasonic Corporation | Solid-state image sensor and manufacturing method thereof |
| JP2006345233A (ja) | 2005-06-09 | 2006-12-21 | Fujifilm Holdings Corp | 撮像装置及びデジタルカメラ |
| KR100813961B1 (ko) | 2005-06-14 | 2008-03-14 | 삼성전자주식회사 | 영상 수신장치 |
| US7364306B2 (en) | 2005-06-20 | 2008-04-29 | Digital Display Innovations, Llc | Field sequential light source modulation for a digital display system |
| JP4826152B2 (ja) | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
| US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
| ATE536344T1 (de) | 2005-07-04 | 2011-12-15 | High Point Pharmaceuticals Llc | Histamine h3 receptor antagonisten |
| JP4577126B2 (ja) | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| US20090268983A1 (en) | 2005-07-25 | 2009-10-29 | The Regents Of The University Of California | Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images |
| CA2553473A1 (en) | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
| CN100579185C (zh) | 2005-07-26 | 2010-01-06 | 松下电器产业株式会社 | 复眼方式的摄像装置 |
| US7969488B2 (en) | 2005-08-03 | 2011-06-28 | Micron Technologies, Inc. | Correction of cluster defects in imagers |
| US7929801B2 (en) | 2005-08-15 | 2011-04-19 | Sony Corporation | Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory |
| US20070041391A1 (en) | 2005-08-18 | 2007-02-22 | Micron Technology, Inc. | Method and apparatus for controlling imager output data rate |
| US20070040922A1 (en) | 2005-08-22 | 2007-02-22 | Micron Technology, Inc. | HDR/AB on multi-way shared pixels |
| US7964835B2 (en) | 2005-08-25 | 2011-06-21 | Protarius Filo Ag, L.L.C. | Digital cameras with direct luminance and chrominance detection |
| US20070258006A1 (en) | 2005-08-25 | 2007-11-08 | Olsen Richard I | Solid state camera optics frame and assembly |
| US20070083114A1 (en) | 2005-08-26 | 2007-04-12 | The University Of Connecticut | Systems and methods for image resolution enhancement |
| JP4804856B2 (ja) | 2005-09-29 | 2011-11-02 | 富士フイルム株式会社 | 単焦点レンズ |
| US8009209B2 (en) | 2005-09-30 | 2011-08-30 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
| EP1941314A4 (en) | 2005-10-07 | 2010-04-14 | Univ Leland Stanford Junior | ARRANGEMENTS AND APPROACHES FOR MICROSCOPY |
| US8300085B2 (en) | 2005-10-14 | 2012-10-30 | Microsoft Corporation | Occlusion handling in stereo imaging |
| JP4773179B2 (ja) | 2005-10-14 | 2011-09-14 | 富士フイルム株式会社 | 撮像装置 |
| US7806604B2 (en) | 2005-10-20 | 2010-10-05 | Honeywell International Inc. | Face detection and tracking in a wide field of view |
| KR100730406B1 (ko) | 2005-11-16 | 2007-06-19 | 광운대학교 산학협력단 | 중간 요소 영상을 이용한 입체 영상 표시 장치 |
| JP4389865B2 (ja) | 2005-11-17 | 2009-12-24 | ソニー株式会社 | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
| JP4943695B2 (ja) | 2005-11-21 | 2012-05-30 | 富士フイルム株式会社 | 多焦点カメラの撮影光学系 |
| US8275195B2 (en) | 2005-11-30 | 2012-09-25 | Telecom Italia S.P.A. | Method for determining scattered disparity fields in stereo vision |
| US7599547B2 (en) | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
| JP4516516B2 (ja) | 2005-12-07 | 2010-08-04 | 本田技研工業株式会社 | 人物検出装置、人物検出方法及び人物検出プログラム |
| TWI296480B (en) | 2005-12-19 | 2008-05-01 | Quanta Comp Inc | Image camera of an electronic device |
| JP4501855B2 (ja) | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| JP2007180730A (ja) | 2005-12-27 | 2007-07-12 | Eastman Kodak Co | デジタルカメラおよびデータ管理方法 |
| JP2009522591A (ja) | 2005-12-30 | 2009-06-11 | ノキア コーポレイション | 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置 |
| KR100789441B1 (ko) | 2005-12-30 | 2007-12-28 | 엘에스산전 주식회사 | 인버터의 전류 검출 장치 및 방법 |
| US7855786B2 (en) | 2006-01-09 | 2010-12-21 | Bae Systems Spectral Solutions Llc | Single camera multi-spectral imager |
| US7675080B2 (en) | 2006-01-10 | 2010-03-09 | Aptina Imaging Corp. | Uniform color filter arrays in a moat |
| CN101371568B (zh) | 2006-01-20 | 2010-06-30 | 松下电器产业株式会社 | 复眼方式的照相机模块及其制造方法 |
| DE102006004802B4 (de) | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
| US7856125B2 (en) | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
| JP4834412B2 (ja) | 2006-02-03 | 2011-12-14 | 富士フイルム株式会社 | 固体撮像装置およびこれを用いた電子内視鏡 |
| US8075604B2 (en) | 2006-02-16 | 2011-12-13 | Warsaw Orthopedic, Inc. | Multi-thread bone screw and method |
| US20070201859A1 (en) | 2006-02-24 | 2007-08-30 | Logitech Europe S.A. | Method and system for use of 3D sensors in an image capture device |
| US7391572B2 (en) | 2006-03-01 | 2008-06-24 | International Business Machines Corporation | Hybrid optical/electronic structures fabricated by a common molding process |
| US7924483B2 (en) | 2006-03-06 | 2011-04-12 | Smith Scott T | Fused multi-array color image sensor |
| DE102006011707B4 (de) | 2006-03-14 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme |
| US7616254B2 (en) | 2006-03-16 | 2009-11-10 | Sony Corporation | Simple method for calculating camera defocus from an image scene |
| US8360574B2 (en) | 2006-03-20 | 2013-01-29 | High Performance Optics, Inc. | High performance selective light wavelength filtering providing improved contrast sensitivity |
| US7606484B1 (en) | 2006-03-23 | 2009-10-20 | Flir Systems, Inc. | Infrared and near-infrared camera hyperframing |
| JP4615468B2 (ja) | 2006-03-23 | 2011-01-19 | 富士フイルム株式会社 | 撮影装置 |
| CN101046882A (zh) | 2006-03-27 | 2007-10-03 | 谷京陆 | 可直接输出的混合分辨率图像制作技术 |
| US7342212B2 (en) | 2006-03-31 | 2008-03-11 | Micron Technology, Inc. | Analog vertical sub-sampling in an active pixel sensor (APS) image sensor |
| US7916934B2 (en) | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
| US8044994B2 (en) | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
| TW200740212A (en) | 2006-04-10 | 2007-10-16 | Sony Taiwan Ltd | A stitching accuracy improvement method with lens distortion correction |
| US20070242141A1 (en) | 2006-04-14 | 2007-10-18 | Sony Corporation And Sony Electronics Inc. | Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor |
| CN101064780B (zh) | 2006-04-30 | 2012-07-04 | 台湾新力国际股份有限公司 | 利用透镜失真校正的影像接合准确度改善方法及装置 |
| US20070263114A1 (en) | 2006-05-01 | 2007-11-15 | Microalign Technologies, Inc. | Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging |
| US7580620B2 (en) | 2006-05-08 | 2009-08-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for deblurring images using optimized temporal coding patterns |
| US9736346B2 (en) | 2006-05-09 | 2017-08-15 | Stereo Display, Inc | Imaging system improving image resolution of the system with low resolution image sensor |
| WO2007129326A2 (en) | 2006-05-09 | 2007-11-15 | Technion Research & Development Foundation Ltd | Imaging systems and methods for recovering object visibility |
| US7889264B2 (en) | 2006-05-12 | 2011-02-15 | Ricoh Co., Ltd. | End-to-end design of superresolution electro-optic imaging systems |
| US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| US8139142B2 (en) | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
| IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| US8081207B2 (en) | 2006-06-06 | 2011-12-20 | Point Grey Research Inc. | High accuracy stereo camera |
| US20070177004A1 (en) | 2006-06-08 | 2007-08-02 | Timo Kolehmainen | Image creating method and imaging device |
| US20070291995A1 (en) | 2006-06-09 | 2007-12-20 | Rivera Paul G | System, Method, and Apparatus for Preventing Identity Fraud Associated With Payment and Identity Cards |
| JP4631811B2 (ja) | 2006-06-12 | 2011-02-16 | 株式会社日立製作所 | 撮像装置 |
| JP5106870B2 (ja) | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
| FR2902530A1 (fr) | 2006-06-19 | 2007-12-21 | St Microelectronics Rousset | Procede de fabrication de lentilles, notamment pour imageur comprenant un diaphragme |
| TWI362550B (en) | 2007-06-21 | 2012-04-21 | Ether Precision Inc | The method for manufacturing the image captures unit |
| US7925117B2 (en) | 2006-06-27 | 2011-04-12 | Honeywell International Inc. | Fusion of sensor data and synthetic data to form an integrated image |
| FR2903155B1 (fr) | 2006-07-03 | 2008-10-17 | Poclain Hydraulics Ind Soc Par | Circuit hydraulique de recuperation d'energie |
| KR100793369B1 (ko) | 2006-07-06 | 2008-01-11 | 삼성전자주식회사 | 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법 |
| US20080024683A1 (en) | 2006-07-31 | 2008-01-31 | Niranjan Damera-Venkata | Overlapped multi-projector system with dithering |
| JP2008039852A (ja) | 2006-08-01 | 2008-02-21 | Agc Techno Glass Co Ltd | ガラス光学素子及びその製造方法 |
| US20080030592A1 (en) | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
| US8406562B2 (en) | 2006-08-11 | 2013-03-26 | Geo Semiconductor Inc. | System and method for automated calibration and correction of display geometry and color |
| US20080044170A1 (en) | 2006-08-16 | 2008-02-21 | Choon Hwee Yap | Image Capturing System And Method Of Operating The Same |
| EP1892688B1 (fr) | 2006-08-24 | 2010-09-01 | Valeo Vision | Procédé de détermination de passage d'un véhicule dans un goulet |
| US8306063B2 (en) | 2006-08-29 | 2012-11-06 | EXFO Services Assurance, Inc. | Real-time transport protocol stream detection system and method |
| US8687087B2 (en) | 2006-08-29 | 2014-04-01 | Csr Technology Inc. | Digital camera with selectively increased dynamic range by control of parameters during image acquisition |
| KR100746360B1 (ko) | 2006-08-31 | 2007-08-06 | 삼성전기주식회사 | 스템퍼 제조방법 |
| NO326372B1 (no) | 2006-09-21 | 2008-11-17 | Polight As | Polymerlinse |
| US7918555B2 (en) | 2006-09-25 | 2011-04-05 | Ophthonix, Inc. | Methods and lenses for correction of chromatic aberration |
| JP4403162B2 (ja) | 2006-09-29 | 2010-01-20 | 株式会社東芝 | 立体画像表示装置および立体画像の作製方法 |
| US20080080028A1 (en) | 2006-10-02 | 2008-04-03 | Micron Technology, Inc. | Imaging method, apparatus and system having extended depth of field |
| US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
| WO2008044938A1 (en) | 2006-10-11 | 2008-04-17 | Ignis Display As | Method for manufacturing adjustable lens |
| EP2074444B1 (en) | 2006-10-11 | 2017-08-30 | poLight AS | Design of compact adjustable lens |
| US8073196B2 (en) | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
| US7702229B2 (en) | 2006-10-18 | 2010-04-20 | Eastman Kodak Company | Lens array assisted focus detection |
| JP4349456B2 (ja) | 2006-10-23 | 2009-10-21 | ソニー株式会社 | 固体撮像素子 |
| WO2008050904A1 (fr) | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
| US7888159B2 (en) | 2006-10-26 | 2011-02-15 | Omnivision Technologies, Inc. | Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating |
| JP4452951B2 (ja) | 2006-11-02 | 2010-04-21 | 富士フイルム株式会社 | 距離画像生成方法及びその装置 |
| KR20080043106A (ko) | 2006-11-13 | 2008-05-16 | 삼성전자주식회사 | 광학렌즈 및 그 제조방법 |
| US8059162B2 (en) | 2006-11-15 | 2011-11-15 | Sony Corporation | Imaging apparatus and method, and method for designing imaging apparatus |
| US20080118241A1 (en) | 2006-11-16 | 2008-05-22 | Tekolste Robert | Control of stray light in camera systems employing an optics stack and associated methods |
| CN201043890Y (zh) | 2006-11-17 | 2008-04-02 | 中国科学院上海光学精密机械研究所 | 单孔径多重成像的光学成像测距装置 |
| CN103776392B (zh) | 2006-11-21 | 2017-03-01 | 曼蒂斯影像有限公司 | 三维几何建模和三维视频内容创建 |
| KR20080047002A (ko) | 2006-11-24 | 2008-05-28 | 엘지이노텍 주식회사 | 카메라모듈의 렌즈 어셈블리 및 그 제작 방법 |
| US20100265385A1 (en) | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
| US8559705B2 (en) | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
| JP4406937B2 (ja) | 2006-12-01 | 2010-02-03 | 富士フイルム株式会社 | 撮影装置 |
| JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US8242426B2 (en) | 2006-12-12 | 2012-08-14 | Dolby Laboratories Licensing Corporation | Electronic camera having multiple sensors for capturing high dynamic range images and related methods |
| US7646549B2 (en) | 2006-12-18 | 2010-01-12 | Xceed Imaging Ltd | Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging |
| US8558929B2 (en) | 2006-12-20 | 2013-10-15 | Carestream Health, Inc. | Imaging array for multiple frame capture |
| US8213500B2 (en) | 2006-12-21 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Methods and systems for processing film grain noise |
| TWI324015B (en) | 2006-12-22 | 2010-04-21 | Ind Tech Res Inst | Autofocus searching method |
| US8103111B2 (en) | 2006-12-26 | 2012-01-24 | Olympus Imaging Corp. | Coding method, electronic camera, recording medium storing coded program, and decoding method |
| US20080158259A1 (en) | 2006-12-28 | 2008-07-03 | Texas Instruments Incorporated | Image warping and lateral color correction |
| US20080158698A1 (en) | 2006-12-29 | 2008-07-03 | Chao-Chi Chang | Lens barrel array and lens array and the method of making the same |
| US7973823B2 (en) | 2006-12-29 | 2011-07-05 | Nokia Corporation | Method and system for image pre-processing |
| US20080165257A1 (en) | 2007-01-05 | 2008-07-10 | Micron Technology, Inc. | Configurable pixel array system and method |
| JP4993578B2 (ja) | 2007-01-15 | 2012-08-08 | オリンパスイメージング株式会社 | 画像ファイル再生装置，画像ファイル加工編集装置 |
| US8655052B2 (en) | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
| JP5024992B2 (ja) | 2007-02-02 | 2012-09-12 | 株式会社ジャパンディスプレイセントラル | 表示装置 |
| US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| US7956988B1 (en) | 2007-02-06 | 2011-06-07 | Alpha Technology, LLC | Light detection and ranging systems and related methods |
| CN100585453C (zh) | 2007-02-09 | 2010-01-27 | 奥林巴斯映像株式会社 | 解码方法及解码装置 |
| JP4185956B2 (ja) | 2007-02-27 | 2008-11-26 | トヨタ自動車株式会社 | 旅行時間演算サーバ、車両用旅行時間演算装置及び旅行時間演算システム |
| JP4386083B2 (ja) | 2007-02-27 | 2009-12-16 | トヨタ自動車株式会社 | 駐車支援装置 |
| JP2008209761A (ja) | 2007-02-27 | 2008-09-11 | Nikon Corp | 焦点検出装置および撮像装置 |
| JP4153013B1 (ja) | 2007-03-06 | 2008-09-17 | シャープ株式会社 | 撮像レンズ、撮像ユニットおよびそれを備えた携帯型情報端末 |
| US7755679B2 (en) | 2007-03-07 | 2010-07-13 | Altasens, Inc. | Apparatus and method for reducing edge effect in an image sensor |
| US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
| US7676146B2 (en) | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
| US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
| US7729602B2 (en) | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
| US8593506B2 (en) | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| JP2008242658A (ja) | 2007-03-26 | 2008-10-09 | Funai Electric Co Ltd | 立体物体の撮像装置 |
| JP4915859B2 (ja) | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
| US7738017B2 (en) | 2007-03-27 | 2010-06-15 | Aptina Imaging Corporation | Method and apparatus for automatic linear shift parallax correction for multi-array image systems |
| US8165418B2 (en) | 2007-03-30 | 2012-04-24 | Brother Kogyo Kabushiki Kaisha | Image processor |
| US8055466B2 (en) | 2007-03-30 | 2011-11-08 | Mitutoyo Corporation | Global calibration for stereo vision probe |
| WO2008120217A2 (en) | 2007-04-02 | 2008-10-09 | Prime Sense Ltd. | Depth mapping using projected patterns |
| US8098941B2 (en) | 2007-04-03 | 2012-01-17 | Aptina Imaging Corporation | Method and apparatus for parallelization of image compression encoders |
| US8213711B2 (en) | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
| CN101281282A (zh) | 2007-04-04 | 2008-10-08 | 鸿富锦精密工业（深圳）有限公司 | 镜头模组 |
| JP4310348B2 (ja) | 2007-04-04 | 2009-08-05 | シャープ株式会社 | 固体撮像装置およびそれを備えた電子機器 |
| JP2008258885A (ja) | 2007-04-04 | 2008-10-23 | Texas Instr Japan Ltd | 撮像装置および撮像装置の駆動方法 |
| WO2008068553A1 (en) | 2007-04-16 | 2008-06-12 | Nagappan Muthusamy Sundarar | Solid vision |
| EP2667412A1 (en) | 2007-04-18 | 2013-11-27 | Invisage Technologies, INC. | Materials, systems and methods for optoelectronic devices |
| WO2009023044A2 (en) | 2007-04-24 | 2009-02-19 | 21 Ct, Inc. | Method and system for fast dense stereoscopic ranging |
| KR100869219B1 (ko) | 2007-05-03 | 2008-11-18 | 동부일렉트로닉스 주식회사 | 이미지 센서 및 그 제조방법 |
| GB0708655D0 (en) * | 2007-05-04 | 2007-06-13 | Imp Innovations Ltd | Imaging of moving objects |
| US8462220B2 (en) | 2007-05-09 | 2013-06-11 | Aptina Imaging Corporation | Method and apparatus for improving low-light performance for small pixel image sensors |
| US7812869B2 (en) | 2007-05-11 | 2010-10-12 | Aptina Imaging Corporation | Configurable pixel array system and method |
| JP4341695B2 (ja) | 2007-05-17 | 2009-10-07 | ソニー株式会社 | 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法 |
| JP4337911B2 (ja) | 2007-05-24 | 2009-09-30 | ソニー株式会社 | 撮像装置、撮像回路、および撮像方法 |
| US20080298674A1 (en) | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
| US7733575B2 (en) | 2007-05-31 | 2010-06-08 | Artificial Muscle, Inc. | Optical systems employing compliant electroactive materials |
| US8290358B1 (en) | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
| WO2009001255A1 (en) | 2007-06-26 | 2008-12-31 | Koninklijke Philips Electronics N.V. | Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal |
| US20100182406A1 (en) | 2007-07-12 | 2010-07-22 | Benitez Ana B | System and method for three-dimensional object reconstruction from two-dimensional images |
| US8125619B2 (en) | 2007-07-25 | 2012-02-28 | Eminent Electronic Technology Corp. | Integrated ambient light sensor and distance sensor |
| JP5006727B2 (ja) | 2007-07-26 | 2012-08-22 | 株式会社リコー | 画像処理装置およびデジタルカメラ |
| WO2009020977A1 (en) | 2007-08-06 | 2009-02-12 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
| EP2034338A1 (en) | 2007-08-11 | 2009-03-11 | ETH Zurich | Liquid Lens System |
| EP2026563A1 (en) | 2007-08-14 | 2009-02-18 | Deutsche Thomson OHG | System and method for detecting defective pixels |
| US7782364B2 (en) | 2007-08-21 | 2010-08-24 | Aptina Imaging Corporation | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
| EP2031592A1 (en) | 2007-08-30 | 2009-03-04 | DTR Limited | Method and system for recordable DVDs |
| US20090066693A1 (en) | 2007-09-06 | 2009-03-12 | Roc Carson | Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames |
| US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
| US20090079862A1 (en) | 2007-09-25 | 2009-03-26 | Micron Technology, Inc. | Method and apparatus providing imaging auto-focus utilizing absolute blur value |
| US20090086074A1 (en) | 2007-09-27 | 2009-04-02 | Omnivision Technologies, Inc. | Dual mode camera solution apparatus, system, and method |
| US7940311B2 (en) | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| JP5172267B2 (ja) | 2007-10-09 | 2013-03-27 | 富士フイルム株式会社 | 撮像装置 |
| US8049289B2 (en) | 2007-10-11 | 2011-11-01 | Dongbu Hitek Co., Ltd. | Image sensor and method for manufacturing the same |
| US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| US7956924B2 (en) | 2007-10-18 | 2011-06-07 | Adobe Systems Incorporated | Fast computational camera based on two arrays of lenses |
| US7787112B2 (en) | 2007-10-22 | 2010-08-31 | Visiongate, Inc. | Depth of field extension for optical tomography |
| US7920193B2 (en) | 2007-10-23 | 2011-04-05 | Aptina Imaging Corporation | Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers |
| US7777804B2 (en) | 2007-10-26 | 2010-08-17 | Omnivision Technologies, Inc. | High dynamic range sensor with reduced line memory for color interpolation |
| WO2009061814A2 (en) | 2007-11-05 | 2009-05-14 | University Of Florida Research Foundation, Inc. | Lossless data compression and real-time decompression |
| US7852461B2 (en) | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
| US20090128644A1 (en) | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
| US8351685B2 (en) | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
| US8126279B2 (en) | 2007-11-19 | 2012-02-28 | The University Of Arizona | Lifting-based view compensated compression and remote visualization of volume rendered images |
| KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
| JP5010445B2 (ja) | 2007-11-29 | 2012-08-29 | パナソニック株式会社 | マイクロレンズアレイ用金型の製造方法 |
| GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
| WO2009073950A1 (en) | 2007-12-13 | 2009-06-18 | Keigo Izuka | Camera system and method for amalgamating images to create an omni-focused image |
| TWI353778B (en) | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
| ATE499517T1 (de) | 2007-12-21 | 2011-03-15 | Caterpillar Inc | Steuern der antriebsgeschwindigkeit einer maschine |
| US7880807B2 (en) | 2007-12-26 | 2011-02-01 | Sony Ericsson Mobile Communications Ab | Camera system with mirror arrangement for generating self-portrait panoramic pictures |
| US8233077B2 (en) | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
| TWI362628B (en) | 2007-12-28 | 2012-04-21 | Ind Tech Res Inst | Methof for producing an image with depth by using 2d image |
| US20110031381A1 (en) | 2007-12-28 | 2011-02-10 | Hiok-Nam Tay | Light guide array for an image sensor |
| DE112009000101T5 (de) | 2008-01-04 | 2010-11-11 | 3M Innovative Properties Co., St. Paul | Globale Kamerawegoptimierung |
| JP4413261B2 (ja) | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
| JP5198295B2 (ja) | 2008-01-15 | 2013-05-15 | 富士フイルム株式会社 | 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール |
| US7962033B2 (en) | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
| US8189065B2 (en) | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
| JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
| US8824833B2 (en) | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
| GB0802290D0 (en) | 2008-02-08 | 2008-03-12 | Univ Kent Canterbury | Camera adapter based optical imaging apparatus |
| US8319301B2 (en) | 2008-02-11 | 2012-11-27 | Omnivision Technologies, Inc. | Self-aligned filter for an image sensor |
| JP2009206922A (ja) | 2008-02-28 | 2009-09-10 | Funai Electric Co Ltd | 複眼撮像装置 |
| CN101520532A (zh) | 2008-02-29 | 2009-09-02 | 鸿富锦精密工业（深圳）有限公司 | 复合镜片 |
| US9094675B2 (en) | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
| WO2009111499A2 (en) | 2008-03-03 | 2009-09-11 | Videoiq, Inc. | Dynamic object classification |
| US8072599B2 (en) | 2008-03-14 | 2011-12-06 | Teledyne Scientific & Imaging, Llc | Real-time, hybrid amplitude-time division polarimetric imaging camera |
| EP2252208B1 (en) | 2008-03-18 | 2014-05-14 | Koninklijke Philips N.V. | Apparatus for skin imaging, system for skin analysis |
| US8098955B2 (en) | 2008-03-25 | 2012-01-17 | Point Grey Research Inc. | Efficient selection and application of regions of interest in digital imaging |
| JPWO2009119229A1 (ja) | 2008-03-26 | 2011-07-21 | コニカミノルタホールディングス株式会社 | ３次元撮像装置及び３次元撮像装置の校正方法 |
| CN101551586A (zh) | 2008-04-03 | 2009-10-07 | 晶宏半导体股份有限公司 | 高速摄影方法及其装置 |
| US8497905B2 (en) | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
| US8259208B2 (en) | 2008-04-15 | 2012-09-04 | Sony Corporation | Method and apparatus for performing touch-based adjustments within imaging devices |
| US7843554B2 (en) | 2008-04-25 | 2010-11-30 | Rockwell Collins, Inc. | High dynamic range sensor system and method |
| US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
| US8155456B2 (en) | 2008-04-29 | 2012-04-10 | Adobe Systems Incorporated | Method and apparatus for block-based compression of light-field images |
| US8724921B2 (en) | 2008-05-05 | 2014-05-13 | Aptina Imaging Corporation | Method of capturing high dynamic range images with objects in the scene |
| JP2009273035A (ja) | 2008-05-09 | 2009-11-19 | Toshiba Corp | 画像圧縮装置、画像伸張装置及び画像処理装置 |
| WO2009136989A1 (en) | 2008-05-09 | 2009-11-12 | Ecole Polytechnique Federale De Lausanne | Image sensor having nonlinear response |
| WO2009141998A1 (ja) | 2008-05-19 | 2009-11-26 | パナソニック株式会社 | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム |
| US8208543B2 (en) | 2008-05-19 | 2012-06-26 | Microsoft Corporation | Quantization and differential coding of alpha image data |
| US20100097444A1 (en) | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
| US8442355B2 (en) | 2008-05-23 | 2013-05-14 | Samsung Electronics Co., Ltd. | System and method for generating a multi-dimensional image |
| US8125559B2 (en) | 2008-05-25 | 2012-02-28 | Avistar Communications Corporation | Image formation for large photosensor array surfaces |
| US8131097B2 (en) | 2008-05-28 | 2012-03-06 | Aptina Imaging Corporation | Method and apparatus for extended depth-of-field image restoration |
| CN101593350B (zh) | 2008-05-30 | 2013-01-09 | 日电（中国）有限公司 | 深度自适应视频拼接的方法、装置和系统 |
| US8244058B1 (en) | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
| JP2009300268A (ja) | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | ３次元情報検出装置 |
| KR101539935B1 (ko) | 2008-06-24 | 2015-07-28 | 삼성전자주식회사 | 3차원 비디오 영상 처리 방법 및 장치 |
| US7710667B2 (en) | 2008-06-25 | 2010-05-04 | Aptina Imaging Corp. | Imaging module with symmetrical lens system and method of manufacture |
| WO2009157273A1 (ja) | 2008-06-25 | 2009-12-30 | コニカミノルタオプト株式会社 | 撮像光学系及び撮像用レンズの製造方法 |
| KR101000531B1 (ko) | 2008-06-26 | 2010-12-14 | 에스디씨마이크로 주식회사 | 데이터 전송 범위가 증대되는 무선랜을 이용한 씨씨티브이관리시스템 |
| US7916396B2 (en) | 2008-06-27 | 2011-03-29 | Micron Technology, Inc. | Lens master devices, lens structures, imaging devices, and methods and apparatuses of making the same |
| US8326069B2 (en) | 2008-06-30 | 2012-12-04 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
| US7773317B2 (en) | 2008-07-01 | 2010-08-10 | Aptina Imaging Corp. | Lens system with symmetrical optics |
| US7920339B2 (en) | 2008-07-02 | 2011-04-05 | Aptina Imaging Corporation | Method and apparatus providing singlet wafer lens system with field flattener |
| CN100576934C (zh) | 2008-07-03 | 2009-12-30 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
| US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
| KR101445185B1 (ko) | 2008-07-10 | 2014-09-30 | 삼성전자주식회사 | 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법 |
| EP2313737B1 (en) | 2008-08-06 | 2018-11-14 | Creaform Inc. | System for adaptive three-dimensional scanning of surface characteristics |
| JP5566385B2 (ja) | 2008-08-20 | 2014-08-06 | トムソン ライセンシング | 洗練された奥行きマップ |
| CN101656259A (zh) | 2008-08-20 | 2010-02-24 | 鸿富锦精密工业（深圳）有限公司 | 影像感测器封装结构、封装方法及相机模组 |
| US7924312B2 (en) | 2008-08-22 | 2011-04-12 | Fluke Corporation | Infrared and visible-light image registration |
| US8736751B2 (en) | 2008-08-26 | 2014-05-27 | Empire Technology Development Llc | Digital presenter for displaying image captured by camera with illumination system |
| US8102428B2 (en) | 2008-08-28 | 2012-01-24 | Adobe Systems Incorporated | Content-aware video stabilization |
| JP5105482B2 (ja) | 2008-09-01 | 2012-12-26 | 船井電機株式会社 | 光学的条件設計方法及び複眼撮像装置 |
| EP2329315A4 (en) | 2008-09-01 | 2012-01-18 | Lensvector Inc | PREPARATION OF OPTOELECTRONIC LIQUID CRYSTAL COMPONENTS AT WAF LEVEL |
| US8098297B2 (en) | 2008-09-03 | 2012-01-17 | Sony Corporation | Pre- and post-shutter signal image capture and sort for digital camera |
| KR20100028344A (ko) | 2008-09-04 | 2010-03-12 | 삼성전자주식회사 | 휴대단말의 영상 편집 방법 및 장치 |
| US9025136B2 (en) | 2008-09-23 | 2015-05-05 | Applied Materials, Inc. | System and method for manufacturing three dimensional integrated circuits |
| JP5238429B2 (ja) | 2008-09-25 | 2013-07-17 | 株式会社東芝 | 立体映像撮影装置および立体映像撮影システム |
| US8553093B2 (en) | 2008-09-30 | 2013-10-08 | Sony Corporation | Method and apparatus for super-resolution imaging using digital imaging devices |
| JP5243612B2 (ja) | 2008-10-02 | 2013-07-24 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 中間画像合成およびマルチビューデータ信号抽出 |
| US9619917B2 (en) | 2008-10-03 | 2017-04-11 | Apple Inc. | Depth of field for a camera in a media-editing application |
| US9064476B2 (en) | 2008-10-04 | 2015-06-23 | Microsoft Technology Licensing, Llc | Image super-resolution using gradient profile prior |
| US8310525B2 (en) | 2008-10-07 | 2012-11-13 | Seiko Epson Corporation | One-touch projector alignment for 3D stereo display |
| JP5547739B2 (ja) | 2008-10-15 | 2014-07-16 | イノベイティブ テクノロジー ディストリビューターズ エルエルシー | オプティカルフローの決定のためのデジタル処理方法およびシステム |
| US8416282B2 (en) | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
| JP2010096723A (ja) | 2008-10-20 | 2010-04-30 | Funai Electric Co Ltd | 物体の距離導出装置 |
| US8436909B2 (en) | 2008-10-21 | 2013-05-07 | Stmicroelectronics S.R.L. | Compound camera sensor and related method of processing digital images |
| KR101697598B1 (ko) | 2008-10-27 | 2017-02-01 | 엘지전자 주식회사 | 가상 뷰 이미지 합성 방법 및 장치 |
| US8063975B2 (en) | 2008-10-29 | 2011-11-22 | Jabil Circuit, Inc. | Positioning wafer lenses on electronic imagers |
| KR101502597B1 (ko) | 2008-11-13 | 2015-03-13 | 삼성전자주식회사 | 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법 |
| US8644547B2 (en) | 2008-11-14 | 2014-02-04 | The Scripps Research Institute | Image analysis platform for identifying artifacts in samples and laboratory consumables |
| AU2008246243B2 (en) | 2008-11-19 | 2011-12-22 | Canon Kabushiki Kaisha | DVC as generic file format for plenoptic camera |
| EP3396416A1 (en) * | 2008-11-25 | 2018-10-31 | Tetravue, Inc. | Systems and methods of high resolution three-dimensional imaging |
| US8279325B2 (en) | 2008-11-25 | 2012-10-02 | Lytro, Inc. | System and method for acquiring, editing, generating and outputting video data |
| JP4852591B2 (ja) | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
| US8289440B2 (en) | 2008-12-08 | 2012-10-16 | Lytro, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
| US8013904B2 (en) | 2008-12-09 | 2011-09-06 | Seiko Epson Corporation | View projection matrix based high performance low latency display pipeline |
| KR101200490B1 (ko) | 2008-12-10 | 2012-11-12 | 한국전자통신연구원 | 영상 정합 장치 및 방법 |
| JP5311016B2 (ja) | 2008-12-10 | 2013-10-09 | コニカミノルタ株式会社 | ステレオカメラユニット及びステレオマッチング方法 |
| US8149323B2 (en) | 2008-12-18 | 2012-04-03 | Qualcomm Incorporated | System and method to autofocus assisted by autoexposure control |
| JP4631966B2 (ja) | 2008-12-22 | 2011-02-16 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| CN101770060B (zh) | 2008-12-27 | 2014-03-26 | 鸿富锦精密工业（深圳）有限公司 | 相机模组及其组装方法 |
| US8405742B2 (en) | 2008-12-30 | 2013-03-26 | Massachusetts Institute Of Technology | Processing images having different focus |
| US8259212B2 (en) | 2009-01-05 | 2012-09-04 | Applied Quantum Technologies, Inc. | Multiscale optical system |
| WO2010081010A2 (en) | 2009-01-09 | 2010-07-15 | New York University | Methods, computer-accessible medium and systems for facilitating dark flash photography |
| US20100177411A1 (en) | 2009-01-09 | 2010-07-15 | Shashikant Hegde | Wafer level lens replication on micro-electrical-mechanical systems |
| CN102272796B (zh) | 2009-01-09 | 2014-03-12 | 柯尼卡美能达控股株式会社 | 运动向量生成装置以及运动向量生成方法 |
| US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
| US8315476B1 (en) | 2009-01-20 | 2012-11-20 | Adobe Systems Incorporated | Super-resolution with the focused plenoptic camera |
| US8300108B2 (en) | 2009-02-02 | 2012-10-30 | L-3 Communications Cincinnati Electronics Corporation | Multi-channel imaging devices comprising unit cells |
| US20100194860A1 (en) | 2009-02-03 | 2010-08-05 | Bit Cauldron Corporation | Method of stereoscopic 3d image capture using a mobile device, cradle or dongle |
| US8761491B2 (en) | 2009-02-06 | 2014-06-24 | Himax Technologies Limited | Stereo-matching processor using belief propagation |
| US8290301B2 (en) | 2009-02-06 | 2012-10-16 | Raytheon Company | Optimized imaging system for collection of high resolution imagery |
| KR101776955B1 (ko) | 2009-02-10 | 2017-09-08 | 소니 주식회사 | 고체 촬상 장치와 그 제조 방법, 및 전자 기기 |
| JP4915423B2 (ja) | 2009-02-19 | 2012-04-11 | ソニー株式会社 | 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 |
| WO2010095440A1 (ja) | 2009-02-20 | 2010-08-26 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
| US8520970B2 (en) | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
| KR20100099896A (ko) | 2009-03-04 | 2010-09-15 | 삼성전자주식회사 | 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치 |
| US8207759B2 (en) | 2009-03-12 | 2012-06-26 | Fairchild Semiconductor Corporation | MIPI analog switch for automatic selection of multiple inputs based on clock voltages |
| WO2010108119A2 (en) | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Dual sensor camera |
| US8106949B2 (en) | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
| US8450821B2 (en) | 2009-03-26 | 2013-05-28 | Micron Technology, Inc. | Method and apparatus providing combined spacer and optical lens element |
| US8437537B2 (en) | 2009-03-27 | 2013-05-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for estimating 3D pose of specular objects |
| US7901095B2 (en) | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
| JP4529010B1 (ja) | 2009-03-30 | 2010-08-25 | シャープ株式会社 | 撮像装置 |
| JP5222205B2 (ja) | 2009-04-03 | 2013-06-26 | Ｋｄｄｉ株式会社 | 画像処理装置、方法及びプログラム |
| US20120113266A1 (en) | 2009-04-07 | 2012-05-10 | Nextvision Stabilized Systems Ltd | Methods of manufacturing a camera system having multiple image sensors |
| US20100259610A1 (en) | 2009-04-08 | 2010-10-14 | Celsia, Llc | Two-Dimensional Display Synced with Real World Object Movement |
| US8294099B2 (en) | 2009-04-10 | 2012-10-23 | Bae Systems Information And Electronic Systems Integration Inc. | On-wafer butted microbolometer imaging array |
| JP5463718B2 (ja) | 2009-04-16 | 2014-04-09 | ソニー株式会社 | 撮像装置 |
| US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
| US8908058B2 (en) | 2009-04-18 | 2014-12-09 | Lytro, Inc. | Storage and transmission of pictures including multiple frames |
| US20120249550A1 (en) | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
| ATE551841T1 (de) | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
| CN101527046B (zh) | 2009-04-28 | 2012-09-05 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和系统 |
| KR101671021B1 (ko) | 2009-04-30 | 2016-11-10 | 삼성전자주식회사 | 스테레오스코픽 영상 데이터 전송 장치 및 방법 |
| US8271544B2 (en) | 2009-05-01 | 2012-09-18 | Creative Technology Ltd | Data file having more than one mode of operation |
| US8358365B2 (en) | 2009-05-01 | 2013-01-22 | Samsung Electronics Co., Ltd. | Photo detecting device and image pickup device and method thereon |
| DE102009003110A1 (de) | 2009-05-14 | 2010-11-18 | Robert Bosch Gmbh | Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern |
| US8203633B2 (en) | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
| KR20100130423A (ko) | 2009-06-03 | 2010-12-13 | 삼성전자주식회사 | 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 모듈 |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US8766808B2 (en) | 2010-03-09 | 2014-07-01 | Flir Systems, Inc. | Imager with multiple sensor arrays |
| US8872910B1 (en) | 2009-06-04 | 2014-10-28 | Masoud Vaziri | Method and apparatus for a compact and high resolution eye-view recorder |
| US8745677B2 (en) | 2009-06-12 | 2014-06-03 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
| CN101931742B (zh) | 2009-06-18 | 2013-04-24 | 鸿富锦精密工业（深圳）有限公司 | 影像感测模组及取像模组 |
| US20100321640A1 (en) | 2009-06-22 | 2010-12-23 | Industrial Technology Research Institute | Projection display chip |
| JP5254893B2 (ja) | 2009-06-26 | 2013-08-07 | キヤノン株式会社 | 画像変換方法及び装置並びにパターン識別方法及び装置 |
| WO2011008443A2 (en) | 2009-06-29 | 2011-01-20 | Lensvector Inc. | Wafer level camera module with active optical element |
| JP2011030184A (ja) | 2009-07-01 | 2011-02-10 | Sony Corp | 画像処理装置、及び、画像処理方法 |
| US8212197B2 (en) | 2009-07-02 | 2012-07-03 | Xerox Corporation | Image sensor with integration time compensation |
| JP2011017764A (ja) | 2009-07-07 | 2011-01-27 | Konica Minolta Opto Inc | 撮像レンズ，撮像装置及び携帯端末 |
| US8345144B1 (en) | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
| US20110019243A1 (en) | 2009-07-21 | 2011-01-27 | Constant Jr Henry J | Stereoscopic form reader |
| CN101964866B (zh) | 2009-07-24 | 2013-03-20 | 鸿富锦精密工业（深圳）有限公司 | 计算摄像型数码相机 |
| GB0912970D0 (en) | 2009-07-27 | 2009-09-02 | St Microelectronics Res & Dev | Improvements in or relating to a sensor and sensor system for a camera |
| US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
| JP2013501344A (ja) | 2009-08-03 | 2013-01-10 | クォルコム・メムズ・テクノロジーズ・インコーポレーテッド | 導光板照明用の微小構造体 |
| EP2293586A1 (en) | 2009-08-04 | 2011-03-09 | Samsung Electronics Co., Ltd. | Method and system to transform stereo content |
| US8577183B2 (en) | 2009-08-05 | 2013-11-05 | Raytheon Company | Resolution on demand |
| CN102483511B (zh) | 2009-08-11 | 2014-11-12 | 乙太精密有限公司 | 用于将透镜与光学系统对准的方法和设备 |
| WO2011017806A1 (en) | 2009-08-14 | 2011-02-17 | Genesis Group Inc. | Real-time image and video matting |
| JP2011044801A (ja) | 2009-08-19 | 2011-03-03 | Toshiba Corp | 画像処理装置 |
| US8154632B2 (en) | 2009-08-24 | 2012-04-10 | Lifesize Communications, Inc. | Detection of defective pixels in an image sensor |
| JP2011052064A (ja) | 2009-08-31 | 2011-03-17 | Toyobo Co Ltd | ポリイミドおよびその製造方法 |
| KR101680300B1 (ko) | 2009-08-31 | 2016-11-28 | 삼성전자주식회사 | 액체 렌즈 및 그 제조방법 |
| US9274699B2 (en) | 2009-09-03 | 2016-03-01 | Obscura Digital | User interface for a large scale multi-user, multi-touch system |
| US8411146B2 (en) | 2009-09-04 | 2013-04-02 | Lockheed Martin Corporation | Single camera color and infrared polarimetric imaging |
| US20120194703A1 (en) | 2009-09-07 | 2012-08-02 | Nokia Corporation | Apparatus |
| FR2950153B1 (fr) | 2009-09-15 | 2011-12-23 | Commissariat Energie Atomique | Dispositif optique a membrane deformable a actionnement piezoelectrique |
| US20140076336A1 (en) | 2009-09-17 | 2014-03-20 | Ascentia Health, Inc. | Ear insert for relief of tmj discomfort and headaches |
| US9497386B1 (en) | 2009-09-22 | 2016-11-15 | Altia Systems Inc. | Multi-imager video camera with automatic exposure control |
| CN102549507B (zh) | 2009-10-02 | 2014-08-20 | 皇家飞利浦电子股份有限公司 | 选择视点用于在3d视频中生成附加视图 |
| KR101695809B1 (ko) | 2009-10-09 | 2017-01-13 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| DE102009049387B4 (de) | 2009-10-14 | 2016-05-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung |
| US8199165B2 (en) | 2009-10-14 | 2012-06-12 | Hewlett-Packard Development Company, L.P. | Methods and systems for object segmentation in digital images |
| JP5909187B2 (ja) | 2009-10-14 | 2016-04-26 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | フィルタ処理およびエッジ符号化 |
| US8502909B2 (en) | 2009-10-19 | 2013-08-06 | Pixar | Super light-field lens |
| WO2011056574A1 (en) | 2009-10-26 | 2011-05-12 | Olaf Andrew Hall-Holt | Dental imaging system and method |
| WO2011053319A1 (en) | 2009-10-30 | 2011-05-05 | Hewlett-Packard Development Company, L.P. | Stereo display systems |
| WO2011053711A1 (en) | 2009-10-30 | 2011-05-05 | Invisage Technologies, Inc. | Systems and methods for color binning |
| WO2011055655A1 (ja) | 2009-11-05 | 2011-05-12 | コニカミノルタオプト株式会社 | 撮像装置、光学ユニット、ウエハレンズ積層体及びウエハレンズ積層体の製造方法 |
| JPWO2011055654A1 (ja) | 2009-11-05 | 2013-03-28 | コニカミノルタアドバンストレイヤー株式会社 | 撮像装置及びこの撮像装置の製造方法 |
| JP5214811B2 (ja) | 2009-11-13 | 2013-06-19 | 富士フイルム株式会社 | 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 |
| TR200908688A2 (tr) | 2009-11-17 | 2011-06-21 | Vestel Elektron�K San. Ve T�C. A.�. | Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı. |
| JP5399215B2 (ja) | 2009-11-18 | 2014-01-29 | シャープ株式会社 | 多眼カメラ装置および電子情報機器 |
| US8643701B2 (en) | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
| US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| WO2011066275A2 (en) | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
| KR101608970B1 (ko) | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
| US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
| US8730338B2 (en) | 2009-12-01 | 2014-05-20 | Nokia Corporation | Set of camera modules hinged on a body and functionally connected to a single actuator |
| JP5446797B2 (ja) | 2009-12-04 | 2014-03-19 | 株式会社リコー | 撮像装置 |
| US8446492B2 (en) | 2009-12-10 | 2013-05-21 | Honda Motor Co., Ltd. | Image capturing device, method of searching for occlusion region, and program |
| JP5387377B2 (ja) | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US9030530B2 (en) | 2009-12-15 | 2015-05-12 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
| KR101281961B1 (ko) | 2009-12-21 | 2013-07-03 | 한국전자통신연구원 | 깊이 영상 편집 방법 및 장치 |
| US20110153248A1 (en) | 2009-12-23 | 2011-06-23 | Yeming Gu | Ophthalmic quality metric system |
| US8885067B2 (en) | 2009-12-24 | 2014-11-11 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
| JP4983905B2 (ja) | 2009-12-25 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、３ｄモデリングデータ生成方法、および、プログラム |
| KR101643607B1 (ko) | 2009-12-30 | 2016-08-10 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
| CN102117576A (zh) | 2009-12-31 | 2011-07-06 | 鸿富锦精密工业（深圳）有限公司 | 电子相框 |
| CN102118551A (zh) | 2009-12-31 | 2011-07-06 | 鸿富锦精密工业（深圳）有限公司 | 成像装置 |
| CN102131044B (zh) | 2010-01-20 | 2014-03-26 | 鸿富锦精密工业（深圳）有限公司 | 相机模组 |
| WO2011097508A2 (en) | 2010-02-04 | 2011-08-11 | University Of Southern California | Combined spectral and polarimetry imaging and diagnostics |
| US8593512B2 (en) | 2010-02-05 | 2013-11-26 | Creative Technology Ltd | Device and method for scanning an object on a working surface |
| US8326142B2 (en) | 2010-02-12 | 2012-12-04 | Sri International | Optical image systems |
| CN102753933B (zh) | 2010-02-15 | 2015-06-10 | 株式会社理光 | 透明物体检测系统和透明平板检测系统 |
| JP5387856B2 (ja) | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| US8648918B2 (en) | 2010-02-18 | 2014-02-11 | Sony Corporation | Method and system for obtaining a point spread function using motion information |
| CN103210641B (zh) | 2010-02-19 | 2017-03-15 | 双光圈国际株式会社 | 处理多孔径像数据 |
| KR101802238B1 (ko) | 2010-02-23 | 2017-11-29 | 삼성전자주식회사 | 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 |
| US9456196B2 (en) | 2010-02-23 | 2016-09-27 | Samsung Electronics Co., Ltd. | Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service |
| EP2539759A1 (en) | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US20130278631A1 (en) | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| JP5776173B2 (ja) | 2010-03-01 | 2015-09-09 | 株式会社リコー | 撮像装置及び距離測定装置 |
| US8817015B2 (en) | 2010-03-03 | 2014-08-26 | Adobe Systems Incorporated | Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data |
| US20110222757A1 (en) | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
| US20110221950A1 (en) | 2010-03-12 | 2011-09-15 | Doeke Jolt Oostra | Camera device, wafer scale package |
| WO2011116203A1 (en) | 2010-03-17 | 2011-09-22 | Pelican Imaging Corporation | Fabrication process for mastering imaging lens arrays |
| JP5837283B2 (ja) * | 2010-03-18 | 2015-12-24 | 株式会社ブリヂストン | タイヤの外観検査方法および外観検査装置 |
| WO2011116345A1 (en) | 2010-03-19 | 2011-09-22 | Invisage Technologies, Inc. | Dark current reduction in image sensors via dynamic electrical biasing |
| EP2549762B1 (en) | 2010-03-19 | 2017-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor |
| EP2391142B1 (en) | 2010-03-19 | 2013-12-25 | FUJIFILM Corporation | Imaging device, method and program, and recording medium using same |
| US8558903B2 (en) | 2010-03-25 | 2013-10-15 | Apple Inc. | Accelerometer / gyro-facilitated video stabilization |
| WO2011118135A1 (ja) | 2010-03-25 | 2011-09-29 | パナソニック株式会社 | 送信装置、受信装置、送信方法および受信方法 |
| US8285033B2 (en) | 2010-04-01 | 2012-10-09 | Seiko Epson Corporation | Bi-affinity filter: a bilateral type filter for color images |
| US9117310B2 (en) | 2010-04-02 | 2015-08-25 | Imec | Virtual camera system |
| US9001227B2 (en) | 2010-04-05 | 2015-04-07 | Qualcomm Incorporated | Combining data from multiple image sensors |
| US8896668B2 (en) | 2010-04-05 | 2014-11-25 | Qualcomm Incorporated | Combining data from multiple image sensors |
| US20110255786A1 (en) | 2010-04-20 | 2011-10-20 | Andrew Hunter | Method and apparatus for determining flicker in the illumination of a subject |
| US8600186B2 (en) | 2010-04-26 | 2013-12-03 | City University Of Hong Kong | Well focused catadioptric image acquisition |
| US20110267264A1 (en) | 2010-04-29 | 2011-11-03 | Mccarthy John | Display system with multiple optical sensors |
| US9053573B2 (en) | 2010-04-29 | 2015-06-09 | Personify, Inc. | Systems and methods for generating a virtual camera viewpoint for an image |
| US20130250150A1 (en) | 2010-05-03 | 2013-09-26 | Michael R. Malone | Devices and methods for high-resolution image and video capture |
| US9256974B1 (en) | 2010-05-04 | 2016-02-09 | Stephen P Hines | 3-D motion-parallax portable display software application |
| US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
| KR20110124473A (ko) | 2010-05-11 | 2011-11-17 | 삼성전자주식회사 | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 |
| KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
| JP5545016B2 (ja) | 2010-05-12 | 2014-07-09 | ソニー株式会社 | 撮像装置 |
| US20130147979A1 (en) | 2010-05-12 | 2013-06-13 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
| WO2011143501A1 (en) | 2010-05-12 | 2011-11-17 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
| WO2011142774A1 (en) | 2010-05-14 | 2011-11-17 | Omnivision Technologies, Inc. | Alternative color image array and associated methods |
| US8576293B2 (en) | 2010-05-18 | 2013-11-05 | Aptina Imaging Corporation | Multi-channel imager |
| SG176327A1 (en) | 2010-05-20 | 2011-12-29 | Sony Corp | A system and method of image processing |
| US8602887B2 (en) | 2010-06-03 | 2013-12-10 | Microsoft Corporation | Synthesis of information from multiple audiovisual sources |
| US20120062697A1 (en) | 2010-06-09 | 2012-03-15 | Chemimage Corporation | Hyperspectral imaging sensor for tracking moving targets |
| DE102010024666A1 (de) | 2010-06-18 | 2011-12-22 | Hella Kgaa Hueck & Co. | Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens |
| US20110310980A1 (en) | 2010-06-22 | 2011-12-22 | Qualcomm Mems Technologies, Inc. | Apparatus and methods for processing frames of video data across a display interface using a block-based encoding scheme and a tag id |
| CN102184720A (zh) | 2010-06-22 | 2011-09-14 | 上海盈方微电子有限公司 | 一种支持多层多格式输入的图像合成显示的方法及装置 |
| KR20120000485A (ko) | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
| CN101883291B (zh) | 2010-06-29 | 2012-12-19 | 上海大学 | 感兴趣区域增强的视点绘制方法 |
| EP2403234A1 (en) | 2010-06-29 | 2012-01-04 | Koninklijke Philips Electronics N.V. | Method and system for constructing a compound image from data obtained by an array of image capturing devices |
| US8493432B2 (en) | 2010-06-29 | 2013-07-23 | Mitsubishi Electric Research Laboratories, Inc. | Digital refocusing for wide-angle images using axial-cone cameras |
| WO2012001975A1 (ja) | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム |
| JP5392199B2 (ja) | 2010-07-09 | 2014-01-22 | ソニー株式会社 | 画像処理装置および方法 |
| GB2482022A (en) | 2010-07-16 | 2012-01-18 | St Microelectronics Res & Dev | Method for measuring resolution and aberration of lens and sensor |
| US9406132B2 (en) | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
| US8386964B2 (en) | 2010-07-21 | 2013-02-26 | Microsoft Corporation | Interactive image matting |
| US9344701B2 (en) | 2010-07-23 | 2016-05-17 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation |
| US20120019700A1 (en) | 2010-07-26 | 2012-01-26 | American Technologies Network Corporation | Optical system with automatic mixing of daylight and thermal vision digital video signals |
| US20120026342A1 (en) | 2010-07-27 | 2012-02-02 | Xiaoguang Yu | Electronic system communicating with image sensor |
| US20120026451A1 (en) | 2010-07-29 | 2012-02-02 | Lensvector Inc. | Tunable liquid crystal lens with single sided contacts |
| US8605136B2 (en) | 2010-08-10 | 2013-12-10 | Sony Corporation | 2D to 3D user interface content data conversion |
| CN102375199B (zh) | 2010-08-11 | 2015-06-03 | 鸿富锦精密工业（深圳）有限公司 | 相机模组 |
| US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
| US8836793B1 (en) | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
| US8493482B2 (en) | 2010-08-18 | 2013-07-23 | Apple Inc. | Dual image sensor image processing system and method |
| US8724000B2 (en) | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
| US8749694B2 (en) | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
| US8665341B2 (en) | 2010-08-27 | 2014-03-04 | Adobe Systems Incorporated | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data |
| GB2483434A (en) | 2010-08-31 | 2012-03-14 | Sony Corp | Detecting stereoscopic disparity by comparison with subset of pixel change points |
| WO2012029298A1 (ja) | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | 撮影装置および画像処理方法 |
| US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
| US9013550B2 (en) | 2010-09-09 | 2015-04-21 | Qualcomm Incorporated | Online reference generation and tracking for multi-user augmented reality |
| US9013634B2 (en) | 2010-09-14 | 2015-04-21 | Adobe Systems Incorporated | Methods and apparatus for video completion |
| WO2012037075A1 (en) | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| KR20130139242A (ko) | 2010-09-14 | 2013-12-20 | 톰슨 라이센싱 | 차폐 데이터의 압축 방법 및 장치 |
| US8780251B2 (en) | 2010-09-20 | 2014-07-15 | Canon Kabushiki Kaisha | Image capture with focus adjustment |
| JP5392415B2 (ja) | 2010-09-22 | 2014-01-22 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
| US20120086803A1 (en) | 2010-10-11 | 2012-04-12 | Malzbender Thomas G | Method and system for distance estimation using projected symbol sequences |
| US20140192238A1 (en) | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
| US8531535B2 (en) | 2010-10-28 | 2013-09-10 | Google Inc. | Methods and systems for processing a video for stabilization and retargeting |
| JP5657343B2 (ja) | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | 電子機器 |
| WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
| US9137503B2 (en) | 2010-11-03 | 2015-09-15 | Sony Corporation | Lens and color filter arrangement, super-resolution camera system and method |
| US9065991B2 (en) | 2010-11-04 | 2015-06-23 | Lensvector Inc. | Methods of adjustment free manufacture of focus free camera modules |
| US20120113232A1 (en) | 2010-11-10 | 2012-05-10 | Sony Pictures Technologies Inc. | Multiple camera system and method for selectable interaxial separation |
| WO2012064106A2 (en) | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| MY150361A (en) | 2010-12-03 | 2013-12-31 | Mimos Berhad | Method of image segmentation using intensity and depth information |
| WO2012078126A1 (en) | 2010-12-08 | 2012-06-14 | Thomson Licensing | System and method for trinocular depth acquisition with triangular sensor |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| JP5963422B2 (ja) | 2010-12-17 | 2016-08-03 | キヤノン株式会社 | 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム |
| US9177381B2 (en) | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
| US8682107B2 (en) | 2010-12-22 | 2014-03-25 | Electronics And Telecommunications Research Institute | Apparatus and method for creating 3D content for oriental painting |
| US8565709B2 (en) | 2010-12-30 | 2013-10-22 | Apple Inc. | Digital signal filter |
| TWI535292B (zh) | 2010-12-31 | 2016-05-21 | 派力肯影像公司 | 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理 |
| JP5699609B2 (ja) | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9448338B2 (en) | 2011-01-20 | 2016-09-20 | Fivefocal Llc | Passively athermalized infrared imaging system and method of manufacturing same |
| US8581995B2 (en) | 2011-01-25 | 2013-11-12 | Aptina Imaging Corporation | Method and apparatus for parallax correction in fused array imaging systems |
| US8717467B2 (en) | 2011-01-25 | 2014-05-06 | Aptina Imaging Corporation | Imaging systems with array cameras for depth sensing |
| JP5594477B2 (ja) | 2011-01-26 | 2014-09-24 | Ｎｌｔテクノロジー株式会社 | 画像表示装置、画像表示方法、及びプログラム |
| US9235894B2 (en) | 2011-01-27 | 2016-01-12 | Metaio Gmbh | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
| US20120200726A1 (en) | 2011-02-09 | 2012-08-09 | Research In Motion Limited | Method of Controlling the Depth of Field for a Small Sensor Camera Using an Extension for EDOF |
| US8717464B2 (en) | 2011-02-09 | 2014-05-06 | Blackberry Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| US8698885B2 (en) | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
| US20140176592A1 (en) | 2011-02-15 | 2014-06-26 | Lytro, Inc. | Configuring two-dimensional image processing based on light-field parameters |
| ES2691630T3 (es) | 2011-02-18 | 2018-11-28 | Tosoh Corporation | Dióxido de manganeso electrolítico y método para producirlo, y método para producir óxido complejo de litio y manganeso |
| EP2683166B1 (en) | 2011-02-28 | 2017-12-13 | Fujifilm Corporation | Color imaging device |
| US8406548B2 (en) | 2011-02-28 | 2013-03-26 | Sony Corporation | Method and apparatus for performing a blur rendering process on an image |
| US8537245B2 (en) | 2011-03-04 | 2013-09-17 | Hand Held Products, Inc. | Imaging and decoding device with quantum dot imager |
| CA2769358C (en) | 2011-03-08 | 2016-06-07 | Research In Motion Limited | Quantum dot image sensor with dummy pixels used for intensity calculations |
| US9565449B2 (en) | 2011-03-10 | 2017-02-07 | Qualcomm Incorporated | Coding multiview video plus depth content |
| KR101792501B1 (ko) | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
| US20120249853A1 (en) | 2011-03-28 | 2012-10-04 | Marc Krolczyk | Digital camera for reviewing related images |
| US8824821B2 (en) | 2011-03-28 | 2014-09-02 | Sony Corporation | Method and apparatus for performing user inspired visual effects rendering on an image |
| US8422770B2 (en) | 2011-03-30 | 2013-04-16 | Mckesson Financial Holdings | Method, apparatus and computer program product for displaying normalized medical images |
| US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
| FR2974449A1 (fr) | 2011-04-22 | 2012-10-26 | Commissariat Energie Atomique | Circuit integre imageur et dispositif de capture d'images stereoscopiques |
| US20120274626A1 (en) | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
| EP2705495B1 (en) | 2011-05-04 | 2015-07-08 | Sony Ericsson Mobile Communications AB | Method, graphical user interface, and computer program product for processing of a light field image |
| WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
| US8843346B2 (en) | 2011-05-13 | 2014-09-23 | Amazon Technologies, Inc. | Using spatial information with device interaction |
| CN102164298B (zh) | 2011-05-18 | 2012-10-03 | 长春理工大学 | 全景成像系统中基于立体匹配的元素图像获取方法 |
| US8629901B2 (en) | 2011-05-19 | 2014-01-14 | National Taiwan University | System and method of revising depth of a 3D image pair |
| US20120293489A1 (en) | 2011-05-20 | 2012-11-22 | Himax Technologies Limited | Nonlinear depth remapping system and method thereof |
| JP5797016B2 (ja) | 2011-05-30 | 2015-10-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP5762142B2 (ja) | 2011-05-31 | 2015-08-12 | キヤノン株式会社 | 撮像装置、画像処理装置およびその方法 |
| US8823813B2 (en) | 2011-06-06 | 2014-09-02 | Apple Inc. | Correcting rolling shutter using image stabilization |
| US8648919B2 (en) | 2011-06-06 | 2014-02-11 | Apple Inc. | Methods and systems for image stabilization |
| US9635274B2 (en) | 2011-06-15 | 2017-04-25 | Microsoft Technology Licensing, Llc | High resolution multispectral image capture |
| JP2013005259A (ja) | 2011-06-17 | 2013-01-07 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| WO2013003276A1 (en) | 2011-06-28 | 2013-01-03 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| US8773513B2 (en) | 2011-07-01 | 2014-07-08 | Seiko Epson Corporation | Context and epsilon stereo constrained correspondence matching |
| KR101216123B1 (ko) | 2011-07-08 | 2012-12-27 | 김호 | 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치 |
| US9300946B2 (en) | 2011-07-08 | 2016-03-29 | Personify, Inc. | System and method for generating a depth map and fusing images from a camera array |
| JP5780865B2 (ja) | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
| JP2013024886A (ja) | 2011-07-14 | 2013-02-04 | Sanyo Electric Co Ltd | 撮像装置 |
| US9363535B2 (en) | 2011-07-22 | 2016-06-07 | Qualcomm Incorporated | Coding motion depth maps with depth range variation |
| US9264689B2 (en) | 2011-08-04 | 2016-02-16 | Semiconductor Components Industries, Llc | Systems and methods for color compensation in multi-view video |
| US9402066B2 (en) | 2011-08-09 | 2016-07-26 | Samsung Electronics Co., Ltd. | Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map |
| US8432435B2 (en) | 2011-08-10 | 2013-04-30 | Seiko Epson Corporation | Ray image modeling for fast catadioptric light field rendering |
| US8866951B2 (en) | 2011-08-24 | 2014-10-21 | Aptina Imaging Corporation | Super-resolution imaging systems |
| US9009952B2 (en) | 2011-08-29 | 2015-04-21 | Asm Technology Singapore Pte. Ltd. | Apparatus for assembling a lens module and an image sensor to form a camera module, and a method of assembling the same |
| US8704895B2 (en) | 2011-08-29 | 2014-04-22 | Qualcomm Incorporated | Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera |
| WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| US9100639B2 (en) | 2011-09-20 | 2015-08-04 | Panasonic Intellectual Property Management Co., Ltd. | Light field imaging device and image processing device |
| WO2013042440A1 (ja) | 2011-09-21 | 2013-03-28 | 富士フイルム株式会社 | 画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 |
| US8724893B2 (en) | 2011-09-27 | 2014-05-13 | Thomson Licensing | Method and system for color look up table generation |
| US8908083B2 (en) | 2011-09-28 | 2014-12-09 | Apple Inc. | Dynamic autofocus operations |
| IN2014CN02708A (ko) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
| JP5831105B2 (ja) | 2011-09-30 | 2015-12-09 | ソニー株式会社 | 撮像装置及び撮像方法 |
| SG11201401363UA (en) | 2011-10-11 | 2014-05-29 | Pelican Imaging Corp | Lens stack arrays including adaptive optical elements |
| EP2592823A3 (en) | 2011-10-12 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device |
| JP5913903B2 (ja) * | 2011-10-24 | 2016-04-27 | 株式会社日立製作所 | 形状検査方法およびその装置 |
| US20130107061A1 (en) | 2011-10-31 | 2013-05-02 | Ankit Kumar | Multi-resolution ip camera |
| US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
| JP5149435B1 (ja) | 2011-11-04 | 2013-02-20 | 株式会社東芝 | 映像処理装置および映像処理方法 |
| EP2590138B1 (en) | 2011-11-07 | 2019-09-11 | Flir Systems AB | Gas visualization arrangements, devices, and methods |
| GB201119405D0 (en) | 2011-11-10 | 2011-12-21 | Univ East Anglia | Spectral estimation method,system and reference target design system |
| US20140313315A1 (en) | 2011-11-15 | 2014-10-23 | Technion Research & Development Foundation Limited | Method and system for transmitting light |
| US20130121559A1 (en) | 2011-11-16 | 2013-05-16 | Sharp Laboratories Of America, Inc. | Mobile device with three dimensional augmented reality |
| US20130127988A1 (en) | 2011-11-17 | 2013-05-23 | Sen Wang | Modifying the viewpoint of a digital image |
| JP6019568B2 (ja) | 2011-11-28 | 2016-11-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| US9661310B2 (en) | 2011-11-28 | 2017-05-23 | ArcSoft Hanzhou Co., Ltd. | Image depth recovering method and stereo image fetching device thereof |
| EP2600316A1 (en) | 2011-11-29 | 2013-06-05 | Inria Institut National de Recherche en Informatique et en Automatique | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation |
| KR101862404B1 (ko) | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
| US9117295B2 (en) | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
| KR20130072535A (ko) * | 2011-12-22 | 2013-07-02 | 삼성전기주식회사 | 비파괴적 결함검사장치 및 이를 이용한 결함검사방법 |
| JP5414947B2 (ja) | 2011-12-27 | 2014-02-12 | パナソニック株式会社 | ステレオ撮影装置 |
| US8941722B2 (en) | 2012-01-03 | 2015-01-27 | Sony Corporation | Automatic intelligent focus control of video |
| US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
| WO2013119706A1 (en) | 2012-02-06 | 2013-08-15 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
| US9172889B2 (en) | 2012-02-09 | 2015-10-27 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating auto-exposed high-dynamic-range images |
| US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| US9230333B2 (en) | 2012-02-22 | 2016-01-05 | Raytheon Company | Method and apparatus for image processing |
| JP5860304B2 (ja) | 2012-02-23 | 2016-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
| JP6112824B2 (ja) | 2012-02-28 | 2017-04-12 | キヤノン株式会社 | 画像処理方法および装置、プログラム。 |
| US8831377B2 (en) | 2012-02-28 | 2014-09-09 | Lytro, Inc. | Compensating for variation in microlens position during light-field image processing |
| JP5924978B2 (ja) | 2012-02-28 | 2016-05-25 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| EP2637139A1 (en) | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
| US9338439B2 (en) | 2012-04-02 | 2016-05-10 | Intel Corporation | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system |
| EP2836869B1 (en) | 2012-04-13 | 2020-10-14 | Automation Engineering, Inc. | Active alignment using continuous motion sweeps and temporal interpolation |
| JP2015523102A (ja) | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ | 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム |
| US8994845B2 (en) | 2012-04-27 | 2015-03-31 | Blackberry Limited | System and method of adjusting a camera based on image data |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| JP2015521411A (ja) | 2012-05-01 | 2015-07-27 | ペリカン イメージング コーポレイション | πフィルタ群を用いてパターン化されたカメラモジュール |
| US20150085073A1 (en) | 2012-05-02 | 2015-03-26 | Koninklijke Philips N.V. | Quality metric for processing 3d video |
| US9300932B2 (en) | 2012-05-09 | 2016-03-29 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
| US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
| US9179126B2 (en) | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
| WO2013182873A1 (en) | 2012-06-08 | 2013-12-12 | Nokia Corporation | A multi-frame image calibrator |
| EP2677734A3 (en) | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
| JP5929553B2 (ja) | 2012-06-28 | 2016-06-08 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
| US8896594B2 (en) | 2012-06-30 | 2014-11-25 | Microsoft Corporation | Depth sensing with depth-adaptive illumination |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| US8792710B2 (en) | 2012-07-24 | 2014-07-29 | Intel Corporation | Stereoscopic depth reconstruction with probabilistic pixel correspondence search |
| US9147251B2 (en) | 2012-08-03 | 2015-09-29 | Flyby Media, Inc. | Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications |
| US8988566B2 (en) | 2012-08-09 | 2015-03-24 | Omnivision Technologies, Inc. | Lens array for partitioned image sensor having color filters |
| US9860443B2 (en) | 2012-08-20 | 2018-01-02 | The Regents Of The University Of California | Monocentric lens designs and associated imaging systems having wide field of view and high resolution |
| AU2013305770A1 (en) | 2012-08-21 | 2015-02-26 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
| US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US9600859B2 (en) | 2012-08-31 | 2017-03-21 | Sony Corporation | Image processing device, image processing method, and information processing device |
| WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
| US9373088B2 (en) | 2012-09-17 | 2016-06-21 | The Board Of Trustees Of The Leland Stanford Junior University | Brain machine interface utilizing a discrete action state decoder in parallel with a continuous decoder for a neural prosthetic device |
| US9143673B2 (en) | 2012-09-19 | 2015-09-22 | Google Inc. | Imaging device with a plurality of pixel arrays |
| EP4307659A1 (en) | 2012-09-28 | 2024-01-17 | Adeia Imaging LLC | Generating images from light fields utilizing virtual viewpoints |
| TW201415879A (zh) | 2012-10-12 | 2014-04-16 | Wintek Corp | 影像擷取裝置 |
| WO2014070927A2 (en) | 2012-10-31 | 2014-05-08 | Invisage Technologies, Inc. | Expanded-field-of-view image and video capture |
| US9338370B2 (en) | 2012-11-05 | 2016-05-10 | Honeywell International Inc. | Visual system having multiple cameras |
| US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| KR101954192B1 (ko) | 2012-11-15 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
| US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
| TWI525382B (zh) | 2012-11-21 | 2016-03-11 | 豪威科技股份有限公司 | 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 |
| CN109963059B (zh) | 2012-11-28 | 2021-07-27 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
| US9001226B1 (en) | 2012-12-04 | 2015-04-07 | Lytro, Inc. | Capturing and relighting images using multiple devices |
| US9088369B2 (en) | 2012-12-28 | 2015-07-21 | Synergy Microwave Corporation | Self injection locked phase locked looped optoelectronic oscillator |
| US8851370B2 (en) | 2013-01-02 | 2014-10-07 | Jpmorgan Chase Bank, N.A. | System and method for secure card with on-board verification |
| US20140183334A1 (en) | 2013-01-03 | 2014-07-03 | Visera Technologies Company Limited | Image sensor for light field device and manufacturing method thereof |
| WO2014107634A2 (en) | 2013-01-05 | 2014-07-10 | Tinz Optics, Inc. | Methods and apparatus relating to the use of multipe optical chains |
| KR20140094395A (ko) | 2013-01-22 | 2014-07-30 | 삼성전자주식회사 | 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 |
| EP2954046A4 (en) | 2013-02-06 | 2016-07-20 | Univ Rochester | Oligodendrocyte precursor cells derived from isolated pluripotent cells to treat myelin disease |
| US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
| US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
| US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
| US9853826B2 (en) | 2013-02-25 | 2017-12-26 | Qualcomm Incorporated | Establishing groups of internet of things (IOT) devices and enabling communication among the groups of IOT devices |
| US20150002734A1 (en) | 2013-07-01 | 2015-01-01 | Motorola Mobility Llc | Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor |
| US20140240469A1 (en) | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
| US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
| US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
| WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| WO2014160142A1 (en) | 2013-03-13 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for using alignment to increase sampling diversity of cameras in an array camera module |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
| WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| WO2014144157A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| WO2014149902A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Systems and methods for providing an array projector |
| US10268885B2 (en) | 2013-04-15 | 2019-04-23 | Microsoft Technology Licensing, Llc | Extracting true color from a color and infrared sensor |
| KR101792374B1 (ko) * | 2013-04-23 | 2017-10-31 | 코니카 미놀타 가부시키가이샤 | 광학 필름, 원 편광판 및 유기 일렉트로루미네센스 표시 장치 |
| WO2014181220A1 (en) | 2013-05-10 | 2014-11-13 | Koninklijke Philips N.V. | Method of encoding a video data signal for use with a multi-view rendering device |
| JP6201476B2 (ja) | 2013-07-18 | 2017-09-27 | 凸版印刷株式会社 | 自由視点画像撮像装置およびその方法 |
| JP5866577B2 (ja) | 2013-07-29 | 2016-02-17 | パナソニックＩｐマネジメント株式会社 | 光学フィルタおよびそれを用いた偏光撮像装置 |
| KR102103983B1 (ko) | 2013-07-31 | 2020-04-23 | 삼성전자주식회사 | 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 |
| US20160182786A1 (en) | 2013-09-11 | 2016-06-23 | Lytro, Inc. | Hybrid light-field camera |
| CN103514580B (zh) * | 2013-09-26 | 2016-06-08 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和系统 |
| US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
| CN106304842A (zh) | 2013-10-03 | 2017-01-04 | 舒朗科技公司 | 用于定位和地图创建的增强现实系统和方法 |
| US20150098079A1 (en) | 2013-10-09 | 2015-04-09 | Hilti Aktiengesellschaft | System and method for camera based position and orientation measurement |
| US20150104101A1 (en) | 2013-10-14 | 2015-04-16 | Apple Inc. | Method and ui for z depth image segmentation |
| US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
| US10395113B2 (en) | 2014-01-22 | 2019-08-27 | Polaris Sensor Technologies, Inc. | Polarization-based detection and mapping method and system |
| KR102135770B1 (ko) | 2014-02-10 | 2020-07-20 | 한국전자통신연구원 | 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치 |
| GB2523149A (en) | 2014-02-14 | 2015-08-19 | Nokia Technologies Oy | Method, apparatus and computer program product for image-driven cost volume aggregation |
| US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
| JP6211435B2 (ja) | 2014-02-26 | 2017-10-11 | 株式会社アドバンテスト | 半導体装置の製造方法 |
| US9307159B2 (en) | 2014-03-04 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Polarization image processing apparatus |
| WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
| US20160042548A1 (en) | 2014-03-19 | 2016-02-11 | Intel Corporation | Facial expression and/or interaction driven avatar apparatus and method |
| KR102397254B1 (ko) | 2014-03-28 | 2022-05-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술 장면의 정량적인 3차원 영상 |
| US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
| GB2525660A (en) | 2014-05-01 | 2015-11-04 | Mastercard International Inc | Methods, devices and systems for transaction initiation |
| WO2015183824A1 (en) | 2014-05-26 | 2015-12-03 | Pelican Imaging Corporation | Autofocus system for a conventional camera that uses depth information from an array camera |
| US9729865B1 (en) | 2014-06-18 | 2017-08-08 | Amazon Technologies, Inc. | Object detection and tracking |
| US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
| US9992483B2 (en) | 2014-09-03 | 2018-06-05 | Intel Corporation | Imaging architecture for depth camera mode with mode switching |
| EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
| US9766461B2 (en) | 2015-01-20 | 2017-09-19 | Microsoft Technology Licensing, Llc | Head-mounted display device with stress-resistant components |
| US9964482B2 (en) | 2015-01-26 | 2018-05-08 | The United States Of America As Represented By The Secretary Of The Army | Detecting clouds using polarized sunlight |
| US10260866B2 (en) | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
| US20160267486A1 (en) | 2015-03-13 | 2016-09-15 | Radiius Corp | Smartcard Payment System and Method |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| KR20180030773A (ko) | 2015-04-17 | 2018-03-26 | 포토네이션 케이맨 리미티드 | 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법 |
| KR20230008893A (ko) | 2015-04-19 | 2023-01-16 | 포토내이션 리미티드 | Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처 |
| JP6512928B2 (ja) | 2015-04-28 | 2019-05-15 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| US9679526B2 (en) | 2015-06-30 | 2017-06-13 | Nxp Usa, Inc. | Display system, an integrated circuit for use in the display system, and a method of displaying at least two images on at least two screens |
| US20170011405A1 (en) | 2015-07-09 | 2017-01-12 | Mastercard International Incorporated | Simultaneous multi-factor authentication systems and methods for payment transactions |
| JP6626295B2 (ja) | 2015-09-09 | 2019-12-25 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| US11257075B2 (en) | 2015-10-20 | 2022-02-22 | Paypal, Inc. | Secure multi-factor user authentication on disconnected mobile devices |
| US20170142405A1 (en) | 2015-10-21 | 2017-05-18 | Praxik, LLC. | Apparatus, Systems and Methods for Ground Plane Extension |
| RU2694021C1 (ru) | 2015-12-14 | 2019-07-08 | Моушен Метрикс Интернешэнл Корп. | Способ и устройство идентификации частей фрагментированного материала в пределах изображения |
| US9741163B2 (en) | 2015-12-22 | 2017-08-22 | Raytheon Company | 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections |
| US20170268990A1 (en) | 2016-03-17 | 2017-09-21 | Canon Kabushiki Kaisha | Separating diffuse and specular components of a glossy object for shape reconstruction using electronic light diffusing layers (e-glass) and polarized light |
| US20170337682A1 (en) | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| US10546297B2 (en) | 2016-06-30 | 2020-01-28 | Paypal, Inc. | Hardware and token based user authentication |
| JP6697681B2 (ja) | 2016-08-17 | 2020-05-27 | ソニー株式会社 | 検査装置、検査方法、およびプログラム |
| WO2018053181A1 (en) | 2016-09-14 | 2018-03-22 | Fotonation Cayman Limited | Optical systems for cameras incorporating lens elements formed separately and subsequently bonded to low cte substrates |
| US10466036B2 (en) * | 2016-10-07 | 2019-11-05 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera |
| US11832969B2 (en) | 2016-12-22 | 2023-12-05 | The Johns Hopkins University | Machine learning approach to beamforming |
| US20180189767A1 (en) | 2016-12-29 | 2018-07-05 | Fotonation Limited | Systems and methods for utilizing payment card information with a secure biometric processor on a mobile device |
| US10976239B1 (en) | 2017-03-14 | 2021-04-13 | Hart Scientific Consulting International Llc | Systems and methods for determining polarization properties with high temporal bandwidth |
| US10643382B2 (en) | 2017-04-04 | 2020-05-05 | Intel Corporation | Application of convolutional neural networks to object meshes |
| CN110741632B (zh) | 2017-06-13 | 2021-08-03 | 索尼公司 | 拍摄装置、拍摄元件以及图像处理方法 |
| KR102351542B1 (ko) | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
| JP7207303B2 (ja) | 2017-07-12 | 2023-01-18 | ソニーグループ株式会社 | 撮像装置、画像生成方法、撮像システム |
| US10742894B2 (en) | 2017-08-11 | 2020-08-11 | Ut-Battelle, Llc | Optical array for high-quality imaging in harsh environments |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| JP2019082853A (ja) * | 2017-10-30 | 2019-05-30 | 日立造船株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
| WO2019089049A1 (en) | 2017-11-06 | 2019-05-09 | Google Llc | Systems and methods for improved feature extraction using polarization information |
| US10643383B2 (en) | 2017-11-27 | 2020-05-05 | Fotonation Limited | Systems and methods for 3D facial modeling |
| CN109961406B (zh) | 2017-12-25 | 2021-06-25 | 深圳市优必选科技有限公司 | 一种图像处理的方法、装置及终端设备 |
| US11024046B2 (en) | 2018-02-07 | 2021-06-01 | Fotonation Limited | Systems and methods for depth estimation using generative models |
| US20210081698A1 (en) * | 2018-02-09 | 2021-03-18 | Nano Techgalaxy, Inc. D/B/A Galaxy.Ai | Systems and methods for physical object analysis |
| JP2019148453A (ja) * | 2018-02-26 | 2019-09-05 | 日立造船株式会社 | フィルム検査装置およびフィルム検査方法 |
| WO2020010353A1 (en) | 2018-07-06 | 2020-01-09 | Polaris Sensor Technologies Inc | Reducing glare for objects viewed through transpatent surfaces |
| CA3107326A1 (en) | 2018-07-30 | 2020-02-06 | Hyperfine Research, Inc. | Deep learning techniques for magnetic resonance image reconstruction |
| US11315321B2 (en) | 2018-09-07 | 2022-04-26 | Intel Corporation | View dependent 3D reconstruction mechanism |
| US10659751B1 (en) * | 2018-12-14 | 2020-05-19 | Lyft Inc. | Multichannel, multi-polarization imaging for improved perception |
| US10708557B1 (en) * | 2018-12-14 | 2020-07-07 | Lyft Inc. | Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors |
| CN110044931B (zh) * | 2019-04-23 | 2021-03-26 | 华中科技大学 | 一种曲面玻璃表面和内部缺陷的检测装置 |
| US11431884B2 (en) * | 2019-09-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Polarization capture device for identifying feature of object |
| US11461998B2 (en) | 2019-09-25 | 2022-10-04 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
-
2020
- 2020-09-17 JP JP2022517442A patent/JP7273250B2/ja active Active
- 2020-09-17 WO PCT/US2020/051243 patent/WO2021055585A1/en unknown
- 2020-09-17 KR KR1020227012815A patent/KR102646521B1/ko active IP Right Grant
- 2020-09-17 US US17/266,054 patent/US11270110B2/en active Active
- 2020-09-17 DE DE112020004391.6T patent/DE112020004391T5/de active Granted
- 2020-09-17 EP EP20845368.8A patent/EP3821267A4/en active Pending
- 2020-09-17 CN CN202080074656.1A patent/CN114600165A/zh active Pending
- 2020-09-17 BR BR112022004811A patent/BR112022004811A2/pt not_active Application Discontinuation
- 2020-09-17 MX MX2022003020A patent/MX2022003020A/es unknown
-
2022
- 2022-01-27 US US17/586,666 patent/US11699273B2/en active Active
Non-Patent Citations (2)
| Title |
|---|
| V.Gruev et al.,‘Material Detection with a CCD Polarization Imager,’ 2010 IEEE 39th Applied Pattern Recognition Workship (AIPR) 2010, pp.1-7 (2010.10.13.) 1부.* |
| 김준봉, 서기성 공저, ‘표면 결함 검출을 위한 데이터 확장 및 성능분석,’ 전기학회논문지 2018, 67(5), pp.669-674 (2018.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| US11699273B2 (en) | 2023-07-11 |
| CN114600165A (zh) | 2022-06-07 |
| JP2022541674A (ja) | 2022-09-26 |
| JP7273250B2 (ja) | 2023-05-12 |
| MX2022003020A (es) | 2022-06-14 |
| DE112020004391T5 (de) | 2022-06-02 |
| BR112022004811A2 (pt) | 2022-06-21 |
| US20220157070A1 (en) | 2022-05-19 |
| US11270110B2 (en) | 2022-03-08 |
| EP3821267A1 (en) | 2021-05-19 |
| WO2021055585A1 (en) | 2021-03-25 |
| US20210264147A1 (en) | 2021-08-26 |
| KR20220051430A (ko) | 2022-04-26 |
| EP3821267A4 (en) | 2022-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102646521B1 (ko) | 편광 큐를 이용한 표면 모델링 시스템 및 방법 | |
| US11024020B2 (en) | Method and system for automatic quality inspection of materials and virtual material surfaces | |
| US20220307819A1 (en) | Systems and methods for surface normals sensing with polarization | |
| CA3109406C (en) | Systems and methods for surface modeling using polarization cues | |
| Molina et al. | On the detection of defects on specular car body surfaces | |
| US20180322623A1 (en) | Systems and methods for inspection and defect detection using 3-d scanning | |
| Arnal et al. | Detecting dings and dents on specular car body surfaces based on optical flow | |
| WO2020066637A1 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| CN104101611A (zh) | 一种类镜面物体表面光学成像装置及其成像方法 | |
| Jaffery et al. | Scope and prospects of non-invasive visual inspection systems for industrial applications | |
| CN110992337A (zh) | 一种集装箱残损检测方法及系统 | |
| US11657495B2 (en) | Non-lambertian surface inspection system using images scanned in different directions | |
| Bhamare et al. | Quality inspection of tire using deep learning based computer vision | |
| CN115375991A (zh) | 一种强/弱光照和雾环境自适应目标检测方法 | |
| Xia et al. | An automatic machine vision-based algorithm for inspection of hardwood flooring defects during manufacturing | |
| Rantoson et al. | 3D reconstruction of transparent objects exploiting surface fluorescence caused by UV irradiation | |
| Lei et al. | Transparent object detection using color image and laser reflectance image for mobile manipulator | |
| WO2022272166A1 (en) | Systems and methods for generating and using visual datasets for training computer vision models | |
| GB2605621A (en) | Monocular depth estimation | |
| Zhang et al. | Defect Inspection for Curved Surface with Highly Specular Reflection | |
| Jang et al. | Automated Visual Inspection of Defects in Transparent Display Layers Using Light-Field 3-D Imaging | |
| Simler et al. | Bimodal model-based 3D vision and defect detection for free-form surface inspection | |
| Hansen et al. | Defect or Design? Leveraging the Angle of Opportunity for Detecting Scratches on Brushed Aluminium Surfaces | |
| Qiao et al. | Dynamic hazard of belt transport tracking and discerning method based on mean shift | |
| Zhao et al. | A fast and lightweight neural network for curve detection in structured-light vision sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |