KR20220134000A - 딥 포토메트릭 러닝(dpl) 시스템, 장치 및 방법 - Google Patents

딥 포토메트릭 러닝(dpl) 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR20220134000A
KR20220134000A KR1020227030067A KR20227030067A KR20220134000A KR 20220134000 A KR20220134000 A KR 20220134000A KR 1020227030067 A KR1020227030067 A KR 1020227030067A KR 20227030067 A KR20227030067 A KR 20227030067A KR 20220134000 A KR20220134000 A KR 20220134000A
Authority
KR
South Korea
Prior art keywords
computing system
images
deep learning
learning model
training data
Prior art date
Application number
KR1020227030067A
Other languages
English (en)
Inventor
매튜 씨. 풋맨
바딤 핀스키
타나폰 나 나롱
데니스 와이. 샤로코프
토니슬라브 이바노프
Original Assignee
나노트로닉스 이미징, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나노트로닉스 이미징, 인코포레이티드 filed Critical 나노트로닉스 이미징, 인코포레이티드
Publication of KR20220134000A publication Critical patent/KR20220134000A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H04N5/2256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

이미징 시스템이 본원에 개시된다. 이미징 시스템은 이미징 장치와 컴퓨팅 시스템을 포함한다. 이미징 장치는 표본을 지지하도록 구성된 스테이지에 대해 다수의 위치와 다수의 각도에 배치된 다수의 광원을 포함한다. 이미징 장치는 표본 표면의 다수의 이미지를 캡처하도록 구성된다. 컴퓨팅 시스템은 이미징 장치와 통신한다. 컴퓨팅 시스템은, 이미징 장치로부터 표본 표면의 다수의 이미지를 수신하고, 딥 러닝 모델을 통해 이미징 장치에 의해, 다수의 이미지를 기반으로 표본 표면의 높이 맵을 생성하고, 및 딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력함으로써 표본 표면의 3D 재구성을 생성하도록 구성된다.

Description

딥 포토메트릭 러닝(DPL) 시스템, 장치 및 방법
관련 출원에 대한 교차 참조
본 출원은 2020년 2월 3일 출원된 미국 가출원 제62/969,574호에 대한 우선권을 주장하며, 이 전체가 본원에 참조로 포함된다.
본 개시는 일반적으로 이미징 시스템에 관한 것으로, 더욱 상세하게는 이미징 시스템에 의해 캡처된 표본 표면의 3D 재구성을 생성하는 것에 관한 것이다.
포토메트릭 스테레오(photometric stereo) 기술은 빛의 램버시안 반사(Lambertian reflection)를 기반으로 깊이와 표면 방향을 추정하기 위해 컴퓨터 비전에서 사용될 수 있다. 물체의 표면 법선(surface normal)과 반사 맵(reflectance map)은 다양한 조명 방향에서 고정된 시야각을 사용하여 촬영한 입력 이미지로부터 계산될 수 있다.
일부 실시형태에서, 이미징 시스템이 본원에 개시된다. 이미징 시스템은 이미징 장치와 컴퓨팅 시스템을 포함한다. 이미징 장치는 표본을 지지하도록 구성된 스테이지에 대해 다수의 위치와 다수의 각도에 배치된 다수의 광원을 포함한다. 이미징 장치는 표본 표면의 다수의 이미지를 캡처하도록 구성된다. 컴퓨팅 시스템은 이미징 장치와 통신할 수 있다. 컴퓨팅 시스템은, 이미징 장치로부터 표본 표면의 다수의 이미지를 수신하고, 딥 러닝 모델을 통해 이미징 장치에 의해, 다수의 이미지를 기반으로 표본 표면의 높이 맵(height map)을 생성하고, 및 딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력함으로써 표본 표면의 3D 재구성을 생성하도록 구성될 수 있다.
일부 실시형태에서, 표본 표면의 3D 재구성을 생성하는 방법이 본원에 개시된다. 컴퓨팅 시스템은, 이미징 장치로부터, 이미징 장치의 스테이지 상에 배치된 표본 표면의 다수의 이미지를 수신한다. 컴퓨팅 시스템은, 딥 러닝 모델을 통해, 다수의 이미지를 기반으로 표본 표면의 높이 맵을 생성한다. 컴퓨팅 시스템은 딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력한다.
일부 실시형태에서, 비일시적 컴퓨터 판독 가능 매체가 본원에 개시된다. 비일시적 컴퓨터 판독 가능 매체는, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금 동작을 수행하도록 하는 하나 이상의 명령 시퀀스를 포함한다. 동작은, 이미징 장치로부터 컴퓨팅 시스템에 의해, 이미징 장치의 스테이지 상에 배치된 표본 표면의 다수의 이미지를 수신하는 단계를 포함한다. 동작은, 딥 러닝 모델을 통해 컴퓨팅 시스템에 의해, 다수의 이미지를 기반으로 표본 표면의 높이 맵을 생성하는 단계를 더 포함한다. 동작은, 컴퓨팅 시스템에 의해, 딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력하는 단계를 더 포함한다.
위에서 언급한 본 개시의 특징이 상세히 이해될 수 있도록, 위에서 간략하게 요약한 본 개시의 보다 구체적인 설명은 첨부된 도면에 일부가 도시된 실시형태를 참조하여 제공될 수 있다. 그러나, 첨부된 도면은 본 개시의 전형적인 실시형태만을 예시하고, 따라서 본 개시가 다른 동등하게 효과적인 실시형태를 허용할 수 있기 때문에 그 범위를 제한하는 것으로 간주되어서는 안 된다는 점에 주목해야 한다.
도 1은 예시적인 실시형태에 따른 이미징 시스템을 도시하는 블록도이다.
도 2는 예시적인 실시형태에 따른 도 1의 이미징 시스템으로부터의 딥 러닝 모듈의 예시적인 아키텍처를 도시하고 있다.
도 3은 예시적인 실시형태에 따른 딥 러닝 모듈을 훈련시키는 방법을 도시하는 흐름도이다.
도 4A는 예시적인 실시형태에 따른 표본의 3D 재구성을 생성하는 방법을 도시하는 흐름도이다.
도 4B는 예시적인 실시형태에 따른 미세 표면의 3D 재구성을 생성하는 방법을 도시하는 흐름도이다.
도 5는 예시적인 실시형태에 따른 표본의 예시적인 3D 재구성을 도시하고 있다.
도 6A는 예시적인 실시형태에 따른 시스템 버스 컴퓨팅 시스템 아키텍처를 도시하고 있다.
도 6B는 예시적인 실시형태에 따른 칩셋 아키텍처를 갖는 컴퓨터 시스템을 도시하고 있다.
이해를 돕기 위해, 가능한 한 동일한 참조 번호를 사용하여 도면에 공통적인 동일한 요소를 지정했다. 하나의 실시형태에 개시된 요소들은 특별한 언급 없이도 다른 실시형태에서 유리하게 활용될 수 있을 것이다.
포토메트릭 스테레오는 다양한 조명 각도로부터 물체의 표면 법선을 계산함으로써 수행될 수 있는 3D 재구성을 위한 하나의 기술일 수 있다. 이 기술은 큰 특징부가 있는 물체의 높이 프로파일을 추정하는 데 효과적일 수 있지만, 더 작은 특징부가 있는 물체 또는 반도체 웨이퍼에서와 같이 작은 오목부가 있는 평평한 환경에서는 종종 실패한다. 본원에 설명된 하나 이상의 기술은 포토메트릭 스테레오를 사용하는 기존의 3D 재구성 기술에 대한 개선을 제공한다. 예를 들어, 본원에 설명된 하나 이상의 기술은, 예상 잡음을 보상하기 위해 표면 법선 계산에서의 발전과 함께 신경망을 사용하는 복합 방법을 포함할 수 있다. 하나 이상의 기술은 포토메트릭 스테레오 모델에서 샘플 잡음 및 고르지 않은 샘플 조명을 통합하는 여러 방법을 포함한다. 일부 실시형태에서, 아래에서 논의되는 제안된 모델은 합성 및 실험 데이터 세트에 대한 감소된 잡음 민감성을 입증할 수 있다. 이러한 접근법은 파괴적이거나 값비싼 분석 방법을 사용할 필요 없이 복잡한 표면의 신속한 검사와 재구성을 가능하게 할 수 있다.
일반적으로, 깊이 추정을 위한 포토메트릭 스테레오의 대부분의 응용은 거시적 규모의 물체에 대한 것이었다. 최근에는, 정규화된 최소화 접근법에 의해 알베도(albedo), 표면 법선 및 높이 맵을 계산하는 미세 스테레오 방법이 깊이 추정에 사용되었다. 그러나, 미세 입력 영상의 사용은 발광 다이오드(LED) 램프 또는 기타 광원이 이미징 스테이지 근처에 설치된 경우 근접장 조명 조건 및 특징부의 크기로 인해 3D 재구성에 어려움이 있었다. 이러한 표면과 조명 조건은 미세 표면에서 기존의 포토메트릭 스테레오의 성능을 제한할 수 있다.
본원에 설명된 하나 이상의 기술은 미세 포토메트릭 스테레오 방법의 엔트로피 최소화 프레임워크 대신에 합성곱 신경망을 사용하여 미세 표면의 3D 재구성을 위한 딥 포토메트릭 러닝 모델을 활용한다. 예를 들어, 본원에 설명된 하나 이상의 기술은 딥 포토메트릭 러닝 성능을 기존의 포토메트릭 스테레오 구현과 비교하기 위해 합성 및 실험 입력을 사용하여 딥 러닝 모듈을 훈련시키는 단계를 포함할 수 있다. 합성 데이터에서, 예를 들어, 비이상적인 표면과 조명 조건은 고르지 않은 조명 프로파일, 가우시안 잡음 및 표면 기울기를 합성 입력 이미지에 통합함으로써 시뮬레이션될 수 있으며, 이러한 조건에 대한 딥 포토메트릭 러닝 및 포토메트릭 스테레오 접근법 모두의 견고성을 분석할 수 있다. 이러한 딥 러닝 기술의 사용은 램버시안 표면에 대한 시스템 의존도를 줄일 수 있다.
도 1은 예시적인 실시형태에 따라 표본의 비스듬한 조명 및 스테이지 상에 지지된 표본 표면의 3D 재구성을 위한 예시적인 컴퓨팅 환경(100)을 도시하고 있다. 도시된 바와 같이, 컴퓨팅 환경(100)은 예시적인 실시형태에 따라 컴퓨팅 시스템(150)과 통신하는 장치(102)를 포함할 수 있다. 장치(102)는 하나 이상의 광원(104, 106)으로 표본(101)을 조명하도록 구성될 수 있다. 하나 이상의 광원(104, 106)은 비스듬한 광(108, 110)을 소정의 각도로 표본(101) 쪽으로 보내도록 구성될 수 있다. 비스듬한 조명은 반사광(112)으로서 표본(101)의 표면으로부터 반사될 수 있다. 장치(102)는 반사광을 캡처하도록 구성된 이미지 센서를 갖는 카메라 장치(114)를 포함할 수 있다. 일부 실시형태에서, 광원(104, 106)은 물체 주위에 원주방향으로 배치된 다양한 위치로 이동할 수 있고, 이미지는 각각의 위치에서 촬영된다.
일부 실시형태에서, 장치(102)는 카메라 장치(114)에 의해 캡처된 이미지를 처리를 위해 컴퓨팅 시스템(150)에 제공할 수 있다. 컴퓨팅 시스템(150)은 하나 이상의 통신 채널을 통해 장치(102)와 통신할 수 있다. 일부 실시형태에서, 하나 이상의 통신 채널은 셀룰러 또는 와이파이 네트워크와 같은 인터넷을 통한 개별 연결을 나타낼 수 있다. 일부 실시형태에서, 하나 이상의 통신 채널은 무선 주파수 식별(RFID), 근거리 통신(NFC), 블루투스(Bluetooth™), 저에너지 블루투스(BLE), 와이파이(Wi-Fi™), 지그비(ZigBee™), 주변 후방산란 통신(ambient backscatter communication, ABC) 프로토콜, USB, WAN 또는 LAN와 같은 직접 연결을 사용하여 단말, 서비스 및 모바일 장치를 연결할 수 있다. 컴퓨팅 시스템(150)은 카메라 장치(114)에 의해 캡처된 이미지를 분석하고 표본(101)의 지형을 생성하도록 구성될 수 있다.
도시된 바와 같이, 컴퓨팅 시스템(150)은 전처리 엔진(152)과 딥 러닝 모델(154)을 포함할 수 있다. 전처리 엔진(152)과 딥 러닝 모델(154) 각각은 하나 이상의 소프트웨어 모듈을 포함할 수 있다. 하나 이상의 소프트웨어 모듈은, 하나 이상의 알고리즘 단계를 구현하는 일련의 기계 명령(예를 들어, 프로그램 코드)을 나타내는, 매체(예를 들어, 컴퓨팅 시스템(150)의 메모리)에 저장된 코드 또는 명령의 모음일 수 있다. 이러한 기계 명령은 프로세서가 명령을 구현하기 위해 해석하는 실제 컴퓨터 코드일 수 있거나, 대안적으로 실제 컴퓨터 코드를 얻기 위해 해석되는 명령의 더 높은 수준의 코딩일 수 있다. 하나 이상의 소프트웨어 모듈은 또한 하나 이상의 하드웨어 구성요소를 포함할 수 있다. 예시적인 알고리즘의 하나 이상의 양태는, 명령의 결과로서라기보다는, 하드웨어 구성요소(예를 들어, 회로) 자체에 의해 수행될 수 있다.
딥 러닝 모델(154)은 표본의 3D 재구성을 생성하도록 구성될 수 있다. 일부 실시형태에서, 딥 러닝 모델(154)은 하나 이상의 합성 훈련 데이터 세트를 사용하여 훈련될 수 있다. 합성 데이터 세트를 생성하기 위해, 전처리 엔진(152)은 비어있는 높이 맵 상에 다수(예를 들어, 100 개)의 겹치지 않는 반구체(non-overlapping half-spheres)를 무작위로 배치함으로써 하나 이상의 합성 높이 맵을 생성할 수 있다. 일부 실시형태에서, 반경이 약 4 개 내지 약 20 개 픽셀 사이에서 균일한 반구체는 32 비트 픽셀 값으로 표시되는 높이를 갖는 양의 방향의 범프(bump) 및 음의 방향의 구멍으로서 (예를 들어, 또는 그 반대로) 추가될 수 있다. 일부 실시형태에서, 전처리 엔진(152)은 하나 이상의 모델링 및 렌더링 패키지를 사용하여 절차적으로 각각의 높이 맵을 3D 형태로 더 변환할 수 있다. 일부 실시형태에서, 전처리 엔진(152)은 다수의 조명 광 벡터(예를 들어, 8 개의 조명 광 벡터)에 대한 "점" 광원의 위치를 계산할 수 있다. 각각의 광 벡터에 대해, 광선 추적 엔진(예를 들어, Cycles 광선 추적 엔진)을 사용하여 흑백 16-비트 이미지가 제공될 수 있다.
일부 실시형태에서, 딥 러닝 모델(154)은 합성곱 신경망(CNN)을 구현할 수 있다. 일부 실시형태에서, CNN 모델은 파이토치(PyTorch) 내의 U-Net 모델과 유사할 수 있다. 일부 실시형태에서, 딥 러닝 모델(154)은, 잡음이 없고 기울기가 없는 제 1 훈련 데이터 세트(예를 들어, "DPL"), 고정된 양의 가우시안 잡음이 있지만 기울기가 없는 제 2 훈련 데이터 세트(예를 들어, "DPLn"), 및 잡음은 없지만 기울기가 있는 제 3 훈련 데이터 세트(예를 들어, DPLt), 이 세 가지 유형의 합성 훈련 데이터 세트로 훈련될 수 있다. 일부 실시형태에서, 각각의 데이터 세트에는 약 500 개의 훈련 예제가 들어있다. 딥 러닝 모델(154)의 성능은 다양한 크기의 테스트 데이터 세트에서 정량화될 수 있다. 예를 들어, 테스트 데이터 세트는 DPL 및 DPLn에 대한 크기 10(초기 데이터 세트의 입력 이미지에 추가될 수 있는 가우시안 잡음의 양을 증가시킴) 및 DPLt에 대한 크기 50을 포함할 수 있다.
일부 실시형태에서, 딥 러닝 모델(154)은 기울기가 있는 훈련 예제에 대한 추가 입력으로서 기울기 각도를 포함하도록 수정될 수 있다. 일부 실시형태에서, 실험 데이터에 대한 검증을 위해, 딥 러닝 모델(154)은 더 나은 매칭 조명 프로파일을 갖는 다수의 훈련 예제의 데이터 세트를 사용하여 재훈련될 수 있고, 특히 실험 광 벡터와 매칭하도록 생성될 수 있다.
일부 실시형태에서, 컴퓨팅 시스템(150)은 통합 엔진(156)을 더 포함할 수 있다. 딥 러닝 모델(154)은 최종 높이 맵을 직접 예측하도록 구성될 수 있지만, 일부 실시형태에서 딥 러닝 모델(154)은 표본의 국소 표면을 예측하는 데 사용될 수 있다. 표본의 국소 표면의 예측에 이어, 통합 엔진(156)은 국소 표면 예측을 사용하여 높이 맵을 생성하도록 구성될 수 있다. 예를 들어, 통합 엔진(156)은 높이 맵을 생성하기 위해 3D 재구성의 표면 법선을 통합하도록 구성될 수 있다. 일반적으로, 경사도 맵(
Figure pct00001
)은 노멀 맵(
Figure pct00002
)으로부터 계산될 수 있다. 일부 실시형태에서, 방정식(
Figure pct00003
)은 이 함수를 최소화함으로써 풀릴 수 있다:
Figure pct00004
일부 실시형태에서, 오일러-라그랑주 방정식(Euler-Lagrange equation)은 p와 q가 푸아송 방정식(Poisson equation)을 충족하는 것을 필요로 할 수 있다:
Figure pct00005
일부 실시형태에서, 통합 엔진(156)은 푸아송 방정식을 풀어 높이 맵을 계산하기 다양한 기술을 사용할 수 있다.
도 2는 예시적인 실시형태에 따른 딥 러닝 모델(154)의 아키텍처(200)를 도시하고 있다. 도시된 바와 같이, 아키텍처(200)는 입력 계층(202)과, 다수의 합성곱 계층(204)과, 다수의 활성화 계층(206)과, 다수의 최대 풀링 계층(208)과, 다수의 업샘플링 계층(210)과, 다수의 연결 계층(212) 및 출력 계층(214)을 포함한다. 일부 실시형태에서, 입력 계층(202)는 6×1200×1200의 치수를 가질 수 있다. 일부 실시형태에서, 출력 계층(214)은 1×1200×1200의 치수를 가질 수 있다.
도 3은 예시적인 실시형태에 따른 딥 러닝 모델(154)을 훈련시키는 방법(300)을 도시하는 흐름도이다. 방법(300)은 단계 302에서 시작할 수 있다.
단계 302에서, 컴퓨팅 시스템(150)은 다수의 훈련 데이터 세트를 생성할 수 있다. 예를 들어, 전처리 엔진(152)은 비어있는 높이 맵 상에 다수(예를 들어, 100 개)의 겹치지 않는 반구체를 무작위로 배치함으로써 하나 이상의 합성 높이 맵을 생성할 수 있다. 일부 실시형태에서, 반경이 약 4 개 내지 약 20 개 픽셀 사이에서 균일한 반구는 32 비트 픽셀 값으로 표시되는 높이를 갖는 양의 방향의 범프 및 음의 방향의 구멍으로서 (예를 들어, 또는 그 반대로) 추가될 수 있다. 일부 실시형태에서, 전처리 엔진(152)은 하나 이상의 모델링 및 렌더링 패키지를 사용하여 절차적으로 각각의 높이 맵을 3D 형태로 더 변환할 수 있다. 일부 실시형태에서, 전처리 엔진(152)은 다수의 조명 광 벡터(예를 들어, 8 개의 조명 광 벡터)에 대한 "점" 광원의 위치를 계산할 수 있다. 각각의 광 벡터에 대해, 광선 추적 엔진(예를 들어, Cycles 광선 추적 엔진)을 사용하여 흑백 16-비트 이미지가 제공될 수 있다.
단계 304에서, 컴퓨팅 시스템(150)은 다수의 훈련 데이터 세트로 딥 러닝 모델(154)을 훈련시킬 수 있다. 예를 들어, 컴퓨팅 시스템(150)은 다수의 훈련 데이터 세트를 기반으로 높이 맵을 생성하도록 딥 러닝 모델(154)을 훈련시킬 수 있다. 일부 실시형태에서, 컴퓨팅 시스템(150)은 실제 데이터(예를 들어, 실제 이미지)로 딥 러닝 모델(154)을 더 훈련시킬 수 있다.
단계 306에서, 컴퓨팅 시스템(150)은 실제 이미지로 딥 러닝 모델(154)을 테스트할 수 있다. 예를 들어, 합성 입력 대신에, 컴퓨팅 시스템(150)은 고무 표면의 실제 미세 이미지를 사용하여 딥 러닝 모델(154)을 테스트할 수 있다. 일부 실시형태에서, 고정된 카메라 각도와 변하는 조명 방향으로 각각의 샘플에 대해 다수(예를 들어, 6 개)의 이미지가 촬영될 수 있다. 정확하게 알려진 실측 자료를 갖는 합성 데이터와는 달리, 고무 샘플에 대한 실측 높이 측정이 사용될 수 있다.
단계 308에서, 컴퓨팅 시스템(150)은 완전히 훈련된 딥 러닝 모델(154)을 출력할 수 있다. 예를 들어, 훈련 및 테스트 동작에 이어, 딥 러닝 모델(154)은 장치(102) 또는 다른 유사한 장치와 함께 사용하기 위해 완전히 훈련될 수 있다.
도 4A는 예시적인 실시형태에 따른 미세 표면의 3D 재구성을 생성하는 방법(400)을 도시하는 흐름도이다. 방법(400)은 단계 402에서 시작할 수 있다.
단계 402에서, 컴퓨팅 시스템(150)은 표본의 다수의 이미지를 수신할 수 있다. 예를 들어, 장치(102)의 하나 이상의 광원(104, 106)은 비스듬한 광(108, 110)을 다양한 각도로 표본(101) 쪽으로 보낼 수 있다. 장치(102)의 카메라 장치(114)는 반사광을 캡처할 수 있다. 일부 실시형태에서, 광원(104, 106)은 물체 주위에 원주방향으로 배치된 다양한 위치로 이동할 수 있고, 이미지는 각각의 위치에서 촬영된다. 이들 이미지 각각은 추가 처리를 위해 컴퓨팅 시스템(150)에 제공될 수 있다.
단계 404에서, 컴퓨팅 시스템(150)은 다수의 이미지를 기반으로 표본의 높이 맵을 생성하도록 구성될 수 있다. 예를 들어, 컴퓨팅 시스템(150)은 입력으로서 다수의 이미지를 딥 러닝 모델(154)에 제공할 수 있다. 딥 러닝 모델(154)은 다수의 이미지를 기반으로 표본의 표면에 대응하는 높이 맵을 생성할 수 있다.
단계 406에서, 컴퓨팅 시스템(150)은 딥 러닝 모델(154)로부터의 출력을 기반으로 미세 표면의 3D 재구성을 생성할 수 있다. 예를 들어, 컴퓨팅 시스템(150)은 딥 러닝 모델(154)로부터 출력된 높이 맵을 기반으로 미세 표면의 3D 재구성을 생성할 수 있다.
도 4B는 예시적인 실시형태에 따른 미세 표면의 3D 재구성을 생성하는 방법(450)을 도시하는 흐름도이다. 방법(450)은 단계 452에서 시작할 수 있다.
단계 452에서, 컴퓨팅 시스템(150)은 표본의 다수의 이미지를 수신할 수 있다. 예를 들어, 장치(102)의 하나 이상의 광원(104, 106)은 비스듬한 광(108, 110)을 다양한 각도로 표본(101) 쪽으로 보낼 수 있다. 장치(102)의 카메라 장치(114)는 반사광을 캡처할 수 있다. 일부 실시형태에서, 광원(104, 106)은 물체 주위에 원주방향으로 배치된 다양한 위치로 이동할 수 있고, 이미지는 각각의 위치에서 촬영된다. 이들 이미지 각각은 추가 처리를 위해 컴퓨팅 시스템(150)에 제공될 수 있다.
단계 454에서, 컴퓨팅 시스템(150)은 다수의 이미지를 기반으로 표본의 표면 예측을 생성하도록 구성될 수 있다. 예를 들어, 컴퓨팅 시스템(150)은 입력으로서 다수의 이미지를 딥 러닝 모델(154)에 제공할 수 있다. 딥 러닝 모델(154)은 다수의 이미지를 기반으로 표본의 표면 예측을 생성할 수 있다.
단계 456에서, 컴퓨팅 시스템(150)은 예측된 표본 표면을 기반으로 높이 맵을 생성할 수 있다. 예를 들어, 통합 엔진(156)은 위에서 논의된 바와 같이 높이 맵을 생성하기 위해 3D 재구성의 표면 법선을 통합할 수 있다.
단계 458에서, 컴퓨팅 시스템(150)은 딥 러닝 모델(154)로부터의 출력을 기반으로 미세 표면의 3D 재구성을 생성할 수 있다. 예를 들어, 컴퓨팅 시스템(150)은 딥 러닝 모델(154)로부터 출력된 높이 맵을 기반으로 미세 표면의 3D 재구성을 생성할 수 있다.
도 5는 예시적인 실시형태에 따른 표본의 예시적인 3D 재구성(500)을 도시하고 있다. 위에서 언급한 바와 같이, 3D 재구성(500)은 딥 러닝 모델(154)에 의한 분석 이후의 컴퓨팅 환경(100)으로부터의 예시적인 출력일 수 있다.
도 6A는 예시적인 실시형태에 따른 시스템 버스 컴퓨팅 시스템 아키텍처(600)를 도시하고 있다. 시스템(600)의 하나 이상의 구성요소는 버스(605)를 사용하여 서로 전기적으로 통신할 수 있다. 시스템(600)은 프로세서(예를 들어, 하나 이상의 CPU, GPU 또는 다른 유형의 프로세서)(610) 및 판독 전용 메모리(ROM)(620) 및 랜덤 액세스 메모리(RAM)(625)와 같은 시스템 메모리(615)를 포함하는 다양한 시스템 구성요소를 프로세서(610)에 결합시키는 시스템 버스(605)를 포함할 수 있다. 시스템(600)은, 프로세서(610)에 직접 연결되거나, 이에 근접하거나, 이의 일부로서 통합된 고속 메모리의 캐시를 포함할 수 있다. 시스템(600)은 프로세서(610)에 의한 빠른 액세스를 위해 메모리(615) 및/또는 저장 장치(630)로부터 캐시(612)로 데이터를 복사할 수 있다. 이러한 방식으로, 캐시(612)는 데이터를 기다리는 동안의 프로세서(610) 지연을 피하는 성능 향상을 제공할 수 있다. 이들 및 다른 모듈은 다양한 동작을 수행하도록 프로세서(610)를 제어하거나 제어하도록 구성될 수 있다. 다른 시스템 메모리(615)도 사용할 수 있다. 메모리(615)는 다양한 성능 특성을 갖는 다수의 다양한 유형의 메모리를 포함할 수 있다. 프로세서(610)는 단일 프로세서 또는 다수의 프로세서를 나타낼 수 있다. 프로세서(610)는 프로세서(610)를 제어하도록 구성된, 저장 장치(630)에 저장된 서비스 1(632), 서비스 2(634) 및 서비스 3(636)과 같은, 범용 프로세서 또는 하드웨어 모듈 또는 소프트웨어 모듈, 및 소프트웨어 명령이 실제 프로세서 설계에 통합되는 특수 목적 프로세서 중 하나 이상을 포함할 수 있다. 프로세서(610)는 본질적으로 다수의 코어 또는 프로세서, 버스, 메모리 제어기, 캐시 등을 포함하는 완전히 자체 완비된 컴퓨팅 시스템일 수 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수 있다.
컴퓨팅 장치(600)와의 사용자 상호작용을 가능하게 하기 위해, 입력 장치(645)는 음성용 마이크, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 임의의 수의 입력 메커니즘일 수 있다. 출력 장치(635)는 또한 본 기술 분야의 숙련자에게 알려진 다수의 출력 메커니즘 중 하나 이상일 수 있다. 경우에 따라, 다중 모드 시스템은 사용자가 컴퓨팅 장치(600)와 통신하기 위해 여러 유형의 입력을 제공할 수 있도록 할 수 있다. 통신 인터페이스(640)는 일반적으로 사용자 입력 및 시스템 출력을 통제하고 관리할 수 있다. 특정 하드웨어 장치에서 작동하는 데 제한이 없고, 따라서 여기의 기본 기능은 개발될 때 개선된 하드웨어 또는 펌웨어 장치로 쉽게 대체될 수 있다.
저장 장치(630)는 비휘발성 메모리일 수 있고, 자기 카세트, 플래시 메모리 카드, 반도체 메모리 장치, 디지털 다용도 디스크, 카트리지, 랜덤 액세스 메모리(RAM)(625), 판독 전용 메모리(ROM)(620) 및 이들의 하이브리드와 같이, 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 유형의 컴퓨터 판독 가능 매체일 수 있다.
저장 장치(630)는 프로세서(610)를 제어하기 위한 서비스(632, 634, 636)를 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈이 고려된다. 저장 장치(630)는 시스템 버스(605)에 연결될 수 있다. 일 양태에서, 특정 기능을 수행하는 하드웨어 모듈은, 기능을 수행하기 위해 프로세서(610), 버스(605), 디스플레이(635) 등과 같은 필요한 하드웨어 구성요소와 관련하여 컴퓨터 판독 가능 매체에 저장된 소프트웨어 구성요소를 포함할 수 있다.
도 6B는 예시적인 실시형태에 따른 칩셋 아키텍처를 갖는 컴퓨터 시스템(650)을 도시하고 있다. 컴퓨터 시스템(650)은 개시된 기술을 구현하기 위해 사용될 수 있는 컴퓨터 하드웨어, 소프트웨어, 및 펌웨어의 예일 수 있다. 시스템(650)은 식별된 계산을 수행하도록 구성된 소프트웨어, 펌웨어 및 하드웨어를 실행할 수 있는 임의의 수의 물리적 및/또는 논리적으로 구별되는 리소스를 나타내는 하나 이상의 프로세서(655)를 포함할 수 있다. 하나 이상의 프로세서(655)는 하나 이상의 프로세서(655)에 대한 입력 및 출력을 제어할 수 있는 칩셋(660)과 통신할 수 있다. 이 예에서, 칩셋(660)은 디스플레이와 같은 출력(665)에 정보를 출력하고, 예를 들어 자기 매체 및 반도체 매체를 포함할 수 있는 저장 장치(670)에 대해 정보를 읽고 기록할 수 있다. 칩셋(660)은 또한 RAM(675)에 대해 데이터를 읽고 기록할 수 있다. 다양한 사용자 인터페이스 구성요소(685)와 인터페이스하기 위한 브리지(680)는 칩셋(660)과 인터페이스하기 위해 제공될 수 있다. 이러한 사용자 인터페이스 구성요소(685)는 키보드, 마이크로폰, 터치 검출 및 처리 회로, 마우스와 같은 포인팅 장치 등을 포함할 수 있다. 일반적으로, 시스템(650)에 대한 입력은 기계가 생성하고 및/또는 인간이 생성한 다양한 소스 중 임의의 것에서 비롯될 수 있다.
칩셋(660)은 또한 다양한 물리적 인터페이스를 가질 수 있는 하나 이상의 통신 인터페이스(690)와 인터페이스할 수 있다. 이러한 통신 인터페이스는 유선 및 무선 근거리 통신망용, 광대역 무선 통신망용 및 개인 통신망용 인터페이스를 포함할 수 있다. 본원에 개시된 GUI를 생성, 디스플레이 및 사용하기 위한 방법의 일부 응용은 물리적 인터페이스를 통해 정렬된 데이터세트를 수신하는 단계를 포함하거나, 저장 장치(670 또는 675)에 저장된 데이터를 분석하는 하나 이상의 프로세서(655)에 의해 기계 자체에 의해 생성될 수 있다. 또한, 기계는 사용자 인터페이스 구성요소(685)를 통해 사용자로부터 입력을 수신하고, 하나 이상의 프로세서(655)를 사용하여 이러한 입력을 해석함으로써 브라우징 기능과 같은 적절한 기능을 실행할 수 있다.
예시적인 시스템(600 및 650)은 하나 이상의 프로세서(610)를 가질 수 있거나, 더 큰 처리 능력을 제공하기 위해 함께 네트워크화된 컴퓨팅 장치의 그룹 또는 클러스터의 일부일 수 있다는 것을 인식할 수 있을 것이다.
상기한 내용은 본원에 설명된 실시형태에 관한 것이지만, 그 기본 범위를 벗어나지 않으면서 다른 및 추가 실시형태가 고안될 수 있다. 예를 들어, 본 개시의 양태는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 본원에 설명된 일 실시형태는 컴퓨터 시스템과 함께 사용하기 위한 프로그램 제품으로 구현될 수 있다. 프로그램 제품의 프로그램(들)은 실시형태의 기능(본원에 설명된 방법을 포함함)을 정의하고, 다양한 컴퓨터 판독 가능 저장 매체에 포함될 수 있다. 예시적인 컴퓨터 판독 가능 저장 매체는: (i) 정보가 영구적으로 저장되는 기록 불가능한 저장 매체(예를 들어, CD-ROM 드라이브로 판독 가능한 CD-ROM 디스크와 같은 컴퓨터 내의 판독 전용 메모리(ROM) 장치, 플래시 메모리, ROM 칩, 또는 임의의 유형의 반도체 비휘발성 메모리); 및 (ii) 변경 가능한 정보가 저장되는 기록 가능한 저장 매체(예를 들어, 디스켓 드라이브 또는 하드 디스크 드라이브 내의 플로피 디스크 또는 임의의 유형의 반도체 랜덤 액세스 메모리)를 포함하지만 이에 한정되지는 않는다. 이러한 컴퓨터 판독 가능 저장 매체는 개시된 실시형태의 기능을 지시하는 컴퓨터 판독 가능 명령을 운반할 때 본 개시의 실시형태이다.
앞의 예들은 예시적이며 제한적이지 않다는 것이 본 기술 분야의 숙련자는 인정할 것이다. 이에 대한 모든 치환, 향상, 등가물 및 개선은 명세서를 읽고 도면을 연구할 때 본 기술 분야의 숙련자에게 자명한 것으로 본 개시의 진정한 사상 및 범위 내에 포함되기 위한 것이다. 따라서 다음의 첨부된 청구범위는 이러한 교시의 진정한 사상 및 범위에 속하는 모든 수정, 치환 및 등가물을 포함하기 위한 것이다.

Claims (20)

  1. 이미징 장치와 컴퓨팅 시스템을 포함하는 이미징 시스템으로서,
    이미징 장치는 표본을 지지하도록 구성된 스테이지에 대해 다수의 위치와 다수의 각도에 배치된 다수의 광원을 포함하고, 이미징 장치는 표본 표면의 다수의 이미지를 캡처하도록 구성되고,
    컴퓨팅 시스템은 이미징 장치와 통신하고, 컴퓨팅 시스템은:
    이미징 장치로부터 표본 표면의 다수의 이미지를 수신하고;
    딥 러닝 모델을 통해 이미징 장치에 의해, 다수의 이미지를 기반으로 표본 표면의 높이 맵을 생성하고; 및
    딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력함으로써
    표본 표면의 3D 재구성을 생성하도록 구성되는, 이미징 시스템.
  2. 제 1 항에 있어서,
    딥 러닝 모델은 합성곱 신경망을 포함하는, 이미징 시스템.
  3. 제 2 항에 있어서,
    합성곱 신경망은 입력으로서 다수의 이미지를 수신하고 단일 이미지를 출력하도록 구성되는, 이미징 시스템.
  4. 제 1 항에 있어서,
    컴퓨팅 시스템은:
    다수의 합성 높이 맵을 포함하는 다수의 훈련 데이터 세트를 생성하고; 및
    다수의 훈련 데이터 세트를 사용하여 딥 러닝 모델을 훈련시킴으로써
    딥 러닝 모델을 훈련시키도록 더 구성되는, 이미징 시스템.
  5. 제 4 항에 있어서,
    다수의 훈련 데이터 세트는:
    잡음이 없고 기울기가 없는 제 1 훈련 데이터 세트와;
    고정된 양의 가우시안 잡음을 포함하고 기울기는 포함하지 않는 제 2 훈련 데이터 세트; 및
    기울기를 포함하고 잡음은 포함하지 않는 제 3 훈련 데이터 세트를 포함하는, 이미징 시스템.
  6. 제 1 항에 있어서,
    컴퓨팅 시스템은:
    예시적인 표본의 다수의 미세 이미지를 생성하고; 및
    다수의 미세 이미지를 사용하여 딥 러닝 모델의 정확도를 테스트함으로써
    딥 러닝 모델을 테스트하도록 더 구성되는, 이미징 시스템.
  7. 제 6 항에 있어서,
    다수의 미세 이미지는 고정된 카메라 각도와 변하는 조명 방향으로 촬영된 이미지를 포함하는, 이미징 시스템.
  8. 표본 표면의 3D 재구성을 생성하는 방법으로서, 방법은:
    이미징 장치로부터 컴퓨팅 시스템에 의해, 이미징 장치의 스테이지 상에 배치된 표본 표면의 다수의 이미지를 수신하는 단계와;
    딥 러닝 모델을 통해 컴퓨팅 시스템에 의해, 다수의 이미지를 기반으로 표본 표면의 높이 맵을 생성하는 단계; 및
    컴퓨팅 시스템에 의해, 딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력하는 단계를 포함하는 방법.
  9. 제 8 항에 있어서,
    딥 러닝 모델은 합성곱 신경망을 포함하는, 방법.
  10. 제 9 항에 있어서,
    합성곱 신경망은 입력으로서 다수의 이미지를 수신하고 단일 이미지를 출력하도록 구성되는, 방법.
  11. 제 8 항에 있어서,
    컴퓨팅 시스템에 의해, 다수의 합성 높이 맵을 포함하는 다수의 훈련 데이터 세트를 생성하는 단계; 및
    컴퓨팅 시스템에 의해, 다수의 훈련 데이터 세트를 사용하여 딥 러닝 모델을 훈련시키는 단계를 더 포함하는 방법.
  12. 제 11 항에 있어서,
    다수의 훈련 데이터 세트는:
    잡음이 없고 기울기가 없는 제 1 훈련 데이터 세트와;
    고정된 양의 가우시안 잡음을 포함하고 기울기는 포함하지 않는 제 2 훈련 데이터 세트; 및
    기울기를 포함하고 잡음은 포함하지 않는 제 3 훈련 데이터 세트를 포함하는, 방법.
  13. 제 8 항에 있어서,
    컴퓨팅 시스템에 의해, 예시적인 표본의 다수의 미세 이미지를 생성하는 단계; 및
    컴퓨팅 시스템에 의해, 다수의 미세 이미지를 사용하여 딥 러닝 모델의 정확도를 테스트하는 단계를 더 포함하는 방법.
  14. 제 13 항에 있어서,
    다수의 미세 이미지는 고정된 카메라 각도와 변하는 조명 방향으로 촬영된 이미지를 포함하는, 방법.
  15. 비일시적 컴퓨터 판독 가능 매체로서, 비일시적 컴퓨터 판독 가능 매체는, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금:
    이미징 장치로부터 컴퓨팅 시스템에 의해, 이미징 장치의 스테이지 상에 배치된 표본 표면의 다수의 이미지를 수신하는 단계와;
    딥 러닝 모델을 통해 컴퓨팅 시스템에 의해, 다수의 이미지를 기반으로 표본 표면의 높이 맵을 생성하는 단계; 및
    컴퓨팅 시스템에 의해, 딥 러닝 모델에 의해 생성된 높이 맵을 기반으로 표본 표면의 3D 재구성을 출력하는 단계를 포함하는 동작을 수행하도록 하는 하나 이상의 명령 시퀀스를 포함하는 비일시적 컴퓨터 판독 가능 매체.
  16. 제 15 항에 있어서,
    딥 러닝 모델은 합성곱 신경망을 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  17. 제 15 항에 있어서,
    컴퓨팅 시스템에 의해, 다수의 합성 높이 맵을 포함하는 다수의 훈련 데이터 세트를 생성하는 단계; 및
    컴퓨팅 시스템에 의해, 다수의 훈련 데이터 세트를 사용하여 딥 러닝 모델을 훈련시키는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  18. 제 17 항에 있어서,
    다수의 훈련 데이터 세트는:
    잡음이 없고 기울기가 없는 제 1 훈련 데이터 세트와;
    고정된 양의 가우시안 잡음을 포함하고 기울기는 포함하지 않는 제 2 훈련 데이터 세트; 및
    기울기를 포함하고 잡음은 포함하지 않는 제 3 훈련 데이터 세트를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  19. 제 15 항에 있어서,
    컴퓨팅 시스템에 의해, 예시적인 표본의 다수의 미세 이미지를 생성하는 단계; 및
    컴퓨팅 시스템에 의해, 다수의 미세 이미지를 사용하여 딥 러닝 모델의 정확도를 테스트하는 단계를 더 포함하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제 19 항에 있어서,
    다수의 미세 이미지는 고정된 카메라 각도와 변하는 조명 방향으로 촬영된 이미지를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020227030067A 2020-02-03 2021-02-03 딥 포토메트릭 러닝(dpl) 시스템, 장치 및 방법 KR20220134000A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062969574P 2020-02-03 2020-02-03
US62/969,574 2020-02-03
PCT/US2021/016474 WO2021158703A1 (en) 2020-02-03 2021-02-03 Deep photometric learning (dpl) systems, apparatus and methods

Publications (1)

Publication Number Publication Date
KR20220134000A true KR20220134000A (ko) 2022-10-05

Family

ID=77061492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227030067A KR20220134000A (ko) 2020-02-03 2021-02-03 딥 포토메트릭 러닝(dpl) 시스템, 장치 및 방법

Country Status (6)

Country Link
US (2) US11574413B2 (ko)
EP (1) EP4100925A4 (ko)
JP (1) JP2023513079A (ko)
KR (1) KR20220134000A (ko)
CN (1) CN115053234A (ko)
WO (1) WO2021158703A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644756B2 (en) * 2020-08-07 2023-05-09 KLA Corp. 3D structure inspection or metrology using deep learning
US20230120613A1 (en) * 2021-10-14 2023-04-20 Outward, Inc. Interactive image generation
CN113936117B (zh) * 2021-12-14 2022-03-08 中国海洋大学 基于深度学习的高频区域增强的光度立体三维重建方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098931B2 (en) * 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9082188B2 (en) 2011-04-11 2015-07-14 Hid Global Corporation Optical topographic imaging
WO2014160510A2 (en) * 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
GB2526866A (en) * 2014-06-05 2015-12-09 Univ Bristol Apparatus for and method of inspecting surface topography of a moving object
WO2017174663A1 (en) * 2016-04-06 2017-10-12 University Of The West Of England, Bristol Non-contact apparatus and method for capturing skin surface image data
US10387755B2 (en) * 2017-06-28 2019-08-20 Applied Materials, Inc. Classification, search and retrieval of semiconductor processing metrology images using deep learning/convolutional neural networks
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
GB2598711B (en) * 2020-08-11 2023-10-18 Toshiba Kk A Computer Vision Method and System
CN112381770B (zh) * 2020-11-03 2024-04-05 西安交通大学 一种基于融合卷积神经网络的磨损表面三维形貌测量方法
US20220189806A1 (en) * 2020-12-16 2022-06-16 Samsung Electronics Co., Ltd. Estimating heights of defects in a wafer

Also Published As

Publication number Publication date
EP4100925A4 (en) 2024-03-06
EP4100925A1 (en) 2022-12-14
US11574413B2 (en) 2023-02-07
US20210241478A1 (en) 2021-08-05
JP2023513079A (ja) 2023-03-30
WO2021158703A1 (en) 2021-08-12
CN115053234A (zh) 2022-09-13
US20230186502A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
US11798271B2 (en) Depth and motion estimations in machine learning environments
US11710034B2 (en) Misuse index for explainable artificial intelligence in computing environments
US11900256B2 (en) Deep learning system
US11074717B2 (en) Detecting and estimating the pose of an object using a neural network model
KR20220134000A (ko) 딥 포토메트릭 러닝(dpl) 시스템, 장치 및 방법
US20210090327A1 (en) Neural network processing for multi-object 3d modeling
KR20200057770A (ko) 심층 신경망을 사용하는 이미지 처리를 위한 시스템 및 방법
CN111062981B (zh) 图像处理方法、装置及存储介质
US11321822B2 (en) Determining image defects using image comparisons
US8803880B2 (en) Image-based lighting simulation for objects
US11164306B2 (en) Visualization of inspection results
US9557822B2 (en) Method and apparatus for distinguishing features in data
US20220222832A1 (en) Machine learning framework applied in a semi-supervised setting to perform instance tracking in a sequence of image frames
WO2019217126A1 (en) Computer vision through simulated hardware optimization
TWI489319B (zh) 以深度梯度爲基礎之追蹤
US20190096073A1 (en) Histogram and entropy-based texture detection
US11922558B2 (en) Hybrid differentiable rendering for light transport simulation systems and applications
WO2022251619A1 (en) Hybrid differentiable rendering for light transport simulation systems and applications
US20230144458A1 (en) Estimating facial expressions using facial landmarks
US20240185506A1 (en) Hybrid differentiable rendering for light transport simulation systems and applications
Chen et al. Underwater target detection and embedded deployment based on lightweight YOLO_GN
WO2023081138A1 (en) Estimating facial expressions using facial landmarks
Liu et al. L-EfficientUNet: Lightweight End-to-End Monocular Depth Estimation for Mobile Robots
CN117058527A (zh) 一种基于rk3588平台的检测算法部署方法