KR20230096057A - 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인 - Google Patents

라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인 Download PDF

Info

Publication number
KR20230096057A
KR20230096057A KR1020237017783A KR20237017783A KR20230096057A KR 20230096057 A KR20230096057 A KR 20230096057A KR 1020237017783 A KR1020237017783 A KR 1020237017783A KR 20237017783 A KR20237017783 A KR 20237017783A KR 20230096057 A KR20230096057 A KR 20230096057A
Authority
KR
South Korea
Prior art keywords
defect
depth
light field
reference plane
information
Prior art date
Application number
KR1020237017783A
Other languages
English (en)
Inventor
하오톈 리
즈원 쳰
Original Assignee
봄마 (상하이) 테크놀로지 컴퍼니., 리미티드.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 봄마 (상하이) 테크놀로지 컴퍼니., 리미티드. filed Critical 봄마 (상하이) 테크놀로지 컴퍼니., 리미티드.
Publication of KR20230096057A publication Critical patent/KR20230096057A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인, 상응하는 컴퓨터 판독 가능한 저장 매체를 제공한다. 본 발명은 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하고; 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득한다. 본 발명은 라이트 필드 카메라를 이용하여 스크린과 같은 제품의 결함에 대한 3차원 검출을 구현하고, 제품 구조에서의 결함의 위치를 정확하게 판정할 수 있다.

Description

라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인
본 발명은 스크린 결함의 3차원 광전 검출 기술분야에 관한 것으로, 특히 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템 및 방법에 관한 것이다.
최근 몇 년 동안 기술과 산업 수준의 급속한 성장으로 휴대폰, 태블릿 컴퓨터, 모니터 등은 스크린의 해상도가 지속적으로 향상되었으며 공정이 지속적으로 진보하였다. 생산 과정에서 스크린에 대한 품질 요구도 점점 더 높아지고 있다. 스크린에 대한 3차원 결함 검출은 항상 산업 외관 검사에서 가장 어려운 문제 중 하나였다.
라이트 필드 카메라의 등장은 3차원 결함 검출을 위해 새로운 해결 방안을 제공하였다. 라이트 필드 카메라는 통상적인 카메라의 센서와 메인 렌즈 사이에 마이크로렌즈 어레이를 추가한 다음 빛의 전파 방향을 기록하여 렌즈 어레이에 의해 인코딩된 독특한 라이트 필드 이미지를 형성하고, 이 라이트 필드 이미지를 처리하고 렌더링하여 3차원 정보를 획득할 수 있다. 라이트 필드 카메라는 피동적 3차원 측정 방식이므로 투명 또는 반투명 매체를 통해 결함 검출 및 3차원 측정을 수행할 수 있다.
현재, 물체의 결함을 식별하고 그에 대응되는 3차원 정보를 획득하는 3차원 결함 검출 기술이 머신 비전 분야 및 측정 분야의 핵심 기술이라는 것은 당업자들이 인식하고 있지만, 산업계에서 스크린의 결함 검출은 여전히 대부분 사람의 눈에 의한 검출과 2차원 카메라 검출이다. 2차원 산업용 카메라는 스크린에서 먼지와 결함의 유무만 검출할 수 있을 뿐 먼지와 결함을 구분할 수 없고 다층 구조에서의 결함의 구체적인 위치를 포지셔닝할 수 없다.
선행기술에서 이미 해결한 기술적 문제는 라이트 필드 카메라의 보정 방법이다.
특허 문헌 CN106303175A는 단일 라이트 필드 카메라의 다중 시야각을 기반으로 한 가상 현실 3차원 데이터 수집 방법을 개시하며, 상기 방법은, 단일 라이트 필드 카메라를 이용하여 마이크로렌즈 보정 맵을 획득하는 단계 S101; 보정 맵을 이용하여 마이크로렌즈의 중심 위치를 포지셔닝하는 단계 S102; 하나의 라이트 필드 이미지를 획득하는 단계 S103; 라이트 필드 이미지에서 각 마이크로렌즈 하에 상대적 위치가 동일한 특정 픽셀을 선택하는 단계 S104; 선택된 픽셀을 샘플링 포인트로 사용하여 그 중 정사각 행렬에 내장된 픽셀 값을 구함으로써 단일 시야각의 이미지를 형성하는 단계 S105; 상이한 위치의 픽셀을 선택하고, 모든 픽셀이 선택될 때까지 단계 S103 내지 단계 S105를 반복하는 단계 S106을 포함한다.
특허 문헌 CN111351446A는 3차원 형상 측정을 위한 라이트 필드 카메라 보정 방법을 개시하며, 상기 방법에서, 공간에서 상이한 위치의 보정 플레이트 및 대응되는 라이트 필드 원본 이미지를 보정하여 라이트 필드 시차 이미지와 3차원 공간 정보의 대응 관계를 획득하고; 라이트 필드 카메라를 이용하여 다수의 디포커스 소프트 라이트 순색 보정 플레이트를 촬영하여 라이트 필드 백색 이미지를 획득하며; 라이트 필드 카메라 백색 이미지에 따라 계산하여 디비네팅 매트릭스를 얻고; 반복 계산을 통해 라이트 필드 카메라 마이크로렌즈 서브픽셀 수준 중심 좌표 매트릭스를 얻으며; 라이트 필드 카메라로 다수의 알려진 3차원 공간적 위치의 도트 보정 플레이트를 촬영하여 디비네팅 처리하고; 3차원 좌표에서 시차까지의 라이트 필드 수학적 모델을 구축하며, 라이트 필드 3차원 이미징 법칙과 도트 3차원 공간 정보에 따라 피팅하고 계산하여 도트 보정에 대응되는 도트 중심 좌표 및 시차 값을 얻는다. 이 발명은 라이트 필드 시차 이미지를 메인 렌즈 왜곡이 없는 3차원 공간 정보로 효율적이고 정확하게 전환시킬 수 있다.
특허 문헌 CN111340888A는 백색 이미지가 필요 없는 라이트 필드 카메라 보정 방법 및 시스템을 개시하며, 여기서, 먼저 라이트 필드 카메라에 의해 촬영된 전자 체커보드의 라이트 필드 원본 이미지를 획득하고, 그 다음 상기 라이트 필드 원본 이미지에 따라 마이크로렌즈 어레이의 보정을 수행하며, 상기 마이크로렌즈 어레이의 보정 결과 및 상기 마이크로렌즈 어레이의 중심점 그리드를 생성하고; 템플릿 매칭 방법을 사용하여 상기 라이트 필드 원본 이미지의 라인 특징을 추출하고 상기 라인 특징을 보정 데이터로 사용하여 상기 라이트 필드 카메라의 투영 모델의 내부 및 외부 파라미터를 보정한다. 이는 백색 이미지에 의존하지 않고 체커보드의 원래 라이트 필드만 처리하면 마이크로렌즈 중심점 그리드, 어레이 자세 및 카메라 투영 모델의 내부 및 외부 파라미터를 획득할 수 있으므로, 라이트 필드 카메라 보정 정확도가 높고 적응 범위가 넓은 특징이 있다.
그러나, 선행기술은 다층 구조를 갖는 스크린과 같은 제품의 결함 검출에 라이트 필드 카메라를 구체적으로 적용하는 방법을 아직 제공하지 않았다.
선행기술의 단점을 극복하기 위해, 본 발명의 목적은 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인을 제공하는 것이다.
본 발명에 따라 제공되는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법은,
라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득하는 깊이 참조 평면 획득 단계;
라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하는 결함 추출 단계;
상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하는 상대적 거리 획득 단계; 및
상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득하는 결함 레이어링 정보 획득 단계를 포함한다.
바람직하게는,
상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함하며;
상기 결함 레이어링 정보 획득 단계에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득한다.
바람직하게는,
결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함하며;
상기 결함 레이어링 정보 획득 단계에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득한다.
바람직하게는, 상기 결함 추출 단계에서, 먼저 가우시안 필터링을 통해 라이트 필드 다시점 이미지 중 픽셀 그리드의 정보 간섭을 약화시키고, 그 다음 이미지에 대해 명점과 암점을 각각 추출하는 이진화 임계값 처리를 수행하며, 연결 도메인을 분석하여 연결 도메인 면적이 작은 영역을 제거하고, 이러한 처리에 의해 얻은 점을 결함점으로 간주하며, 라이트 필드 깊이 이미지에서 픽셀 위치에 대응되는 정보를 획득하여 결함의 깊이 정보를 획득한다.
본 발명에 따라 제공되는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템은,
라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득하는 깊이 참조 평면 획득 모듈;
라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하는 결함 추출 모듈;
상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하는 상대적 거리 획득 모듈; 및
상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득하는 결함 레이어링 정보 획득 모듈을 포함한다.
바람직하게는,
상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함하며;
상기 결함 레이어링 정보 획득 모듈에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득한다.
바람직하게는,
결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함하며;
상기 결함 레이어링 정보 획득 모듈에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득한다.
바람직하게는, 상기 결함 추출 모듈에서, 먼저 가우시안 필터링을 통해 라이트 필드 다시점 이미지 중 픽셀 그리드의 정보 간섭을 약화시키고, 그 다음 이미지에 대해 명점과 암점을 각각 추출하는 이진화 임계값 처리를 수행하며, 연결 도메인을 분석하여 연결 도메인 면적이 작은 영역을 제거하고, 이러한 처리에 의해 얻은 점을 결함점으로 간주하며, 라이트 필드 깊이 이미지에서 픽셀 위치에 대응되는 정보를 획득하여 결함의 깊이 정보를 획득한다.
본 발명에 따라 제공되는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법의 단계를 구현한다.
본 발명에 따라 제공되는 제품 결함 검출 생산 라인은 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템을 포함하거나 상기 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함한다.
선행기술과 비교하여, 본 발명은 다음과 같은 유익한 효과를 갖는다.
1. 본 발명은 라이트 필드 카메라를 이용하여 스크린과 같은 제품의 결함에 대한 3차원 검출을 구현하고, 제품 구조에서의 결함의 위치를 정확하게 판정할 수 있다.
2. 본 발명은 라이트 필드 카메라의 피동적 측정 특징을 이용하는데, 라이트 필드 카메라는 투명 또는 반투명 매체를 통해 3차원 이미징을 수행할 수 있다. 따라서, 깊이 참조 평면 상측의 결함에 대해 3차원 측정을 수행할 수 있을 뿐만 아니라 깊이 참조 평면 하측의 결함에 대해 3차원 검출을 수행할 수 있다.
3. 라이트 필드 카메라의 3차원 검출 방법은 스캐닝을 위한 이동 메커니즘이 필요 없이 하나의 카메라로 한 번만 촬영하면 되므로, 효율적이고 편리한 특징이 있다.
4. 라이트 필드 카메라는 결함의 깊이를 측정하여 결함을 레이어링할 수 있다.
5. 레이어링 결과에 따라 스크린의 결함과 먼지를 구분할 수 있다.
6. 본 발명은 별도의 AOI 광원이 필요 없이 스크린 자체 발광을 광원으로 사용하므로 구현 시 편리하고 공간을 절약한다.
본 발명의 다른 특징, 목적 및 장점은 아래의 도면을 참조하여 비제한적 실시예에 대해 이루어진 상세한 설명을 읽음으로써 더욱 명백해질 것이다.
도 1은 본 발명의 실시예 중 하나에 따른 검출 프로세스의 흐름도이다.
도 2는 본 발명의 실시예에서 라이트 필드 카메라로 검출할 휴대폰 스크린을 촬영하는 모식도이다.
도 3은 본 발명의 실시예에서 계산된 LCD 휴대폰 스크린 유리의 라이트 필드 중심 시야각 이미지이다.
도 4는 도 3에 대응되는 깊이 이미지이다.
도 5는 도 3에 대응되는 레이어링 포인트 클라우드 이미지의 측면도이다.
도 6은 본 발명의 실시예에서 계산된 OLED 손목시계 스크린의 라이트 필드 중심 시야각 이미지이다.
도 7은 도 6에 대응되는 깊이 이미지이다.
도 8은 도 6에 대응되는 레이어링 포인트 클라우드 이미지의 측면도이다.
아래, 구체적인 실시예와 결부하여 본 발명을 상세하게 설명한다. 아래의 실시예는 당업자가 본 발명을 더욱 이해하는데 도움이 될 것이지만 어떠한 형태로든 본 발명을 제한하지 않는다. 당업자라면 본 발명의 구상을 벗어나지 않고 다양한 변경 및 개선을 진행할 수 있음을 유의해야 한다. 이들은 모두 본 발명의 보호 범위에 속한다.
본 발명에 따라 제공되는 라이트 필드 카메라를 기반으로 한 스크린 결함 레이어링 검출 방법은,
라이트 필드 카메라를 보정하는 라이트 필드 카메라 보정 단계;
라이트 필드 카메라를 사용하여 검출할 제품의 결함 영역을 촬영하여 라이트 필드 다시점 이미지를 획득하고, 라이트 필드 다시점 이미지에 따라 라이트 필드 깊이 이미지를 획득하는 결함 영역 깊이 촬영 단계;
라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득하는 깊이 참조 평면 획득 단계;
라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하는 결함 추출 단계;
상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하는 상대적 거리 획득 단계; 및
상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득하는 결함 레이어링 정보 획득 단계를 포함한다.
상기 라이트 필드 카메라 보정 단계는 다음과 같은 단계를 포함한다.
단계 A1: 조리개 매칭 후 라이트 필드 카메라를 사용하여 다수의 디포커스 소프트 라이트 플레이트를 촬영하고, 라이트 필드 백색 이미지 보정을 수행하며, 마이크로렌즈 중심 보정을 완료한다. 구체적으로, 검출할 제품인 스크린의 측정 영역 크기, 측정 깊이 범위 및 결함 크기 범위에 따라 상응하는 초점 거리 및 확대 배율을 갖는 광학 렌즈를 마이크로렌즈의 렌즈로 선택한다. 마이크로렌즈의 렌즈의 조리개와 라이트 필드 카메라의 메인 렌즈의 조리개가 매칭되도록 마이크로렌즈의 렌즈의 조리개를 조절한다. 구체적으로 라이트 필드 카메라가 디포커스 소프트 라이트 순색 보정 플레이트 이미지를 촬영하는 것으로 나타내며, 상기 이미지 중 마이크로렌즈 어레이는 마침 접한 상태이거나 접한 상태에 근접하다. 라이트 필드 백색 이미지, 또는 라이트 필드 카메라 백색 이미지는 라이트 필드 카메라에 의해 촬영된 순백색 배경 이미지를 의미한다. 조절이 완료된 후, 라이트 필드 카메라의 디포커스 위치에 위치한 빛의 강도가 비교적 균일한 다수의 순색 배경 플레이트, 즉 디포커스 소프트 라이트 순색 보정 플레이트를 촬영한다. 다수의 라이트 필드 백색 이미지에 대해 평균화 및 정규화 처리를 수행한 후 디비네팅 매트릭스
Figure pct00001
를 얻되, 여기서,
Figure pct00002
는 이미지 좌표계에서 픽셀의 가로 좌표 값을 나타내고,
Figure pct00003
는 이미지 좌표계에서 픽셀의 세로 좌표 값을 나타낸다. 이후 촬영된 모든 라이트 필드 원본 이미지는 라이트 필드 백색 이미지 보정를 완료하기 위해 상기 디비네팅 매트릭스를 제거해야 한다. 여기서 라이트 필드 원본 이미지는 라이트 필드 다시점 이미지 알고리즘에 의해 처리되지 않은 라이트 필드 이미지를 의미한다. 라이트 필드 이미지 보정 단계가 완료된 후, 필터를 사용하여 라이트 필드 백색 이미지를 처리하여 라이트 필드 백색 이미지의 노이즈를 제거하고, 필터링된 라이트 필드 이미지에 대해 비최댓값 억제를 수행하며; 나아가, 처리된 이미지에 따라 마침 라이트 필드 카메라의 마이크로렌즈의 정수 수준의 중심인 극댓값을 취하고; 정수 수준의 마이크로렌즈 중심을 초기 반복 값으로 사용하여 마이크로렌즈 배열 그리드를 반복적을 최적화하고, 최종적으로 마이크로렌즈 배열의 각도와 거리를 획득하며, 서브픽셀 수준의 마이크로렌즈 중심을 획득한다.
단계 A2: 라이트 필드 카메라 스케일 보정을 수행한다.
변위 스테이지 및 스케일 보정 플레이트의 조립이 필요한 라이트 필드 카메라 스케일 보정 단계: 먼저 라이트 필드 카메라의 초점면 영역에 스케일 보정 플레이트를 고정하고, 초점면 위치에서 고정 공간 거리까지 스케일 보정 플레이트를 지속적으로 이동시켜 촬영하며, 보정 플레이트 상의 점의 공간적 위치를 알고 있으므로, 전체 이동 과정에서 크기 보정 플레이트 상의 점의 공간적 위치를 얻을 수 있다. 도트 보정 포인트는 라이트 필드 이미지에서 착란원을 형성할 수 있고, 처리를 통해 착란원의 직경을 얻어 계산하여 착란원의 시차 값 및 착란원의 픽셀 좌표를 얻으며, 라이트 필드 카메라 스케일 보정 모델에 따라 공간에서의 3차원 좌표 및 라이트 필드 카메라의 픽셀 좌표와 시차 값 간의 관계를 얻는다.
단계 A3: 결함 유형의 상이함에 따라, 스크린이 결함을 강조하여 나타낼 수 있는 이미지를 표시하도록 한다. 스크린이 자체 발광하여 스크린을 비출 수 있기 때문에 본 발명에 의해 제공되는 시스템은 별도의 광원이 필요 없이 스크린이 자체 발광하도록 한다.
상기 결함 영역 깊이 촬영 단계는 다음과 같은 단계를 포함한다.
단계 A4: 라이트 필드 카메라가 결함 근처에 초점을 맞추도록 하고, 결함 정보가 포함된 라이트 필드 카메라의 원본 라이트 필드 이미지를 촬영한다.
단계 A5: 라이트 필드 카메라를 사용하여 검출할 스크린 결함 영역을 촬영하고 처리하여 라이트 필드 다시점 이미지를 획득한다. 라이트 필드 다시점 렌더링을 수행하여 결함 정보가 포함된 라이트 필드 다시점 이미지를 획득한다. 라이트 필드 다시점 이미지는 통상적인 2차원 카메라의 이미지와 본질적으로 차이가 없으며, 각도가 상이한 다수의 2차원 카메라가 동일한 물체를 촬영하는 것으로 간주할 수 있으므로, 상기 라이트 필드 다시점 이미지에 대해 결함 추출을 수행할 수 있다.
단계 A6: 깊이 이미지를 획득하고, 스케일 보정 데이터에 따라 이미지의 3차원 모델을 구축하며; 깊이 참조 평면을 획득한다. 라이트 필드 카메라의 촬영에 따라 계산하여 라이트 필드 시차 이미지를 획득하고; 라이트 필드 카메라 스케일 보정 결과에 따라 라이트 필드 시차 이미지를 라이트 필드 깊이 이미지로 전환시킨다. 여기서,
상기 깊이 참조 평면 획득 단계에서, 라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득한다. 여기서, 깊이 참조 평면은 일정한 텍스처 정보를 가지고 있어 안정적인 깊이 정보를 제공하는 구조의 상부면을 의미한다. LCD 스크린의 경우, 상기 구조는 컬러 필터이고; OLED 스크린의 경우, 상기 구조는 유기 발광층이다. 이러한 구조는 이미지의 텍스처 정보를 제공하므로, 라이트 필드 깊이 알고리즘은 구조의 상부면의 깊이를 계산할 수 있다. 검출할 대상에서의 이러한 구조의 위치는 고정되어 있으므로 결함 높이를 계산하기 위한 기준면으로 사용될 수 있다. 다항식 피팅을 통해 깊이 참조 평면의 평면 방정식을 계산하여 얻을 수 있다. 구체적으로, A2에 따른 라이트 필드 카메라 스케일 보정 결과를 통해 라이트 필드 깊이 이미지 중 각 픽셀점을 실제 스케일 좌표(xu,v, yu,v, zu,v)로 변환시키되, 여기서, xu,v, yu,v, zu,v는 각각 이미지 좌표계에서 가로 및 세로 좌표 값이
Figure pct00004
인 픽셀이 X, Y, Z축에 있는 좌표를 나타낸다. 깊이 참조 평면의 방정식은 Z=C1X+C2Y+C3이다. 여기서, C1, C2, C3은 미정 계수이다. 라이트 필드 깊이 이미지 중의 데이터를 통해 선형 회귀 방법으로 미정 계수를 구하면 깊이 참조 평면의 방정식을 얻을 수 있다.
상기 결함 추출 단계에서, 라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하며; 구체적으로, 먼저 가우시안 필터링을 통해 라이트 필드 다시점 이미지 중 픽셀 그리드의 정보 간섭을 약화시키고, 그 다음 이미지에 대해 명점과 암점을 각각 추출하는 이진화 임계값 처리를 수행하며, 연결 도메인을 분석하여 연결 도메인 면적이 작은 영역을 제거한다. 이러한 처리에 의해 얻은 점을 결함점으로 간주할 수 있으며, 라이트 필드 깊이 이미지에서 픽셀 위치에 대응되는 정보를 획득하여 결함의 깊이 정보를 획득할 수 있다.
상대적 거리 획득 단계: 상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득한다. 구체적으로, 깊이 참조 평면 방정식, 결함점 좌표를 알고 있으면, 결함점에서 깊이 참조 평면까지의 거리는 점에서 평면까지의 거리 공식으로 계산하여 얻을 수 있다.
결함 레이어링 정보 획득 단계: 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득한다. 또한, 공간적 위치에 따라 검출할 제품에서의 결함의 레벨, 즉 어느 하나의 레이어 또는 어느 다수의 레이어에 위치하는 지를 얻은 다음 레이어의 정보를 공간 좌표계에 매핑하고, 최종적으로 결함의 레이어링 포인트 클라우드를 형성한다. 바람직한 예에서, 상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함한다. 예를 들어, 검출할 제품은 스크린, VR 안경, 광학 렌즈 세트 중 어느 하나의 제품을 포함한다. 상기 스크린은 지능형 단말기, 차량 탑재 스크린, 모니터, TV 중 어느 하나의 기기의 스크린일 수 있다. 스크린의 유형은 LCD 스크린, OLED 스크린, QLED 스크린, MiniLED 스크린, MicroLED 스크린 등 스크린 유형일 수 있다.
스크린 등 다층 구조의 검출할 제품의 경우, 상기 결함 레이어링 정보 획득 단계에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득한다. 구체적으로, 깊이 참조 평면이 다층 구조 제품의 어느 하나의 레이어에 대응되는지를 알고 있고, 또한 깊이 참조 평면에 대한 결함의 거리를 이미 획득하였으며, 다층 구조의 다른 각 레이어와 깊이 참조 평면에 대응되는 하나의 레이어 간의 거리도 알고 있으므로, 결함과 다층 구조의 각 레이어 간의 거리 관계를 얻을 수 있는데, 예를 들어, 결함과 다층 구조의 하나의 레이어 간의 거리가 0 또는 음수이면, 상기 결함은 상기 레이어에 분포된다.
결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함한다. 상기 결함 레이어링 정보 획득 단계에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득한다. 구체적으로, 하나의 크로스-레이어의 결함의 경우 적어도 2개의 레이어에 분포되므로, 깊이 참조 평면에 대한 상기 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 각각 위치한 레이어를 검출함으로써 상기 결함이 어느 레이어에서 어느 레이어로 확장되는지를 획득할 수 있다.
본 발명은 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법의 단계 흐름을 수행하여 구현될 수 있는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템을 제공하는데, 즉 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법은 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템의 바람직한 예이다.
본 발명에 따라 제공되는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템은,
라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득하는 깊이 참조 평면 획득 모듈;
라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하는 결함 추출 모듈;
상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하는 상대적 거리 획득 모듈; 및
상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득하는 결함 레이어링 정보 획득 모듈을 포함한다.
상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함하며;
상기 결함 레이어링 정보 획득 모듈에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득한다.
결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함하며;
상기 결함 레이어링 정보 획득 모듈에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득한다.
상기 깊이 참조 평면 획득 모듈에서, 라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득한다. 여기서, 깊이 참조 평면은 일정한 텍스처 정보를 가지고 있어 안정적인 깊이 정보를 제공하는 구조의 상부면을 의미한다. LCD 스크린의 경우, 상기 구조는 컬러 필터이고; OLED 스크린의 경우, 상기 구조는 유기 발광층이다. 이러한 구조는 이미지의 텍스처 정보를 제공하므로, 라이트 필드 깊이 알고리즘은 구조의 상부면의 깊이를 계산할 수 있다. 검출할 대상에서의 이러한 구조의 위치는 고정되어 있으므로 결함 높이를 계산하기 위한 기준면으로 사용될 수 있다. 다항식 피팅을 통해 깊이 참조 평면의 평면 방정식을 계산하여 얻을 수 있다. 구체적으로, A2에 따른 라이트 필드 카메라 스케일 보정 결과를 통해 라이트 필드 깊이 이미지 중 각 픽셀점을 실제 스케일 좌표(xu,v, yu,v, zu,v)로 변환시키되, 여기서, xu,v, yu,v, zu,v는 각각 이미지 좌표계에서 가로 및 세로 좌표 값이
Figure pct00005
인 픽셀이 X, Y, Z축에 있는 좌표를 나타낸다. 깊이 참조 평면의 방정식은 Z=C1X+C2Y+C3이다. 여기서, C1, C2, C3은 미정 계수이다. 라이트 필드 깊이 이미지 중의 데이터를 통해 선형 회귀 방법으로 미정 계수를 구하면 깊이 참조 평면의 방정식을 얻을 수 있다.
상기 결함 추출 모듈에서, 라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하며; 구체적으로, 먼저 가우시안 필터링을 통해 라이트 필드 다시점 이미지 중 픽셀 그리드의 정보 간섭을 약화시키고, 그 다음 이미지에 대해 명점과 암점을 각각 추출하는 이진화 임계값 처리를 수행하며, 연결 도메인을 분석하여 연결 도메인 면적이 작은 영역을 제거한다. 이러한 처리에 의해 얻은 점을 결함점으로 간주할 수 있으며, 라이트 필드 깊이 이미지에서 픽셀 위치에 대응되는 정보를 획득하여 결함의 깊이 정보를 획득할 수 있다.
상대적 거리 획득 모듈: 상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득한다. 구체적으로, 깊이 참조 평면 방정식, 결함점 좌표를 알고 있으면, 결함점에서 깊이 참조 평면까지의 거리는 점에서 평면까지의 거리 공식으로 계산하여 얻을 수 있다.
결함 레이어링 정보 획득 모듈: 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득한다. 또한, 공간적 위치에 따라 검출할 제품에서의 결함의 레벨, 즉 어느 하나의 레이어 또는 어느 다수의 레이어에 위치하는 지를 얻은 다음 레이어의 정보를 공간 좌표계에 매핑하고, 최종적으로 결함의 레이어링 포인트 클라우드를 형성한다. 바람직한 예에서, 상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함한다. 예를 들어, 검출할 제품은 스크린, VR 안경, 광학 렌즈 세트 중 어느 하나의 제품을 포함한다. 상기 스크린은 지능형 단말기, 차량 탑재 스크린, 모니터, TV 중 어느 하나의 기기의 스크린일 수 있다. 스크린의 유형은 LCD 스크린, OLED 스크린, QLED 스크린, MiniLED 스크린, MicroLED 스크린 등 스크린 유형일 수 있다.
스크린 등 다층 구조의 검출할 제품의 경우, 상기 결함 레이어링 정보 획득 모듈에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득한다. 구체적으로, 깊이 참조 평면이 다층 구조 제품의 어느 하나의 레이어에 대응되는지를 알고 있고, 또한 깊이 참조 평면에 대한 결함의 거리를 이미 획득하였으며, 다층 구조의 다른 각 레이어와 깊이 참조 평면에 대응되는 하나의 레이어 간의 거리도 알고 있으므로, 결함과 다층 구조의 각 레이어 간의 거리 관계를 얻을 수 있는데, 예를 들어, 결함과 다층 구조의 하나의 레이어 간의 거리가 0 또는 음수이면, 상기 결함은 상기 레이어에 분포된다.
결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함한다. 상기 결함 레이어링 정보 획득 모듈에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득한다. 구체적으로, 하나의 크로스-레이어의 결함의 경우 적어도 2개의 레이어에 분포되므로, 깊이 참조 평면에 대한 상기 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 각각 위치한 레이어를 검출함으로써 상기 결함이 어느 레이어에서 어느 레이어로 확장되는지를 획득할 수 있다.
본 발명에 따라 제공되는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법의 단계를 구현한다. 컴퓨터 판독 가능한 저장 매체는 단일 칩 마이크로컴퓨터, DSP, 프로세서, 데이터 센터, 서버, 개인용 컴퓨터(PC), 지능형 단말기, 특수 목적 컴퓨터, 라이트 필드 카메라 등 기기 중의 자기 디스크, 광 디스크 등 읽기 전용 또는 읽기-쓰기 메모리일 수 있다.
본 발명에 따라 제공되는 제품 결함 검출 생산 라인은 상기 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템을 포함하거나 상기 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함한다. 제품 결함 검출 생산 라인은 휴대폰 스크린 검출 생산 라인, 스마트 시계 스크린 검출 생산 라인, 태블릿 컴퓨터 스크린 검출 생산 라인, 차량 탑재 스크린 검출 생산 라인, 모니터 스크린 검출 생산 라인, VR 안경 검출 생산 라인, 광학 렌즈 세트 검출 생산 라인일 수 있다.
아래, 구체적인 응용 장면과 결부하여 본 발명을 더욱 구체적으로 설명하며, 응용 장면은 휴대폰 LCD 스크린의 결함 레이어링 검출 실시예, 스마트 시계 OLED 스크린의 결함 레이어링 검출 실시예를 포함한다. 스크린 내부에 결함이 있는 레이어를 판단하면 공장에서 어떤 공정에 문제가 있는지 결정하고 생산 공정을 효과적으로 개선하는데 도움이 된다. 동시에 스크린 표면에 결함이 나타나면 먼지일 수 있는데 청소로 제거하여 수율을 향상시킬 수 있다. 따라서 스크린 결함의 3차원 검출은 기존 생산에 큰 이점이 있다.
휴대폰 LCD 스크린의 결함 레이어링 검출 실시예의 구체적인 프로세스는 다음과 같다.
제품 결함 검출 생산 라인은 먼저 2차원 카메라를 사용하여 조명이 켜진 LCD 휴대폰 스크린 전체를 촬영하고, 상기 이미지에서의 결함의 수평 방향 위치를 결정하며, 휴대폰 스크린에서의 결함의 상대적 위치를 결정하고; 상기 정보를 전송 벨트에 전송하며; 전송 벨트는 검출할 샘플을 라이트 필드 카메라 하에 이동시키고, 시야에는 결함의 위치가 포함되며; 본 실시예에서 라이트 필드 카메라는 3.6배의 확대 배율을 갖는 렌즈와 결합하여 촬영하고; 라이트 필드 카메라는 적절한 조리개 및 초점 거리의 렌즈와 결합한 후 디포커스 소프트 라이트 순색 보정 플레이트를 촬영하여 라이트 필드 백색 이미지 보정 및 마이크로렌즈 중심 보정을 수행하며; 라이트 필드 카메라는 공간적 위치가 상이한 다수의 스케일 보정 플레이트를 촬영하여 라이트 필드 카메라 스케일 보정을 수행하고; 라이트 필드 카메라가 결함 근처에 초점을 맞추도록 하고, 결함 정보가 포함된 라이트 필드 카메라의 원본 라이트 필드 이미지를 촬영하며; 라이트 필드 다시점 렌더링 및 깊이 계산을 수행하여 대응되는 휴대폰 스크린 결함 2차원 중심 시야각 이미지(도 3) 및 에 대응되는 깊이 이미지(도 4)를 획득하고; 라이트 필드 다시점 이미지 중 결함의 형상 및 색상 정보에 따라 결함을 추출하며; 다항식 피팅을 통해 픽셀의 평면 방정식을 계산하여 얻고, 결함과 깊이 참조 평면 간의 거리를 계산하며; 상기 휴대폰 스크린은 총 7층의 구조를 가지며, 결함과 깊이 참조 평면 간의 거리 및 알고 있는 스크린 구조 정보에 따라 구조에서 결함이 있는 레이어 수를 결정할 수 있고, 레이어 수 정보를 공간 좌표계에 매칭하며, 최종적으로 결함의 레이어링 포인트 클라우드를 형성한다(도 5). 여기서, 5번째 레이어는 깊이 참조 평면이 위치한 레이어이므로, 결함이 6번째 레이어에 있는 것을 제외하고, 포인트 클라우드 중의 포인트는 5번째 레이어에 분포된다.
스마트 시계 OLED 스크린의 결함 레이어링 검출 실시예의 구체적인 프로세스는 다음과 같다.
제품 결함 검출 생산 라인은 먼저 2차원 카메라를 사용하여 조명이 켜진 OLED 스마트 시계 스크린 전체를 촬영하고, 상기 이미지에서의 결함의 수평 방향 위치를 결정하며, 스크린에서의 결함의 상대적 위치를 결정하고; 상기 정보를 전송 벨트에 전송하며; 전송 벨트는 검출할 샘플을 라이트 필드 카메라 하에 이동시키고, 시야에는 결함의 위치가 포함되며; 본 실시예에서 라이트 필드 카메라는 2배의 확대 배율을 갖는 렌즈와 결합하여 촬영하고; 라이트 필드 카메라는 적절한 조리개 및 초점 거리의 렌즈와 결합한 후 디포커스 소프트 라이트 순색 보정 플레이트를 촬영하여 라이트 필드 백색 이미지 보정 및 마이크로렌즈 중심 보정을 수행하며; 라이트 필드 카메라는 공간적 위치가 상이한 다수의 스케일 보정 플레이트를 촬영하여 라이트 필드 카메라 스케일 보정을 수행하고; 라이트 필드 카메라가 결함 근처에 초점을 맞추도록 하고, 결함 정보가 포함된 라이트 필드 카메라의 원본 라이트 필드 이미지를 촬영하며; 라이트 필드 다시점 렌더링 및 깊이 계산을 수행하여 대응되는 스마트 시계 스크린 결함 2차원 중심 시야각 이미지(도 6) 및 대응되는 깊이 이미지(도 7)를 획득하고; 라이트 필드 다시점 이미지 중 결함의 형상 및 색상 정보에 따라 결함을 추출하며; 다항식 피팅을 통해 픽셀의 평면 방정식을 계산하여 얻고, 결함과 깊이 참조 평면 간의 거리를 계산하며; 상기 스크린은 픽셀 레이어와 표면 레이어를 구분하기만 하면 되므로, 결함과 픽셀 간의 거리 및 알고 있는 스크린의 두께에 따라 결함이 있는 레이어 수를 결정할 수 있고, 레이어 수 정보를 공간 좌표계에 매칭하며, 최종적으로 결함의 레이어링 포인트 클라우드를 형성한다(도 8). 여기서, 하측 레이어는 픽셀 레이어이고, 상측 레이어는 유리 표면이다. 먼지가 성공적으로 검출되어 상부면 레이어, 즉 유리 표면으로 분류되었음을 알 수 있다.
당업자는 순전히 컴퓨터 판독 가능한 프로그램 코드 방식으로 본 발명에 의해 제공되는 시스템, 장치 및 이의 각 모듈을 구현하는 것 외에도, 방법의 단계를 논리적으로 프로그래밍함으로써 본 발명에 의해 제공되는 시스템, 장치 및 이의 각 모듈이 논리 게이트, 스위치, 주문형 집적 회로, 프로그래머블 로직 컨트롤러 및 임베디드 마이크로 컨트롤러 등의 형태로 동일한 프로그램을 완전히 구현하도록 할 수 있음을 알고 있다. 따라서, 본 발명에 의해 제공되는 시스템, 장치 및 이의 각 모듈은 하드웨어 부재로 간주될 수 있고, 그 내부에 포함된 다양한 프로그램을 구현하기 위한 모듈도 하드웨어 부재 내의 구조로 간주될 수 있으며; 다양한 기능을 구현하기 위한 모듈은 방법을 구현하기 위한 소프트웨어 프로그램뿐만 아니라 하드웨어 부재 내의 구조로 간주될 수 있도 있다.
위에서 본 발명의 구체적인 실시예를 설명하였다. 본 발명은 상술한 특정 실시형태에 제한되지 않으며 당업자는 본 발명의 실질적인 내용에 영향을 미치지 않고 청구범위의 범위 내에서 다양한 변경 또는 수정을 진행할 수 있음을 이해해야 한다. 모순되지 않는 경우, 본 발명의 실시예 및 실시예의 특징은 서로 임의로 조합될 수 있다.
100: 라이트 필드 카메라
200: 스크린

Claims (10)

  1. 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법으로서,
    라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득하는 깊이 참조 평면 획득 단계;
    라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하는 결함 추출 단계;
    상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하는 상대적 거리 획득 단계; 및
    상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득하는 결함 레이어링 정보 획득 단계를 포함하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법.
  2. 제1항에 있어서,
    상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함하며;
    상기 결함 레이어링 정보 획득 단계에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법.
  3. 제2항에 있어서,
    결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함하며;
    상기 결함 레이어링 정보 획득 단계에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법.
  4. 제1항에 있어서,
    상기 결함 추출 단계에서, 먼저 가우시안 필터링을 통해 라이트 필드 다시점 이미지 중 픽셀 그리드의 정보 간섭을 약화시키고, 그 다음 이미지에 대해 명점과 암점을 각각 추출하는 이진화 임계값 처리를 추행하며, 연결 도메인을 분석하여 연결 도메인 면적이 작은 영역을 제거하고, 이러한 처리에 의해 얻은 점을 결함점으로 간주하며, 라이트 필드 깊이 이미지에서 픽셀 위치에 대응되는 정보를 획득하여 결함의 깊이 정보를 획득하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법.
  5. 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템으로서,
    라이트 필드 깊이 이미지에 따라 깊이 참조 평면 정보를 획득하는 깊이 참조 평면 획득 모듈;
    라이트 필드 다시점 이미지에 따라 결함을 추출하여 획득하고, 라이트 필드 깊이 이미지에 따라 결함 깊이 정보를 획득하는 결함 추출 모듈;
    상기 깊이 참조 평면 정보, 결함 깊이 정보에 따라 깊이 참조 평면에 대한 결함의 거리를 획득하는 상대적 거리 획득 모듈; 및
    상기 깊이 참조 평면에 대한 결함의 거리, 검출할 제품의 구조 정보에 따라 검출할 제품에서의 결함의 공간적 위치를 획득하는 결함 레이어링 정보 획득 모듈을 포함하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템.
  6. 제5항에 있어서,
    상기 검출할 제품은 다층 구조 제품이고, 상기 검출할 제품의 구조 정보는 다층 구조 간의 거리 관계를 포함하며;
    상기 결함 레이어링 정보 획득 모듈에서, 상기 깊이 참조 평면에 대한 결함의 거리, 검출할 다층 구조 제품의 다층 구조 간의 거리 관계에 따라 다층 구조에서의 결함의 분포를 획득하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템.
  7. 제6항에 있어서,
    결함의 경우, 상기 결함 깊이 정보는 상기 결함의 최대 깊이, 상기 결함의 최소 깊이를 포함하고, 상기 깊이 참조 평면에 대한 결함의 거리는 깊이 참조 평면에 대한 상기 결함의 최대 거리, 깊이 참조 평면에 대한 상기 결함의 최소 거리를 포함하며;
    상기 결함 레이어링 정보 획득 모듈에서, 깊이 참조 평면에 대한 결함의 최대 거리 위치, 깊이 참조 평면에 대한 상기 결함의 최소 거리 위치, 검출할 제품의 다층 구조에 위치한 레이어를 각각 획득하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템.
  8. 제5항에 있어서,
    상기 결함 추출 모듈에서, 먼저 가우시안 필터링을 통해 라이트 필드 다시점 이미지 중 픽셀 그리드의 정보 간섭을 약화시키고, 그 다음 이미지에 대해 명점과 암점을 각각 추출하는 이진화 임계값 처리를 수행하며, 연결 도메인을 분석하여 연결 도메인 면적이 작은 영역을 제거하고, 이러한 처리에 의해 얻은 점을 결함점으로 간주하며, 라이트 필드 깊이 이미지에서 픽셀 위치에 대응되는 정보를 획득하여 결함의 깊이 정보를 획득하는 것을 특징으로 하는 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템.
  9. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 제1항 내지 제4항 중 어느 한 항에 따른 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체.
  10. 제품 결함 검출 생산 라인으로서,
    제5항 내지 제8항 중 어느 한 항에 따른 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 시스템을 포함하거나 제9항에 따른 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함하는 것을 특징으로 하는 제품 결함 검출 생산 라인.
KR1020237017783A 2020-12-15 2021-03-09 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인 KR20230096057A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011481669.9 2020-12-15
CN202011481669.9A CN114693583A (zh) 2020-12-15 2020-12-15 基于光场相机的缺陷分层检测方法和系统及检测产线
PCT/CN2021/079838 WO2022126871A1 (en) 2020-12-15 2021-03-09 Defect layer detection method and system based on light field camera and detection production line

Publications (1)

Publication Number Publication Date
KR20230096057A true KR20230096057A (ko) 2023-06-29

Family

ID=82059600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237017783A KR20230096057A (ko) 2020-12-15 2021-03-09 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인

Country Status (3)

Country Link
KR (1) KR20230096057A (ko)
CN (1) CN114693583A (ko)
WO (1) WO2022126871A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071353B (zh) * 2023-03-06 2023-09-05 成都盛锴科技有限公司 一种螺栓装配检测方法及系统
CN116912475B (zh) * 2023-09-11 2024-01-09 深圳精智达技术股份有限公司 一种显示屏异物检测方法、装置、电子设备和存储介质
CN116958146B (zh) * 2023-09-20 2024-01-12 深圳市信润富联数字科技有限公司 3d点云的采集方法及装置、电子装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105300308B (zh) * 2015-11-26 2017-12-05 凌云光技术集团有限责任公司 一种基于浅景深成像的深度测量方法及系统
CN105842885B (zh) * 2016-03-21 2018-11-27 凌云光技术集团有限责任公司 一种液晶屏缺陷分层定位方法及装置
US10887580B2 (en) * 2016-10-07 2021-01-05 Kla-Tencor Corporation Three-dimensional imaging for semiconductor wafer inspection
CN109765245B (zh) * 2019-02-25 2021-08-13 武汉精立电子技术有限公司 大尺寸显示屏缺陷检测定位方法
CN110349132B (zh) * 2019-06-25 2021-06-08 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法
CN111351446B (zh) * 2020-01-10 2021-09-21 奕目(上海)科技有限公司 一种用于三维形貌测量的光场相机校准方法

Also Published As

Publication number Publication date
CN114693583A (zh) 2022-07-01
WO2022126871A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
US10043290B2 (en) Image processing to enhance distance calculation accuracy
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
KR20230096057A (ko) 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
WO2018196698A1 (zh) 摄像模组摄像处理方法、装置和终端设备
CN104441650B (zh) 立体打印系统以及立体打印方法
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN109656033B (zh) 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN106524909B (zh) 三维图像采集方法及装置
WO2022126870A1 (en) Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line
CN111060008B (zh) 一种3d智能视觉设备
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
CN110986768B (zh) 一种用于目标物3d信息高速采集测量设备
JP2013192177A (ja) 固体撮像装置および携帯情報端末
CN112824881A (zh) 一种基于光场相机的透明或半透明介质缺陷检测系统及方法
EP3513550A1 (en) Flat digital image sensor
CN112748071A (zh) 透明或半透明介质缺陷检测系统和方法
JP5375531B2 (ja) 距離画像取得装置及び距離画像取得処理方法
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
CN115456945A (zh) 一种芯片引脚缺陷的检测方法、检测装置及设备
TW201741723A (zh) 影像景深測量方法以及應用該方法的影像擷取裝置
Sun et al. Blind calibration for focused plenoptic cameras