KR20210097623A - 치수 오류 판별 방법 및 장치 - Google Patents

치수 오류 판별 방법 및 장치 Download PDF

Info

Publication number
KR20210097623A
KR20210097623A KR1020210009059A KR20210009059A KR20210097623A KR 20210097623 A KR20210097623 A KR 20210097623A KR 1020210009059 A KR1020210009059 A KR 1020210009059A KR 20210009059 A KR20210009059 A KR 20210009059A KR 20210097623 A KR20210097623 A KR 20210097623A
Authority
KR
South Korea
Prior art keywords
dimension
image
data
error
dimensional
Prior art date
Application number
KR1020210009059A
Other languages
English (en)
Inventor
김혜진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/163,051 priority Critical patent/US20210241450A1/en
Publication of KR20210097623A publication Critical patent/KR20210097623A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G01D18/001—Calibrating encoders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

치수 오류 판별 장치는 대상 객체의 영상을 획득하고, 학습된 치수 측정 모델을 이용하여 상기 대상 객체의 영상으로부터 치수를 측정하고자 하는 관심 영역에 대한 치수 데이터를 예측하며, 학습된 치수 오류 판별 모델을 이용하여 예측된 상기 치수 데이터로부터 상기 관심 영역에서의 치수 오류 여부를 판별한다.

Description

치수 오류 판별 방법 및 장치{METHOD AND APPARATUS FOR DETECTING DIMENSION ERROR}
본 발명은 치수 오류 판별 방법 및 장치에 관한 것으로, 보다 구체적으로 로봇팔 또는 컨베이어 등 기구부에 장착된 촬영 장치로 촬영된 영상에 대하여 인공지능 기술 기반으로 객체의 치수 오류 여부를 판별할 수 있는 치수 오류 판별 방법 및 장치에 관한 것이다.
세라믹 등과 같은 제조 산업에서는 생산된 제품의 치수가 잘못 되었을 때 이러한 치수 오류 여부를 판별할 수 있는 기술이 필요하다.
치수 오류를 판별하는 방법들은 주로 물리적인 센서를 사용하는 방법과 카메라를 통해 촬영된 영상을 분석하는 방법으로 나뉠 수 있다. 물리적인 센서를 사용하는 방법은 관련 센서들이 제품화되어 있으나 능동 센서(active sensor) 접근 방법은 라인 센서(line sensor) 등이 보편화되어 있어 한계가 있다. 영상 분석을 통해 감지하는 방법은 카메라 한 대로 여러 객체의 치수를 측정할 수 있으나 고가의 카메라 및 조명 장비들로 구성된 시스템으로 널리 적용이 어려운 문제가 있다.
한편, 촬영된 영상으로부터 치수 오류를 판별하는 방법들이 제안되었으나 주로 근거리의 객체에 대하여 치수를 측정하는 곳을 지정하고 그 곳의 치수를 보여주는 방법이 사용된다. 이러한 치수 측정은 고가의 카메라 및 조명 장비가 함께 장착되어야 고정밀의 치수 측정이 가능하며, 치수 결과가 치수 오류 제품인지를 판별해 주는 것이 아니라 사용자에 의해 치수 오류에 대한 판단을 필요로 한다.
등록특허공보 제10-2019978호(2019.09.03) 등록특허공보 제10-2003952호(2019.07.19)
본 발명이 해결하려는 과제는 고가의 장비 및 사용자의 개입 없이 객체의 치수 오류 여부를 판별할 수 있는 치수 오류 판별 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 치수 오류 판별 장치에서 대상 객체의 치수 오류를 판별하는 방법이 제공된다. 치수 오류 판별 방법은 상기 대상 객체의 영상을 획득하는 단계, 학습된 치수 측정 모델을 이용하여 상기 대상 객체의 영상으로부터 치수를 측정하고자 하는 관심 영역에 대한 치수 데이터를 예측하는 단계, 그리고 학습된 치수 오류 판별 모델을 이용하여 예측된 상기 치수 데이터로부터 상기 관심 영역에서의 치수 오류 여부를 판별하는 단계를 포함한다.
상기 치수 오류 판별 방법은 각 객체의 영상과 상기 각 객체의 정답 치수 데이터를 포함하는 학습 데이터를 이용하여 상기 치수 측정 모델을 학습시키는 단계를 더 포함하고, 상기 학습시키는 단계는 설정된 목적값의 범위 내의 데이터의 값을 변환시키는 목적함수를 이용하여 상기 각 객체의 영상에 대한 상기 치수 측정 모델의 예측 치수 데이터와 대응하는 정답 치수 데이터를 각각 변환시키는 단계, 상기 목적함수에 의해 각각 변환된 예측 치수 데이터와 정답 치수 데이터의 차이를 계산하는 단계, 그리고 상기 차이에 기반하여 상기 치수 측정 모델에 설정된 가중치들을 갱신하는 단계를 포함할 수 있다.
상기 학습시키는 단계는 상기 치수 측정 모델의 예측 치수 데이터를 상기 목적값의 범위에 해당되는 데이터와 상기 목적값의 범위를 벗어나는 데이터로 분류하는 단계, 상기 목적값의 범위에 해당되는 데이터와 대응하는 정답 치수 데이터를 각각 상기 목적함수의 입력 값으로 대입시키는 단계, 그리고 상기 목적값의 범위를 벗어나는 데이터의 경우, 상기 목적함수를 이용한 변환 없이 상기 목적값의 범위를 벗어나는 데이터와 대응하는 정답 치수 데이터의 차이를 계산하는 단계를 더 포함할 수 있다.
상기 목적함수는 수학식 1의 함수를 포함하고, 상기 수학식 1은
Figure pat00001
이며, 상기 c1은 상기 목적값이고, 상기 x는 상기 예측 치수 데이터 또는 상기 정답 치수 데이터일 수 있다.
상기 목적함수는 수학식 2의 함수를 포함하고, 상기 수학식 2는
Figure pat00002
이며, 상기 c1은 상기 목적값이고, 상기 x는 상기 예측 치수 데이터 또는 상기 정답 치수 데이터일 수 있다.
상기 치수 오류 판별 방법은 각 객체의 영상과 상기 각 객체의 정답 치수 데이터를 포함하는 제1 학습 데이터를 이용하여 상기 치수 측정 모델을 학습시키는 단계, 그리고 상기 각 객체의 영상, 상기 각 객체의 영상에 대한 상기 치수 측정 모델의 예측 치수 데이터 및 상기 각 객체의 치수 오류 판별을 위해 필요한 정보를 포함하는 제2 학습 데이터를 이용하여 상기 치수 오류 판별 모델을 학습시키는 단계를 더 포함할 수 있다.
상기 치수 오류 판별을 위해 필요한 정보는 치수 오류가 있는 객체의 정보와 치수 오류가 없는 객체의 정보, 상기 관심 영역의 형태 및 상기 관심 영역의 위치 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 치수 오류 판별 장치에서 대상 객체의 치수 오류를 판별하는 방법이 제공된다. 치수 오류 판별 방법은 상기 대상 객체의 2차원 영상을 획득하는 단계, 학습된 깊이 추정 모델을 통해 상기 대상 객체의 2차원 영상으로부터 상기 깊이 영상을 생성하는 단계, 그리고 학습된 치수 오류 판별 모델을 이용하여 상기 2차원 영상과 상기 깊이 영상으로부터 상기 대상 객체에서 측정하고자 하는 관심 영역에 대한 치수 오류 여부를 판별하는 단계를 포함한다.
상기 치수 오류 판별 방법은 상기 대상 객체의 영상은 3차원 영상을 획득하는 단계, 그리고 상기 치수 오류 판별 모델을 이용하여 상기 3차원 영상으로부터 상기 관심 영역에 대한 치수 오류 여부를 판별하는 단계를 더 포함할 수 있다.
상기 치수 오류 판별 방법은 적어도 하나의 객체에 대한 2차원 영상과 해당 객체의 2차원 영상으로부터 생성되는 깊이 영상, 적어도 하나의 객체에 대한 3차원 영상, 그리고 각 객체의 치수 오류 판별을 위해 필요한 정보를 이용하여 상기 치수 오류 판별 모델을 학습시키는 단계를 더 포함할 수 있다.
상기 치수 오류 판별을 위해 필요한 정보는 치수 오류가 있는 객체의 정보와 치수 오류가 없는 객체의 정보, 상기 관심 영역의 형태 및 상기 관심 영역의 위치 중 적어도 하나를 포함할 수 있다.
상기 학습시키는 단계는 학습된 깊이 추정 모델을 통해 상기 적어도 하나의 2차원 영상으로부터 상기 깊이 영상을 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 한 실시 예에 따르면, 대상 객체의 치수 오류를 판별하는 장치가 제공된다. 치수 오류 판별 장치는 상기 대상 객체의 영상을 획득하는 영상 촬영부, 그리고 학습된 치수 오류 판별 모델을 이용하여 상기 대상 객체의 영상으로부터 치수를 측정하고자 하는 관심 영역에서의 치수 오류 여부를 판별하는 치수 오류 분석부를 포함한다.
상기 치수 오류 판별 장치는 학습된 치수 측정 모델을 이용하여 상기 대상 객체의 영상으로부터 상기 관심 영역에 대한 치수 데이터를 예측하는 3차원 영상 획득부를 더 포함하고, 상기 치수 오류 판별 모델은 상기 치수 측정 모델에 의해 예측된 치수 데이터를 입력으로 수신하여 치수 오류 여부를 검출할 수 있다.
상기 3차원 영상 획득부는 각 객체의 영상과 상기 각 객체의 정답 치수 데이터를 포함하는 학습 데이터를 이용하여 상기 치수 측정 모델을 학습시키는 치수측정모델 학습부를 더 포함하고, 상기 치수측정모델 학습부는 설정된 목적값의 범위 내의 데이터의 값을 변환시키는 목적함수를 이용하여 각 객체의 영상에 대한 상기 치수 측정 모델의 예측 치수 데이터와 대응하는 정답 치수 데이터를 각각 변환시키는 데이터 변환부, 그리고 상기 상기 목적함수에 의해 각각 변환된 예측 치수 데이터와 정답 치수 데이터의 차이에 기반하여 상기 치수 측정 모델에 설정된 가중치들을 갱신하는 가중치 갱신부를 포함할 수 있다.
상기 치수 오류 판별 장치는 상기 영상 촬영부로부터 상기 대상 객체의 2차원 영상이 획득된 경우, 상기 2차원 영상으로부터 상기 영상 촬영부와 상기 대상 객체간의 거리 정보를 포함한 깊이 영상을 생성하는 3차원 영상 획득부를 더 포함하고, 상기 치수 오류 분석부는 상기 치수 오류 판별 모델을 이용하여 상기 대상 객체의 2차원 영상과 상기 깊이 영상으로부터 상기 치수 오류 여부를 판별할 수 있다.
상기 치수 오류 분석부는 객체별 2차원 영상과 대응하는 깊이 영상, 객체별 3차원 영상, 객체별 2차원 영상에 대응하는 치수 데이터, 그리고 상기 객체별 치수 오류 판별을 위해 필요한 정보를 이용하여 상기 치수 오류 판별 모델을 학습시키는 치수오류판별모델 학습부를 포함할 수 있다.
상기 3차원 영상 획득부는 학습된 깊이 추정 모델을 통해 상기 대상 객체의 2차원 영상으로부터 상기 깊이 영상을 생성할 수 있다.
상기 3차원 영상 획득부는 카메라로부터 촬영된 2차원 영상들과 이에 대응하는 거리 정보를 포함한 깊이 영상들을 이용하여 상기 깊이 추정 모델을 학습시킬 수 있다.
본 발명의 실시 예에 의하면, 사용자의 개입 없이 객체의 치수 오류를 판별할 수 있으며, 고가의 광학계 주변 장치가 필요하지 않다. 더불어 객체의 3차원 정보를 추가로 얻을 수 있어 그 활용 범위가 다양하다.
도 1은 본 발명의 한 실시 예에 따른 치수 오류 판별 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 3차원 영상 획득부를 나타낸 도면이다.
도 3은 도 1에 도시된 치수 오류 분석부를 나타낸 도면이다.
도 4는 도 1에 도시된 치수 오류 판별 장치에서 2차원 영상으로부터 치수 오류를 판별하는 방법을 나타낸 흐름도이다.
도 5는 도 1에 도시된 치수 오류 판별 모델을 학습하는 방법을 나타낸 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 치수 오류 판별 장치를 나타낸 도면이다.
도 7은 도 6에 도시된 3차원 영상 획득부를 나타낸 도면이다.
도 8은 도 6에 도시된 치수 오류 분석부를 나타낸 도면이다.
도 9는 도 6에 도시된 치수 오류 판별 장치에서 2차원 영상으로부터 치수 오류를 판별하는 방법을 나타낸 개념도이다.
도 10은 도 6에 도시된 치수 오류 판별 장치에서 2차원 영상으로부터 치수 오류를 판별하는 방법을 나타낸 흐름도이다.
도 11은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치를 나타낸 도면이다.
도 12는 본 발명의 실시 예에 따른 데이터 민감도 강화 장치가 적용된 치수 측정 모델 학습부의 일 예를 나타낸 도면이다.
도 13은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치가 적용된 치수 측정 모델 학습부의 다른 예를 나타낸 도면이다.
도 14 및 도 15는 각각 본 발명의 실시 예에 따른 목적함수에 의한 입력 데이터의 출력 값의 일 예를 나타낸 도면이다.
도 16은 세라믹 제품의 높이 값의 일 예를 나타낸 도면이다.
도 17은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치의 적용 전과 적용 후의 로그함수 출력값을 나타낸 도면이다.
도 18은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치의 적용 전과 적용 후의 치수 측정 모델의 예측 치수 데이터를 각각 나타낸 도면이다.
도 19는 본 발명의 또 다른 실시 예에 따른 치수 오류 판별 장치의 개략적인 도면
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 치수 오류 판별 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 한 실시 예에 따른 치수 오류 판별 장치를 나타낸 도면이다.
도 1을 참고하면, 치수 오류 판별 장치(100)는 영상 촬영부(110), 3차원 영상 획득부(120), 치수 오류 분석부(130) 및 판별 결과 출력부(140)를 포함한다.
영상 촬영부(110)는 치수 오류를 판별하고자 하는 대상 객체를 촬영하고, 촬영된 대상 객체의 영상을 3차원 영상 획득부(120)로 전달한다. 촬영된 대상 객체의 영상은 단일 RGB 영상일 수 있고, 시퀀스 RGB 영상일 수도 있으며, 스테레오 영상일 수도 있다. 영상 촬영부(110)는 로봇팔 또는 컨베이어 등 기구부에 장착된 카메라와 같은 촬영 장치를 포함할 수 있다. 또한 촬영된 대상 객체의 영상은 3차원 영상일 수도 있다. 촬영된 대상 객체의 영상이 3차원 영상인 경우 3차원 영상 획득부(120)의 기능은 필요하지 않을 수 있다.
3차원 영상 획득부(120)는 영상 촬영부(110)로부터 전달 받은 영상으로부터 영상 촬영부(110)와 대상 객체간의 거리 정보를 포함한 깊이 영상을 출력한다. 깊이 영상은 치수 오류 분석부(130)로 전달된다.
3차원 영상 획득부(120)는 대상 객체의 치수를 정밀하게 측정하기 위해 입력되는 영상에 대한 전처리를 수행할 수 있다. 예를 들어, 3차원 영상 획득부(120)는 입력되는 영상으로부터 치수를 측정하고자 하는 관심 영역(Region of Interest, ROI)만을 잘라낼 수 있고, 해상도가 낮은 경우 초고해상도(super-resolution) 처리를 통해 고해상도의 영상으로 변환할 수도 있다. 또한 입력되는 전체 영상의 해상도가 낮다면 전체 영상에 대해서도 초고해상도(super-resolution) 처리를 수행할 수 있다.
3차원 영상 획득부(120)는 거리 정보를 포함한 깊이 영상을 출력하기 위해 학습된 깊이 추정 모델(123)을 사용할 수 있다. 깊이 추정 모델(123)은 영상 촬영부(110)로부터 촬영된 영상과 해당 카메라 포즈 정보가 입력되면 이에 대응하는 거리 정보를 포함한 깊이 영상이 출력되도록 학습될 수 있다. 카메라 포즈 정보는 영상을 획득한 영상 촬영부(110)의 위치 및 방향 정보를 포함할 수 있다. 한편, 영상 촬영부(110)가 고정되어 있다면, 카메라 포즈 변화가 없으므로, 카메라 포즈 정보가 사용되지 않을 수도 있다. 치수 오류 분석부(130)는 치수 오류에 대한 판별 기능을 수행한다. 치수 오류 분석부(130)는 학습된 치수 오류 판별 모델(136)을 이용하여 치수 오류 여부와 관련 정보를 출력한다. 관련 정보는 치수 측정을 위한 ROI의 위치, 그 위치의 치수 정보 및 치수 오차 정보를 포함할 수 있다.
치수 오류 판별 모델(136)은 영상 촬영부(110)로부터 출력되는 대상 객체의 영상과 3차원 영상 획득부(120)로부터 출력되는 대상 객체의 깊이 영상을 입력 받아, 대상 객체의 치수 오류 여부 및 관련 정보를 출력할 수 있다. 또한 치수 오류 판별 모델(136)은 영상 촬영부(110)로부터 출력되는 대상 객체의 3차원 영상을 입력 받아, 대상 객체의 치수 오류 여부 및 관련 정보를 출력할 수 있다.
판별 결과 출력부(140)는 치수 오류 분석부(130)의 치수 오류 판별 결과를 출력한다. 판별 결과 출력부(140)는 소리, 영상, 빛 등 다양한 방법을 통해 치수 오류 판별 여부를 출력할 수 있다.
도 2는 도 1에 도시된 3차원 영상 획득부를 나타낸 도면이다.
도 2를 참고하면, 3차원 영상 획득부(120)는 깊이영상 학습 데이터베이스(database, DB)(121), 깊이 추정 모델 학습부(122), 깊이 추정 모델(123), 3차원 데이터 생성부(124), 객체 DB(125) 및 3차원 데이터 DB(126)를 포함한다. 깊이 영상 학습 DB(121) 및 깊이 추정 모델 학습부(122)는 깊이 추정 모델(123)의 학습을 위해 사용된다. 3차원 데이터 생성부(124), 객체 DB(125) 및 3차원 데이터 DB(126)의 데이터는 치수 오류 분석부(130)의 치수 오류 판별 모델의 학습을 위해 사용된다.
깊이 영상 학습 DB(121)에는 카메라로부터 촬영된 각 객체의 2차원 영상과 이 2차원 영상에 대한 3차원 정보인 깊이 영상 및 2차원 영상을 촬영한 카메라 포즈 정보가 저장된다. 카메라로부터 촬영된 2차원 영상과 이에 대응하는 거리 정보를 포함한 깊이 영상 및 카메라 포즈 정보가 깊이 추정 모델을 위한 학습 데이터로 사용된다.
깊이 추정 모델 학습부(122)는 깊이 영상 학습 DB(121)에 저장된 데이터를 이용하여 깊이 추정 모델(123)을 학습시킨다. 깊이 추정 모델 학습부(122)는 각 객체의 2차원 영상과 카메라 포즈 정보가 입력될 때 이에 대응하는 깊이 영상이 출력되도록 깊이 추정 모델(123)을 학습시킬 수 있다.
이렇게 학습된 깊이 추정 모델(123)은 치수 오류를 판별하고자 하는 대상 객체의 영상을 입력 받으면, 이에 대응하는 대상 객체의 깊이 영상을 출력한다.
3차원 데이터 생성부(124)는 치수 오류 분석부(130)의 치수 오류 판별 모델을 학습시키기 위한 객체 3차원 영상 DB(126)를 생성한다. 3차원 데이터 생성부(124)는 객체 DB(125)에 저장된 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보를 깊이 추정 모델(123)에 입력시키고 깊이 추정 모델(123)로부터 출력되는 깊이 영상을 3차원 데이터 DB(125)에 저장한다. 또한 3차원 데이터 생성부(124)는 객체 DB(125)에 저장된 3차원 영상을 3차원 데이터 DB(126)에 저장한다.
객체 DB(125)는 각 객체의 2차원 영상과 이 객체에 대해 치수 오류 여부 판별을 위해 필요한 정보를 포함한다. 또한 객체 DB(125)는 객체의 3차원 영상과 이 객체에 대해 치수 오류 여부 판별을 위해 필요한 정보를 포함할 수 있다. 객체의 치수 오류 판별을 위해 필요한 정보는 예를 들면 ROI 위치 정보, 각 ROI에서의 정상 치수 정보, ROI의 형태 등을 포함할 수 있다. 이때 ROI의 형태는 원형, 직사각형 등 치수를 측정하는 접근 방법을 결정하기 위한 정보로 사용될 수 있다.
객체 3차원 영상 DB(126)는 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보, 그리고 이들 정보로부터 깊이 추정 모델(123)에 의해 획득되는 깊이 영상을 포함할 수 있다. 또한 객체 3차원 영상 DB(126)는 3차원 영상을 포함할 수 있다. 객체 3차원 영상 DB(126)는 객체별로 생성될 수 있다.
도 3은 도 1에 도시된 치수 오류 분석부를 나타낸 도면이다.
도 3을 참고하면, 치수 오류 분석부(130)는 치수 오류 판별 모델 학습부(134) 및 치수 오류 판별 모델(136)을 포함한다. 치수 오류 판별 모델 학습부(134)는 별도의 외부 장치로 구현될 수 있다.
치수 오류 판별 모델 학습부(134)는 객체 3차원 영상 DB(126)에 저장된 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보 및 깊이 영상, 그리고 객체 DB(125)에 저장된 각 객체의 치수 오류 판별을 위해 필요한 정보를 이용하여 치수 오류 판별 모델(136)을 학습시킨다. 치수 오류 판별 모델 학습부(134)는 객체 3차원 영상 DB(126)에 저장된 객체의 3차원 영상, 그리고 객체 DB(125)에 저장된 각 객체의 치수 오류 판별을 위해 필요한 정보를 이용하여 치수 오류 판별 모델(136)을 학습시킨다.
치수 오류 판별 모델(136)은 대상 객체의 2차원 영상과 이 2차원 영상으로부터 획득된 깊이 영상을 입력 받으면, 대상 객체의 치수 오류 여부와 오류 관련 상세 정보를 출력한다. 또한 치수 오류 판별 모델(136)은 대상 객체의 3차원 영상을 입력 받으면, 대상 객체의 치수 오류 여부와 오류 관련 상세 정보를 출력한다. 대상 객체의 치수 오류 여부는 0 또는 1과 같이 1비트 정보로 나타낼 수 있다. 오류 관련 상세 정보는 치수 오류가 있는 위치 정보, 치수 정보 및 ROI의 영상 정보 등을 포함할 수 있다.
도 4는 도 1에 도시된 치수 오류 판별 장치에서 2차원 영상으로부터 치수 오류를 판별하는 방법을 나타낸 흐름도이다.
도 4를 참고하면, 영상 촬영부(110)는 치수 오류를 판별하고자 하는 대상 객체를 촬영하고(S410), 촬영된 대상 객체의 2차원 영상과 카메라 포즈 정보를 3차원 영상 획득부(120)로 전달한다. 또한 대상 객체의 2차원 영상은 치수 오류 분석부(130)로도 전달된다.
3차원 영상 획득부(120)의 깊이 추정 모델은 입력되는 대상 객체의 2차원 영상과 카메라 포즈 정보를 토대로 카메라와 대상 객체간 거리 정보를 포함한 깊이 영상을 출력하고(S420), 깊이 추정 모델로부터 출력된 깊이 영상은 치수 오류 분석부(130)로 전달된다.
치수 오류 분석부(130)의 치수 오류 판별 모델(136)은 대상 객체의 2차원 영상과 이에 대응하는 깊이 영상을 토대로, 대상 객체의 치수 오류 여부와 오류 관련 상세 정보를 검출한다(S430). 치수 오류 판별 모델(136)은 대상 객체에 따라 치수 정보를 출력할 수도 있고 그렇지 않을 수 있다. 치수 오류 판별 모델(136)은 치수 정보가 필요 없는 경우, 정확한 치수를 측정하지 않고도 치수 오류 여부를 판별할 수 있다. 치수 오류 판별 모델(136)은 ROI의 위치를 출력할 수도 있다. ROI의 위치는 학습 단계에서 미리 지정되어 있을 수도 있고, 치수 오류 판별 모델(136)에 입력되기 전에 별도로 장치를 통해 ROI를 검출하고 ROI의 위치 정보가 치수 오류 판별 모델(136)에 입력될 수도 있다.
한편, 영상 촬영부(110)로부터 3차원 영상을 획득한 경우, 3차원 영상은 치수 오류 분석부(130)로 전달된다.
치수 오류 분석부(130)의 치수 오류 판별 모델(136)은 대상 객체의 3차원 영상을 토대로 대상 객체의 치수 오류 여부와 오류 관련 상세 정보를 검출할 수 있다.
판별 결과 출력부(140)는 치수 오류 판별 모델의 치수 오류 여부와 오류 관련 상세 정보를 외부로 출력한다(S440).
도 5는 도 1에 도시된 치수 오류 판별 모델을 학습하는 방법을 나타낸 도면이다.
도 5를 참고하면, 3차원 데이터 생성부(124)는 객체 DB(125)에 저장된 각 객체의 2차원 영상과 해당 카메라 포즈 정보를 깊이 추정 모델(123)에 입력하고(S510), 깊이 추정 모델(123)로부터 출력되는 각 객체의 2차원 영상에 대응하는 깊이 영상을 수신한다(S520).
3차원 데이터 생성부(124)는 객체별로 2차원 영상과 해당 카메라 포즈 정보, 각 객체의 2차원 영상에 대응하는 깊이 영상을 포함하는 3차원 데이터 DB(126)를 생성한다(S530). 객체 DB(125)에 객체의 3차원 영상이 저장되어 있는 경우, 3차원 데이터 생성부(124)는 객체의 3차원 영상을 그대로 이용하여 3차원 데이터 DB(126)를 생성할 수 있다.
치수 오류 판별 모델 학습부(134)는 객체 DB(125)에 저장된 각 객체의 치수 오류 판별을 위해 필요한 정보와 3차원 데이터 DB(126)에 저장된 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보 및 깊이 영상 또는 3차원 영상을 이용하여 치수 오류 판별 모델(136)을 학습시킨다(S540). 이때 각 객체의 치수 오류 판별을 위해 필요한 정보에는 치수 오류 판별이 가능하도록 치수 오류가 있는 객체의 정보와 치수 오류가 없는 객체의 정보가 포함될 수 있다.
치수 오류 판별 모델(136)은 이러한 학습을 통해 치수 오류를 판별하고자 하는 대상 객체의 2차원 영상과 이에 대응하는 깊이 영상이 입력되면, 치수 오류 여부 및 오류 관련 상세 정보를 출력한다. 또한 치수 오류 판별 모델(136)은 치수 오류를 판별하고자 하는 대상 객체의 3차원 영상이 입력되면, 치수 오류 여부 및 오류 관련 상세 정보를 출력한다.
이와 같이, 본 발명의 실시 예에서는 깊이를 측정하기 위한 카메라뿐만 아니라 레이저 센서나 TOF 센서(Time of Flight), 구조광 센서 등의 추가 센서 없이 데이터 기반 학습을 통해 카메라로부터 촬영된 대상 객체의 영상으로부터 대상 객체의 치수 오류를 판별할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 치수 오류 판별 장치를 나타낸 도면이다.
도 6을 참고하면, 치수 오류 판별 장치(600)는 영상 촬영부(610)와 대상 객체간의 거리 정보를 사용하지 않고, 대상 객체의 크기 즉, 대상 객체의 치수 값을 이용한다는 점에서 도 1에 도시된 치수 오류 판별 장치(100)와 차이가 있다.
치수 오류 판별 장치(600)는 영상 촬영부(610), 3차원 영상 획득부(620), 치수 오류 분석부(630) 및 판별결과 출력부(640)를 포함한다. 이때 영상 촬영부(610) 및 판별결과 출력부(640)는 도 1에 도시된 영상 촬영부(110) 및 판별결과 출력부(140)와 동일하므로, 상세한 설명은 생략한다.
3차원 영상 획득부(620)는 영상 촬영부(110)로부터 전달 받은 영상을 이용하여 대상 객체의 치수 값을 추정하고, 대상 객체의 치수 값을 이용하여 대상 객체에 대한 3차원 영상을 생성한다. 3차원 영상 획득부(620)는 대상 객체의 치수 값을 추정하기 위해 학습된 치수 측정 모델(623)을 사용할 수 있다. 치수 측정 모델(623)은 영상 촬영부(610)로부터 촬영된 영상이 입력되면, 대응하는 치수 값이 출력되도록 학습될 수 있다.
치수 오류 분석부(630)는 3차원 영상 획득부(620)로부터 출력되는 대상 객체의 치수 값을 입력 받아, 학습된 치수 오류 판별 모델(636)을 이용하여 대상 객체의 치수 오류 여부 및 관련 정보를 출력할 수 있다.
도 7은 도 6에 도시된 3차원 영상 획득부를 나타낸 도면이다.
도 7을 참고하면, 3차원 영상 획득부(620)는 치수 학습 DB(621), 치수 측정 모델 학습부(622), 치수 측정 모델(623), 3차원 데이터 생성부(624), 객체 DB(625) 및 3차원 데이터 DB(626)를 포함한다.
치수 학습 DB(621)에는 영상 촬영부(610)로부터 촬영된 각 객체의 2차원 영상과 해당 객체의 치수 데이터가 저장된다. 치수 데이터는 예를 들면, 2차원의 픽셀별 높이값을 포함할 수 있다. 또한 치수 데이터는 픽셀별 높이값으로 3차원 데이터 형태로 표현이 가능하므로, 3차원 데이터로 표현될 수 있다.
치수 학습 DB(621)에는 2차원 영상을 촬영한 카메라 포즈 정보가 저장될 수 있다. 치수 학습 DB(621)에 저장된 각 객체의 2차원 영상과 치수 데이터 및 카메라 포즈 정보는 치수 측정 모델(623)의 학습을 위해 사용된다.
치수 측정 모델 학습부(622)는 치수 학습 DB(621)에 저장된 각 객체의 2차원 영상과 치수 데이터 및 카메라 포즈 정보를 이용하여 치수 측정 모델(623)을 학습시킨다. 치수 측정 모델 학습부(622)는 각 객체의 2차원 영상과 카메라 포즈 정보에 대응하여 해당 객체의 치수 데이터가 출력되도록 치수 측정 모델(623)을 학습시킬 수 있다. 이때 카메라 포즈 정보는 생략될 수 있다.
이렇게 학습된 치수 측정 모델(623)은 치수 오류를 판별하고자 하는 대상 객체의 영상을 입력 받으면, 이에 대응하는 치수 데이터를 출력한다.
3차원 데이터 생성부(624)는 치수 오류 분석부(630)의 치수 오류 판별 모델(636)을 학습시키기 위한 3차원 데이터 DB(326)를 생성한다. 3차원 데이터 생성부(624)는 객체 DB(625)에 저장된 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보를 치수 측정 모델(623)에 입력시켜서 치수 측정 모델(623)로부터 예측되는 치수 데이터를 3차원 데이터 DB(626)에 저장한다.
객체 DB(625)는 각 객체의 2차원 영상과 이 객체에 대해 치수 오류 여부 판별을 위해 필요한 정보를 포함한다. 객체의 치수 오류 판별을 위해 필요한 정보는 예를 들면 ROI의 위치 정보, 각 ROI에서의 정상 치수 정보, ROI의 형태 등을 포함할 수 있다. 이때 ROI의 형태는 원형, 직사각형 등 치수를 측정하는 접근 방법을 결정하기 위한 정보로 사용될 수 있다.
3차원 데이터 DB(626)는 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보, 그리고 이들 정보로부터 치수 측정 모델(623)에 의해 획득되는 치수 데이터를 포함할 수 있다. 3차원 데이터 DB(626)에 저장된 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보, 그리고 치수 데이터는 치수 오류 분석부(630)의 치수 오류 판별 모델(636)의 학습을 위해 사용된다.
도 8은 도 6에 도시된 치수 오류 분석부를 나타낸 도면이다.
도 8을 참고하면, 치수 오류 분석부(630)는 치수 오류 판별 모델 학습부(634) 및 치수 오류 판별 모델(636)을 포함한다.
치수 오류 판별 모델 학습부(634)는 3차원 데이터 DB(626)에 저장된 각 객체의 2차원 영상과 이 영상을 촬영한 카메라 포즈 정보, 치수 측정 모델(623)에 의해 획득되는 치수 데이터, 그리고 객체 DB(625)에 저장된 각 객체의 치수 오류 판별을 위해 필요한 정보를 이용하여 치수 오류 판별 모델(636)을 학습시킨다.
치수 오류 판별 모델(636)은 대상 객체의 2차원 영상과 2차원 영상으로부터 치수 측정 모델(623)에 의해 획득되는 치수 데이터가 입력되면, 대상 객체의 치수 오류 여부와 오류 관련 상세 정보를 출력한다. 대상 객체의 치수 오류 여부는 0 또는 1과 같이 1비트 정보로 나타낼 수 있다. 오류 관련 상세 정보는 치수 오류가 있는 위치 정보, 치수 정보 및 ROI의 영상 정보 등을 포함할 수 있다.
도 9는 도 6에 도시된 치수 오류 판별 장치에서 2차원 영상으로부터 치수 오류를 판별하는 방법을 나타낸 개념도이고, 도 10은 도 6에 도시된 치수 오류 판별 장치에서 2차원 영상으로부터 치수 오류를 판별하는 방법을 나타낸 흐름도이다.
도 9 및 도 10을 참고하면, 영상 촬영부(610)는 치수 오류를 판별하고자 하는 대상 객체의 2차원 영상을 촬영한다(S1010).
촬영된 대상 객체의 2차원 영상과 카메라 포즈 정보는 3차원 영상 획득부(620)의 치수 측정 모델(623)로 전달된다. 또한 대상 객체의 2차원 영상은 치수 오류 분석부(630)로도 전달된다.
치수 측정 모델(623)은 입력되는 대상 객체의 2차원 영상과 카메라 포즈 정보로부터 추정되는 대상 객체의 치수 데이터를 출력한다(S1020). 치수 데이터는 3차원 데이터의 형태로 출력될 수 있다. 치수 측정 모델(623)로부터 출력된 치수 데이터는 치수 오류 분석부(630)로 전달된다.
치수 오류 분석부(630)의 치수 오류 판별 모델(636)은 대상 객체의 2차원 영상과 이에 대응하는 치수 정보로부터 대상 객체의 치수 오류 판별을 수행한다. 치수 오류 판별 모델(636)은 치수 오류 판별 결과로 치수 오류 여부와 오류 관련 상세 정보를 검출한다(S1030). 치수 오류 판별 모델(636)은 대상 객체에 따라 치수 정보를 출력할 수도 있고 그렇지 않을 수 있다. 오류 관련 상세 정보는 치수 정보 및 치수 오류 영역 정보를 포함할 수 있다. 치수 오류 판별 모델(636)은 ROI의 위치를 출력할 수도 있다. ROI의 위치는 학습 단계에서 미리 지정되어 있을 수도 있고, 치수 오류 판별 모델(636)에 입력되기 전에 별도로 장치를 통해 ROI를 검출하고 ROI의 위치 정보가 치수 측정 모델(623) 및 치수 오류 판별 모델(636)에 입력될 수도 있다.
판별 결과 출력부(640)는 치수 오류 판별 모델(636)의 치수 오류 여부와 오류 관련 상세 정보를 출력한다(S1040).
한편, 측정하고자 하는 치수 데이터가 연속적인 값으로 나타나지 않는 이산화(discretization) 특성을 가질 수 있다. 이와 같이, 이산화 특성을 가지는 치수 데이터의 경우, 치수 측정 모델(623)의 학습 시, 특정 범위의 치수 데이터의 정밀도를 높일 수 있도록 함으로써, 보다 정확하고 정밀한 치수 측정을 가능하게 할 수 있다.
예를 들어, 작은 부품의 치수 측정에 있어 정상 치수가 10.000mm이고, 이 부품의 치수 허용오차범위가 ±5um라면, 허용오차범위인 9.995~10.005mm 근처에서 1um 단위의 데이터 변화는 매우 중요하다. 즉, 10.000mm 주변의 값에 대해서는 좀 더 세밀하게 값의 변화를 민감하게 감지하고, 치수 측정 모델(623)의 학습 시에 치수 측정 모델(623)이 목적값 주변의 값에 대해 민감하게 반응할 수 있도록 함으로써, 치수 측정 모델(623)의 성능을 향상시킬 수 있다. 이러한 실시 예에 대하여 도 11을 참고로 하여 자세하게 설명한다.
도 11은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치를 나타낸 도면이다.
도 11을 참고하면, 데이터 민감도 강화 장치(1100)는 데이터 입력부(1110), 목적값 설정부(1120), 데이터 변환부(1130) 및 데이터 출력부(1140)를 포함한다. 이러한 데이터 민감도 강화 장치(1100)는 치수 측정 모델(623)의 출력단에 연결되어, 치수 측정 모델(623)의 학습 시에 사용될 수 있다.
데이터 입력부(1110)는 데이터의 민감도를 강화시키기 위한 입력 데이터를 수신한다. 이때 입력 데이터는 치수 측정 모델(623)로부터 출력되는 예측 치수 데이터 및 정답 치수 데이터를 포함할 수 있다.
목적값 설정부(1120)는 민감도를 높여야 하는 값 또는 범위를 설정한다. 민감도를 높여야 하는 값 또는 범위를 목적값이라 한다. 예를 들어, 정상 치수가 10.000mm이고, 치수 허용오차범위가 ±5um라면, 목적값은 9.995~10.005mm의 범위로 설정될 수 있다.
데이터 변환부(1130)는 목적값에 기반하여 입력 데이터를 변환하기 위한 목적 함수(objective function)를 생성하고, 목적 함수를 이용하여 입력 데이터를 변환하여 출력한다. 목적 함수는 입력 데이터에 대해 출력 값을 계산하여 반환하는 함수이며, 목적값에 해당하는 입력 데이터를 변환시켜 출력한다. 특히, 목적함수는 입력 데이터의 변화량의 폭을 증가시키는 함수이다.
데이터 출력부(1140)는 데이터 변환부(1130)에 의해 변환된 데이터를 출력한다.
본 발명의 실시 예에 따르면, 데이터 변환부(1130)는 목적 함수를 사용하여 치수 측정 모델(623)의 학습 시에 손실 함수(loss function)에 입력되는 데이터를 변환시킴으로써, 치수 측정 모델(623)이 목적값에 해당하는 치수 데이터에 대해 민감하게 학습할 수 있도록 한다.
도 12는 본 발명의 실시 예에 따른 데이터 민감도 강화 장치가 적용된 치수 측정 모델 학습부의 일 예를 나타낸 도면이다.
도 12를 참고하면, 치수 측정 모델 학습부(622)는 데이터 선택부(6221), 데이터 민감도 강화 장치(6110), 손실 계산부(6222) 및 가중치 갱신부(6223)를 포함할 수 있다.
데이터 선택부(6221)는 치수 학습 DB(621)로부터 학습을 위한 객체의 2차원 영상과 해당 객체의 치수 데이터(Ground truth, GT)를 선택하고, 2차원 영상을 치수 측정 모델(623)로 전달하고, 해당 객체의 치수 데이터를 데이터 민감도 강화 장치(1100)의 데이터 입력부(1110)로 전달한다.
치수 측정 모델(623)은 데이터 선택부(6221)로부터 전달 받은 2차원 영상에 대한 예측 치수 데이터를 생성하고, 예측 치수 데이터를 데이터 민감도 강화 장치(1100)의 데이터 입력부(1110)로 전달한다.
데이터 민감도 강화 장치(1100)의 데이터 입력부(1110)는 치수 측정 모델(623)의 예측 치수 데이터와 정답(ground truth, GT) 치수 데이터를 수신한다.
데이터 민감도 강화 장치(1100)의 데이터 변환부(1130)는 치수 측정 모델(623)의 예측 치수 데이터와 GT 치수 데이터를 각각 목적 함수를 이용하여 변환한다.
목적 함수는 기본적으로 수학식 1과 같이 생성될 수 있다.
Figure pat00003
여기서, c1은 목적값 또는 목적값의 범위를 나타내고, x는 입력 데이터를 나타낸다. z는 목적함수의 출력 값을 나타낸다. 또한 (c1+1-x)에서 1의 값은 로그 함수에 있어서 임계값이다.
목적함수는 수학식 2와 같이 생성될 수 있다.
Figure pat00004
목적함수는 수학식 3과 같이 생성될 수 있다.
Figure pat00005
수학식 2 및 수학식 3에서, ρ는 민감도를 높이기 위한 가중치 상수로서, ρ에 의해 출력값이 더 커지게 된다. 또한 abs(x)는 z의 절대값을 반환하는 함수를 나타낸다.
수학식 2에서, abs(c1+1-x) 대신에 (c1+1-x)가 사용될 수 있다.
또한 수학식 3에 도시된 목적함수는 수학식 4와 같이 변형시킬 수 있다.
Figure pat00006
여기서, θ는 민감도에 반응하는 영역을 변경시키기 위한 상수로서, 1보다 작은 값(예를 들면, 0.5)이 사용되면 민감도에 반응하는 영역이 넓어지게 된다.
수학식 2에 도시된 목적함수 또한 θ를 적용하여 변형시킬 수 있다.
또한 수학식 3에 도시된 목적함수는 수학식 5와 같이 변형시킬 수 있다.
Figure pat00007
수학식 5에서, σ는 더미 값을 나타낸다. 예를 들어, log(0)은 -Inf(Infinite) 값을 발생시킬 수 있다. 또한 log(log(*))에 의해 NaN(Not a Number) 값 또는 Inf 값이 발생될 수 있다. 따라서, NaN 또는 Inf 값이 발생되지 않도록 작은 값 σ를 더해주거나 Inf에 해당하는 최대값이 설정될 수 있다. σ는 로그 함수의 값이 0이 되는 것을 방지하기 위한 것으로, 입력 데이터(x)와 목적값(c1)에 비해 상당히 작을 수가 될 수 있다. 예를 들어, x가 0~11.5의 범위를 갖는 경우, σ는 1e-5 즉, 0.00001로 설정될 수 있다.
이와 같이, 목적함수는 목적값의 범위 내에서 입력 데이터의 값의 변화를 더 큰 폭으로 변화시켜 출력하는 형태로 다양하게 생성될 수 있다. 이때 출력값간의 보간법(interpolation)을 통해 출력값 사이의 값을 계산할 수 있으며, 출력값 사이에 값들을 추가하면, 좀 더 정밀한 데이터를 얻을 수 있다.
이때 본 발명의 실시 예에서는 손실함수의 입력 값으로 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터를 그대로 사용하는 것이 아니라, 목적함수를 사용하여 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터가 목적함수에 의해 각각 변환된 값을 사용한다. 예를 들어, 수학식 2에 도시된 목적함수를 사용하여 수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터를 변환하면, 수학식 6과 같이 나타낼 수 있다.
Figure pat00008
일반적으로, 모델의 학습을 위해 수학식 7과 같은 손실 함수가 사용된다.
Figure pat00009
손실 함수 d는 모델에 의해 예측된 값 D와 정답 값 D*의 차이를 나타낸다.
수학식 7의 손실 함수는 수학식 8과 같이 변형시켜 사용될 수 있다.
Figure pat00010
본 발명의 실시 예에서는 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터가 손실함수에 그래도 적용되지 않고, 데이터 민감도 강화 장치(1100)의 데이터 변환부(1130)에 의해 각각 변환된 값들이 손실함수에 입력되어, 수학식 9과 같이 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터의 차이 값이 계산된다.
Figure pat00011
즉, 손실 계산부(6222)는 데이터 민감도 강화 장치(1100)의 데이터 변환부(1130)에 의해 각각 변환된 예측된 치수 데이터(z)와 GT 치수 데이터(z*)를 이용하여 그 차이를 계산한다.
이렇게 하면, 설정된 목적값의 범위 내에서 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터의 차이가 더 크게 변화되어 출력된다. 예를 들어, 목적값의 범위가 8~10 사이인 경우, 기존의 일반적인 손실함수의 경우 이 범위 내에서 작은 값의 차이를 출력하는 반면, 수학식 9에 도시된 손실함수의 경우 이 범위 내에서 더 큰 값의 차이를 출력하게 된다.
한편, 수학식 2에 도시된 목적함수는 수학식 10과 같이 역변환시킬 수도 있다.
Figure pat00012
이러한 역변환 함수를 통해 입력 데이터 x의 범위를 확인할 수 있다. 입력 데이터 x는 예를 들어 수학식 11과 같이 나타나는 것을 확인할 수 있다.
Figure pat00013
가중치 갱신부(6223)는 데이터 민감도 강화 장치(1100)의 데이터 출력부(1140)를 통해 출력되는 데이터를 기반으로, 수학식 9에 도시된 손실함수의 출력값을 최소화하도록 치수 측정 모델(623)에 설정된 가중치들을 갱신한다.
특히, 가중치 갱신부(6223)에서는 데이터 민감도 강화 장치(1100)의 데이터 출력부(1140)를 통해 출력 값을 토대로, 목적값의 범위에 해당하는 치수 데이터에 대해서는 더 민감하여 반응하여, 치수 측정 모델(623)에 설정된 가중치들을 갱신함으로써, 치수 측정 모델(623)이 목적값의 범위에 해당하는 치수 데이터에 대해 더 높은 정확도를 동작할 수 있게 한다.
도 13은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치가 적용된 치수 측정 모델 학습부의 다른 예를 나타낸 도면이다.
도 13을 참고하면, 치수 측정 모델 학습부(622')는 제1 손실 계산부(6222a) 및 제2 손실 계산부(6222b)를 포함할 수 있다.
데이터 민감도 강화 장치(1100)의 데이터 입력부(1110')에서는 치수 측정 모델(623)로부터 입력되는 데이터가 민감 영역에 해당하는 데이터인지 비민감 영역에 해당하는 데이터인지 확인한다. 데이터 입력부(1110’)는 설정된 목적값의 범위에 기반하여 입력 데이터를 민감 영역에 해당하는 데이터와 비민감 영역에 해당하는 데이터로 분류할 수 있다. 예를 들어, 전체 데이터 중에 목적값에 기반하여 11.0 이상의 데이터는 민감영역의 데이터로 분류되고, 0~11 미만의 데이터는 비민감영역의 데이터로 분류될 수 있다. 데이터 입력부(1110')는 민감 영역에 해당하는 데이터와 이에 대응하는 GT 데이터를 데이터 변환부(1130)로 전달하고, 비민감 영역에 해당하는 데이터와 이에 대응하는 GT 데이터를 데이터 변환부(1130)를 거치지 않고 제2 손실 계산부(6222b)로 바로 전달한다.
제1 손실 계산부(6222a)는 수학식 9와 같이 데이터 변환부(1130)에 의해 각각 변환된 예측된 치수 데이터(z)와 GT 치수 데이터(z*)를 이용하여 그 차이를 계산하고, 계산된 값을 가중치 갱신부(6223)로 전달한다.
제2 손실 계산부(6222b)는 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터를 그대로 이용하여 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터의 차이를 계산하고, 계산된 값을 가중치 갱신부(6223)로 전달한다. 즉, 제2 손실 계산부(6222b)는 수학식 7 또는 수학식 8의 손실 함수를 사용하여 치수 측정 모델(623)의 예측된 치수 데이터와 GT 치수 데이터의 차이를 계산할 수 있다.
도 14 및 도 15는 각각 본 발명의 실시 예에 따른 목적함수에 의한 입력 데이터의 출력 값의 일 예를 나타낸 도면이다.
도 14에서는 수학식 3에 도시된 목적함수(ρ=1)를 사용하였고, 도 15에서는 수학식 3에 도시된 목적함수에 ρ=3을 적용하였다.
입력 데이터의 범위가 -0.213~11.499mm까지 변하는 입력 데이터에 대해, 11mm 근처에서 0.001mm 단위로 정밀한 관측이 필요한 경우, 수학식 3에 도시된 목적함수에서 목적값은 11mm로 설정된다. 이렇게 설정된 목적함수에 입력 데이터(x)로 -0.213~11.499mm를 입력하면, 출력값 z는 도 14에 도시된 바와 같이 출력된다. 즉, 목적값 11mm 주변인 10~12mm 사이의 입력 데이터에서, 입력값에 대한 "2" 정도의 변화에 대해 출력값 z는 1~10까지 약 "9" 이상 변하는 것을 알 수 있다.
또한 도 15에 도시된 바와 같이, ρ를 1이 아닌 수(예를 들면, ρ=3)로 적용하면 출력값 z의 변화량은 ρ에 따라 더 크게 변화되는 것을 알 수 있다.
이러한 목적함수에 의해 변환된 값을 이용하여 모델 학습을 위한 손실함수의 값을 계산하면, 목적값의 범위 내에서 정교하게 조절되는 모델이 생성될 수 있다.
본 발명의 실시 예에 따른 치수 측정 모델 학습을 위해 데이터 민감도 강화 장치 적용 시 나타나는 효과에 대해 도 16 내지 도 18을 참고로 하여 설명한다.
도 16은 세라믹 제품의 높이 값의 일 예를 나타낸 도면이다.
도 16에 도시된 바와 같이, 세라믹 제품은 대략 10~11mm의 높이를 가진다. 이 값은 치수 측정 모델의 예측 값을 나타낼 수 있다. 이때 0 근처의 수치들을 가진 높이값은 바닥면의 높이를 나타낸다.
도 17은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치의 적용 전과 적용 후의 로그함수 출력값을 나타낸 도면이고, 도 18은 본 발명의 실시 예에 따른 데이터 민감도 강화 장치의 적용 전과 적용 후의 치수 측정 모델의 예측 치수 데이터 각각 나타낸 도면이다.
도 17을 보면, 데이터 민감도 강화 장치가 적용되지 않은 경우에, 입력되는 데이터(x)의 로그함수의 값(y)으로 출력된다. 입력되는 데이터(x)는 도 16에 도시된 데이터 값일 수 있다.
한편, 데이터 민감도 강화 장치가 적용되면, 입력되는 데이터(x)는 변환된 값(z)의 로그함수의 값(y)으로 출력된다. 즉, 데이터(x)는 설정된 목적함수에 의해 z의 값으로 변환되고, 변환된 값(z)이 로그함수에 입력된다. 이때 c1=11.5이고, ρ=100인 수학식 3의 목적함수가 사용되었다. 이 경우, 도 16에 도시된 데이터(x)에 대해 목적값(c1=11.5)의 범위에서 로그함수의 출력값이 크게 변화되는 것을 알 수 있다.
그 결과, 도 18에 도시한 바와 같이, 데이터 민감도 강화 장치가 적용되지 않았을 때는 경계선 영역 중에 원형의 바닥면과의 정보 구별이 어려운 동심원 내부의 값은 오염된 것을 알 수 있다. 반면, 데이터 민감도 강화 장치를 적용하면 오염이 발생된 동심원 내부의 값이 GT 값과 거의 동일하게 나타난다는 것을 알 수 있다.
이상에서 설명한 본 발명의 실시 예에 따른 치수 오류 판별 방법 및 장치 중 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 아래에서는 치수 오류 판별 방법 및 장치가 컴퓨터 시스템에 결합된 실시 예에 대해서 도 19를 참고로 하여 상세하게 설명한다.
도 19는 본 발명의 또 다른 실시 예에 따른 치수 오류 판별 장치의 개략적인 도면으로, 도 1 내지 도 18를 참고하여 설명한 치수 오류 판별 장치의 기능 중 적어도 일부를 수행하는 데 사용할 수 있는 시스템을 나타낸다.
도 19를 참고하면, 치수 오류 판별 장치(1900)는 프로세서(1910), 메모리(1920), 저장 장치(1930) 및 입출력(input/output, I/O) 인터페이스(1940)를 포함한다.
프로세서(1910)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.
메모리(1920)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다.
저장 장치(1930)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다.
메모리(1920) 또는 저장 장치(1930)에는 앞에서 설명한 DB들이 저장될 수 있다.
I/O 인터페이스(1940)는 프로세서(1910) 및/또는 메모리(1920)가 저장 장치(1930)에 접근할 수 있도록 한다. 또한 I/O 인터페이스(1940)는 사용자와의 인터페이스를 제공할 수 있다. 프로세서(1910)는 도 1 내지 도 18에서 설명한 치수 측정, 치수 오류 판별 및 데이터 민감도 강화 기능을 수행할 수 있으며, 치수 측정, 치수 오류 판별 및 데이터 민감도 강화 기능의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(1920)에 로드시켜, 도 1 내지 도 18을 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 그리고 이러한 프로그램 명령은 저장 장치(1930)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (20)

  1. 치수 오류 판별 장치에서 대상 객체의 치수 오류를 판별하는 방법으로서,
    상기 대상 객체의 영상을 획득하는 단계,
    학습된 치수 측정 모델을 이용하여 상기 대상 객체의 영상으로부터 치수를 측정하고자 하는 관심 영역에 대한 치수 데이터를 예측하는 단계, 그리고
    학습된 치수 오류 판별 모델을 이용하여 예측된 상기 치수 데이터로부터 상기 관심 영역에서의 치수 오류 여부를 판별하는 단계
    를 포함하는 치수 오류 판별 방법.
  2. 제1항에서,
    각 객체의 영상과 상기 각 객체의 정답 치수 데이터를 포함하는 학습 데이터를 이용하여 상기 치수 측정 모델을 학습시키는 단계
    를 더 포함하고,
    상기 학습시키는 단계는
    설정된 목적값의 범위 내의 데이터의 값을 변환시키는 목적함수를 이용하여 상기 각 객체의 영상에 대한 상기 치수 측정 모델의 예측 치수 데이터와 대응하는 정답 치수 데이터를 각각 변환시키는 단계,
    상기 목적함수에 의해 각각 변환된 예측 치수 데이터와 정답 치수 데이터의 차이를 계산하는 단계, 그리고
    상기 차이에 기반하여 상기 치수 측정 모델에 설정된 가중치들을 갱신하는 단계를 포함하는 치수 오류 판별 방법.
  3. 제2항에서,
    상기 학습시키는 단계는
    상기 치수 측정 모델의 예측 치수 데이터를 상기 목적값의 범위에 해당되는 데이터와 상기 목적값의 범위를 벗어나는 데이터로 분류하는 단계,
    상기 목적값의 범위에 해당되는 데이터와 대응하는 정답 치수 데이터를 각각 상기 목적함수의 입력 값으로 대입시키는 단계, 그리고
    상기 목적값의 범위를 벗어나는 데이터의 경우, 상기 목적함수를 이용한 변환 없이 상기 목적값의 범위를 벗어나는 데이터와 대응하는 정답 치수 데이터의 차이를 계산하는 단계
    를 더 포함하는 치수 오류 판별 방법.
  4. 제2항에서,
    상기 목적함수는 수학식 1의 함수를 포함하고,
    상기 수학식 1은
    Figure pat00014
    이며,
    상기 c1은 상기 목적값이고, 상기 x는 상기 예측 치수 데이터 또는 상기 정답 치수 데이터인 치수 오류 판별 방법.
  5. 제2항에서,
    상기 목적함수는 수학식 2의 함수를 포함하고,
    상기 수학식 2는
    Figure pat00015
    이며,
    상기 c1은 상기 목적값이고, 상기 x는 상기 예측 치수 데이터 또는 상기 정답 치수 데이터인 치수 오류 판별 방법.
  6. 제1항에서,
    각 객체의 영상과 상기 각 객체의 정답 치수 데이터를 포함하는 제1 학습 데이터를 이용하여 상기 치수 측정 모델을 학습시키는 단계, 그리고
    상기 각 객체의 영상, 상기 각 객체의 영상에 대한 상기 치수 측정 모델의 예측 치수 데이터 및 상기 각 객체의 치수 오류 판별을 위해 필요한 정보를 포함하는 제2 학습 데이터를 이용하여 상기 치수 오류 판별 모델을 학습시키는 단계
    를 더 포함하는 치수 오류 판별 방법.
  7. 제6항에서,
    상기 치수 오류 판별을 위해 필요한 정보는 치수 오류가 있는 객체의 정보와 치수 오류가 없는 객체의 정보, 상기 관심 영역의 형태 및 상기 관심 영역의 위치 중 적어도 하나를 포함하는 치수 오류 판별 방법.
  8. 치수 오류 판별 장치에서 대상 객체의 치수 오류를 판별하는 방법으로서,
    상기 대상 객체의 2차원 영상을 획득하는 단계,
    학습된 깊이 추정 모델을 통해 상기 대상 객체의 2차원 영상으로부터 상기 깊이 영상을 생성하는 단계, 그리고
    학습된 치수 오류 판별 모델을 이용하여 상기 2차원 영상과 상기 깊이 영상으로부터 상기 대상 객체에서 측정하고자 하는 관심 영역에 대한 치수 오류 여부를 판별하는 단계
    를 포함하는 치수 오류 판별 방법.
  9. 제8항에서,
    상기 대상 객체의 영상은 3차원 영상을 획득하는 단계, 그리고
    상기 치수 오류 판별 모델을 이용하여 상기 3차원 영상으로부터 상기 관심 영역에 대한 치수 오류 여부를 판별하는 단계
    를 더 포함하는 치수 오류 판별 방법.
  10. 제8항에서,
    적어도 하나의 객체에 대한 2차원 영상과 해당 객체의 2차원 영상으로부터 생성되는 깊이 영상, 적어도 하나의 객체에 대한 3차원 영상, 그리고 각 객체의 치수 오류 판별을 위해 필요한 정보를 이용하여 상기 치수 오류 판별 모델을 학습시키는 단계
    를 더 포함하는 치수 오류 판별 방법.
  11. 제10항에서,
    상기 치수 오류 판별을 위해 필요한 정보는 치수 오류가 있는 객체의 정보와 치수 오류가 없는 객체의 정보, 상기 관심 영역의 형태 및 상기 관심 영역의 위치 중 적어도 하나를 포함하는 치수 오류 판별 방법.
  12. 제10항에서,
    상기 학습시키는 단계는 학습된 깊이 추정 모델을 통해 상기 적어도 하나의 2차원 영상으로부터 상기 깊이 영상을 생성하는 단계를 포함하는 치수 오류 판별 방법.
  13. 대상 객체의 치수 오류를 판별하는 장치로서,
    상기 대상 객체의 영상을 획득하는 영상 촬영부, 그리고
    학습된 치수 오류 판별 모델을 이용하여 상기 대상 객체의 영상으로부터 치수를 측정하고자 하는 관심 영역에서의 치수 오류 여부를 판별하는 치수 오류 분석부
    를 포함하는 치수 오류 판별 장치.
  14. 제13항에서,
    학습된 치수 측정 모델을 이용하여 상기 대상 객체의 영상으로부터 상기 관심 영역에 대한 치수 데이터를 예측하는 3차원 영상 획득부
    를 더 포함하고,
    상기 치수 오류 판별 모델은 상기 치수 측정 모델에 의해 예측된 치수 데이터를 입력으로 수신하여 치수 오류 여부를 검출하는 치수 오류 판별 장치.
  15. 제14항에서,
    상기 3차원 영상 획득부는 각 객체의 영상과 상기 각 객체의 정답 치수 데이터를 포함하는 학습 데이터를 이용하여 상기 치수 측정 모델을 학습시키는 치수측정모델 학습부
    를 더 포함하고,
    상기 치수측정모델 학습부는
    설정된 목적값의 범위 내의 데이터의 값을 변환시키는 목적함수를 이용하여 각 객체의 영상에 대한 상기 치수 측정 모델의 예측 치수 데이터와 대응하는 정답 치수 데이터를 각각 변환시키는 데이터 변환부, 그리고
    상기 상기 목적함수에 의해 각각 변환된 예측 치수 데이터와 정답 치수 데이터의 차이에 기반하여 상기 치수 측정 모델에 설정된 가중치들을 갱신하는 가중치 갱신부를 포함하는 치수 오류 판별 장치.
  16. 제15항에서,
    상기 목적함수는 수학식 1 또는 수학식 2의 함수를 포함하고,
    상기 수학식 1은
    Figure pat00016
    이며,
    상기 수학식 2는
    Figure pat00017
    이고,
    상기 c1은 상기 목적값이고, 상기 x는 상기 예측 치수 데이터 또는 상기 정답 치수 데이터인 치수 오류 판별 장치.
  17. 제13항에서,
    상기 영상 촬영부로부터 상기 대상 객체의 2차원 영상이 획득된 경우, 상기 2차원 영상으로부터 상기 영상 촬영부와 상기 대상 객체간의 거리 정보를 포함한 깊이 영상을 생성하는 3차원 영상 획득부
    를 더 포함하고,
    상기 치수 오류 분석부는 상기 치수 오류 판별 모델을 이용하여 상기 대상 객체의 2차원 영상과 상기 깊이 영상으로부터 상기 치수 오류 여부를 판별하는 치수 오류 판별 장치.
  18. 제17항에서,
    상기 치수 오류 분석부는 객체별 2차원 영상과 대응하는 깊이 영상, 객체별 3차원 영상, 객체별 2차원 영상에 대응하는 치수 데이터, 그리고 상기 객체별 치수 오류 판별을 위해 필요한 정보를 이용하여 상기 치수 오류 판별 모델을 학습시키는 치수오류판별모델 학습부를 포함하는 치수 오류 판별 장치.
  19. 제17항에서,
    상기 3차원 영상 획득부는 학습된 깊이 추정 모델을 통해 상기 대상 객체의 2차원 영상으로부터 상기 깊이 영상을 생성하는 치수 오류 판별 장치.
  20. 제19항에서,
    상기 3차원 영상 획득부는 카메라로부터 촬영된 2차원 영상들과 이에 대응하는 거리 정보를 포함한 깊이 영상들을 이용하여 상기 깊이 추정 모델을 학습시키는 치수 오류 판별 장치.
KR1020210009059A 2020-01-30 2021-01-22 치수 오류 판별 방법 및 장치 KR20210097623A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/163,051 US20210241450A1 (en) 2020-01-30 2021-01-29 Method and apparatus for detecting dimension error

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020200010952 2020-01-30
KR20200010952 2020-01-30
KR20200135260 2020-10-19
KR1020200135260 2020-10-19

Publications (1)

Publication Number Publication Date
KR20210097623A true KR20210097623A (ko) 2021-08-09

Family

ID=77313395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009059A KR20210097623A (ko) 2020-01-30 2021-01-22 치수 오류 판별 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210097623A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113916555A (zh) * 2021-10-15 2022-01-11 浙江吉利控股集团有限公司 一种车辆的尺寸偏差处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003952B1 (ko) 2014-06-30 2019-07-25 보디데이터, 인크. 불규칙한 객체들의 크기를 측정하는 휴대용 멀티-센서 시스템
KR102019978B1 (ko) 2011-06-02 2019-09-09 브이 테크놀로지 씨오. 엘티디 치수 측정 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019978B1 (ko) 2011-06-02 2019-09-09 브이 테크놀로지 씨오. 엘티디 치수 측정 장치
KR102003952B1 (ko) 2014-06-30 2019-07-25 보디데이터, 인크. 불규칙한 객체들의 크기를 측정하는 휴대용 멀티-센서 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113916555A (zh) * 2021-10-15 2022-01-11 浙江吉利控股集团有限公司 一种车辆的尺寸偏差处理方法及系统
CN113916555B (zh) * 2021-10-15 2024-05-03 浙江吉利控股集团有限公司 一种车辆的尺寸偏差处理方法及系统

Similar Documents

Publication Publication Date Title
US10880541B2 (en) Stereo correspondence and depth sensors
TWI607412B (zh) 多維度尺寸量測系統及其方法
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
US9135710B2 (en) Depth map stereo correspondence techniques
JP4923101B2 (ja) 画像間の空間対応を判別して三次元再構成をする方法および装置
JP6537237B2 (ja) 情報処理装置および方法
EP3460715B1 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
EP2283377A1 (en) Movement correction in mri using a camera
EP3772041A1 (en) Laser sensor-based map generation
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
TWI672937B (zh) 三維影像處理之裝置及方法
JP2020042503A (ja) 三次元表象生成システム
KR20210097623A (ko) 치수 오류 판별 방법 및 장치
US20210241450A1 (en) Method and apparatus for detecting dimension error
KR102238472B1 (ko) 오차 보정 방법 및 센서 시스템
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
KR20230111010A (ko) 관절 예측을 위한 학습 데이터 생성 방법 및 장치
KR102039902B1 (ko) 원격 기자재 정도 검사 시스템 및 방법
JP7481468B2 (ja) ロボットシステム及び制御方法
KR102310790B1 (ko) 포인트 클라우드 기반 검출 객체 오류 보정 장치 및 방법
JP2012242315A (ja) 位置検知システム、それを用いた移動体、位置検知方法およびそのためのプログラム
JP7363225B2 (ja) 計測装置、計測システム、計測方法およびプログラム
CN116299374B (zh) 基于机器视觉的声呐成像水下自动校准定位方法和系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal