KR20240047180A - 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법 - Google Patents

이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20240047180A
KR20240047180A KR1020220126505A KR20220126505A KR20240047180A KR 20240047180 A KR20240047180 A KR 20240047180A KR 1020220126505 A KR1020220126505 A KR 1020220126505A KR 20220126505 A KR20220126505 A KR 20220126505A KR 20240047180 A KR20240047180 A KR 20240047180A
Authority
KR
South Korea
Prior art keywords
image
feature point
area
image processing
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020220126505A
Other languages
English (en)
Inventor
양창모
장성태
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220126505A priority Critical patent/KR20240047180A/ko
Priority to PCT/KR2022/020943 priority patent/WO2024075906A1/ko
Publication of KR20240047180A publication Critical patent/KR20240047180A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법이 제공된다. 이미지 처리 방법은, 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 제외 영역 결정 모듈; 상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지를 생성하는 레퍼런스 이미지 생성 모듈; 상기 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의하는 특징점 검색 영역 정의 모듈; 및 상기 특징점 검색 영역에서 복수의 특징점을 검출하는 특징점 검출 모듈을 포함할 수 있다.

Description

이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법{IMAGE PROCESSING DEVICE, IMAGE PROCESSING SYSTEM, AND IMAGE PROCESSING METHOD}
개시 내용은 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법에 관한 것이다.
차량 제조 시 차량 부품의 조립 여부, 조립 상태 등을 검사하기 위해 이미지를 이용한 검사 방법이 활용되고 있다. 예를 들어, 부품 조립 전에 촬영한 이미지와 부품 조립 후에 촬영한 이미지를 이용하여 차량 부품의 조립 여부가 판별될 수 있다. 그런데 조명 환경이 다르거나 취득 장비의 오차가 존재하는 이유로 취득한 이미지들 사이에 오차가 발생할 수 있으며, 이를 보상하기 위해서는 취득한 이미지들 사이에 이미지 정합(또는 이미지 매칭)이 수행될 필요가 있다. 만일 취득한 이미지들 사이에 이미지 정합이 정확하게 수행되지 않으면, 취득 이미지에서 일부분을 부품 또는 부품 조립 부위로서 인식하여 추출하는 경우, 해당 부분의 이미지 품질이 저하될 수 있다. 이와 같이 이미지 정합을 수행하기 위해, 특징점 검출이 사용될 수 있다.
해결하고자 하는 일 과제는, 이미지 정합에 사용되는 특징점 검출의 성능을 개선하여 이미지 정합의 정확도를 향상시킬 수 있는 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법을 제공하는 것이다.
일 실시 예에 따른 이미지 처리 장치는, 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 제외 영역 결정 모듈; 상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지를 생성하는 레퍼런스 이미지 생성 모듈; 상기 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의하는 특징점 검색 영역 정의 모듈; 및 상기 특징점 검색 영역에서 복수의 특징점을 검출하는 특징점 검출 모듈을 포함할 수 있다.
몇몇 실시 예에서, 상기 장치는, 차량을 촬영하는 카메라로부터 제공받은 촬영 이미지에 대응하는 촬영 좌표와, 상기 설계 데이터에 대응하는 설계 데이터 좌표를 매칭하여 상기 설계 데이터 기반 이미지를 생성하는 설계 데이터 기반 이미지 생성 모듈을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 제외 영역 결정 모듈은, 상기 설계 데이터에 차체 또는 부품 고유번호 별로 부여된 값에 따라 상기 차체 영역과 상기 부품 영역을 구분할 수 있다.
몇몇 실시 예에서, 상기 제외 영역은 상기 설계 데이터 기반 이미지에서 상기 차체 영역 및 상기 부품 영역과 구분되는 배경 영역을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 제외 영역은 상기 설계 데이터 기반 이미지에서 환경에 따른 변화가 큰 영역으로 사용자에 의해 지정된 사용자 지정 영역을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 장치는, 상기 복수의 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 이미지 정합 모듈을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 장치는, 상기 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스(transformation matrix)를 생성하는 변환 매트릭스 생성 모듈; 및 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석하는 오차 분석 모듈을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 복수의 특징점은 제1 특징점 및 상기 제1 특징점과 상이한 제2 특징점을 포함하고, 상기 이미지 정합 모듈은, 상기 제1 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 상기 오차 범위를 벗어나는 경우, 상기 제2 특징점을 이용하여 상기 취득 이미지에 대한 이미지 정합을 수행할 수 있다.
몇몇 실시 예에서, 상기 특징점 검색 영역 정의 모듈은, 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 상기 특징점 검색 영역의 경계선 중 적어도 일부를 픽셀 단위로 증감하여 상기 특징점 검색 영역을 변경하고, 상기 특징점 검출 모듈은 상기 변경된 특징점 검색 영역에서 새로운 특징점을 검출하고, 상기 이미지 정합 모듈은 상기 새로운 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행할 수 있다.
일 실시 예에 따른 이미지 처리 시스템은, 미리 제공되는 티칭(teaching)에 의해 정해지는 촬영 좌표에서 차량을 촬영하는 모바일 로봇; 상기 모바일 로봇으로부터 제1 촬영 이미지를 제공받고, 상기 제1 촬영 이미지에 매칭되는 설계 데이터 기반 이미지를 이용하여 특징점 검색을 위한 레퍼런스 이미지를 생성하는 제1 이미지 처리 장치; 및 상기 모바일 로봇으로부터 제2 촬영 이미지를 제공받고, 상기 레퍼런스 이미지에서 정의된 특징점 검색 영역에 기반하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행하는 제2 이미지 처리 장치를 포함할 수 있다.
몇몇 실시 예에서, 상기 제1 이미지 처리 장치는, 상기 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 제외 영역 결정 모듈; 및 상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 상기 레퍼런스 이미지를 생성하는 레퍼런스 이미지 생성 모듈을 포함할 수 있다.
몇몇 실시 예에서, 상기 제외 영역 결정 모듈은, 상기 설계 데이터에 차체 또는 부품 고유번호 별로 부여된 값에 따라 상기 차체 영역과 상기 부품 영역을 구분할 수 있다.
몇몇 실시 예에서, 상기 제2 이미지 처리 장치는, 상기 레퍼런스 이미지를 이용하여 상기 제2 촬영 이미지에서 상기 특징점 검색 영역을 정의하는 특징점 검색 영역 정의 모듈; 및 상기 특징점 검색 영역에서 복수의 특징점을 검출하는 특징점 검출 모듈을 포함할 수 있다.
몇몇 실시 예에서, 상기 제2 이미지 처리 장치는, 상기 복수의 특징점에 기반하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행하는 이미지 정합 모듈; 상기 이미지 정합을 수행하면서, 이전에 취득된 제2 촬영 이미지와의 위치 편차로부터 변환 매트릭스를 생성하는 변환 매트릭스 생성 모듈; 및 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석하는 오차 분석 모듈을 더 포함할 수 있다.
몇몇 실시 예에서, 상기 복수의 특징점은 제1 특징점 및 상기 제1 특징점과 상이한 제2 특징점을 포함하고, 상기 이미지 정합 모듈은, 상기 제1 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 상기 오차 범위를 벗어나는 경우, 상기 제2 특징점을 이용하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행할 수 있다.
몇몇 실시 예에서, 상기 특징점 검색 영역 정의 모듈은, 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 상기 특징점 검색 영역의 경계선 중 적어도 일부를 픽셀 단위로 증감하여 상기 특징점 검색 영역을 변경하고, 상기 특징점 검출 모듈은 상기 변경된 특징점 검색 영역에서 새로운 특징점을 검출하고, 상기 이미지 정합 모듈은 상기 새로운 특징점에 기반하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행할 수 있다.
일 실시 예에 따른 이미지 처리 방법은, 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하는 단계; 상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 단계; 상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지를 생성하는 단계; 상기 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의하는 단계; 및 상기 특징점 검색 영역에서 복수의 특징점을 검출하는 단계를 포함할 수 있다.
몇몇 실시 예에서, 상기 방법은, 상기 복수의 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 단계; 상기 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성하는 단계; 및 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석하는 단계를 더 포함할 수 있다.
몇몇 실시 예에서, 상기 복수의 특징점은 제1 특징점 및 상기 제1 특징점과 상이한 제2 특징점을 포함하고, 상기 방법은, 상기 제1 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 상기 오차 범위를 벗어나는 경우, 상기 제2 특징점을 이용하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 단계를 더 포함할 수 있다.
몇몇 실시 예에서, 상기 방법은, 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 상기 특징점 검색 영역의 경계선 중 적어도 일부를 픽셀 단위로 증감하여 상기 특징점 검색 영역을 변경하는 단계; 상기 변경된 특징점 검색 영역에서 새로운 특징점을 검출하는 단계; 및 상기 새로운 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 단계를 더 포함할 수 있다.
실시 예들에 따르면, 이미지에서 촬영 환경에 따라 상대적으로 변화가 크지 않은 영역(예컨대 차체 영역 등)과, 상대적으로 변화가 큰 영역(예컨대 부품 조립 영역, 조명 변화에 민감한 영역 등)을 구분하여, 상대적으로 변화가 크지 않은 영역에서 특징점을 추출함으로써, 특징점 검출 성능을 개선하고 이미지 정합의 정확도를 향상시킬 수 있다.
도 1은 일 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 실시 예들에 따른 이미지 처리 시스템에서 사용될 수 있는 설계 데이터 기반 이미지를 설명하기 위한 도면이다.
도 3 내지 도 5는 실시 예들에 따른 이미지 처리 시스템에서 제외 영역을 결정하는 것을 설명하기 위한 도면들이다.
도 6은 실시 예들에 따른 이미지 처리 시스템에서 사용될 수 있는 레퍼런스 이미지를 설명하기 위한 도면이다.
도 7 및 도 8은 실시 예들에 따른 이미지 처리 시스템에서 레퍼런스 이미지를 이용하여 취득 이미지에서 정의되는 특징점 검색 영역을 설명하기 위한 도면들이다.
도 9는 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 11 및 도 12는 취득 장비의 오차로 인해 발생하는 이미지 취득 오차 범위를 설명하기 위한 도면들이다.
도 13 및 도 14는 오차 범위를 벗어나는 경우 특징점 검출을 설명하기 위한 도면들이다.
도 15는 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
도 16은 오차 범위를 벗어나는 경우 특징점 검출을 설명하기 위한 도면이다.
도 17은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
도 18은 실시 예들에 따른 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법을 구현하기 위한 컴퓨팅 장치의 일 실시 예를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 아래에서 설명되는 실시 예들에 따른 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법 중 적어도 일부 구성 또는 기능은 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
도 1은 일 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시 예에 따른 이미지 처리 시스템(1)은 제1 이미지 처리 장치(10), 제2 이미지 처리 장치(20) 및 모바일 로봇(30)을 포함할 수 있다.
모바일 로봇(30)은 산업 현장에서 환경을 이해하고 이동하며 사람을 보조하거나 대신하여 작업을 수행할 수 있는 로봇일 수 있다. 모바일 로봇(30)은 미리 정의된 경로에 의존적이었던 AGV(automated guided vehicle)와 다르게 카메라, 컴퓨터 비전 센서, 음성 인식 센서, 라이다 등을 비롯한 다양한 종류의 센서를 탑재하고 인공 지능, 머신 러닝 등 컴퓨팅 기술을 사용하여 환경에 대한 데이터를 수집하며, 경로 설정 등 의사 결정을 스스로 내릴 수 있다. 모바일 로봇(30)은, 예를 들어, 차량 등 여러 산업 제품에 대한 로봇 자동화된 제조 공장에서 다양한 생산 공정에 투입될 수 있다. 이하 실시 예들에서, 모바일 로봇(30)은 미리 제공되는 티칭(teaching)에 의해 정해지는 촬영 좌표에서 차량을 촬영할 수 있다.
제1 이미지 처리 장치(10)는 촬영 이미지(IMG1)와 설계 데이터 기반 이미지를 이용하여 레퍼런스 이미지(IMG2)를 생성할 수 있다. 여기서, 촬영 이미지(IMG1)는 차량의 적어도 일부분에 대해 미리 촬영한 이미지이고, 설계 데이터 기반 이미지는 설계 데이터(예컨대 3D 캐드 데이터)를 기반으로 생성되는 이미지일 수 있다. 도어 프레임을 예로 들면, 촬영 이미지(IMG1)는 어떤 촬영 환경에서 예를 들어 모바일 로봇(30)에 의해 촬영된 차량의 도어 프레임 이미지이고, 설계 데이터 기반 이미지는 해당 차종의 도어 프레임에 대한 3D 캐드 데이터로부터, 해당 촬영 환경(예컨대 촬영 좌표, 촬영 각도 등)에 부합하도록 렌더링된 도어 프레임 이미지일 수 있다.
레퍼런스 이미지(IMG2)는 취득 이미지(IMG3) 상에 특징점 검색 영역을 정의하기 위해 사용되는 이미지일 수 있다. 여기서, 취득 이미지(IMG3)는 차량의 적어도 일부분에 대해 생산 공정 중 촬영한 이미지이고, 특징점 검색 영역은, 어떤 이미지 상에서 이미지 정합에 사용되는 특징점을 검색하기로 정한 영역일 수 있다. 즉, 실시 예들에 있어서 특징점 검색 영역은, 어떤 이미지 상에서 특징점 검출의 성능이 높을 것으로 판단되는 영역만을 포함하고, 특징점 검출의 성능이 낮을 것으로 판단되는 영역을 제외한 것일 수 있다. 도어 프레임을 예로 들면, 레퍼런스 이미지(IMG2)는, 특징점 검출의 성능이 높을 것으로 판단되는 영역(예를 들어, 이미지에서 촬영 환경에 따라 상대적으로 변화가 크지 않은 영역)과 특징점 검출의 성능이 낮을 것으로 판단되는 영역(예를 들어, 이미지에서 촬영 환경에 따라 상대적으로 변화가 큰 영역)이, 도어 프레임에 대한 취득 이미지(IMG3) 상에서 구분되도록 할 수 있다. 제2 이미지 처리 장치(20)는 레퍼런스 이미지(IMG2)를 이용하여 취득 이미지(IMG3) 상에 특징점 검색 영역을 정의하고, 이로부터 특징점을 검출하여 이미지 정합을 수행할 수 있다. 본 실시 예에서, 촬영 이미지(IMG1) 및 취득 이미지(IMG3)는 모바일 로봇(30)에 의해 촬영되는 것으로 도시하였으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
제1 이미지 처리 장치(10)는, 예를 들어, 모바일 로봇(30)으로부터 촬영 이미지(IMG1)를 제공받고, 촬영 이미지(IMG1)에 매칭되는 설계 데이터 기반 이미지를 이용하여 특징점 검색을 위한 레퍼런스 이미지(IMG2)를 생성할 수 있고, 설계 데이터 기반 이미지 생성 모듈(100), 제외 영역 결정 모듈(110) 및 레퍼런스 이미지 생성 모듈(120)을 포함할 수 있다.
설계 데이터 기반 이미지 생성 모듈(100)은, 차량을 촬영하는 카메라(예컨대 모바일 로봇(30)에 탑재된 카메라)로부터 제공받은 촬영 이미지(IMG1)에 대응하는 촬영 좌표와, 설계 데이터에 대응하는 설계 데이터 좌표를 매칭하여 설계 데이터 기반 이미지를 생성할 수 있다. 예를 들어, 어떤 작업 공간에서 도어 프레임을 촬영하는 카메라의 촬영 좌표가 제1 좌표계 상의 좌표 (x1, y1, z1)이고, 도어 프레임의 설계 데이터로부터 렌더링된 이미지의 설계 데이터 좌표가 제2 좌표계 상의 좌표 (x2, y2, x2)인 경우, 촬영 좌표와 설계 데이터 좌표를 동일한 좌표계의 좌표가 되도록 매칭(또는 변환)하여 설계 데이터 기반 이미지를 생성할 수 있다. 예를 들어, 도어 프레임에 대해 이와 같이 생성된 설계 데이터 기반 이미지는, 이후 공정에서 실제 차량의 도어 프레임에 대해 제1 좌표계 상의 좌표 (x1, y1, z1)에서 촬영되어 취득되는 취득 이미지와, 보여지는 도어 프레임의 크기, 영역, 각도 등이 서로 부합할 수 있다. 물론, 설계 데이터 기반 이미지 생성 모듈(100)이 촬영 이미지(IMG1)와 설계 데이터로부터 렌더링된 이미지를 매칭하는 방식은 전술한 방식으로 한정되는 것은 아니다.
제외 영역 결정 모듈(110)은, 설계 데이터 기반 이미지 생성 모듈(100)에서 생성된 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정할 수 있다. 여기서 제외 영역은, 특징점 검색 영역을 설정함에 있어서 특징점 검출의 성능이 낮을 것으로 판단되는 영역으로서 제외가 필요한 영역을 지시하기 위해 사용될 수 있다. 구체적으로, 제외 영역 결정 모듈(110)에 제외 영역을 결정함에 따라, 이들 제외 영역에 기반하여 마스킹 영역이 설정되고, 이로부터 취득 이미지에서 특징점 검색 영역에서 특징점 검출의 성능이 높을 것으로 판단되는 영역만을 포함시키는 작업을 수행할 수 있다.
제외 영역은 부품 영역을 포함할 수 있다. 차체 영역은 차체를 포함할 수 있고, 부품 영역은 차체에 조립되는 부품(예컨대 케이블)을 포함할 수 있다. 그런데, 부품은 일정하게 정해지지 않은 공정 순서에 따라 작업자에 의해 수동으로 임의의 시점에 조립이 될 수 있으므로, 특징점 검색 영역에 부품 영역이 포함되고 해당 부품 영역에서 검출되는 특징점으로 해당 부품의 조립 전 후의 취득 이미지에 대한 이미지 정합이 이루어지는 경우에는 이미지 정합의 정확도를 보장할 수 없다. 제외 영역에 부품 영역을 포함시킴에 따라, 이미지 정합의 정확도를 저하시킬 우려가 높은 특징점 검출을 피할 수 있다.
몇몇 실시 예에서, 제외 영역 결정 모듈(110)은, 설계 데이터를 이용하여 자동으로 설계 데이터 기반 이미지 생성 모듈(100)에서 생성된 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분할 수 있다. 구체적으로, 설계 데이터에는 차체 또는 부품 고유번호 별로 다양한 값이 부여되어 있을 수 있다. 예를 들어, 차체에 해당하는 파트의 고유번호에 대응하는 설계 데이터에는 해당 파트가 차체임을 나타내기 위해 제1 값(예컨대 '0')이 부여되고, 차체가 아닌 부품에 해당하는 파트의 고유번호에 대응하는 설계 데이터에는 해당 파트가 부품임을 나타내기 위해 제2 값(예컨대 '1')이 부여되어 있을 수 있다. 제외 영역 결정 모듈(110)은, 이와 같이 설계 데이터에 차체 또는 부품 고유번호 별로 부여된 값에 따라 자동으로 차체 영역과 부품 영역을 구분할 수 있다.
몇몇 실시 예에서, 제외 영역은 배경 영역을 더 포함할 수도 있다. 배경 영역은, 예를 들어 모바일 로봇(30)에 의해 촬영되는 취득 이미지(IMG3) 상에 주된 피사체(예컨대 도어 프레임)를 제외한 영역을 포함할 수 있으며, 예를 들어 주된 피사체와 구분되는 다른 파트, 공장의 내부 시설, 작업자 등이 촬영된 영역을 포함할 수 있다. 특징점 검색 영역에 이와 같은 배경 영역이 포함되고 해당 배경 영역에서 검출되는 특징점으로 취득 이미지들에 대한 이미지 정합이 이루어지는 경우에는 이미지 정합의 정확도를 보장할 수 없다. 제외 영역에 배경 영역을 포함시킴에 따라, 이미지 정합의 정확도를 저하시킬 우려가 높은 특징점 검출을 피할 수 있다.
몇몇 실시 예에서, 제외 영역은 사용자 지정 영역을 더 포함할 수도 있다. 사용자 지정 영역은, 설계 데이터 기반 이미지에서 환경에 따른 변화가 큰 영역으로 사용자에 의해 지정된 영역일 수 있다. 예를 들어, 사용자는, 설계 데이터 기반 이미지에서 공장 내 조명 환경에 따른 변화가 큰 영역으로, 차체 중 빛 반사가 심하도록 반사면이 돌출되도록 형성된 일부분을 지정할 수 있다. 특징점 검색 영역에 이와 같은 돌출부 사용자 지정 영역이 포함되고 해당 사용자 지정 영역에서 검출되는 특징점으로 빛 반사가 일어나기 전 및 빛 반사가 일어난 후의 취득 이미지에 대한 이미지 정합이 이루어지는 경우에는 이미지 정합의 정확도를 보장할 수 없다. 제외 영역에 사용자 지정 영역을 포함시킴에 따라, 이미지 정합의 정확도를 저하시킬 우려가 높은 특징점 검출을 피할 수 있다.
레퍼런스 이미지 생성 모듈(120)은, 설계 데이터 기반 이미지에서, 제외 영역 결정 모듈(110)에 의해 결정된 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지(IMG2)를 생성할 수 있다. 마스킹 영역은 제외 영역을 취합하여 생성될 수 있다. 예를 들어, 구체적인 구현 목적 또는 환경에 따라, 마스킹 영역은, 부품 영역만을 포함할 수도 있고, 부품 영역과 배경 영역을 포함할 수도 있고, 부품 영역과 사용자 지정 영역을 포함할 수도 있고, 또는 부품, 배경 영역 및 사용자 지정 영역을 모두 포함할 수도 있다. 생성된 레퍼런스 이미지(IMG2)는 제2 이미지 처리 장치(20)로 전송될 수 있다.
몇몇 실시 예에서, 레퍼런스 이미지 생성 모듈(120)은, 바이너리 값을 이용하여 마스킹 영역을 표시할 수 있다. 예를 들어, 레퍼런스 이미지(IMG2)는 미리 정해진 사이즈의 이미지이고, 해당 이미지를 구성하는 픽셀 별로 부여되는 바이너리 값을 통해 마스킹 영역과 그 외의 영역이 구분될 수 있다. 예를 들어, 마스킹 영역에 대응하는 픽셀에는 제1 바이너리 값(예컨대 '0')이 부여되고, 그 외의 영역에 대응하는 픽셀에는 제2 바이너리 값(예컨대 '1')이 부여될 수 있으나, 마스킹 영역의 표현 방식은 전술한 방식으로 한정되는 것은 아니다.
제2 이미지 처리 장치(20)는, 예를 들어, 모바일 로봇(30)으로부터 촬영된 취득 이미지(IMG3)를 제공받고, 레퍼런스 이미지(IMG2)에서 정의된 특징점 검색 영역에 기반하여 취득 이미지(IMG3)에 대한 이미지 정합을 수행할 수 있고, 특징점 검색 영역 정의 모듈(200), 특징점 검출 모듈(210) 및 이미지 정합 모듈(220)을 포함할 수 있다.
특징점 검색 영역 정의 모듈(200)은, 레퍼런스 이미지 생성 모듈(120)로부터 수신되는 레퍼런스 이미지(IMG2)를 이용하여 취득 이미지(IMG3)에서 특징점 검색 영역을 정의할 수 있다. 구체적으로, 특징점 검색 영역 정의 모듈(200)은, 취득 이미지(IMG3) 상에 마스킹 영역을 포함하는 레퍼런스 이미지(IMG2)를 오버랩하고, 취득 이미지(IMG3) 상에서 마스킹 영역에 의해 가려지는 영역을 특징점 검색 영역에서 제외하고, 취득 이미지(IMG3) 상에서 마스킹 영역에 의해 가려지지 않는 영역을 특징점 검색 영역에 포함시킬 수 있다.
몇몇 실시 예에서, 레퍼런스 이미지(IMG2)는 레퍼런스 이미지 생성 모듈(120)에 의해 생성되는 시점에 취득 이미지(IMG3)의 사이즈와 동일하도록 생성될 수 있다. 이 경우, 특징점 검색 영역 정의 모듈(200)은, 별도의 리사이징 작업 없이 취득 이미지(IMG3)와 레퍼런스 이미지(IMG2)를 오버랩할 수 있다.
몇몇 실시 예에서, 특징점 검색 영역 정의 모듈(200)이 수신한 레퍼런스 이미지(IMG2)와 취득 이미지(IMG3)의 사이즈가 상이할 수 있다. 이 경우, 특징점 검색 영역 정의 모듈(200)은, 레퍼런스 이미지(IMG2)의 사이즈가 취득 이미지(IMG3)의 사이즈에 맞도록 리사이징을 수행하거나, 반대로 취득 이미지(IMG3)가 레퍼런스 이미지(IMG2)의 사이즈에 맞도록 리사이징을 수행한 후, 취득 이미지(IMG3)와 레퍼런스 이미지(IMG2)를 오버랩할 수 있다. 또한, 필요한 경우에는 이미지 크롭, 회전 등이 선택적으로 수행될 수도 있다.
몇몇 실시 예에서, 레퍼런스 이미지 생성 모듈(120)에서 생성된 레퍼런스 이미지(IMG2)는 데이터베이스에 저장될 수 있고, 특징점 검색 영역 정의 모듈(200)은 새로운 취득 이미지(IMG3)가 발생한 경우 데이터베이스로부터 취득 이미지(IMG3)에 대응하는 레퍼런스 이미지(IMG2)를 획득할 수도 있다. 이 때, 데이터베이스에 저장되는 레퍼런스 이미지(IMG2)는 취득 이미지(IMG3)에 따라 검색이 용이하도록 적절히 레이블링(labeling)되어 있을 수 있다.
특징점 검출 모듈(210)은, 특징점 검색 영역 정의 모듈(200)에 의해 정의된 특징점 검색 영역에서 복수의 특징점을 검출할 수 있다. 특징점 검색 영역 정의 모듈(200)에 의해 정의된 특징점 검색 영역에서 검출되는 특징점들은, 촬영 환경이 변하였더라도 이미지 정합이 정확하게 이루어질 수 있도록 기준을 삼을 수 있는 특징점들이 될 수 있다.
몇몇 실시 예에서, 특징점 검출 모듈(210)은, 특징점 검색 영역 내에서 취득 이미지(IMG3)에 대한 히스토그램(histogram) 매칭을 통해 밝기 및 명암 보정을 수행하여 조명 유사도가 높아지도록 조정한 후 복수의 특징점을 검출할 수 있다. 예를 들어, 촬영 이미지(IMG1) 또는 레퍼런스 이미지(IMG2)와 관련하여 특징점 검색 영역에 대해 미리 취득한 히스토그램 값에 기반하여, 취득 이미지(IMG3)의 특징점 검색 영역에서 히스토그램 값을 보정함에 따라 특징점 검출 성능을 더욱 향상시킬 수 있다.
이미지 정합 모듈(220)은, 특징점 검출 모듈(210)에 의해 검출된 복수의 특징점에 기반하여 취득 이미지(IMG3)에 대한 이미지 정합을 수행할 수 있다. 이미지 정합 결과가 취득 장치(예컨대 모바일 로봇(30))의 오차 범위를 벗어나지 않는 경우에는 이미지 정합을 완료하고, 이미지 정합 결과가 취득 장치의 오차 범위를 벗어나는 경우에는 특징점을 재선택하여 이미지 정합을 재수행할 수 있다. 오차 범위에 따른 이미지 정합 재수행 동작에 관하여는 도 10 내지 도 17을 참조하여 후술하도록 한다.
본 실시 예에 따르면, 통제할 수 없는 조명 등 환경의 변화로 인해 이미지에서 상대적으로 변화가 큰 영역이나, 수동으로 부품을 조립한 경우와 부품의 조립을 진행하지 않은 경우에 의해 발생할 수 있는 이미지 상 변화가 존재하는 영역을 특징점 검색 영역에서 제외하여, 취득한 이미지들 사이에 이미지 정합을 위한 특징점의 검출률 및 정확도를 향상시킴으로써, 이미지 정합에 사용되는 특징점 검출 성능을 개선할 수 있다. 또한, 설계 데이터(예컨대 3D 캐드 데이터)를 기반으로, 취득 이미지의 특징점 검색 영역에서 제외 영역을 자동으로 결정할 수 있기 때문에, 특징점 검색 영역을 짧은 시간 내에 효과적이면서도 효율적으로 설정할 수 있다. 이에 따라, 조명 등 작업 환경의 통제가 어려운 산업 현장에서 이미지 정합의 성능을 개선할 수 있을 뿐 아니라, 이미지 취득 및 정합 과정을 자동화된 방식으로 개선함으로써 생산 공장에서 별도의 비전 전문 엔지니어 등 인력을 줄이면서도 효과적으로 비전 시스템을 운용할 수 있다.
이하에서는 도 2 내지 도 8을 참조하여, 차량의 도어와 천장 사이를 지지하는 필라(pillar)를 예시로 하여 전술한 이미지 처리 시스템(1)의 동작을 설명하도록 한다.
도 2는 실시 예들에 따른 이미지 처리 시스템에서 사용될 수 있는 설계 데이터 기반 이미지를 설명하기 위한 도면이다.
도 2를 참조하면, 차량의 필라에 대한 3D 캐드 데이터를 기반으로 생성된 설계 데이터 기반 필라 이미지는, 모바일 로봇(30)이 미리 촬영한 필라 이미지의 촬영 환경(예컨대, 모바일 로봇(30)과 연관된 좌표계에서의 촬영 좌표, 촬영 각도 등)에 부합하도록 렌더링된 필라 이미지일 수 있다. 예를 들어, 도 2의 설계 데이터 기반 필라 이미지는, 필라를 촬영하는 모바일 로봇(30)으로부터 제공받은 촬영 필라 아미지에 대응하는 촬영 좌표와, 필라에 대한 3D 캐드 데이터를 기반으로 한 설계 데이터 좌표를 동일한 좌표계의 좌표로 매칭(또는 변환)함으로써 생성될 수 있다.
도 3 내지 도 5는 실시 예들에 따른 이미지 처리 시스템에서 제외 영역을 결정하는 것을 설명하기 위한 도면들이다.
도 3을 참조하면, 도 2의 설계 데이터 기반 필라 이미지에서 차체 영역과 구분되는 부품 영역(M1)을 나타낸다. 필라에 조립되는 부품, 예컨대 케이블은 일정하게 정해지지 않은 공정 순서에 따라 작업자에 의해 수동으로 임의의 시점에 조립이 될 수 있으므로, 특징점 검색 영역에 케이블을 포함하는 부품 영역(M1)이 포함되고, 부품 영역(M1)에서 검출되는 특징점으로, 케이블이 조립되기 전과 케이블이 조립된 후의 취득 이미지에 대한 이미지 정합이 이루어지는 경우에는 이미지 정합의 정확도를 보장할 수 없다. 따라서 부품 영역(M1)은 제외 영역에 포함될 수 있다.
도 4을 참조하면, 도 2의 설계 데이터 기반 필라 이미지에서 차체 영역과 구분되는 배경 영역(M2)을 나타낸다. 주된 피사체인 필라와 구분되는 다른 파트, 공장의 내부 시설, 작업자 등이 촬영된 배경 영역(M2)이 특징점 검색 영역에 포함되고, 서로 다른 배경을 갖는 취득 이미지들에 대해 배경 영역(M2)에서 검출되는 특징점으로 취득 이미지들에 대한 이미지 정합이 이루어지는 경우에는 이미지 정합의 정확도를 보장할 수 없다. 따라서 배경 영역(M2)은 제외 영역에 포함될 수 있다.
도 5를 참조하면, 도 2의 설계 데이터 기반 필라 이미지에서 차체 영역과 구분되는 사용자 지정 영역(M3)을 나타낸다. 사용자는, 설계 데이터 기반 이미지에서 공장 내 조명 환경에 따른 변화가 큰 영역으로, 차체 중 빛 반사가 심하도록 반사면이 돌출되도록 형성된 일부분을 사용자 지정 영역(M3)으로 지정할 수 있으며, 특징점 검색 영역에 사용자 지정 영역(M3)이 포함되고, 사용자 지정 영역(M3)에서 검출되는 특징점으로, 빛 반사가 강한 취득 이미지와 빛 반사가 없는 취득 이미지에 대한 이미지 정합이 이루어지는 경우에는 이미지 정합의 정확도를 보장할 수 없다. 따라서 사용자 지정 영역(M3)은 제외 영역에 포함될 수 있다.
도 6은 실시 예들에 따른 이미지 처리 시스템에서 사용될 수 있는 레퍼런스 이미지를 설명하기 위한 도면이다.
도 6을 참조하면, 레퍼런스 필라 이미지는, 도 3 내지 도 5와 관련하여 도시된 부품 영역(M1)에 대응하는 마스킹 영역(E1), 배경 영역(M2)에 대응하는 마스킹 영역(E2, E3) 및 사용자 지정 영역(M3)에 대응하는 마스킹 영역(E4)을 포함할 수 있다. 본 실시 예에서는 레퍼런스 필라 이미지가 마스킹 영역(E1, E2, E3, E4)을 모두 포함하는 것으로 도시하였으나, 구체적인 구현 목적 또는 환경에 따라, 마스킹 영역(E1, E2, E3, E4) 중 일부 마스킹 영역만을 포함할 수도 있다.
도 7 및 도 8은 실시 예들에 따른 이미지 처리 시스템에서 레퍼런스 이미지를 이용하여 취득 이미지에서 정의되는 특징점 검색 영역을 설명하기 위한 도면들이다.
도 7을 참조하면, 도시된 취득 필라 이미지는 모바일 로봇(30)이 생산 공정 중 촬영한 이미지일 수 있다. 생산 공정 중 촬영되었기 때문에 필라 뒤로 공장의 내부가 함께 촬영된 것을 알 수 있다.
도 8을 참조하면, 취득 필라 이미지 상에 마스킹 영역(E1, E2, E3, E4)을 포함하는 레퍼런스 필라 이미지를 오버랩하고, 취득 필라 이미지 상에서 마스킹 영역(E1, E2, E3, E4)에 의해 가려지는 영역을 특징점 검색 영역에서 제외하고, 취득 필라 이미지 상에서 마스킹 영역(E1, E2, E3, E4)에 의해 가려지지 않는 영역을 특징점 검색 영역에 포함시킬 수 있다. 이와 같이 정의된 특징점 검색 영역에서 복수의 특징점(P)이 검출될 수 있다.
도 9는 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시 예에 따른 이미지 처리 방법은, 단계(S901)에서, 촬영 이미지에 대응하는 촬영 좌표와 설계 데이터에 대응하는 설계 데이터 좌표를 매칭하여 설계 데이터 기반 이미지를 생성할 수 있고, 단계(S903)에서, 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정할 수 있다. 또한, 상기 방법은, 단계(S905)에서, 설계 데이터 기반 이미지에서 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지를 생성할 수 있고, 단계(S907)에서, 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의할 수 있다. 그리고 상기 방법은, 단계(S909)에서, 특징점 검색 영역에서 복수의 특징점을 검출할 수 있다.
본 실시 예에 따른 이미지 처리 방법과 관련하여 더욱 상세한 내용에 대해서는 도 1 내지 도 8과 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
도 10은 일 실시 예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시 예에 따른 이미지 처리 시스템(2)은 제1 이미지 처리 장치(10), 제2 이미지 처리 장치(20) 및 모바일 로봇(30)을 포함할 수 있다. 도 1과 관련하여 전술한 이미지 처리 시스템(1)과 차이점은 제2 이미지 처리 장치(20)가 변환 매트릭스 생성 모듈(230) 및 오차 분석 모듈(240)을 더 포함한다는 점이다.
변환 매트릭스 생성 모듈(230)은, 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스(transformation matrix)를 생성할 수 있다. 변환 매트릭스는 이미지를 취득한 후 기존 이미지와의 위치 편차를 계산할 때 생성될 수 있으며, 이동(translation), 스케일(scale), 전단(shear), 회전(rotation), 틸트(tilt)에 관한 정보를 포함할 수 있다. 예를 들어, 변환 매트릭스는 다음과 같은 3 x 3 매트릭스로 정의될 수 있다.
여기서, Tx 및 Ty는 각각 x 축 및 y 축을 따른 변위(displacement)를 나타낼 수 있고, Sx 및 Sy는 각각 x 축 및 y 축을 따른 스케일 인자(scale factor)를 나타낼 수 있다. Shx 및 Shy는 각각 x 축 및 y 축을 따른 전단 인자(shear factor)를 나타낼 수 있다. E 및 F는 틸트와 관련하여 소실점(vanishing point)에 영향을 미치는 인자일 수 있다. 몇몇 실시 예에서, 변환 매트릭스는 Tx, Ty, Sx, Sy, Shx, Shy, E 및 F 대신 어떤 중심으로부터의 회전 각 q에 관한 cos(q), sin(q), -sin(q), cos(q) 값들을 포함하도록 구성될 수도 있다.
오차 분석 모듈(240)은, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석할 수 있다. 여기서 미리 정의된 오차 범위는, 이미지 취득 장비, 예컨대 모바일 로봇(30)의 촬영 위치 별 오차 범위를 포함할 수 있다. 모바일 로봇(30)은 여러 촬영 위치에서 반복하여 이미지 취득을 수행하며, 변환 매트릭스의 여러 성분 각각에 대해, 각각의 촬영 위치 별로 오차 범위를 산정할 수 있다.
만일, 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 오차 범위를 벗어나는 경우에는, 이미지 정합 모듈(220)은 특징점을 재선택하여 이미지 정합을 재수행할 수 있다.
도 11 및 도 12는 취득 장비의 오차로 인해 발생하는 이미지 취득 오차 범위를 설명하기 위한 도면들이다.
도 11을 참조하면, 모바일 로봇(30)은 차량에 대해 여러 촬영 위치에서 반복하여 이미지 취득을 수행할 수 있다. 예를 들어, 모바일 로봇(30)은 제1 위치(P20102), 제2 위치(P20204), 제3 위치(P20302), 제4 위치(P20402), 제5 위치(P20502) 및 제6 위치(P20603)에서 이미지 취득을 수행할 수 있고, 도 12를 참조하면 변환 매트릭스의 여러 성분 각각에 대해 각각의 촬영 위치 별로 산정된 오차 범위를 알 수 있다. 구체적으로, 변환 매트릭스의 Sx, Sy, Shx, Shy 성분 각각에 대해 위치(P20102) 내지 위치(P20603) 각각에 대해 오차 범위가 산출됨을 알 수 있다. 오차 분석 모듈(240)은, 예를 들어, 이미지 정합을 수행하면서 생성되는 변환 매트릭스의 Sx 성분의 경우, 제3 위치(P20302)와 관련하여 Sx 성분의 값이 약 0.8 내지 약 1.05의 오차 범위에 해당하는지 여부를 분석하고, 이미지 정합을 수행하면서 생성되는 변환 매트릭스의 Sx 성분의 값이 약 0.8 내지 약 1.05의 오차 범위를 벗어나는 값인 경우, 이미지 정합 모듈(220)은 특징점을 재선택하여 이미지 정합을 재수행할 수 있다.
이하에서는 도 13 내지 도 17을 참조하여 이미지 정합을 재수행하는 실시 예들에 대해 설명하도록 한다.
도 13 및 도 14는 오차 범위를 벗어나는 경우 특징점 검출을 설명하기 위한 도면들이다.
도 13을 참조하면, 취득 이미지는 마스킹 영역(E5, E6, E7, E8)을 포함하는 레퍼런스 이미지와 오버랩되고, 취득 이미지 상에서 마스킹 영역(E5, E6, E7, E8)에 의해 가려지는 영역은 특징점 검색 영역에서 제외되고, 취득 이미지 상에서 마스킹 영역(E5, E6, E7, E8)에 의해 가려지지 않는 영역은 특징점 검색 영역에 포함될 수 있다.
특징점 검출 모듈(210)은 도 13에 도시된 특징점 검색 영역에서 n 개(n은 자연수, 예컨대 10 개)의 특징점을 검출할 수 있고, 이미지 정합 모듈(220)은 n 개의 복수의 특징점 중 1 차로 선택한 m 개(m은 n보다 작은 자연수, 예컨대 3 개)의 특징점(P1, P2, P3)에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있다. 그리고 변환 매트릭스 생성 모듈(230)은, 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성할 수 있고, 오차 분석 모듈(240)은, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석할 수 있다.
도 14를 참조하면, m 개의 특징점(P1, P2, P3)을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 오차 범위를 벗어나는 경우, 이미지 정합 모듈(220)은 n 개의 특징점 중 m 개의 특징점(P4, P5, P6)을 2차로 재선택하여 이미지 정합을 재수행할 수 있다. 이후, 변환 매트릭스 생성 모듈(230)은, 이미지 정합을 재수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 2차로 생성할 수 있고, 오차 분석 모듈(240)은, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석할 수 있다.
도 15는 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 일 실시 예에 따른 이미지 처리 방법은, 단계(S1501)에서, 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의하고, 단계(S1503)에서, 특징점 검색 영역에서 제1 특징점을 포함하는 복수의 특징점을 검출할 수 있다. 또한, 상기 방법은, 단계(S1505)에서, 제1 특징점을 포함하는 복수의 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있고, 단계(S1507)에서, 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성할 수 있다. 그리고 상기 방법은, 단계(S1509)에서, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 판정할 수 있다.
변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는 것으로 판정된 경우, 이미지 정합은 성공적으로 종료될 수 있고, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 것으로 판정된 경우, 상기 방법은 단계(S1503)로 진행하여, 제1 특징점과 상이한 제2 특징점을 포함하는 복수의 특징점을 재선택할 수 있다. 이후, 단계(S1505)에서, 제2 특징점을 포함하는 복수의 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있다.
본 실시 예에 따른 이미지 처리 방법과 관련하여 더욱 상세한 내용에 대해서는 도 1 내지 도 14와 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
도 16은 오차 범위를 벗어나는 경우 특징점 검출을 설명하기 위한 도면이다.
도 16을 참조하면, 취득 이미지는 마스킹 영역(E5, E6, E7, E8)을 포함하는 레퍼런스 이미지와 오버랩되고, 취득 이미지 상에서 마스킹 영역(E5, E6, E7, E8)에 의해 가려지는 영역은 특징점 검색 영역에서 제외되고, 취득 이미지 상에서 마스킹 영역(E5, E6, E7, E8)에 의해 가려지지 않는 영역은 특징점 검색 영역에 포함될 수 있다.
특징점 검출 모듈(210)은 도 16에 도시된 특징점 검색 영역에서 복수의 특징점을 검출할 수 있고, 이미지 정합 모듈(220)은 복수의 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있다. 그리고 변환 매트릭스 생성 모듈(230)은, 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성할 수 있고, 오차 분석 모듈(240)은, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석할 수 있다.
특징점 검색 영역 정의 모듈(200)은, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 특징점 검색 영역의 경계선 중 적어도 일부(A-A')를 픽셀 단위로 증감하여 새로운 경계선(B-B')을 포함하는 특징점 검색 영역으로 변경할 수 있다. 이후, 특징점 검출 모듈(210)은, 변경된 특징점 검색 영역에서 새로운 특징점을 검출하고, 이미지 정합 모듈(220)은 새로운 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있다.
도 17은 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 도면이다.
도 17을 참조하면, 일 실시 예에 따른 이미지 처리 방법은, 단계(S1701)에서, 레퍼런스 이미지를 이용하여 취득 이미지에서 제1 경계선을 포함하는 특징점 검색 영역을 정의하고, 단계(S1703)에서, 특징점 검색 영역에서 복수의 특징점을 검출할 수 있다. 또한, 상기 방법은, 단계(S1705)에서, 복수의 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있고, 단계(S1707)에서, 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성할 수 있다. 그리고 상기 방법은, 단계(S1709)에서, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 판정할 수 있다.
변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는 것으로 판정된 경우, 이미지 정합은 성공적으로 종료될 수 있고, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 것으로 판정된 경우, 상기 방법은 단계(S1701)로 진행하여, 제1 경계선을 픽셀 단위로 증감한 새로운 제2 경계선을 포함하는 특징점 검색 영역을 정의할 수 있다. 이후, 단계(S1703) 및 단계(S1705)에서, 변경된 특징점 검색 영역에서 새로운 특징점을 검출하고, 새로운 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있다.
본 실시 예에 따른 이미지 처리 방법과 관련하여 더욱 상세한 내용에 대해서는 도 1 내지 도 12 및 도 16과 관련하여 전술한 설명을 참조할 수 있으므로, 여기에서는 중복되는 설명을 생략하도록 한다.
몇몇 실시 예에서, 오차 범위를 벗어나는 경우, 도 13 내지 도 15와 관련하여 전술한 실시 예와, 도 16 및 도 17과 관련하여 전술한 실시 예는 조합되어 구현될 수도 있다.
예를 들어, 특징점 검출 모듈(210)은 제1 경계선을 포함하는 특징점 검색 영역에서 n 개(n은 자연수, 예컨대 10 개)의 특징점을 검출할 수 있고, 이미지 정합 모듈(220)은 n 개의 복수의 특징점 중 1 차로 선택한 m 개(m은 n보다 작은 자연수, 예컨대 3 개)의 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행할 수 있다. 그리고 변환 매트릭스 생성 모듈(230)은, 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성할 수 있고, 오차 분석 모듈(240)은, 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석할 수 있다.
m 개의 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 오차 범위를 벗어나는 경우, 이미지 정합 모듈(220)은 n 개의 특징점 중 m 개의 특징점을 2차로 재선택하여 이미지 정합을 재수행할 수 있다.
이미지 정합 모듈(220)이 n 개의 특징점 중 m 개의 특징점을 재선택하여 이미지 정합을 재수행하는 과정을 미리 정해진 횟수(예컨대 5 회) 이상 반복하였음에도 여전히 변환 매트릭스의 성분 값이 오차 범위를 벗어나는 경우, 특징점 검색 영역 정의 모듈(200)은, 제1 경계선을 픽셀 단위로 증감한 새로운 제2 경계선을 포함하는 특징점 검색 영역을 정의할 수 있다. 이후, 변경된 특징점 검색 영역에서, 다시 n 개의 특징점을 검출하고, n 개의 복수의 특징점 중 1 차로 선택한 m 개의 특징점에 기반하여 취득 이미지에 대한 이미지 정합을 수행하는 과정을 반복할 수 있다.
또한, 몇몇 실시 예에서, 제1 경계선은 미리 정해진 픽셀 값(예컨대 5 픽셀)만큼 증감이 가능하도록 설정하고, 증감 값이 미리 정해진 픽셀 값에 도달한 경우, 제1 경계선을 포함하는 특징점 검색 영역에서 제1 경계선과 상이한 경계선에 대해 픽셀 단위의 증감을 수행할 수 있다.
이제까지 설명한 실시 예들에 따르면, 통제할 수 없는 조명 등 환경의 변화로 인해 이미지에서 상대적으로 변화가 큰 영역이나, 수동으로 부품을 조립한 경우와 부품의 조립을 진행하지 않은 경우에 의해 발생할 수 있는 이미지 상 변화가 존재하는 영역을 특징점 검색 영역에서 제외하여, 취득한 이미지들 사이에 이미지 정합을 위한 특징점의 검출률 및 정확도를 향상시킴으로써, 이미지 정합에 사용되는 특징점 검출 성능을 개선할 수 있다. 또한, 설계 데이터(예컨대 3D 캐드 데이터)를 기반으로, 취득 이미지의 특징점 검색 영역에서 제외 영역을 자동으로 결정할 수 있기 때문에, 특징점 검색 영역을 짧은 시간 내에 효과적이면서도 효율적으로 설정할 수 있다. 이에 따라, 조명 등 작업 환경의 통제가 어려운 산업 현장에서 이미지 정합의 성능을 개선할 수 있을 뿐 아니라, 이미지 취득 및 정합 과정을 자동화된 방식으로 개선함으로써 생산 공장에서 별도의 비전 전문 엔지니어 등 인력을 줄이면서도 효과적으로 비전 시스템을 운용할 수 있다.
도 18은 실시 예들에 따른 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법을 구현하기 위한 컴퓨팅 장치의 일 실시 예를 설명하기 위한 도면이다.
도 18을 참조하면, 실시 예들에 따른 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법은 컴퓨팅 장치(500)를 이용하여 구현될 수 있다.
컴퓨팅 장치(500)는 버스(520)를 통해 통신하는 프로세서(510), 메모리(530), 사용자 인터페이스 입력 장치(540), 사용자 인터페이스 출력 장치(550) 및 저장 장치(560) 중 적어도 하나를 포함할 수 있다. 컴퓨팅 장치(500)는 또한 네트워크(40)에 전기적으로 접속되는 네트워크 인터페이스(570)를 포함할 수 있다. 네트워크 인터페이스(570)는 네트워크(40)를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다.
프로세서(510)는 MCU(Micro Controller Unit), AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit), NPU(Neural Processing Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(530) 또는 저장 장치(560)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(510)는 도 1 내지 도 17과 관련하여 전술한 기능 및 방법들을 구현하도록 구성될 수 있다.
메모리(530) 및 저장 장치(560)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(531) 및 RAM(random access memory)(532)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(530)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(530)는 이미 알려진 다양한 수단을 통해 프로세서(510)와 연결될 수 있다.
몇몇 실시 예에서, 실시 예들에 따른 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법 중 적어도 일부 구성 또는 기능은 컴퓨팅 장치(500)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
몇몇 실시 예에서, 실시 예들에 따른 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법 중 적어도 일부 구성 또는 기능은 컴퓨팅 장치(500)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.
이상에서 본 발명의 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리 범위가 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.
1: 이미지 처리 시스템 10: 제1 이미지 처리 장치
100: 설계 데이터 기반 이미지 생성 모듈
110: 제외 영역 결정 모듈 120: 레퍼런스 이미지 생성 모듈
20: 제2 이미지 처리 장치 200: 특징점 검색 영역 정의 모듈
210: 특징점 검출 모듈 220: 이미지 정합 모듈
230: 변환 매트릭스 생성 모듈 240: 오차 분석 모듈
30: 모바일 로봇 40: 네트워크
500: 컴퓨팅 장치

Claims (20)

  1. 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 제외 영역 결정 모듈;
    상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지를 생성하는 레퍼런스 이미지 생성 모듈;
    상기 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의하는 특징점 검색 영역 정의 모듈; 및
    상기 특징점 검색 영역에서 복수의 특징점을 검출하는 특징점 검출 모듈을 포함하는
    이미지 처리 장치.
  2. 제1항에 있어서,
    차량을 촬영하는 카메라로부터 제공받은 촬영 이미지에 대응하는 촬영 좌표와, 상기 설계 데이터에 대응하는 설계 데이터 좌표를 매칭하여 상기 설계 데이터 기반 이미지를 생성하는 설계 데이터 기반 이미지 생성 모듈을 더 포함하는 이미지 처리 장치.
  3. 제1항에 있어서,
    상기 제외 영역 결정 모듈은, 상기 설계 데이터에 차체 또는 부품 고유번호 별로 부여된 값에 따라 상기 차체 영역과 상기 부품 영역을 구분하는 이미지 처리 장치.
  4. 제1항에 있어서,
    상기 제외 영역은 상기 설계 데이터 기반 이미지에서 상기 차체 영역 및 상기 부품 영역과 구분되는 배경 영역을 더 포함하는, 이미지 처리 장치.
  5. 제1항에 있어서,
    상기 제외 영역은 상기 설계 데이터 기반 이미지에서 환경에 따른 변화가 큰 영역으로 사용자에 의해 지정된 사용자 지정 영역을 더 포함하는, 이미지 처리 장치.
  6. 제1항에 있어서,
    상기 복수의 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 이미지 정합 모듈을 더 포함하는 이미지 처리 장치.
  7. 제6항에 있어서,
    상기 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스(transformation matrix)를 생성하는 변환 매트릭스 생성 모듈; 및
    상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석하는 오차 분석 모듈을 더 포함하는, 이미지 처리 장치.
  8. 제7항에 있어서,
    상기 복수의 특징점은 제1 특징점 및 상기 제1 특징점과 상이한 제2 특징점을 포함하고,
    상기 이미지 정합 모듈은, 상기 제1 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 상기 오차 범위를 벗어나는 경우, 상기 제2 특징점을 이용하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 이미지 처리 장치.
  9. 제7항에 있어서,
    상기 특징점 검색 영역 정의 모듈은, 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 상기 특징점 검색 영역의 경계선 중 적어도 일부를 픽셀 단위로 증감하여 상기 특징점 검색 영역을 변경하고,
    상기 특징점 검출 모듈은 상기 변경된 특징점 검색 영역에서 새로운 특징점을 검출하고,
    상기 이미지 정합 모듈은 상기 새로운 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는, 이미지 처리 장치.
  10. 미리 제공되는 티칭(teaching)에 의해 정해지는 촬영 좌표에서 차량을 촬영하는 모바일 로봇;
    상기 모바일 로봇으로부터 제1 촬영 이미지를 제공받고, 상기 제1 촬영 이미지에 매칭되는 설계 데이터 기반 이미지를 이용하여 특징점 검색을 위한 레퍼런스 이미지를 생성하는 제1 이미지 처리 장치; 및
    상기 모바일 로봇으로부터 제2 촬영 이미지를 제공받고, 상기 레퍼런스 이미지에서 정의된 특징점 검색 영역에 기반하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행하는 제2 이미지 처리 장치를 포함하는
    이미지 처리 시스템.
  11. 제10항에 있어서,
    상기 제1 이미지 처리 장치는,
    상기 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하고, 상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 제외 영역 결정 모듈; 및
    상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 상기 레퍼런스 이미지를 생성하는 레퍼런스 이미지 생성 모듈을 포함하는, 이미지 처리 시스템.
  12. 제11항에 있어서,
    상기 제외 영역 결정 모듈은, 상기 설계 데이터에 차체 또는 부품 고유번호 별로 부여된 값에 따라 상기 차체 영역과 상기 부품 영역을 구분하는 이미지 처리 시스템.
  13. 제11항에 있어서,
    상기 제2 이미지 처리 장치는,
    상기 레퍼런스 이미지를 이용하여 상기 제2 촬영 이미지에서 상기 특징점 검색 영역을 정의하는 특징점 검색 영역 정의 모듈; 및
    상기 특징점 검색 영역에서 복수의 특징점을 검출하는 특징점 검출 모듈을 포함하는, 이미지 처리 시스템.
  14. 제13항에 있어서,
    상기 제2 이미지 처리 장치는,
    상기 복수의 특징점에 기반하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행하는 이미지 정합 모듈;
    상기 이미지 정합을 수행하면서, 이전에 취득된 제2 촬영 이미지와의 위치 편차로부터 변환 매트릭스를 생성하는 변환 매트릭스 생성 모듈; 및
    상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석하는 오차 분석 모듈을 더 포함하는, 이미지 처리 시스템.
  15. 제14항에 있어서,
    상기 복수의 특징점은 제1 특징점 및 상기 제1 특징점과 상이한 제2 특징점을 포함하고,
    상기 이미지 정합 모듈은, 상기 제1 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 상기 오차 범위를 벗어나는 경우, 상기 제2 특징점을 이용하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행하는 이미지 처리 시스템.
  16. 제14항에 있어서,
    상기 특징점 검색 영역 정의 모듈은, 상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 상기 특징점 검색 영역의 경계선 중 적어도 일부를 픽셀 단위로 증감하여 상기 특징점 검색 영역을 변경하고,
    상기 특징점 검출 모듈은 상기 변경된 특징점 검색 영역에서 새로운 특징점을 검출하고,
    상기 이미지 정합 모듈은 상기 새로운 특징점에 기반하여 상기 제2 촬영 이미지에 대한 이미지 정합을 수행하는, 이미지 처리 시스템.
  17. 설계 데이터 기반 이미지에서 차체 영역과 부품 영역을 구분하는 단계;
    상기 부품 영역을 포함하는 일부 영역을 제외 영역으로 결정하는 단계;
    상기 설계 데이터 기반 이미지에서 상기 제외 영역을 마스킹한 마스킹 영역을 포함하는 레퍼런스 이미지를 생성하는 단계;
    상기 레퍼런스 이미지를 이용하여 취득 이미지에서 특징점 검색 영역을 정의하는 단계; 및
    상기 특징점 검색 영역에서 복수의 특징점을 검출하는 단계를 포함하는
    이미지 처리 방법.
  18. 제17항에 있어서,
    상기 복수의 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 단계;
    상기 이미지 정합을 수행하면서, 이전에 취득된 취득 이미지와의 위치 편차로부터 변환 매트릭스를 생성하는 단계; 및
    상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위에 해당하는지 여부를 분석하는 단계를 더 포함하는 이미지 처리 방법.
  19. 제18항에 있어서,
    상기 복수의 특징점은 제1 특징점 및 상기 제1 특징점과 상이한 제2 특징점을 포함하고,
    상기 제1 특징점을 이용한 이미지 정합에 따라 생성된 변환 매트릭스의 성분 값이 상기 오차 범위를 벗어나는 경우, 상기 제2 특징점을 이용하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 단계를 더 포함하는 이미지 처리 방법.
  20. 제18항에 있어서,
    상기 변환 매트릭스의 성분 값이 미리 정의된 오차 범위를 벗어나는 경우, 상기 특징점 검색 영역의 경계선 중 적어도 일부를 픽셀 단위로 증감하여 상기 특징점 검색 영역을 변경하는 단계;
    상기 변경된 특징점 검색 영역에서 새로운 특징점을 검출하는 단계; 및
    상기 새로운 특징점에 기반하여 상기 취득 이미지에 대한 이미지 정합을 수행하는 단계를 더 포함하는 이미지 처리 방법.
KR1020220126505A 2022-10-04 2022-10-04 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법 Pending KR20240047180A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220126505A KR20240047180A (ko) 2022-10-04 2022-10-04 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법
PCT/KR2022/020943 WO2024075906A1 (ko) 2022-10-04 2022-12-21 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220126505A KR20240047180A (ko) 2022-10-04 2022-10-04 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20240047180A true KR20240047180A (ko) 2024-04-12

Family

ID=90608524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126505A Pending KR20240047180A (ko) 2022-10-04 2022-10-04 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법

Country Status (2)

Country Link
KR (1) KR20240047180A (ko)
WO (1) WO2024075906A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630596B1 (ko) * 2016-02-12 2016-06-14 이정희 차량하부 촬영장치 및 이를 운용하는 차량하부 촬영방법
KR102335353B1 (ko) * 2017-08-17 2021-12-03 현대자동차 주식회사 차량 레이더 검사 시스템 및 그 방법
KR102738516B1 (ko) * 2019-05-03 2024-12-06 현대자동차 주식회사 실링 로봇 티칭 시스템 및 그 방법
KR20210120229A (ko) * 2020-03-26 2021-10-07 현대자동차주식회사 영상기반 지그 검사 시스템 및 그 방법
KR102228939B1 (ko) * 2021-02-05 2021-03-17 한국과학기술연구원 3차원 자동 스캔 시스템 및 방법

Also Published As

Publication number Publication date
WO2024075906A1 (ko) 2024-04-11

Similar Documents

Publication Publication Date Title
EP3740897B1 (en) License plate reader using optical character recognition on plural detected regions
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
Hoang et al. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
US20220044439A1 (en) Real-Time Pose Estimation for Unseen Objects
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN111260955B (zh) 采用停车位框线、端点的停车位检测系统及方法
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及系统
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Koval et al. An image segmentation method for obstacle detection in a mobile robot environment
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Gu et al. Dynamic image stitching for moving object
KR20240047180A (ko) 이미지 처리 장치, 이미지 처리 시스템 및 이미지 처리 방법
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN107633498B (zh) 图像暗态增强方法、装置及电子设备
KR20230168849A (ko) 카메라를 이용한 오브젝트 길이 측정 시스템 및 방법
CN112766061A (zh) 一种多模态无监督的行人像素级语义标注方法和系统
CN118552619B (zh) 一种卫星编队协同感知的空间非合作多目标识别定位方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20221004

PG1501 Laying open of application