KR20220085242A - 공작기계용 기구물 종류 및 위치 인식 방법 - Google Patents

공작기계용 기구물 종류 및 위치 인식 방법 Download PDF

Info

Publication number
KR20220085242A
KR20220085242A KR1020200175156A KR20200175156A KR20220085242A KR 20220085242 A KR20220085242 A KR 20220085242A KR 1020200175156 A KR1020200175156 A KR 1020200175156A KR 20200175156 A KR20200175156 A KR 20200175156A KR 20220085242 A KR20220085242 A KR 20220085242A
Authority
KR
South Korea
Prior art keywords
image
type
machine tool
camera
cad model
Prior art date
Application number
KR1020200175156A
Other languages
English (en)
Inventor
최정민
전근수
강상균
김준수
Original Assignee
현대위아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대위아 주식회사 filed Critical 현대위아 주식회사
Priority to KR1020200175156A priority Critical patent/KR20220085242A/ko
Publication of KR20220085242A publication Critical patent/KR20220085242A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2428—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring existing positions of tools or workpieces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
    • B23Q17/2452—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
    • G05B19/4145—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by using same processor to execute programmable controller and numerical controller function [CNC] and PC controlled NC [PCNC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 관한 것으로, 특히 학습 데이터를 이용하여 기구물의 종류와 위치 및 자세 등의 셋업을 자동화할 수 있도록 함으로써, 입력 오류를 방지하고 작업성 향상을 이루도록 하는 공작기계용 기구물 종류 및 위치 인식 방법에 관한 것이다. 구성은 공작기계용 기구물 종류 및 위치 인식 방법으로서, (a) 카메라를 이용하여 기구물을 촬영하여 이미지(image)를 생성하는 단계와; (b) 상기 촬영에 의해 생성된 기구물의 이미지를 정규화 및 크기 변환과 같은 전처리를 수행하는 단계와; (c) 상기 기구물의 이미지 세그멘테이션을 수행하여 이미지에 포함되어 있는 기구물의 종류와 영역 정보를 취득하는 단계와; (d) 상기 기구물 3D CAD 모델 데이터 베이스에서 기구물의 종류에 맞는 CAD 모델을 선택하는 단계와; (e) 카메라의 깊이 이미지, 이미지 세그멘테이션된 기구물의 영역 정보, 기구물의 3D CAD 모델을 이용해 위치와 자세를 추정하는 단계와; (f) 인식된 기구물을 객체별로 3D CAD 모델, 위치, 자세 데이터를 종합하여 외부 시스템에 출력하는 단계; 로 이루어진다.

Description

공작기계용 기구물 종류 및 위치 인식 방법{Method of recognition of types and locations of instrument for machine tools}
본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 관한 것으로, 특히 학습 데이터를 이용하여 기구물의 종류와 위치 및 자세 등의 셋업을 자동화할 수 있도록 함으로써, 입력 오류를 방지하고 작업성 향상을 이루도록 하는 공작기계용 기구물 종류 및 위치 인식 방법에 관한 것이다.
일반적으로 CNC 공작기계(computerized numerically controlled machine tool)는 소형 컴퓨터를 내장한 NC 공작기계. 가공형상ㆍ가공조건ㆍ가공동작 등의 데이터를 컴퓨터에 의해 자동 프로그래밍을 하여 NC 데이터로 변환시키고 펄스 신호화 된 상태로 보유하고 필요에 따라 공작물을 가공하는 것이다.
그리고, 상기 NC 데이터를 만들기 위해 NC 프로그램이 사용되며, NC 프로그램은 2D나 3D CAD로 제작한 도면을 가지고 G코드라는 공작기계의　가공경로 데이터를　만들 수 있는 소프트웨어이다.
이러한 NC 프로그램에 의해 제작된 데이터를 저장한 컴퓨터와　CNC 공작기계를 연결하고 NC　데이터를 CNC 공작기계에 보내어　NC 데이터에 따라 CNC 공작기계가　작동된다.
한편, 이와 같은 공작기계는 공구와 공작물의 충돌 방지를 위해 실제 공작기계에 장착되는 고정구, 공작물 소재와 같은 기구물의 종류와 위치 및 치수 등을 가상 머신(영어: virtual machine, VM : 컴퓨팅 환경을 소프트웨어로 구현한 것, 즉 컴퓨터를 에뮬레이션하는 소프트웨어다.)에 작업자가 직접 입력하는 세팅작업이 이루어지고 있다.
그러나, 종래의 공작기계용 기구물 세팅 방법은 고정구의 형상이 복잡할 수록 입력해야 하는 치수의 수가 증가하여 모델링 형상을 매우 간소화하거나, 치수 입력 오류가 자주 발생하는 문제점이 있었다.
또, 기구물의 세팅에 소요되는 작업시간이 많이 소요되고 작업자의 숙련도에 따라 결과물의 품질이 달라지는 문제점이 있었다.
또한, CAD/CAM 소프트웨어서 가공 프로그램을 생성할 때 설정했던 고정구나 공작물 소재의 세팅과 다르게 실제 공작기계에 고정구와 공작물 소재와 같은 기구물이 세팅된 경우 가공 중 충돌을 일으키는 원인이 되므로, CAD/CAM 소프트웨어와 실제 공작기계의 기구물 세팅이 같은지 확인해야 안전한 가공이 가능하지만, 현재는 작업자가 작업지시서에 의해 세팅하는 작업만 수행할 뿐, 자동으로 검증할 수 있는 방법이 없어 안전성과 작업성이 저하되는 문제점이 있었다.
대한민국 공개특허공보 제10-2013-0050686호
이에, 본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 가상머신에 자동으로 기구물 모델링을 추가하여 가상머신 세팅을 자동화 하거나, CAD/CAM 소프트웨어의 기구물 세팅과 실제 공작기계의 가공 환경의 기구물 세팅 비교를 자동화하는 등에 적용할 수 있는 공작기계용 기구물 종류 및 위치 인식 방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명은 공작기계용 기구물 종류 및 위치 인식 방법으로서, (a) 카메라를 이용하여 기구물을 촬영하여 이미지(image)를 생성하는 단계와; (b) 상기 촬영에 의해 생성된 기구물의 이미지를 정규화 및 크기 변환과 같은 전처리를 수행하는 단계와; (c) 상기 기구물의 이미지 세그멘테이션을 수행하여 이미지에 포함되어 있는 기구물의 종류와 영역 정보를 취득하는 단계와; (d) 상기 기구물 3D CAD 모델 데이터 베이스에서 기구물의 종류에 맞는 CAD 모델을 선택하는 단계와; (e) 카메라의 깊이 이미지, 이미지 세그멘테이션된 기구물의 영역 정보, 기구물의 3D CAD 모델을 이용해 위치와 자세를 추정하는 단계와; (f) 인식된 기구물을 객체별로 3D CAD 모델, 위치, 자세 데이터를 종합하여 외부 시스템에 출력하는 단계; 로 이루어지는 것을 특징으로 한다.
본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 있어서, 상기 (a) 단계에 사용되는 카메라는 깊이 카메라(depth camera) 또는 일반 카메라 중 어느 하나로 이루어지는 것을 특징으로 한다.
본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 있어서, 상기 (b),(c) 단계에서는 이미지 세그멘테이션 모듈(image segmentation module)과 인공 신경망 기반의 딥러닝 모듈(Deep Learning module)이 사용되는 것을 특징으로 한다.
본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 있어서, 상기 (c)단계에서 기구물의 종류와 영역 정보 취득 및 (d) 단계에서 위치와 자세 추정은 기구물의 객체를 0∼1 사이의 확률 값에 따라 산출하는 것을 특징으로 한다.
본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 있어서, 상기 (e),(f) 단계에서는3차원 좌표 계산 모듈과 객체 점 데이터군(Point cloud) 계산 모듈 및 자세 추정 모듈이 사용되는 것을 특징으로 한다.
본 발명은 공작기계용 기구물 종류 및 위치 인식 방법에 있어서, 상기 일반 카메라는 크기 및 형상에 대한 정보를 알고 있는 기준 마커(스티커)를 기구물에 부착하여 깊이 정보를 추정할 수 있는 것을 특징으로 한다.
또한, 본 발명은 컴퓨터에서 제1항의 방법을 실행시키기 위하여 저장된 컴퓨터 판독가능 기록매체를 더 제공할 수 있다.
이상에서와 같은 본 발명은 공작기계에 작업자가 각 기구물의 주요 치수와 위치, 자세를 직접 입력하는 과정을 삭제하고 자동화 함으로써 입력 오류의 가능성을 낮추고, 작업 시간을 단축할 수 있어 작업성 향상과 사용자 편의성을 증대시키는 효과가 있다.
또, 본 발명은 작업자가 직접 치수를 입력하지 않고 3D 모델을 직접 제공함으로써 기구물의 원래 형상을 그대로 시스템에 사용할 수 있으므로 시스템의 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명은 공작기계에 장착되는 고정구, 공작물 소재와 같은 기구물의 종류, 위치, 크기 등이 CAM 프로그램의 세팅과 동일한지 비교하는 시스템과 같이 실제 공작기계의 세팅과 기준이 되는 세팅을 비교하는 시스템에 적용함으로써, 작업자가 직접 작업지시서 또는 기준 데이터를 보고 수작업으로 확인해야 하는 절차를 자동화하여 작업자의 오류와 작업 시간을 줄이고, 가공 중에 발생할 수 있는 충돌 등의 문제점을 사전에 방지할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예 1에 따른 공작기계용 기구물 종류 및 위치 인식 방법에 대한 순서도이다.
도 2는 본 발명에 따른 기구물의 종류와 위치를 파악하고, 기구물의 3D CAD 모델과 이 모델의 3차원 공간 상의 좌표를 제공하기 위한 전체 시스템에 대한 개략적인 블록도이다.
도 3은 본 발명에 따른 딥러닝 모듈을 이용하는 이미지 세그멘테이션 모듈에서 기구물 객체를 인식하고, 객체별 종류, 위치, 크기 그리고 객체 검출 이미지를 출력하는 상세 블록도이다.
도 4는 본 발명에 따른 위치, 자세 추정 모듈에서 인식된 기구물의 3D 모델을 이용하여 위치와 자세를 출력하는 상세 블록도이다.
도 5는 본 발명에 따른 실시예 2에 따른 전체 시스템의 개략적인 블록도이다.
도 6은 본 발명에 따른 실시예 3에 따른 전체 시스템의 개략적인 블록도이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면에 의거하여 보다 구체적으로 설명한다.
여기서, 하기의 모든 도면에서 동일한 기능을 갖는 구성요소는 동일한 참조부호를 사용하여 반복적인 설명은 생략하며, 아울러 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 것으로서, 이것은 고유의 통용되는 의미로 해석되어야 함을 명시한다.
도 1 내지 도 4에 도시된 바와 같이 본 발명에 따른 공작기계용 기구물 종류 및 위치 인식 방법은, (a) 카메라를 이용하여 기구물을 촬영하여 이미지(image)를 생성하는 단계(S10)와; (b) 상기 촬영에 의해 생성된 기구물의 이미지를 정규화 및 크기 변환과 같은 전처리를 수행하는 단계(S20)와; (c) 상기 기구물의 이미지 세그멘테이션을 수행하여 이미지에 포함되어 있는 기구물의 종류와 영역 정보를 취득하는 단계(S30)와; (d) 상기 기구물 3D CAD 모델 데이터 베이스에서 기구물의 종류에 맞는 CAD 모델을 선택하는 단계(S40)와; (e) 카메라의 깊이 이미지, 이미지 세그멘테이션된 기구물의 영역 정보, 기구물의 3D CAD 모델을 이용해 위치와 자세를 추정하는 단계(S50)와; (f) 인식된 기구물을 객체별로 3D CAD 모델, 위치, 자세 데이터를 종합하여 외부 시스템에 출력하는 단계(S60); 로 이루어진다.
또, 본 발명에 따른 공작기계용 기구물 종류 및 위치 인식 방법을 이용해 가상머신을 세팅하기 위한 바람직한 실시예 1에 대한 시스템을 도 2를 참조하여 설명하면 다음과 같다.
즉, 본 발명의 바람직한 실시예 1에 따른 시스템(100)은 카메라(110)와, 이미지 세그멘테이션 모듈(120)과, 기구물 3D CAD 모델 데이터 베이스(130)와, 기구물 선택 모듈(140) 및 위치/자세 추정 모듈(150)을 포함하여 이루어진다.
상기 카메라(110)는 공작기계(미도시)의 가공 공간에 장착되어 이미지와 깊이 이미지를 제공한다.
상기 이미지 세그멘테이션 모듈(120)은 이미지에 있는 기구물의 종류와, 영역(위치, 크기, 객체 검출 이미지)을 예측하기 위해 딥러닝 모듈(121)과, 3차원 좌표 계산 모듈(122) 및 객체 포인트 클라우드 모듈(123)을 포함한다.
여기서, 상기 딥러닝(Deep Learning)은 다층구조 형태의 신경망을 기반으로 하는 머신 러닝의 한 분야로, 다량의 데이터로부터 높은 수준의 추상화 모델을 구축하고자 하는 기법이다.
상기 기구물 3D CAD 모델 데이터 베이스(130)는, 공작기계에서 사용되는 고정구, 소재, 클램프 등의 기구물에 대한 3D CAD 모델을 저장한다.
상기 기구물 선택 모듈(140)은, 상기 이미지 세그멘테이션 모듈(120)의 기구물 종류 출력을 이용하여 해당 기구물의 3D CAD 모델을 선택하는 것이다.
상기 위치/자세 추정 모듈(150)은, 카메라(110)의 깊이 이미지와 이미지 세그멘테이션 모듈(120)의 영역 정보를 이용하여 3차원 공간의 위치 좌표를 계산하고, 기구물 모델 선택 모듈(140)에서 선택된 3D 모델을 회전시켜 객체 검출 이미지와 영역 오차가 최소가 되는 3D 모델의 자세를 계산하는 것이다.
상기와 같은 본 발명에 따른 시스템(100)을 이용하여 공작기계용 기구물 종류 및 위치 인식 방법을 설명하면 다음과 같다.
상기 (a) 단계는, 카메라(110)를 이용하여 기구물을 촬영하여 이미지(image)를 생성한다.(S10)
즉, 공작기계(미도시)의 가공 공간에 장착되는 카메라(110)를 이용하여 공작기계의 내부 가공 공간에 장착된 고정구, 소재, 클램프와 같은 기구물(미도시)을 촬영하여 이미지를 생성한다.
이때, 상기 카메라(110)에 의해 촬영된 기구물의 형상과 넓이, 높이, 깊이의 치수가 포함된 이미지를 취득하게 된다.
또, 상기 카메라(110)는 기구물의 깊이 이미지를 촬영할 수 있는 깊이 카메라(depth camera)가 사용되는 것이 바람직하다.
그러나, 이에 한정되지 않고 기구물의 깊이 정보를 추정할 수 있는 카메라를 사용할 수도 있다.
상기 (b) 단계는, 촬영에 의해 생성된 기구물의 이미지를 정규화 및 크기 변환과 같은 전처리를 수행한다.(S20)
이를 위해, 본 발명은 이미지 세그멘테이션 모듈(image segmentation module)(120)과 인공 신경망 기반의 딥러닝(Deep Learning) 모듈(121) 등이 사용된다.
이러한 딥러닝 모듈(121)은 이미지 세그멘테이션용으로 개발된 다양한 모델이 취사 선택되어 사용될 수 있는 것이므로 구체적인 설명은 생략하기로 한다.
즉, 상기 (b) 단계는 상기 카메라(110)에 의해 촬영되어 생성된 기구물의 이미지가 상기 이미지 세그멘테이션 모듈(120)에 입력되면 이미지는 화소값의 정규화(픽셀 값을 0~1 사이 값으로 변환)하고, 딥러닝 모듈(121)의 입력단 크기에 맞도록 크기 변환하는 등의 전처리를 수행하게 된다.
예컨대, 상기 생성된 기구물의 이미지는 이미지 세그멘테이션 모듈(120)에 의해 화소 값 데이터가 일정한 규칙에 따라 변형되어 이용하기 쉽게 만드는 정규화(normalization)가 이루어지고, 딥러닝 모듈(121)의 입력단 크기에 맞도록 크기 변환하는 등의 전처리(입력 데이터를 처리하여 다른 프로그램에 대한 입력으로서 사용되는 출력물을 만들어내는 일)가 수행된다.
상기 (c) 단계는, 상기 기구물의 이미지 세그멘테이션을 수행하여 이미지에 포함되어 있는 기구물의 종류와 영역 정보를 취득한다.(S30)
즉, 상기 이미지세그멘테이션 모듈(120)은 인공 신경망 기반의 딥러닝 모듈(121)을 이용하여 이미지에서 기구물 객체를 인식하고 객체별 종류와 영역에 대한 정보를 출력한다.
여기서, 본 발명의 딥러닝 모듈(121)은 구별하고자 하는 공작기계의 내부 가공 공간에 장착되는 고정구, 소재, 클램프와 같은 기구물의 이미지와 라벨링 데이터를 이용해 기구물의 이미지에서 객체를 찾아 그 객체의 종류, 위치, 크기, 그리고 객체의 종류별로 객체가 위치한 화소만 활성화하여 표시되는 객체 검출 이미지를 출력하도록 학습시킨다.
그리고, 객체의 종류는 구별하고자 하는 기구물의 객체를 0∼1 사이의 확률 값에 따라 출력될 수 있다.
이때, 상기 객체의 종류는 기구물의 종류/제조사/제품군 등의 조합별로 정의한다.
상기 기구물의 객체인 고정구, 소재, 클램프를 이미지 세그멘테이션을 수행하여 이미지에 포함되어 있는 기구물의 종류와 영역 정보를 취득한다.
그 한예로써, 상기 기구물의 객체인 고정구, 소재, 클램프를 이미지 세그멘테이션 모듈(120)을 통해 이미지 세그멘테이션을 수행한 결과, 고정구의 확률 값이 0.9 이고, 소재의 확률 값은 0.04이며, 클램프의 확률 값은 0.06이다.
그리고, 영역 중심점 X는 0.4이고, 영역 중심점 Y는 0.5이며, 크기인 넓이가 0.7이고, 높이가 0.85인 경우, 기구물의 종류는 확률 값이 가장 높은 고정구가 예측 출력된다.
또, 상기 고정구의 이미지 크기는 넓이 800이고, 높이가 650으로 가정했을 경우, 예측 영역 중심점은 800×0.4, 650×0.5로 산출되며, 예측 너비는 800×0.7, 650×0.85로 산출된다.
즉, 아래의 그림에서 알 수 있듯이, 점선은 인식된 객체의 영역을, 색상은 영역 내부에서 객체로 인식된 화소를 의미하며, 이미지상의 크기와 위치는 상기 계산된 값과 같고, 객체의 종류는 고정구가 된다.
Figure pat00001
또, 상기 기구물의 객체인 고정구, 소재, 클램프를 이미지 세그멘테이션 모듈(120)을 통해 이미지 세그멘테이션을 수행한 결과, 소재의 확률 값이 0.9 이고, 클램프의 확률 값은 0.08이며, 고정구의 확률 값은 0.02이다.
그리고, 영역 중심점 X는 0.3이고, 영역 중심점 Y는 0.6이며, 크기인 넓이가 0.3이고, 높이가 0.3인 경우, 기구물의 종류는 확률 값이 가장 높은 소재가 예측 출력된다.
또, 상기 소재의 이미지 크기는 넓이 800이고, 높이가 650으로 가정했을 경우, 예측 영역 중심점은 800×0.3, 650×0.6으로 산출되며, 예측 너비는 800×0.3, 650×0.3으로 산출된다.
즉, 아래의 그림에서 알 수 있듯이, 점선은 인식된 객체의 영역을, 색상은 영역 내부에서 객체로 인식된 화소를 의미하며, 이미지상의 크기와 위치는 상기 계산된 값과 같고, 객체의 종류는 소재가 된다.
Figure pat00002
이와 같이, 상기 정규화 및 크기 변환과 같은 전처리가 수행된 기구물의 이미지에 포함되어 있는 영역 정보는 상기 3차원 좌표계산 모듈(122)에 입력되는 카메라(110)의 내부 파라메터와 기구물의 깊이 이미지를 이용해 이미지 상의 X, Y 좌표를 3차원 공간 상의 X, Y 좌표로 변환하게 된다.
이때, 깊이 값은 3차원 공간 상의 Z값이 되므로, 카메라(110) 기준의 X, Y, Z 좌표를 구할 수 있으며, 공작기계 내부의 기준점으로부터 카메라(110) 까지의 거리를 추가로 고려하면 이미지 상의 좌표를 공작기계 기준점으로부터 3차원 좌표로 변환할 수 있다.
상기 (d) 단계는, 기구물 3D CAD 모델 데이터 베이스(130)에서 기구물의 종류에 맞는 CAD 모델을 선택한다.(S40)
예컨대, 상기 (c) 단계에서 취득된 기구물의 종류가 고정구인 경우, 기구물 3D CAD 모델 데이터 베이스(130)에서 고정구에 해당하는 CAD 모델을 선택하고, 취득된 기구물의 종류가 소재인 경우, 기구물 3D CAD 모델 데이터 베이스(130)에서 소재에 해당하는 CAD 모델을 선택하며, 취득된 기구물의 종류가 클램프인 경우, 기구물 3D CAD 모델 데이터 베이스(130)에서 클램프에 해당하는 CAD 모델을 선택한다.
상기 (e) 단계는, 카메라(110)에 의해 촬영된 깊이 이미지, 이미지 세그멘테이션된 기구물의 영역 정보, 기구물의 3D CAD 모델을 이용해 위치와 자세를 추정한다.(S50)
이를 위해 본 발명은 3차원 좌표 계산 모듈(122)과 객체 점 데이터군(Point cloud) 계산 모듈(123) 및 자세 추정 모듈(150)이 사용된다.
위치 추정은 이미지에서 중심점 좌표(X,Y), 크기는 너비와 높이로 출력되고, 객체 검출 이미지는 각 화소별로 0 또는 1의 값을 갖는 입력 이미지와 크기가 동일한 이미지가 구별하고자 하는 기구물의 개수만큼 출력되며, 기구물이 위치하고 있는 화소가 1로 표현된다.
또, 상기 객체 점 데이터 군(Point cloud) 계산 모듈(123)에서는 입력되는 기구물의 객체 검출 이미지에서 1 값을 갖는 화소의 X, Y 좌표를 3차원 좌표 계산 모듈(122)에 입력하고, 3차원 좌표를 출력 받아 객체의 3차원 점 데이터군(point cloud)을 계산 한다.
그리고, 상기 위치/자세 추정 모듈(150)에서는 입력 받은 3D CAD 모델을 일정한 각도로 회전시켜가며, 기준점에서 3D 모델까지의 점 데이터 군(Point cloud)을 계산하고, 객체 점 데이터 군(Point cloud) 계산 모듈(123)의 출력과 비교하여 거리 오차를 구하고, 회전된 3D 모델의 형상과 객체 검출 이미지의 형상과 비교하여 형상 오차를 구한다.
이렇게 구해진 거리 오차와 형상 오차가 최소가 되는 회전각도를 찾아 3D CAD 모델의 자세를 추정한다.
상기 (f) 단계는, 인식된 기구물을 객체별로 3D CAD 모델, 위치, 자세 데이터를 종합하여 외부 시스템에 출력한다.(S60)
이와 같이, 본 발명은 카메라로 촬영된 공작기계의 내부 이미지와 깊이 이미지를 이용하여 공작기계 내부에 세팅된 기구물의 종류를 인식하고, 해당 기구물의 위치와 자세를 추출할 수 있다.
또한, 본 발명은 컴퓨터에서 공작기계용 기구물 종류와 위치 인식을 실행시키기 위하여 저장된 컴퓨터 판독가능 기록매체를 포함할 수 있다.
한편, 도 5는 본 발명에 따른 시스템(100)의 실시예 2를 나타낸 블록도로서, 카메라(110)와, 이미지 세그멘테이션 모듈(120)과, 기구물 3D CAD 모델 데이터 베이스(130)와, 기구물 선택 모듈(140) 및 위치/자세 추정 모듈(150)과 기구물 세팅 비교 시스템(160)을 포함하여 이루어진다.
이는 실제 공작기계의 가공 환경의 기구물 세팅과 동일한지 비교하는 기구물 세팅 비교 시스템(160)에 적용함으로써, 비교 시스템인 CAM 프로그램의 세팅과 실제 공작기계의 세팅이 동일한지 쉽게 비교할 수 있는 것이다.
즉, 가공 프로그램 생성시 설정된 CAM 프로그램의 고정구 및 소재 세팅과 실제 공작기계의 세팅이 동일한지 비교하는 기구물 세팅 비교 시스템(160)에도 본 발명을 적용할 수 있다.
CAM 프로그램에서 고정구와 소재의 3D CAD 모델과 각각의 위치, 자세 정보 등을 출력해주고, 본 발명을 통해 취득할 수 있는 데이터를 비교함으로써 CAM 프로그램의 세팅과 실제 공작기계의 세팅이 동일한지 손쉽게 비교할 수 있다.
또, 도 6은 본 발명에 따른 시스템(100)의 실시예 3을 나타낸 블록도로서, 카메라(110)와, 이미지 세그멘테이션 모듈(120)과, 기구물 3D CAD 모델 데이터 베이스(130)와, 기구물 선택 모듈(140) 및 위치/자세 추정 모듈(150)와 기준 마크가 부착된 기구물(170) 및 기준 마크 검출 모듈(180)을 포함하여 이루어진다.
즉, 깊이 정보를 얻기 위해 Depth 카메라를 사용하지 않고, 일반 카메라(110)를 사용하되 크기 및 형상에 대한 정보를 알고 있는 기준 마커(스티커)가 부착된 기구물(170)에 부착하여 깊이 정보를 추정할 수 있다.
이 경우, 촬영된 이미지에서 특징점을 찾는 등의 영상처리 기법 등을 통해 기준 마커를 찾는 기준 마커 검출 모듈(180)이 추가될 수 있다.
이 기준 마커 검출 모듈(180)에서 검출된 기준 마커 이미지와 원본 이미지간의 관계 행렬을 구하고, 크기 차이를 이용해 거리를 추정함으로써 위치/자세 추정 모듈(150)에서는 이미지 상의 2차원 좌표를 3차원 좌표로 변환 할 수 있다.
상기한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
즉, 본 발명의 일 실시예에 따른 공작기계용 기구물 종류 및 위치 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 기록매체의 형태로 구현되거나 또는, 컴퓨터에서 본 발명의 실시예에 따른 공작기계용 기구물 세팅 방법을 실행시키기 위한 컴퓨터 판독가능 기록매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 균등한 타 실시예로의 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.
100 : 시스템 120 : 이미지 세그멘테이션 모듈
121 : 립러닝 모듈 122 : 3차원 좌표 계산 모듈
123 : 객체 Point cloud 계산 모듈
130 : 기구물 3D CAD 모델 데이터 베이스
140 : 기구물 모델 선택 모듈 150 : 위치/자세 추정 모듈
160 : 기구물 세팅 비교 시스템 170 : 기준 마크가 부착된 기구물
180 : 기준 마크 검출 모듈

Claims (7)

  1. 공작기계용 기구물 종류 및 위치 인식 방법으로서,
    (a) 카메라를 이용하여 기구물을 촬영하여 이미지(image)를 생성하는 단계와;
    (b) 상기 촬영에 의해 생성된 기구물의 이미지를 정규화 및 크기 변환과 같은 전처리를 수행하는 단계와;
    (c) 상기 기구물의 이미지 세그멘테이션을 수행하여 이미지에 포함되어 있는 기구물의 종류와 영역 정보를 취득하는 단계와;
    (d) 상기 기구물 3D CAD 모델 데이터 베이스에서 기구물의 종류에 맞는 CAD 모델을 선택하는 단계와;
    (e) 카메라의 깊이 이미지, 이미지 세그멘테이션된 기구물의 영역 정보, 기구물의 3D CAD 모델을 이용해 위치와 자세를 추정하는 단계와;
    (f) 인식된 기구물을 객체별로 3D CAD 모델, 위치, 자세 데이터를 종합하여 외부 시스템에 출력하는 단계; 로 이루어지는 것을 특징으로 하는 공작기계용 기구물 종류 및 위치 인식 방법.
  2. 제1항에 있어서,
    상기 (a) 단계에 사용되는 카메라는 깊이 카메라(depth camera) 또는 일반 카메라 중 어느 하나로 이루어지는 것을 특징으로 하는 공작기계용 기구물 종류 및 위치 인식 방법
  3. 제1항에 있어서,
    상기 (b),(c) 단계에서는 이미지 세그멘테이션 모듈(image segmentation module)과 인공 신경망 기반의 딥러닝 모듈(Deep Learning module)이 사용되는 것을 특징으로 하는 공작기계용 기구물 종류 및 위치 인식 방법.
  4. 제1항에 있어서,
    상기 (c)단계에서 기구물의 종류와 영역 정보 취득 및 (d) 단계에서 위치와 자세 추정은 기구물의 객체를 0∼1 사이의 확률 값에 따라 산출하는 것을 특징으로 하는 공작기계용 기구물 종류 및 위치 인식 방법.
  5. 제1항에 있어서,
    상기 (e),(f) 단계에서는3차원 좌표 계산 모듈과 객체 점 데이터군(Point cloud) 계산 모듈 및 자세 추정 모듈이 사용되는 것을 특징으로 하는 공작기계용 기구물 종류 및 위치 인식 방법.
  6. 제2항에 있어서,
    상기 일반 카메라는 크기 및 형상에 대한 정보를 알고 있는 기준 마커(스티커)를 기구물에 부착하여 깊이 정보를 추정할 수 있는 것을 특징으로 하는 공작기계용 기구물 종류 및 위치 인식 방법.
  7. 컴퓨터에서 제1항의 방법을 실행시키기 위하여 저장된 컴퓨터 판독가능 기록매체.
KR1020200175156A 2020-12-15 2020-12-15 공작기계용 기구물 종류 및 위치 인식 방법 KR20220085242A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200175156A KR20220085242A (ko) 2020-12-15 2020-12-15 공작기계용 기구물 종류 및 위치 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200175156A KR20220085242A (ko) 2020-12-15 2020-12-15 공작기계용 기구물 종류 및 위치 인식 방법

Publications (1)

Publication Number Publication Date
KR20220085242A true KR20220085242A (ko) 2022-06-22

Family

ID=82217051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200175156A KR20220085242A (ko) 2020-12-15 2020-12-15 공작기계용 기구물 종류 및 위치 인식 방법

Country Status (1)

Country Link
KR (1) KR20220085242A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528594B1 (ko) * 2022-09-20 2023-05-08 주식회사 랑데뷰 Ai 물체 인식 학습용 라벨링 데이터 자동 수집방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050686A (ko) 2011-11-08 2013-05-16 현대위아 주식회사 자동공구교환장치의 매거진용 도어장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130050686A (ko) 2011-11-08 2013-05-16 현대위아 주식회사 자동공구교환장치의 매거진용 도어장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528594B1 (ko) * 2022-09-20 2023-05-08 주식회사 랑데뷰 Ai 물체 인식 학습용 라벨링 데이터 자동 수집방법

Similar Documents

Publication Publication Date Title
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN108961144B (zh) 图像处理系统
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
US20170177746A1 (en) Model generating device, position and orientation calculating device, and handling robot device
CN107530881B (zh) 机器人系统和用于操作机器人的方法
US20060088203A1 (en) Method and apparatus for machine-vision
EP3229208B1 (en) Camera pose estimation
JP6836561B2 (ja) 画像処理装置及び画像処理方法
JP4709668B2 (ja) ３次元物体認識システム
JP2015176217A (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
CN114708587B (zh) 一种基于图像识别的数控机床工件加工余量确定方法
KR101901663B1 (ko) 증강현실 기반 셀프 인테리어 시스템 및 방법
CN115810133A (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
KR20220085242A (ko) 공작기계용 기구물 종류 및 위치 인식 방법
CN111435400A (zh) 一种零件的修复方法、修复装置及3d打印机
US11989928B2 (en) Image processing system
CN115846890B (zh) 镭雕设备的控制方法、镭雕设备以及计算机可读存储介质
Arents et al. Construction of a smart vision-guided robot system for manipulation in a dynamic environment
CN111199533A (zh) 图像处理装置
KR20170067023A (ko) 도면 검사 장치 및 방법
JP7161857B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240127467A1 (en) Three-dimensional shape measuring system
Filaretov et al. Features of creating of workpieces models by means of vision systems
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
US20220405964A1 (en) Object recognition apparatus and non-transitory recording medium storing computer readable program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal