KR20210087831A - 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법 - Google Patents

가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법 Download PDF

Info

Publication number
KR20210087831A
KR20210087831A KR1020200001031A KR20200001031A KR20210087831A KR 20210087831 A KR20210087831 A KR 20210087831A KR 1020200001031 A KR1020200001031 A KR 1020200001031A KR 20200001031 A KR20200001031 A KR 20200001031A KR 20210087831 A KR20210087831 A KR 20210087831A
Authority
KR
South Korea
Prior art keywords
mesh model
virtual sensor
portable
robot
cell
Prior art date
Application number
KR1020200001031A
Other languages
English (en)
Inventor
이재승
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020200001031A priority Critical patent/KR20210087831A/ko
Publication of KR20210087831A publication Critical patent/KR20210087831A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Abstract

본 발명은 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법에 있어서: (A) 설계용 서버(20)에 저장된 메쉬모델을 다운로드하는 단계; (B) 메쉬모델로 생성되는 가상의 U셀(10)에 가상센서(40)를 적용하여 측정하는 단계; 및 (C) 가상센서(40)의 측정값을 처리하여 실제 U셀(10)의 형상정보를 연산으로 생성하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
이에 따라, 작업자(End-User) 레벨에서 데이터를 추출하여 사용할 수 있어 복잡한 경로를 거치지 않고, 포터블 용접로봇 등 설계용 서버에 접근하기 어려운 곳에서도 원격 접속을 통한 로컬 작업이 가능하며, 물량 분석 등 단순 형상 정보의 파악이 필요한 경우에도 유연한 활용이 가능하다.

Description

가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법 {Portable robot operation method based on virtual sensor and 3-D mesh model}
본 발명은 포터블 용접로봇의 운영에 관한 것으로서, 보다 구체적으로는 선박건조 현장에서 포터블 용접로봇이 서버와 연계되어 블록의 형상을 인식하는 알고리즘을 제시하기 위한 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법에 관한 것이다.
통상 선박건조 현장에서 각종 블록의 설계 정보는 보안된 특정 서버에서 관리하기 때문에 이를 사용하기 위해서는 허용된 접근 경로를 통하여 특정 포맷으로 정보를 추출하는 과정을 거쳐야 한다. 이러한 정보를 포터블로봇에 적용하는 경우 오류가 많아 현장에서 직접 값을 입력하는 방식을 채택하고 있다. 수동 입력이나 개별적(Case by case)으로 제작된 프로그램에 의해 도출되는 정보 파일은 특정 장비에 종속적이어서 특히 포터블 용접로봇의 적용에 제한이 수반된다.
로봇 용접과 관련되는 선행기술문헌으로서 한국 등록특허공보 제1800620호, 한국 공개특허공보 제2019-0064204호 등이 알려져 있다.
전자는 피용접물의 실제형상, 기 설정된 대표형상, 각 대표형상의 영역별로 구분된 작업모듈을 제어수단으로 로딩하는 제1단계; 및 피용접물의 실제형상에 대응하는 작업모듈을 선택하여 감지플로우와 용접플로우를 결정한 동작순서파일을 생성하는 제2단계;를 포함한다. 이에, 작업자의 개입 없이 모든 동작순서 파일을 자동으로 생성하는 효과를 기대한다.
후자에 따르면 로봇에 대하여 상하좌우로 구동하는 슬라이더에 용접토치가 설치되고, 제어부는 용접 대상 부위를 촬영 및 검출하는 디텍터와 연계되면서 모재 형상 정보를 저장한 데이터베이스 및 용접조건을 구하는 연산부를 포함하여 용접토치의 슬라이더를 구동한다. 이에, 다수 배치의 모재에 대한 신속한 용접과 더불어 정밀도를 높이는 효과를 기대한다.
다만, 상기 선행문헌에 의하면 용접용 포터블로봇을 특정의 U셀에 투입하는데 필요한 선행 정보의 확보에 상당한 시간을 요하므로 개선의 여지가 있다.
한국 등록특허공보 제1800620호 "형상정보를 이용한 로봇작업 프로그램 생성방법" (공개일자 : 2017.06.08) 한국 공개특허공보 제2019-0064204호 "용접부위 형상과 3D 좌표 측정을 이용한 용접 자동화시스템 및 이를 이용한 용접 방법" (공개일자 : 2019.06.10.)
상기와 같은 종래의 문제점들을 개선하기 위한 본 발명의 목적은, 간략화된 형상 정보만을 포함하는 리뷰모델(단순 메쉬 모델) 내부에서 가상의 센서를 이용하여 형상을 인식하고 로봇 작업에 필요한 정보를 추출하는 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법에 있어서: (A) 설계용 서버에 저장된 메쉬모델을 다운로드하는 단계; (B) 메쉬모델로 생성되는 가상의 U셀에 가상센서를 적용하여 측정하는 단계; 및 (C) 가상센서의 측정값을 처리하여 실제 U셀의 형상정보를 연산으로 생성하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 세부 구성에 의하면, 상기 단계 (A)는 생산과 관련된 정보가 배체된 단순 리뷰용 메쉬모델을 포터블로봇에 연결된 교시조작기로 다운로드하는 것을 특징으로 한다.
본 발명의 세부 구성에 의하면, 상기 단계 (B)는 U셀의 설정된 기준위치에 가상센서를 라이다(LIDAR) 방식으로 적용하는 것을 특징으로 한다.
본 발명의 세부 구성에 의하면, 상기 단계 (C)는 클라우드 포인트를 추출한 다음 면 생성과 특징점 추출을 거쳐 형상정보를 자동으로 연산하는 것을 특징으로 한다.
본 발명의 세부 구성에 의하면, 상기 특징점은 작업프로그램 루틴을 거친 이후 실제 포터블로봇의 교시점과 매칭되도록 면간 교선의 벡터 형태로 생성되는 것을 특징으로 한다.
이상과 같이 본 발명에 의하면, 작업자(End-User) 레벨에서 데이터를 추출하여 사용할 수 있어 복잡한 경로를 거치지 않고, 포터블 용접로봇 등 설계용 서버에 접근하기 어려운 곳에서도 원격 접속을 통한 로컬 작업이 가능하며, 물량 분석 등 단순 형상 정보의 파악이 필요한 경우에도 유연한 활용이 가능하다.
도 1은 본 발명에 따른 방법이 구현되는 시스템의 모식도
도 2는 본 발명에 따른 방법의 주요 단계를 나타내는 흐름도
도 3은 본 발명에 따른 방법의 주요 단계를 나타내는 모식도
도 4는 도 3을 거쳐 교시조작기 상에 나타내는 화면 상태도
도 5는 본 발명에 따른 작업프로그램에 적용되는 좌표계
이하, 첨부된 도면에 의거하여 본 발명의 실시예를 상세하게 설명하면 다음과 같다.
본 발명은 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법에 관하여 제안한다. 선박을 건조하는 현장에서 각종 블록을 구성하는 U셀(10)에 포터블로봇(30)을 투입하여 용접하기 위한 방법을 대상으로 하지만 반드시 이에 국한되는 것은 아니다.
도 1을 참조하면, 본 발명의 방법이 적용되는 시스템으로서 설계용 서버(20), 포터블로봇(30), 교시조작기(32), 로봇제어기(35) 등이 유무선 통신망으로 연결된 상태를 나타낸다. 설계용 서버(20)는 선박건조 현장의 블록에 대한 정보 저장한다. 포터블로봇(30)은 다양한 자세의 용접을 위해 5축 이상으로 적용되는 것이 좋다. 교시조작기(32)와 로봇제어기(35)는 마이크로프로세서, 메모리, 입출력인터페이스를 갖춘 마이컴 회로와 직간접으로 연계되도록 구성된다. 교시조작기(32)는 GUI를 위한 디스플레이 화면을 구비한다.
도 3(a)를 참조하면, U셀(10)은 베이스(11), 플로어(13), 론지(15), 칼라플레이트 등의 부재로 구성된다. 론지(15)는 수직의 웹(16)과 수평의 플랜지(17)를 결합하여 구성된다. 포터블로봇(30)은 론지(15) 상에 착탈 가능하게 지지되고 부재간 교차하는 용접선에 대한 용접을 수행한다.
본 발명에 따른 단계 (A)는 설계용 서버(20)에 저장된 메쉬모델을 다운로드하는 과정으로 진행된다. 설계용 서버(20)는 현장에서 3차원 설계를 통해 만들어진 설계모델을 저장한다. 설계모델은 형상정보(모양, 치수 등)와 생산정보(용접 각목 등)를 포함하고 있다.
본 발명의 세부 구성에 의하면, 상기 단계 (A)는 생산과 관련된 정보가 배체된 단순 리뷰용 메쉬모델을 포터블로봇(30)에 연결된 교시조작기(32)로 다운로드하는 것을 특징으로 한다. 자동화 장비, 특히 로봇이 설계모델을 활용하기 위해서는 특히 형상정보의 추출이 중요하다. 형상정보와 생산정보를 모두 포함하는 설계모델이 아닌 리뷰용으로 간략화된 메쉬모델을 사용한다. 교시조작기(32)는 직접적 또는 로봇제어기(35)와 포터블로봇(30)을 통하여 간접적 경로로 다운로드한다. 메쉬모델은 교시조작기(32)의 디스플레이 화면에 도 3처럼 표출된다.
도 2를 참조하면, 설계용 서버(20)의 정보를 다운로드 받은 교시조작기(32)에 의하여 프로그램 형태로 처리되는 알고리즘을 나타낸다.
본 발명에 따른 단계 (B)는 메쉬모델로 생성되는 가상의 U셀(10)에 가상센서(40)를 적용하여 측정하는 과정을 거친다. 도 3과 같이 간략화된 메쉬모델 내부에서 실제 센서와 무관한 가상센서(40)를 이용하여 U셀(10)의 형상정보를 추출하고 이를 포터블로봇(30)의 용접작업에 활용함을 요체로 한다.
본 발명의 세부 구성에 의하면, 상기 단계 (B)는 U셀(10)의 설정된 기준위치에 가상센서(40)를 라이다(LIDAR) 방식으로 적용하는 것을 특징으로 한다.
도 3(a)는 가상센서(40)를 론지(15)의 플랜지(17)에서 기준위치에 배치한 상태이고, 도 3(b)는 실제 라이다(LIDAR)와 동일한 방식으로 스캔하는 상태를 나타낸다. 교시조작기(32)는 가상센서(40)의 가동으로 베이스(11), 플로어(13), 론지(15), 칼라플레이트 등에 대한 측정값을 생성한다. 가상센서(40)를 회전시키며 라인, 메쉬 충돌 체크를 통해 충돌지점의 포인트를 추줄한다.
본 발명에 따른 단계 (C)는 가상센서(40)의 측정값을 처리하여 실제 U셀(10)의 형상정보를 연산으로 생성하는 과정으로 진행된다. 교시조작기(32)는 설정된 알고리즘에 따라 메쉬모델을 기반으로 측정한 값을 형상정보로 변환하여 용접관련 정보로 생성한다.
본 발명의 세부 구성에 의하면, 상기 단계 (C)는 클라우드 포인트를 추출한 다음 면 생성과 특징점 추출을 거쳐 형상정보를 자동으로 연산하는 것을 특징으로 한다.
도 2에 나타내듯이 단계 (C)는 클라우드 포인트에서 특징점을 추출하는 과정으로 진행된다. U셀(10)의 형상정보의 추출을 위해서는 설계단계에서 각 부재별로 정확한 특성(Property), 예컨대, 종부재, 횡부재, 칼라플레이트, 클립 등을 부여하고 이들의 교차선 등을 추출하는 방식을 이용한다. 도 3(c)는 클라우드 포인트에서 근접점 3개를 이용한 노멀 연산을 통해 같은 면에 있는 점들을 그룹화한 상태이다. RANAC (RANdom SAmple Consensus)의 알고리즘을 이용하여 그룹별 면 생성이 가능하다. 도 3(d)는 면간 노멀 연산을 통한 교선 추출 및 교선간 교차점을 이용한 특징점(45a)(45b) 추출을 나타낸다. 예컨대, 일측의 특징점(45a)은 일측 론지(15)에서 용접시작점 및 용접종료점을 나타내고, 타측의 특징점(45b)은 타측 론지(15)에서 용접시작점 및 용접종료점을 나타낸다.
도 4는 교시조작기(32)의 디스플레이 화면상으로 알고리즘 구현 상태를 나타낸다. 도 4(a)는 치수 계산 입력이 자동으로 실행되는 상태이고, 도 4(b)는 각도 계산 입력이 자동으로 실행되는 상태이다. 종래의 경우 도 4(a)(b)가 수동으로 이루어지므로 정확한 특성이 입력되지 않고 작업자의 실수로 미세한 틈이 있는 경우 계산의 오류로 교차선의 계산이 이루어지지 않는 경우가 빈번하다.
본 발명의 세부 구성에 의하면, 상기 특징점은 작업프로그램 루틴을 거친 이후 실제 포터블로봇(30)의 교시점과 매칭되도록 면간 교선의 벡터 형태로 생성되는 것을 특징으로 한다.
도 5를 참조하면, 각각의 면에 대한 노멀벡터(N)와 교선에 대한 교선벡터(U)를 나타낸다. N1은 플로어(13) 또는 칼라플레이트에 대한 노멀벡터이고, N2는 베이스(11)에 대한 노멀벡터이고, N3는 론지(15)의 웹(16)에 대한 노멀벡터이다. U0 및 U1는 3면이 이루는 3개의 교선 및 교점에 관련된 벡터로서 용점개시점 또는 용접종료점으로 교시될 수 있다. 즉, 작업자가 포터블로봇(30)의 터치센서를 이용하여 U0 및 U1에 터치하는 방식으로 내부 연산으로 생성된 특징점과 외부에서 입력되는 교시점 간의 매칭이 이루어진다.
한편, 이와 같이 하여 생성된 작업실적 정보는 교시조작기(32)에서 포터블로봇(30), 로봇제어기(35)를 거쳐 설계용 서버(20)에 업로드된다.
본 발명은 기재된 실시예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음이 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 변형예 또는 수정예들은 본 발명의 특허청구범위에 속한다 해야 할 것이다.
10: U셀 11: 베이스
13: 플로어 15: 론지
20: 설계용 서버 30: 포터블로봇
32: 교시조작기 35: 로봇제어기
40: 가상센서 45a, 45b: 특징점

Claims (5)

  1. 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법에 있어서:
    (A) 설계용 서버(20)에 저장된 메쉬모델을 다운로드하는 단계;
    (B) 메쉬모델로 생성되는 가상의 U셀(10)에 가상센서(40)를 적용하여 측정하는 단계; 및
    (C) 가상센서(40)의 측정값을 처리하여 실제 U셀(10)의 형상정보를 연산으로 생성하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법.
  2. 청구항 1에 있어서,
    상기 단계 (A)는 생산과 관련된 정보가 배체된 단순 리뷰용 메쉬모델을 포터블로봇(30)에 연결된 교시조작기(32)로 다운로드하는 것을 특징으로 하는 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법.
  3. 청구항 1에 있어서,
    상기 단계 (B)는 U셀(10)의 설정된 기준위치에 가상센서(40)를 라이다(LIDAR) 방식으로 적용하는 것을 특징으로 하는 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법.
  4. 청구항 1에 있어서,
    상기 단계 (C)는 클라우드 포인트를 추출한 다음 면 생성과 특징점 추출을 거쳐 형상정보를 자동으로 연산하는 것을 특징으로 하는 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법.
  5. 청구항 4에 있어서,
    상기 특징점은 작업프로그램 루틴을 거친 이후 실제 포터블로봇(30)의 교시점과 매칭되도록 면간 교선의 벡터 형태로 생성되는 것을 특징으로 하는 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법.
KR1020200001031A 2020-01-03 2020-01-03 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법 KR20210087831A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200001031A KR20210087831A (ko) 2020-01-03 2020-01-03 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200001031A KR20210087831A (ko) 2020-01-03 2020-01-03 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법

Publications (1)

Publication Number Publication Date
KR20210087831A true KR20210087831A (ko) 2021-07-13

Family

ID=76858847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001031A KR20210087831A (ko) 2020-01-03 2020-01-03 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법

Country Status (1)

Country Link
KR (1) KR20210087831A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592197B1 (ko) * 2023-05-18 2023-10-20 주식회사 미주산업 비전인식기반 조선기자재 철의장품 형상조립 및 용접 자동화 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101800620B1 (ko) 2015-11-30 2017-11-22 대우조선해양 주식회사 형상정보를 이용한 로봇작업 프로그램 생성방법
KR20190064204A (ko) 2017-11-30 2019-06-10 오성규 용접부위 형상과 3d 좌표 측정을 이용한 용접 자동화시스템 및 이를 이용한 용접 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101800620B1 (ko) 2015-11-30 2017-11-22 대우조선해양 주식회사 형상정보를 이용한 로봇작업 프로그램 생성방법
KR20190064204A (ko) 2017-11-30 2019-06-10 오성규 용접부위 형상과 3d 좌표 측정을 이용한 용접 자동화시스템 및 이를 이용한 용접 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592197B1 (ko) * 2023-05-18 2023-10-20 주식회사 미주산업 비전인식기반 조선기자재 철의장품 형상조립 및 용접 자동화 시스템

Similar Documents

Publication Publication Date Title
CN111844053B (zh) 教导设备、教导方法和机器人系统
KR100929445B1 (ko) 로봇 시뮬레이션장치 및 로봇 시뮬레이션 프로그램을 포함하는 기록매체
US10065318B2 (en) Methods and systems of repairing a structure
US7027963B2 (en) Simulation system
JP2001105359A (ja) ロボットシステム用グラフィック表示装置
US20070293986A1 (en) Robot simulation apparatus
CN1939677A (zh) 机器人仿真装置
JP2006260271A (ja) オフライン教示装置
JP2010042466A (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
CN109116807B (zh) 复合现实模拟装置以及计算机可读介质
CN114599488A (zh) 机器学习数据生成装置、机器学习装置、作业系统、计算机程序、机器学习数据生成方法及作业机的制造方法
EP3045394B1 (en) Method and system for repairing a structure
WO2020166346A1 (ja) 製造監視支援装置、製造監視支援方法及び製造監視支援プログラム
US20160098501A1 (en) Virtual sensors supported by a computer aided design (cad) model and software
KR20210087831A (ko) 가상센서와 3차원 메쉬모델을 기반으로 하는 포터블로봇 운영방법
JP5291482B2 (ja) ロボット教示プログラム修正装置
CN106914896A (zh) 一种机器人离线编程的构建方法
JP2020086759A (ja) ３次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置
US20200201268A1 (en) System and method for guiding a sensor around an unknown scene
JP3765061B2 (ja) 多次元形状の座標計測機用オフライン・ティーチング・システム
Solvang et al. SAPIR: Supervised and adaptive programming of industrial robots
CN112446103A (zh) 加工程序生成辅助装置
KR101009556B1 (ko) 밀폐공간 모델링 방법
CN111460660A (zh) 一种内置模拟物理力学实验场景的电子装置及其控制方法
US11656599B2 (en) Machining simulator and storage medium encoded with machining simulation program

Legal Events

Date Code Title Description
A201 Request for examination