KR102594983B1 - 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템 - Google Patents
스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템 Download PDFInfo
- Publication number
- KR102594983B1 KR102594983B1 KR1020230030067A KR20230030067A KR102594983B1 KR 102594983 B1 KR102594983 B1 KR 102594983B1 KR 1020230030067 A KR1020230030067 A KR 1020230030067A KR 20230030067 A KR20230030067 A KR 20230030067A KR 102594983 B1 KR102594983 B1 KR 102594983B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- collaborative robot
- trajectory
- distance
- collaborative
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 32
- 238000012423 maintenance Methods 0.000 title 1
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 40
- 230000009466 transformation Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000272 proprioceptive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템이 제공되며, 적어도 하나의 카메라로부터 촬영된 적어도 하나의 협동로봇(Collaborative Robot)의 궤적(Trajectory) 데이터인 시계열 데이터에 기반하여 추출된 안전구역 및 위험구역을 출력하는 사용자 단말 및 적어도 하나의 카메라로부터 촬영된 적어도 하나의 협동로봇의 궤적 데이터를 수집하는 수집부, 궤적 데이터를 기반으로 적어도 하나의 협동로봇 간 타임 도메인(Time Domain) 또는 거리 도메인(Distance Domain) 기반 안전구역 및 위험구역을 추출하는 추출부, 안전구역 및 위험구역을 사용자 단말로 안내하는 안내부를 포함하는 추출 서비스 제공 서버를 포함한다.
Description
본 발명은 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템에 관한 것으로, 협동로봇의 궤적을 영상 기반으로 분석함으로써 협동로봇 간 안전거리를 확보할 수 있도록 하는 시스템을 제공한다.
스마트팩토리는 설계 및 개발, 제조 및 유통의 생산과정에서 인공지능 기반의 자동화 솔루션이 결합된 지능형 생산공장을 말한다. 스마트팩토리에서는 전 생산과정을 무인화하기 위한 공장 자동화와 달리, 반드시 인간이 제조과정에 참여해야 하는 섬세하고 반복적인 작업에 협동로봇(Collaborative Robot)을 투입한다. 협동로봇은 작업자와 같은 공간에서 물리적인 상호작용을 수행할 수 있도록 높은 안전성을 갖춘 산업용 로봇을 말하는데, 협동로봇은 작업자가 수행하던 반복적인 작업을 직접 교시하거나 쉽게 프로그래밍하여 자유롭게 모션명령을 지시할 수 있다. 협동로봇의 작업은 크게 작업자와 작업자, 로봇과 작업자 및 로봇과 로봇 간 이루어질 수 있는데, 공장 자동화나 자율화 기술의 도입으로 인해 작업자와 작업자 간 작업활동의 빈도는 줄어들고 있으며, 최근에는 협동로봇의 적용을 통한 로봇 및 작업자 간이나, 로봇 및 로봇 간 작업활동의 빈도가 늘어나고 있다. 이에, 기기를 중심으로 효율적인 협력작업을 위한 인식기술이 연구되고 있다.
이때, 협동로봇 간 이동경로를 증강현실로 충돌 시뮬레이션을 구동하거나 협동로봇인 로봇암 간 충돌을 방지하는 구성이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2020-0101598호(2020년08월28 공개) 및 한국공개특허 제2015-0008247호(2015년01월22일 공개)에는, 로봇암(RobotArm) 제어에 따른 좌표값을 로봇암으로 전달하고, 증강현실을 이용하여 로봇팔이 설정된 경로를 자동순회하여 충돌이 발생되지 않는지의 여부를 시뮬레이션하는 구성과, 파지(Grasp)경로를 생성하기 위해 로봇암 및 장애물의 위치를 감지하고, 로봇암 및 장애물의 위치를 기반으로 가동범위 및 충돌여부를 판단하여 파지경로를 생성하는 구성이 각각 개시되어 있다.
다만, 전자의 경우 로봇암을 시뮬레이션으로 구동했다고 하여 이상적(Ideal)인 동작이 실제적(Pratical)으로도 구현되는 것은 아니므로 실제 구동을 했을 때의 충돌여부는 알 수 없게 된다. 후자의 경우에도 물건을 잡기 위한 파지경로를 생성하지만, 역시 실제로 파지경로대로 구동하는지는 실제 구동을 해보아야 하고, 협동로봇이 여러 대 존재하는 경우에는 협동로봇이 가동범위 내에서 가동한다고 할지라도 협동로봇 간 충돌할 가능성을 배제할 수 없다. 이에, 스마트팩토리 내 협동로봇의 움직임 패턴을 파악함으로써 안전구역 및 위험구역을 추출하고, 협동로봇 간 안전거리를 확보할 수 있는 데이터를 제공할 수 있는 시스템의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 스마트팩토리 내 협동로봇을 적어도 하나의 카메라로 촬영한 후 협동로봇의 시계열적인 궤적 데이터를 촬영된 영상 내 2D 데이터로부터 3D 데이터로 변환하여 확보하고, 3D 데이터로 변환된 시계열 데이터를 분석하여 협동로봇의 움직임에 따라 타임 도메인 및 거리 도메인을 기반으로 안전구역 및 위험구역을 추출하며, 안전거리는 충분하지만 타임 도메인 기반으로 협동로봇 간 동기화가 안되는 경우 충돌위험이 있거나, 거리 도메인 기반으로 안전거리 자체가 확보되지 않은 경우를 위험구역으로 추출함으로써 안전거리를 확보할 때 이용할 수 있도록 데이터를 제공할 수 있는, 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 적어도 하나의 카메라로부터 촬영된 적어도 하나의 협동로봇(Collaborative Robot)의 궤적(Trajectory) 데이터인 시계열 데이터에 기반하여 추출된 안전구역 및 위험구역을 출력하는 사용자 단말 및 적어도 하나의 카메라로부터 촬영된 적어도 하나의 협동로봇의 궤적 데이터를 수집하는 수집부, 궤적 데이터를 기반으로 적어도 하나의 협동로봇 간 타임 도메인(Time Domain) 또는 거리 도메인(Distance Domain) 기반 안전구역 및 위험구역을 추출하는 추출부, 안전구역 및 위험구역을 사용자 단말로 안내하는 안내부를 포함하는 추출 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스마트팩토리 내 협동로봇을 적어도 하나의 카메라로 촬영한 후 협동로봇의 시계열적인 궤적 데이터를 촬영된 영상 내 2D 데이터로부터 3D 데이터로 변환하여 확보하고, 3D 데이터로 변환된 시계열 데이터를 분석하여 협동로봇의 움직임에 따라 타임 도메인 및 거리 도메인을 기반으로 안전구역 및 위험구역을 추출하며, 안전거리는 충분하지만 타임 도메인 기반으로 협동로봇 간 동기화가 안되는 경우 충돌위험이 있거나, 거리 도메인 기반으로 안전거리 자체가 확보되지 않은 경우를 위험구역으로 추출함으로써 안전거리를 확보할 때 이용할 수 있도록 데이터를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 추출 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2는 도 1의 시스템에 포함된 추출 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 추출 서비스 제공 서버(300), 적어도 하나의 카메라(400)를 포함할 수 있다. 다만, 이러한 도 1의 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 추출 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 추출 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 카메라(400)와 연결될 수 있다. 또한, 적어도 하나의 카메라(400)는, 네트워크(200)를 통하여 추출 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 협동로봇의 위험구역 및 안전구역을 파악하고, 협동로봇 간 안전거리를 유지할 수 있도록 분석 데이터를 출력하는 관리자인 사용자의 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
추출 서비스 제공 서버(300)는, 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 추출 서비스 제공 서버(300)는, 적어도 하나의 카메라(400)로부터 촬영된 영상 데이터인 2D 데이터를 3D 데이터로 변환한 후, 궤적 데이터를 생성하고, 타임 도메인 또는 거리 도메인에서 안전구역 및 위험구역을 파악한 후 사용자 단말(100)로 안내하는 서버일 수 있다.
여기서, 추출 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 카메라(400)는, 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하거나 이용하지 않고 협동로봇을 촬영하는 장치일 수 있다. 적어도 하나의 카메라(400)는 협동로봇을 촬영할 때 최대한 많은 정보를 수집하기 위하여 협동로봇의 움직임 범위가 가장 넓은 곳을 바라보도록 배치될 수 있고, 협동로봇의 움직임을 한 측면에서 촬영하지만 2D 화면을 다양한 각도로 변형한 축으로 하여 3D로 표현함으로써 협동로봇의 움직임을 분석하도록 촬영하는 카메라일 수 있다.
여기서, 적어도 하나의 카메라(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 카메라(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 카메라(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 추출 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 추출 서비스 제공 서버(300)는, 수집부(310), 추출부(320), 안내부(330), 차원변환부(340), 모델링부(350), 판별부(360), 궤적예측부(370), 위험알람부(380), 충돌회피부(390)를 포함할 수 있다.
본 발명의 일 실시예에 따른 추출 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 카메라(400)로 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 카메라(400)는, 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 카메라(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 도 2를 설명하기 이전에, 2D 데이터를 3D 데이터로 변환하는 기본개념에 대해 설명한다. 이하에서 설명된 내용은 도 2를 설명하면서 중복하지 않는다.
<포인트 클라우드>
포인트 클라우드란 어떤 좌표계에 속한 점들의 집합이다. 3D 좌표계에서 점은 일반적으로 (X, Y, Z)로 정의되며 Depth 이미지에 포인트 클라우드를 적용하여 2D 좌표계를 3D 좌표계로 변환할 수 있다. 먼저, 2D 좌표계인 Depth 이미지를 3D 좌표계로 변환하기 위해서 Depth 이미지를 촬영한 카메라의 내부 파라미터 정보 중 초점거리와 2D Depth 이미지의 좌표, 그리고 Depth Value를 이용한다. 여기서 초점거리는 카메라렌즈에서 이미지 센서까지의 거리이다. 예를 들어, 카메라가 구를 촬영할 때, 구에서 반사되는 빛은 렌즈를 통과한다. 여기서 렌즈를 통과한 빛은 이미지 센서에 상이 맺히게 되고 구에 대한 2D Depth 이미지를 얻게 된다. 2D Depth 이미지를 이용하여 2D 좌표계에서 3D 좌표계로 변환해야 한다. 여기서 Similar Triangles Rule을 사용하여 간단하게 변환할 수 있다. f는 초점거리이고, u는 Depth 이미지에서 물체가 위치하는 좌표이고, 좌표의 원점은 이미지의 좌상단이 아닌 이미지의 중점이며, z는 2D Depth 이미지에서 2D 좌표에 해당하는 Depth Value이고, x는 3D 좌표계로 변환하였을 때 물체의 X축 좌표라고 가정하면, 이를 이하 수학식 1에 대입하여 2D 이미지의 중점에서 해당 픽셀까지의 x축 방향의 거리(u)를 초점거리(f)로 나눈 값은, 3D 좌표계에서 x좌표를D epth Value 나눈 값과 같기 때문에 x 좌표를 추정할 수 있다. 그래서 2D Depth 이미지의 u를 X축에 대한 3D 좌표로 변환할 수 있고, 위와 같은 방법을 Y축에 대해서도 반복하면 2D 좌표계를 3D 좌표계로 변환할 수 있다.
<좌표변환>
좌표변환이란 좌표계 상에서 한 점의 위치를 다른 위치로 변환하는 것이다. 컴퓨터 비전에서는 회전변환, 확대변환, 이동변환을 이용하여 여러 이미지 사이의 매칭 관계를 모델링할 수 있다.
<3D 좌표변환>
3D 좌표변환은 3D 공간상 좌표축의 변환이다. 3D 좌표변환은 3D 월드좌표계를 카메라 좌표계로 변경하거나 카메라 좌표계를 3D 월드 좌표계로변환하여 활용할 수 있고, 이 과정에서 항상 좌표축을 회전변환을 통해 회전시킨 후 이동변환을 하여 카메라 좌표계의 점 (X1,Y1,Z1)을 월드 좌표계의 점 (X,Y,Z)을 구하는 것이 목적이다. 3D 월드좌표계는 X축과 Y축의 평면이 지면을 나타내고 평면과 수직 방향으로 Z축이 정의되어 있다. 카메라 좌표계는 카메라의 광학축 방향으로 Zc축, 광학축에서 오른쪽 수직 방향으로 Xc축, Xc축과 Zc축의 수직 방향으로 Yc축으로 정의되어 있다.
회전변환은 X축, Y축, Z축을 중심으로 3D 공간상의 점(X,Y,Z)을 θ만큼 회전행렬을 이용하여 각 축의 방향을 기준으로 반시계 방향으로 회전한다. 각 축을 회전시키는 회전행렬은 수학식 2, 수학식 3 및 수학식 4와 같다. 수학식 2는 X축을 기준으로 회전시키는 행렬이고, 수학식 3은 Y축을 기준으로 회전시키는 행렬, 수학식 4는 Z축을 기준으로 회전시키는 행렬이다. 수학식 2 내지 수학식 4의 회전행렬을 조합하여 수학식 5와 같은 임의의 3D 회전을 표현할 수 있다.
이동변환은 카메라 좌표계 상의 점(XC,YC,ZC)을 월드 좌표계 상의 점(X,Y,Z)으로 변환하기 위해 회전변환 후, 이 카메라 좌표계를 월드 좌표계의 방향으로 수학식 6을 이용하여 이동변환한다.
상술한 기본개념을 참조하여 도 2를 참조하면, 수집부(310)는, 적어도 하나의 카메라(400)로부터 촬영된 적어도 하나의 협동로봇의 궤적 데이터를 수집할 수 있다. 이때, 협동로봇이란, 산업용 로봇암(Industrial Robot Arm)의 하나로, 위치, 속도, 토크 등의 다양한 센서로부터 신호가 감지되는 다변량 시스템이며, 다양한 작업 환경에 따른 프로그램과 모션의 복잡도를 지녔다. 협동로봇은 작업자가 수행하던 반복적인 작업을 직접 교시하거나 쉽게 프로그래밍하여 자유롭게 모션 명령을 지시할 수 있고, 가벼운 충돌도 감지할 수 있어, 충돌 감지 시 바로 멈췄다가 작업을 재시작할 수 있으며, 이로 인해 인간과의 협력이 가능하고 생산성을 향상시킬 수 있다. 협동로봇은 미리 정해진 고정적인 작업이 아닌 프로그래머블 모션(Programmable Motion)에 의해 구동되는 작업을 수행한다. 출하 시점에 다양한 테스팅, 예를 들어, 조립 테스팅, 내구성 테스팅, 캘리브레이션 등을 통과한 협동로봇을 공장에 납품하면, 각 공장에서는 작업의 종류, 사람과의 협력 과정, 예를 들어, 작업공간 크기 및 범위, 모션 순서와, 작업에 필요한 엔드이펙터, 예를 들어, Gripper, Vacuum Pump, Presser 등에 따라 사용자가 필요한 작업을 직접 프로그래밍하여 협동로봇에게 지시한다. 보통, 한 대의 협동로봇은 하루에도 2 내지 3 개 이상의 서로 다른 프로그램을 실행할 수 있으며, 실행되는 프로그램도 수 십에서 수 백 개의 모션 명령어 조합으로 이루어진다. 또한, 프로그램을 구성하는 각 모션은 회전 반경이나 속도, 모션의 시점 및 종점, 즉 위치 좌표의 변화 등에 따라 매우 복잡한 인자들의 조합으로 구분될 수 있다.
<경로 및 궤적>
협동로봇을 동작할 때 협동로봇의 이동경로를 미리 설정하는 것을 경로계획(Path Planning)이라 한다. 경로계획은 단순히 협동로봇의 위치이동의 경로를 지정하는 것이다. 반면, 궤적계획(Trajectory Planning)은 시간을 고려한다. 즉, 협동로봇의 속도도 함께 고려한다. 이에, 본 발명의 일 실시예에서는 경로와 궤적은 서로 다른 용어임을 분명히 한다. 경로는 시간을 고려하지 않은 개념이고, 궤적은 시간을 고려한 개념으로, 이후 시계열 데이터를 추출할 때에는 궤적개념을 이용하고, 거리 도메인에서 위험구역 및 안전구역을 추출할 때에는 시간을 고려하지 않은 경로개념을 이용한다.
경로계획은 속도나 시간은 고려되지 않고 A에서 B로 이동하는 경로를 표현한다. 궤적계획은 생성된 경로를 기 설정된 속도 또는 기 설정된 시간 동안 이동하는 궤적을 말한다. 즉, 궤적계획은 특정 물체가 어떠한 경로를 따라가는 경로를 시간의 함수로 풀어나타낸 것이다. 협동로봇의 경우, 로봇이 특정 경로를 따라가는 것을 시간의 함수로 나타낸 것이다. 경로계획은 단순히 경로를 계획하여 표현하고, 궤적계획은 이런 경로를 속도를 가진 상태에서 표현한 것으로 볼 수 있다. 직교좌표에서의 경로계획과, 관절좌표에서의 경로계획이 가능하며, 큐빅경로계획, LSPB 경로계획, BBPB 경로계획, 사다리꼴 속도 프로파일(Trapezodial Velocity Profile), S-커브 속도 프로파일(S-Curve Profile), 비대칭 S-커브 속도 프로파일, 슈퍼 S-커브 속도 프로파일 등이 존재한다. 이에, 본 발명의 일 실시예에서는 거리 도메인 기반에서는 경로의 개념을 이용하고, 타임 도메인 기반에서는 궤적의 개념을 이용한다. 시계열 데이터를 이용할 때에도 타임 도메인 기반으로 정의한다.
추출부(320)는, 궤적 데이터를 기반으로 적어도 하나의 협동로봇 간 타임 도메인(Time Domain) 또는 거리 도메인(Distance Domain) 기반 안전구역 및 위험구역을 추출할 수 있다. 이때, 타임 도메인 기반 위험구역은, 적어도 하나의 협동로봇 간 궤적 데이터가 동기화가 맞지 않는 경우 움직임 궤적이 겹치거나 기 설정된 안전거리를 확보하지 못하는 구역일 수 있다. 또, 거리 도메인 기반 위험구역은, 적어도 하나의 협동로봇의 궤적 데이터가 적어도 하나의 협동로봇의 동기화(Sync)에 관계없이 움직임 경로(Path)가 겹치거나 기 설정된 안전거리를 확보하지 못하는 구역일 수 있다. 예를 들어, 각 협동로봇 간 물리적 거리 자체가 기 설정된 안전거리를 확보하지 못했거나, 최대가동범위가 겹치는 경우일 수 있다. 그리고, 타임 도메인 기반 안전구역은 타임 도메인 기반 위험구역이 아닌 곳으로 정의될 수 있고, 거리 도메인 기반 안전구역은, 거리 도메인 기반 위험구역이 아닌 곳으로 정의될 수 있다.
안내부(330)는, 안전구역 및 위험구역을 사용자 단말(100)로 안내할 수 있다. 사용자 단말(100)은, 적어도 하나의 카메라(400)로부터 촬영된 적어도 하나의 협동로봇(Collaborative Robot)의 궤적(Trajectory) 데이터인 시계열 데이터에 기반하여 추출된 안전구역 및 위험구역을 출력할 수 있다.
차원변환부(340)는, 적어도 하나의 카메라(400)로부터 촬영된 영상 데이터인 2D 데이터를 3D 데이터로 변환하여 궤적 데이터를 3차원으로 획득할 수 있다. 차원변환부(340)는, 2D 데이터를 3D 데이터로 변환할 때 회전변환행렬(Rotation Matrix) 및 투영변환행렬(Projection Matrix)을 이용할 수 있다. 실공간과 카메라로 촬영하여 얻어지는 이미지 평면 간에는 회전변환, 이동변환, 투영변환으로 설명할 수 있는 대응관계가 존재한다. 공간 상의 네 점과 이미지 상의 네 점이 대응되는 관계를 알면 대응관계를 설명하는데 필요한 변환을 결정할 수 있다. 즉, 카메라(400)와 물체 상의 네 점의 좌표만 알고 있다면 협동로봇의 3차원 측위가 가능해지며, 경로 데이터 및 궤적 데이터를 고가의 레이저, 라이다, Depth 카메라 등 없이도 XYZ 좌표, 즉 3차원으로 추출할 수 있다.
우선, 카메라(400)의 카메라 모델에서 3차원 공간의 점과 카메라(400)로 얻은 영상의 점은 수학식 7과 같은 관계에 의해 설명된다.
먼저, 월드 좌표계상의 좌표를 스케일 변환, 회전변환, 이동변환을 차례대로 적용하여 카메라 좌표계 상의 좌표로 바꿔준다. 이 과정을 통해 수학식 7의 행렬 [R|t]를 구할 수 있다. 이때, 각 변수의 설명은 공지기술과 같으므로 생략한다.
월드 좌표계와 카메라 좌표계 간에는 축적이 다르지 않으므로 스케일 변환 행렬은 단위행렬이 된다. 다음으로 회전행렬의 경우 같은 각도를 회전하더라도 어떤 축을 기준으로 먼저 회전하는가에 따라 회전행렬의 결과가 달라지므로 XYZ축을 순서로 φ, θ, ψ(오일러 회전값)만큼 회전한다고 가정하면, 수학식 8와 같이 회전행렬이 표현된다. 이동변환의 경우 카메라 좌표계의 원점에서 월드 좌표계의 원점으로 향하는 벡터를 4 차원 동차좌표계에서 더하면 된다. 이 정보들을 종합하여 일차행렬을 구하여 보면 수학식 7의 [R|t]와 같이 표현할 수 있음을 알 수 있다. 수학식 7의 H는 4차원 동차좌표계를 3차원 실좌표계로 만들어주는 역할을 한다. 동차좌표계는 실공간에서 정규화된 이미지 평면의 실공간으로 투영되므로 수학식 7의 행렬 F와 같이 표현할 수 있다.
카메라(400)의 위치 및 자세를 파악하기 위해서는 카메라의 초점거리(Focal Length)와 이미지 센서 상의 한 픽셀의 크기, 월드 좌표계의 네 점의 3차원 좌표와 이에 대응되는 영상 속의 2차원 좌표를 알아야 한다. 초점거리를 안다면 수학식 7의 행렬 F를 결정할 수 있다. 이미지 상의 좌표는 픽셀로 표현되므로 픽셀의 크기를 곱해줘 m 단위의 좌표를 입력한다. 회전행렬을 표현하기 위해서는 회전기준 벡터의 세 성분과 회전각, 최소한 4 개의 정보가 필요하다. 따라서, 이동행렬의 tx, ty, tz 세 가지 요소와 회전행렬의 4가지 요소 총 7 가지 요소를 구해야 한다. 월드좌표와 대응되는 픽셀좌표로 이루어지는 좌표쌍 하나당 2개의 방정식을 얻을 수 있으므로 월드 좌표계의 네 좌표가 이미지에 대응되는 네 좌표를 알게 된다면 방정식을 8 개 얻을 수 있어 방정식을 풀기에 충분하다. 방정식을 풀면 수학식 7의 행렬 [R|t]를 구할 수 있다. 방정식을 풀면 결과적으로, 수학식 7의 모든 값을 알 수 있다. 월드 좌표계 상의 카메라 좌표계의 원점의 좌표를 통해 물체에 대한 카메라의 위치를 알 수 있다. 카메라의 자세는 수학식 9의 행렬로부터 수학식 10과 같이 구할 수 있다. 이에 따라, 물체에 설정한 월드 좌표계에 대한 카메라의 위치와 자세를 구할 수 있다.
이 외에도, 다양한 방법으로 2D 데이터를 3D 데이터로 변환할 수 있음은 물론이라 할 것이다. 보다 정밀한 좌표측정이 필요한 경우 레이저 장비 등을 더 추가하여 이용할 수 있다.
모델링부(350)는, 궤적 데이터에 안전구역 및 위험구역을 라벨링함으로써 데이터셋(DataSet)을 구축하고, 적어도 하나의 인공지능 알고리즘에 데이터셋을 질의로 입력한 후 학습 및 검증하는 모델링을 수행하며, 적어도 하나의 인공지능 알고리즘 중 정확도가 가장 높은 인공지능 알고리즘을 세팅할 수 있다. 상술한 방법과 같이 안전구역 및 위험구역으로 계산된 구역을 비전 기반 인공지능 알고리즘으로 자동으로 라벨링을 수행할 수 있다. 이를 이용하는 경우 후술할 궤적예측 및 충돌회피를 위한 기초 데이터셋을 마련할 수 있다. 판별부(360)는, 적어도 하나의 카메라(400)로부터 궤적 데이터를 인공지능 알고리즘으로 질의로 입력한 후, 적어도 하나의 협동로봇 간 안전구역 및 위험구역을 출력하도록 할 수 있다.
궤적예측부(370)는, 적어도 하나의 협동로봇의 궤적 데이터인 시계열 데이터를 적어도 하나의 인공지능 알고리즘에 입력하여 궤적 데이터를 예측하도록 학습 및 검증하고, 적어도 하나의 카메라(400)로부터 촬영된 궤적 데이터가 입력되는 경우 예측한 궤적 데이터를 출력하도록 할 수 있다. 각 협동로봇은 미리 프로그램된 대로 움직이기 때문에 궤적계획을 알고 있다면 영상 분석 및 예측을 수행하지 않아도 되나, 협동로봇 간 협업을 하는 경우, 또는 작업자와 협동로봇 간 협업을 하는 경우에는 예기치 못한 충돌이 발생할 수 있기 때문에, 안전구역과 위험구역을 예측하여 협동로봇 및 작업자에게 알려주는 기술이 필요할 수 있다. 또, 이렇게 분석된 안전구역과 위험구역의 정보를 이용하여 협업로봇 간 간격을 설정하기 위해서 또는 작업자와 협업로봇 간 간격을 설정하거나 협업로봇의 가동범위를 설정하기 위해 이용될 수 있다.
<RNN>
RNN(Recurrent Neural Network)은 시간적 속성을 갖고 순환하는 은닉층(Hidden State)의 각 유닛(Unit)과 가변적 길이의 시퀀스(Sequence)에서 작동하는 선택적 출력값으로 구성된 인공신경망이다. 이러한 순환 구조는 과거의 정보를 바탕으로 현재의 정보를 학습, 예측하기 때문에 문자, 음성, 동적 데이터 등 시계열을 가진 데이터를 분석하는 데에 많이 사용된다. 비전 기반 예측 기법에서는 RNN의 파생 모델로 은닉층에 입력 게이트(Input Gate), 출력 게이트(Output Gate), 망각 게이트(Forget Gate)를 추가해 과거시점 정보의 사용 여부를 조절하는 LSTM(Long Short-Term Memory)을 이용할 수도 있다.
LSTM과 유사하지만 게이트의 운용이 더 간단하게 변형된 GRU(Gate recurrent Unit)를 이용할 수도 있는데, 각 구간에 배치해 값을 출력하고 이전 구간의 값과 합치는 방식이다. LSTM과 GRU는 게이트의 다양한 운용으로 시계열 데이터의 순환을 조절할 수 있기 때문에 다양한 예측 모델에서 많이 사용되며 특히 비전 기반 예측 모델에서 가장 선호되는 방법론 중 하나이다. 특히 LSTM이나 GRU 모듈을 단독으로 사용하기보다 어텐션이나 풀링, 전연결 계층의 응용, CNN, 그리고 후술할 GAN 등 다양한 알고리즘과 함께 사용하여 모델의 정확도를 높일 수 있다.
<Feedforward>
Feedforward는 CNN을 기본으로 하여 네트워크 구조가 한 방향으로 흐르는 알고리즘이다. CNN은 필터(Filter)의 역할을 하는 커널(Kernel)을 은닉층의 각 구간 사이에 자유롭게 배치하여 필터가 이미지를 스캔하며 불필요한 연결을 제거하고 이미지 픽셀의 필요한 정보를 다음 레이어로 제공하는 방법을 사용한다. 이러한 방법은 이미지의 크기를 필터 설정에 따라 자유롭게 변경할 수 있고 픽셀 데이터의 위치 속성값을 보존하기 때문에 이미지 분석뿐만 아니라 예측 분야에서도 다양하게 사용되고 있는데, CNN 단독으로 사용되기도 하고 GAN이나 LSTM, GRU와 같은 다른 모델과 함께 이용할 수도 있다.
<GAN>
GAN(Generative Adversarial Network)의 기본 아이디어는 생성기(Generator) 함수에 대한 벡터(Vector)의 사전 분포로 정의되는 생성기가 노이즈(Noise) 샘플을 추출하여 미래 예측 이미지를 생성하고, 이를 판별기(Discriminator)에서 실제 이미지와 비교하여 이때 생기는 이미지 간 오차를 최소화하는 것이다. 궤적을 예측하기 위해서 GAN은 이미지의 다음 프레임을 예측 및 생성하기 위해 이미지 상의 피사체의 위치 또는 관절의 변화를 포착해야 한다. 이러한 분석은 모델 아키텍쳐의 인코더에서 이루어지는데, GAN은 단독으로 사용하는 알고리즘이 아니라 이미지를 분석하는 인코더의 역할을 할 다른 알고리즘과 함께 사용된다. 인코더의 역할로 LSTM, GRU, 또는 Feedforward 방식을 이용할 수 있다.
<어텐션 모델>
어텐션 모델(Attention-Based Model)은 인간의 주의집중 학습을 모방하여 모델이 학습을 하는 과정에서 출력값을 내기 위해 입력값에서 중요한 정보를 찾아 집중적으로 학습하는 기법이다. CNN이나 RNN 등 딥러닝 모델의 레이어 사이에 어텐션 레이어를 추가하여 이미지에서 중요하다고 판단되는 객체의 가중치를 늘려 모델이 더 잘 학습하도록 유도한다.
<멀티모달>
멀티모달(Multimodal)은, 이미지를 분석하는 과정에서 다양한 부가적 정보인 의미론적 정보를 이미지 속 객체와 결합하여 미래를 예측하는 것이다. 예를 들어, 두 개의 브랜치(Branch)를 사용해 멀티모달 입력값을 받는 DPM(Deep Prediction Model)을 이용할 수 있는데, 첫 번째 브랜치는 협동로봇의 위치나 속도와 같은 실시간 데이터(센서 데이터)를 입력값으로 받고, 두 번째 브랜치는 자가수용 상태 데이터(Proprioceptive State Data)와 제어 데이터를 입력값으로 받는다. 즉, 상태 데이터와 제어 데이터를 이미지 분석에 추가한 것이다. 첫 번째 브랜치는 입력된 이미지를 베이지안 컨볼루션 LSTM(Bayesian ConvLSTM)으로 분석하여 협동로봇의 다음 위치를 예측하고, 두 번째 브랜치는 멀티모달 정보 데이터를 LSTM으로 분석하고, 앞선 첫 번째 브랜치와 두 번째 브랜치의 출력값을 더하여 협동로봇의 충돌을 예측할 수 있다. 이 모델은 Short-Term 시퀀스로, 현재 시점 t0에서 t4까지 총 5개의 프레임을 다음 예측에 사용할 수 있다. 이 외에도 멀티모달 정보를 분석하기 위해 이미지 또는 궤적 데이터를 분석하는 레이어와 분리된 별도의 LSTM 또는 GRU 레이어를 사용하여 멀티모달 정보를 분석할 수 있다.
<모델 평가>
비전 기반 예측 모델에서의 모델 평가는 생성된 예측 프레임이 얼마나 실제 프레임과 유사한지 측정하는 것을 기반으로 한다. 시간순으로 나열된 프레임 속 객체의 이동 궤적, 협동로봇의 각 관절의 움직임이 얼마나 정확하게 예측되었는지 각 베이스라인(Baseline) 모델과 평가 점수를 비교하고, 자체적으로 실제 이미지와 출력 이미지를 비교하여 평가할 수도 있다. 예측 방법론이 다양한 만큼 모델을 평가하는 방식도 다양하게 이용될 수 있는데, 첫째, Feedforward 계열의 모델에서는 출력 이미지와 실제 이미지가 일치하는지 측정하기 위해 주로 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score를 이용할 수 있는데, 정확도, 정밀도, 재현율, F1-Score는 전통적으로 기계학습과 딥러닝의 분류 모델에서 사용되는 평가 방법으로 실제 값과 예측값이 일치하는지 여부를 혼동 행렬(Confusion Matrix) 상의 네 개의 값(True Positive(TP), True Negative(TN), False Positive(FP), False Negative(FN))으로 계산하여 평가하는 방법이다.
RNN 계열의 모델에서는 ADE(Average Displacement Error)와 FDE(Final Displacement Error)를 이용할 수 있다. ADE는 모델이 예측한 궤적의 좌표와 실제 측정된 좌표간 차이를 유클리디안 거리 측정 방식으로 계산한 오차의 평균이고, FDE는 마지막 예측 시간의 궤적 좌표와 실측 좌표에 대한 유클리디안 거리 오차 값이다. GAN 모델의 경우 이미지의 노이즈로 품질을 평가하는 PSNR(Peak Signal-to-Noise Ratio), SSIM(Structure Similarity Index Map)을 이용할 수 있다. PSNR은 모델에서 생성된 이미지 또는 압축된 이미지의 화질에 대한 손실값을 평가하는 방법으로, 손실값으로는 MSE를 사용하는데 MSE 값이 적을수록 영상의 품질이 좋은 것으로 평가한다. SSIM은 인간이 이미지를 직관적으로 바라보았을 때 느끼는 품질에 대한 정의를 실현하고자 한 방법으로, 휘도(Luminance), 대비(Contrast), 구조(Structural) 항목으로 이미지의 품질을 평가한다. 이 외에도 MAE(Mean Angle Error), MPJAE(Mean Per Joint Angle Error), MPE(Motion Prediction Error) 등 다양한 평가 방법을 이용할 수 있다.
위험알람부(380)는, 예측한 궤적 데이터 내에서 위험구간이 존재하거나 충돌이 예측되는 경우 사용자 단말(100)로 알람을 전송할 수 있다. 상술한 방법으로 충돌이 예측되는 상황에 대하여 사용자 단말(100)로 알람을 전송할 수 있다.
충돌회피부(390)는, 위험구간이 발생하는 시점에서 적어도 하나의 협동로봇의 속도는 변경하지 않고 기 설정된 최소지연시간만큼 딜레이(Delay)를 주는 시간지연 또는 적어도 하나의 협동로봇의 이동속도를 감속 후 가속하는 속도조절을 수행할 수 있다. 예를 들어, 단일 구간이 아닌 작업 공간에서 복수의 협동로봇 간의 충돌회피를 고려해 전체 작업을 가장 빠른 시간에 마치는 최소시간 충돌회피기법을 이용할 수 있다. 이를 위해, 작업수행순위가 결정되어 있지 않은 작업 공간에서 협동로봇 각각의 이동경로를 최소로 하는 최단거리경로를 설정한다. 두 번째는 설정된 궤적에 대해 두 협업로봇 상호 간의 충돌회피를 고려한 실시간 궤적 계획을 세울 수 있다. 첫 번째로는 경로를 설정하는데, 전체 작업시간을 최소로 하는 작업순서를 결정할 때 목적함수를 시간변수로 구성해야 하지만, 계산상의 어려움을 피하기위해 목적함수를 거리변수로 구성하여 이동거리를 최소로 하는 작업순서를 설정한 후 이 이동거리에 대해 최적속도계획을 할 수 있다. 이때, 협업로봇의 동특성으로 인해 최단거리가 최소시간을 만족하는 것은 아니나, 전체 이동거리를 최소로 하여 최적속도계획을 하면 계산량을 줄일 수 있고, 또한 전체 작업시간 측면에서도 최소시간을 얻을 수 있다. 두 번째로, 궤적을 설정해야 하는데, 신경회로망의 결과로 얻은 경로, 즉 작업순서에 따라 이동하는 협동로봇의 동작시간을 최소로 하기 위해서, 관절벡터로 구성된 협동로봇의 동적 방정식을 하나의 스칼라 변수인 경로함수로 변환하고, 토크 제한조건을 가속도 제한조건으로 변환하여, 경로와 속도로 이루어진 위상평면에서 로봇의 최적속도계획을 하는 방법을 적용할 수 있다.
시간 지연의 경우, 협업로봇의 속도 곡선은 변경하지 않고 최소지연시간 △t-ttp-t0만큼 협동로봇(r2)의 출발시간을 지연시키면 s×t 공간에서 협동로봇(r2)의 수정된 경로 πd가 [ttp, stp]를 지나게 되어 충돌을 피할 수 있다. 출발시간을 지연시킨다는 것은 s×t 공간에서 경로 π를 시간축의 양방향으로 이동시키는 것과 같다. 속도 조절의 경우, 시간 지연과 마찬가지로 이동속도를 조절하여 충돌을 피하려면, s×t 공간에서 수정된 경로 πs가 [ttp, stp]를 지나도록 하면 된다. 즉, [0, stp]에서 속도를 줄였다가 다시 가속을 하면 된다. 그러나, 속도를 변경하여 s×t공간에서 [ttp, stp]을 지나도록 한다는 것은 매우 힘든 일이다. 다시 말하면, △t 만큼 지연된 새로운 속도 곡선을 얻기 위해 속도를 줄이는 위치와 양을 결정하는 것은 어려운 일이다. 이러한 어려움 때문에, 그 동안 속도조절방법이 큰 관심을 끌지 못했었다. 속도조절방법에서 속도를 줄이는 위치와 크기에 제한이 없으면, 위상평면에서 반복적인 방법으로 지연된 속도 곡선을 얻을 수 있다. 최소지연시간은 충돌영역의 경계선 정보와 최적속도를 이용하여 얻을 수 있는데, 최소지연시간을 구하는 방법이 간단하고, 또 위상평면상에서 로봇의 동특성에 부합하는 지연된 속도 곡선을 구할 수 있어서 동특성이 다른 여러 가지 형태의 협업로봇에도 궤적계획방법을 쉽게 적용할 수 있다.
이하, 상술한 도 2의 추출 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 추출 서비스 제공 서버(300)는 적어도 하나의 카메라(400)로부터 협업로봇을 촬영한 영상 데이터를 수신하고, (b)와 같이 2D 데이터를 3D 데이터로 변환한 후 (c)와 같이 타임 도메인 및 거리 도메인에서의 안전거리가 확보되는지를 확인하고, 안전거리가 확보되지 않거나 충돌이 발생하거나 기 설정된 거리 이내로 접근하는 경우를 위험구역으로 출력할 수 있다. 또, (d)와 같이 추출 서비스 제공 서버(300)는 비전 기반으로 영상 데이터를 분석하여 위험구역 및 안전구역을 출력해내도록 데이터셋을 구축한 후 학습 및 검증하는 모델링을 수행할 수 있고, 도 4의 (a)와 같이 시계열 데이터를 학습 및 검증함으로써 충돌을 예측하거나 위험구역이 발생하는 경우를 예측하도록 할 수 있다. 그리고, 추출 서비스 제공 서버(300)는 (b) 충돌이 예측되는 경우 이를 알람을 출력하도록 할 수 있고, (c)와 같이 충돌회피를 위해 시간지연 또는 속도조절 제어를 수행할 수 있다.
이와 같은 도 2 내지 도 4의 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 추출 서비스 제공 서버는, 적어도 하나의 카메라로부터 촬영된 적어도 하나의 협동로봇의 궤적 데이터를 수집하고(S5100), 궤적 데이터를 기반으로 적어도 하나의 협동로봇 간 타임 도메인(Time Domain) 또는 거리 도메인(Distance Domain) 기반 안전구역 및 위험구역을 추출한다(S5200).
그리고, 추출 서비스 제공 서버는, 안전구역 및 위험구역을 사용자 단말로 안내한다(S5300).
상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (10)
- 적어도 하나의 카메라로부터 촬영된 적어도 하나의 협동로봇(Collaborative Robot)의 궤적(Trajectory) 데이터인 시계열 데이터에 기반하여 추출된 안전구역 및 위험구역을 출력하는 사용자 단말; 및
상기 적어도 하나의 카메라로부터 촬영된 상기 적어도 하나의 협동로봇의 궤적 데이터를 수집하는 수집부, 상기 궤적 데이터를 기반으로 상기 적어도 하나의 협동로봇 간 타임 도메인(Time Domain) 또는 거리 도메인(Distance Domain) 기반 안전구역 및 위험구역을 추출하는 추출부, 상기 안전구역 및 위험구역을 상기 사용자 단말로 안내하는 안내부, 상기 적어도 하나의 카메라로부터 촬영된 영상 데이터인 2D 데이터를 3D 데이터로 변환하여 상기 궤적 데이터를 3차원으로 획득하는 차원변환부, 상기 적어도 하나의 협동로봇의 궤적 데이터인 시계열 데이터를 적어도 하나의 인공지능 알고리즘에 입력하여 궤적 데이터를 예측하도록 학습 및 검증하고, 상기 적어도 하나의 카메라로부터 촬영된 궤적 데이터가 입력되는 경우, 예측한 궤적 데이터를 출력하고, 협업로봇 간 간격을 설정하거나 작업자와 협업로봇 간 간격을 설정하거나 협업로봇의 가동범위를 설정하기 위해서, 분석에 따른 안전구역과 위험구역의 정보를 이용하는 궤적예측부, 상기 예측한 궤적 데이터 내에서 위험구간이 존재하거나 충돌이 예측되는 경우 상기 사용자 단말로 알람을 전송하는 위험알람부를 포함하는 추출 서비스 제공 서버;를 포함하며,
상기 차원변환부는,
상기 적어도 하나의 카메라로부터 촬영된 2D 데이터인 Depth 이미지를 3D 좌표계로 변환하기 위해서, 상기 Depth 이미지를 촬영한 카메라의 내부 파라미터 정보 중 초점거리, 2D Depth 이미지의 좌표 및 Depth Value를 이용해서, 다음의 수학식에 따라 상기 Depth 이미지의 중점에서 특정 픽셀까지의 x축 방향의 거리를 초점거리로 나눈 값이 3D 좌표계에서 x 좌표를 상기 Depth Value로 나눈 값과 같은 특성을 근거로 x 좌표를 추정하고, Y축에 대해서도 반복하여 2D 좌표계를 3D 좌표계로 변환하며,
상기 f는 초점거리이고, 상기 u는 상기 Depth 이미지에서 물체가 위치하는 좌표이고, 상기 좌표의 원점은 상기 Depth 이미지의 중점이며, 상기 z는 상기 Depth 이미지에서 2D 좌표에 해당하는 상기 Depth Value이고, 상기 x는 3D 좌표계로 변환하였을 때 물체의 X축 좌표인 것을 특징으로 하는 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템.
- 삭제
- 제 1 항에 있어서,
상기 차원변환부는,
상기 2D 데이터를 3D 데이터로 변환할 때 회전변환행렬(Rotation Matrix) 및 투영변환행렬(Projection Matrix)을 이용하는 것을 특징으로 하는 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 타임 도메인 기반 위험구역은,
상기 적어도 하나의 협동로봇 간 궤적 데이터가 동기화가 맞지 않는 경우 움직임 궤적이 겹치거나 기 설정된 안전거리를 확보하지 못하는 구역인 것을 특징으로 하는 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 거리 도메인 기반 위험구역은,
상기 적어도 하나의 협동로봇의 궤적 데이터가 상기 적어도 하나의 협동로봇의 동기화에 관계없이 움직임 경로(Path)가 겹치거나 기 설정된 안전거리를 확보하지 못하는 구역인 것을 특징으로 하는 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 추출 서비스 제공 서버는,
상기 위험구간이 발생하는 시점에서 상기 적어도 하나의 협동로봇의 속도는 변경하지 않고 기 설정된 최소지연시간만큼 딜레이(Delay)를 주는 시간지연 또는 상기 적어도 하나의 협동로봇의 이동속도를 감속 후 가속하는 속도조절을 수행하는 충돌회피부;
를 더 포함하는 것을 특징으로 하는 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230030067A KR102594983B1 (ko) | 2023-03-07 | 2023-03-07 | 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230030067A KR102594983B1 (ko) | 2023-03-07 | 2023-03-07 | 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102594983B1 true KR102594983B1 (ko) | 2023-10-27 |
Family
ID=88514022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230030067A KR102594983B1 (ko) | 2023-03-07 | 2023-03-07 | 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102594983B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101471852B1 (ko) * | 2013-12-02 | 2014-12-12 | 경상대학교산학협력단 | 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법 |
| JP2018156412A (ja) * | 2017-03-17 | 2018-10-04 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システムおよびプログラム |
| KR101956834B1 (ko) * | 2018-02-27 | 2019-03-12 | 평택대학교 산학협력단 | 자기 센서를 이용한 협업 로봇의 충돌방지 시스템 및 그 방법 |
| JP2020172011A (ja) * | 2019-04-15 | 2020-10-22 | 日本金銭機械株式会社 | 表示制御システム、表示制御方法、および、プログラム |
| KR20220136050A (ko) * | 2021-03-30 | 2022-10-07 | 와이폴라리스 주식회사 | 사람의 3d좌표를 생성하고 3d좌표의 타당성을 검토하는 장치 및 방법 |
| JP2022176106A (ja) * | 2021-05-14 | 2022-11-25 | 台達電子工業股▲ふん▼有限公司 | 双腕ロボット組立システム |
-
2023
- 2023-03-07 KR KR1020230030067A patent/KR102594983B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101471852B1 (ko) * | 2013-12-02 | 2014-12-12 | 경상대학교산학협력단 | 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법 |
| JP2018156412A (ja) * | 2017-03-17 | 2018-10-04 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システムおよびプログラム |
| KR101956834B1 (ko) * | 2018-02-27 | 2019-03-12 | 평택대학교 산학협력단 | 자기 센서를 이용한 협업 로봇의 충돌방지 시스템 및 그 방법 |
| JP2020172011A (ja) * | 2019-04-15 | 2020-10-22 | 日本金銭機械株式会社 | 表示制御システム、表示制御方法、および、プログラム |
| KR20220136050A (ko) * | 2021-03-30 | 2022-10-07 | 와이폴라리스 주식회사 | 사람의 3d좌표를 생성하고 3d좌표의 타당성을 검토하는 장치 및 방법 |
| JP2022176106A (ja) * | 2021-05-14 | 2022-11-25 | 台達電子工業股▲ふん▼有限公司 | 双腕ロボット組立システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ribeiro et al. | Real-time deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation | |
| Taryudi et al. | Eye to hand calibration using ANFIS for stereo vision-based object manipulation system | |
| Bultmann et al. | Real-time multi-view 3D human pose estimation using semantic feedback to smart edge sensors | |
| Mekonnen et al. | Wireless hybrid visual servoing of omnidirectional wheeled mobile robots | |
| Gulde et al. | RoPose: CNN-based 2D pose estimation of industrial robots | |
| Andronas et al. | Model-based robot control for human-robot flexible material co-manipulation | |
| Zhou et al. | 3d pose estimation of robot arm with rgb images based on deep learning | |
| Shi et al. | Dynamic obstacles rejection for 3D map simultaneous updating | |
| Liu et al. | A novel camera fusion method based on switching scheme and occlusion-aware object detection for real-time robotic grasping | |
| KR102594983B1 (ko) | 스마트팩토리 기반 협동로봇 궤적 분석을 이용한 안전거리 확보 서비스 제공 시스템 | |
| Liu et al. | Conditional simultaneous localization and mapping: A robust visual SLAM system | |
| KR102624242B1 (ko) | 로봇 기반 ２ｄ 및 ３ｄ 매칭 서비스 제공 시스템 | |
| CN116408790A (zh) | 机器人控制方法、装置、系统及存储介质 | |
| Lange et al. | Cost-efficient mono-camera tracking system for a multirotor UAV aimed for hardware-in-the-loop experiments | |
| Rodriguez-Tirado et al. | A pipeline framework for robot maze navigation using computer vision, path planning and communication protocols | |
| RU2685996C1 (ru) | Способ и система предиктивного избегания столкновения манипулятора с человеком | |
| Martínez-Franco et al. | Machine Vision for Collaborative Robotics Using Synthetic Data-Driven Learning | |
| Gomes et al. | Deep Reinforcement learning applied to a robotic pick-and-place application | |
| Martínez et al. | Visual predictive control of robot manipulators using a 3d tof camera | |
| Gams et al. | Robotic learning for increased productivity: autonomously improving speed of robotic visual quality inspection | |
| Zhao et al. | Research on 3D Space Target Following Method of Mobile Robot Based on Binocular Vision | |
| González et al. | Design of a real-time obstacle avoiding and trajectory generation algorithm for an unmanned aerial vehicle | |
| Morilla Cabello | Vision Based Control for Industrial Robots: Research and implementation | |
| KR102556642B1 (ko) | 기계 학습 훈련을 위한 데이터 생성방법 | |
| CN116197918B (zh) | 基于动作记录分析的机械手控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |