KR102483351B1 - 매니퓰레이터 제어 시스템 및 제어 방법 - Google Patents

매니퓰레이터 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR102483351B1
KR102483351B1 KR1020200183917A KR20200183917A KR102483351B1 KR 102483351 B1 KR102483351 B1 KR 102483351B1 KR 1020200183917 A KR1020200183917 A KR 1020200183917A KR 20200183917 A KR20200183917 A KR 20200183917A KR 102483351 B1 KR102483351 B1 KR 102483351B1
Authority
KR
South Korea
Prior art keywords
image
manipulator
target
acquisition unit
obtaining
Prior art date
Application number
KR1020200183917A
Other languages
English (en)
Other versions
KR20220092288A (ko
Inventor
옥승호
감지웅
김동현
양광민
Original Assignee
주식회사 아진엑스텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아진엑스텍 filed Critical 주식회사 아진엑스텍
Priority to KR1020200183917A priority Critical patent/KR102483351B1/ko
Publication of KR20220092288A publication Critical patent/KR20220092288A/ko
Application granted granted Critical
Publication of KR102483351B1 publication Critical patent/KR102483351B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

매니퓰레이터 제어 시스템 및 제어 방법이 개시된다. 본 발명은 타겟을 비전 인식하는 매니퓰레이터 제어 시스템에 있어서, 상기 비전 인식을 위하여 상기 매니퓰레이터와 이격되어 상기 타겟을 촬영하는 제1 영상 획득부, 상기 비전 인식을 위하여 상기 매니퓰레이터에 설치되어 상기 타겟을 촬영하는 제2 영상 획득부 및 상기 제1 영상 획득부 및 상기 제2 영상 획득부로부터 수신한 영상으로부터 상기 타겟의 특징을 학습하고, 상기 학습 결과를 기초로 상기 매니퓰레이터를 제어하는 제어부를 포함할 수 있다.

Description

매니퓰레이터 제어 시스템 및 제어 방법{CONTROL SYSTEM AND CONTROL METHOD FOR MANIPULATOR}
본 발명은 매니퓰레이터 제어 시스템 및 제어 시스템에 관한 것이다. 보다 상세하게는 Hand-in-Eye 방식과 Hand-to-Eye 방식의 카메라들을 이용하여 매니퓰레이터를 제어하는 시스템 및 제어하는 방법에 관한 것이다.
종래의 단순 노동력을 대체하는 산업용 로봇에 이어 인공지능 기술의 급속한 발전으로 지능형 로봇에 대한 관심이 높아지고 있다. 지능형 로봇의 활용 영역은 제조업에서 탈피하여 가정, 의료, 자동차 분야로 진출하면서, 4차 산업의 발달과 함께 인공지능을 이용한 지능형 로봇이 등장하였다.
산업에서의 로봇의 활용도가 높아짐에 따라, 로봇의 팔로서 기능할 수 있는 매니퓰레이터에 대한 개발이 이루어지고 있다. 매니퓰레이터란 인간의 상지(上肢)와 유사한 기능을 보유하고, 그 선단부위에 해당하는 기계 손(mechanical hand) 등에 의해 물체를 「파지」(파악, 흡착, 유지하는 것들을 말한다.)하여 공간(空間)적으로 이동시키는 작업 또는 그 선단부위에 부착된 도장용 스프레이 건(spray gun), 용접 토오치 등의 공구에 의한 도장, 용접 등의 작업을 실시할 수 있는 것을 말한다.
인공지능이란 인간의 경험과 지식을 바탕으로 문제를 해결하는 능력 등을 전자 기술로 실현하는 것을 목적으로 하는 기술 영역을 말한다. 최근 4차 산업의 발달과 함께 인공지능 기술이 발달하고 있으며, 특히 머신 러닝 분야의 괄목할만한 발전이 최근 주목받고 있다.
이처럼, 산업에서 많이 사용되는 매니퓰레이터에 머신 러닝 기술을 접목하여, 자동으로 특정 동작을 실현할 수 있는 매니퓰레이터에 관한 기술들이 등장하고 있다. 특히, 비전 인식 기능을 활용하여, 매니퓰레이터는 타겟을 인식하고, 인식된 타겟에 대하여 미리 정해진 동작을 수행할 수 있다. 다만, 종래에는 깊이 정보를 획득하기 위한 카메라 또는 RGB 영상을 획득할 수 있는 카메라 등 하나의 카메라를 위주로 비전 인식이 수행되어 왔으나, 이러한 비전 인식 기술은 동작의 정확도에서 한계를 가지고 있다.
특히, 종래 Hand-to-Eye 방식의 비전 인식은 관찰 가능한 영역이 고정되어 있다는 한계가 존재하였고, 종래 Hand-in-Eye 방식의 비전 인식은 FPS(Frame Per Second)에 크게 좌우되어 비전 인식의 효율이 저하되는 문제점이 존재하였다.
대한민국 공개특허공보 제 10-2019-0075416 호
본 발명의 목적은 2개의 영상 획득부를 이용하여 타겟을 비전 인식하고, 이를 기초로 매니퓰레이터를 제어하는 매니퓰레이터 제어 시스템 및 제어 방법을 제공하는 것이다.
또한, 본 발명의 목적은 Hand-to-Eye 방식과 Hand-in-Eye 방식을 이용하여 타겟을 인식하고 이를 기초로 매니퓰레이터를 제어하는 매니퓰레이터 제어 시스템 및 제어 방법을 제공하는 것이다 .
상술한 과제를 해결하기 위하여, 본 발명은, 타겟을 비전 인식하는 매니퓰레이터 제어 시스템에 있어서, 상기 비전 인식을 위하여 상기 매니퓰레이터와 이격되어 상기 타겟을 촬영하는 제1 영상 획득부, 상기 비전 인식을 위하여 상기 매니퓰레이터에 설치되어 상기 타겟을 촬영하는 제2 영상 획득부 및 상기 제1 영상 획득부 및 상기 제2 영상 획득부로부터 수신한 영상으로부터 상기 타겟의 특징을 학습하고, 상기 학습 결과를 기초로 상기 매니퓰레이터를 제어하는 제어부를 포함할 수 있다.
또한, 상기 제어부는, 상기 제1 영상 획득부로부터 제1 영상을 수신하고, Hand-to-Eye 방식을 통하여 상기 타겟의 깊이 정보를 상기 제1 영상으로부터 획득할 수 있다.
또한, 상기 제어부는 상기 제2 영상 획득부로부터 제2 영상을 수신하고, Hand-in-Eye 방식을 통하여 상기 타겟의 2차원 정보를 상기 제2 영상으로부터 획득할 수 있다.
또한, 상기 2차원 정보는, 상기 매니퓰레이터의 회전 각도 및 회전 방향을 포함할 수 있다.
또한, 상술한 과제를 해결하기 위하여, 본 발명은, 매니퓰레이터와 이격된 제1 영상 획득부 및 상기 매니퓰레이터에 설치된 제2 영상 획득부를 통하여 타겟을 비전 인식하는 매니퓰레이터 제어 방법에 있어서, 상기 제1 영상 획득부로부터 상기 타겟을 촬영한 제1 영상을 수신하는 단계, 상기 제2 영상 획득부로부터 상기 타겟을 촬영한 제2 영상을 수신하는 단계, 상기 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계, 상기 제2 영상으로부터 2차원 정보를 획득하는 단계, 상기 ROI 이미지 및 상기 2차원 정보를 기초로 상기 타겟의 특징을 학습하여 인식하는 단계 및 상기 인식 결과를 기초로, 상기 매니퓰레이터가 상기 타겟에 대한 동작을 제어하는 단계를 포함할 수 있다.
또한, 상기 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계는, 상기 제1 영상을 스레숄딩(thresholding)하는 단계, 상기 스레숄딩 이후 딥 러닝 알고리즘을 기반으로 상기 타겟을 감지하는 단계, 상기 제1 영상속 감지된 상기 타겟에 대한 깊이(depth) 이미지를 획득하는 단계 및 상기 깊이 이미지를 기초로 상기 ROI 이미지를 획득하는 단계를 포함할 수 있다.
또한, 상기 제2 영상으로부터 2차원 정보를 획득하는 단계는, 상기 제2 영상을 스레숄딩(thresholding)하는 단계, 상기 스레숄딩 이후 딥 러닝 알고리즘을 기반으로 상기 타겟의 윤곽선(contour)을 감지하는 단계 및 상기 윤곽선을 기초로 상기 타겟의 회전 각도를 획득하는 단계를 포함할 수 있다.
또한, 상기 매니퓰레이터가 상기 타겟에 대한 동작을 제어하는 단계는, 상기 회전 각도를 기초로 상기 매니퓰레이터의 회전 방향을 획득하는 단계 및 상기 회전 방향을 기초로 상기 매니퓰레이터의 동작을 제어하는 단계를 포함할 수 있다.
본 발명은 2개의 영상 획득부를 이용하여 Hand-to-Eye 방식과 Hand-in-Eye 방식 각각이 가지는 문제점을 극복하는 매니퓰레이터 제어 시스템 및 제어 방법을 제공하는 효과가 있다.
또한, 본 발명은 비전 인식을 통하여 자동으로 타겟에 대하여 미리 정해진 동작을 수행하는 매니퓰레이터 제어 시스템 및 제어 방법을 제공하는 교화가 있다.
또한, 본 발명은 산업 현장에서 주로 사용되는 매니퓰레이터 특성상 오염되지 않는 렌즈를 포함하는 영상 획득부를 사용하여 매니퓰레이터를 제어함으로써 보다 안정적인 비전 인식을 제공할 수 있는 효과가 있다.
본 발명에 따라 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 매니퓰레이터 제어 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 제어부를 나타낸 도면이다.
도 3은 본 발명에 따른 영상 획득부를 나타낸 도면이다.
도 4(a) 및 도4(b)는 본 발명에 따른 제1 영상 및 제2 영상을 나타낸 도면이다.
도 5는 본 발명에 따른 매니퓰레이터 제어 방법을 나타낸 도면이다.
도 6은 본 발명에 따른 제1 영상을 기초로 ROI 이미지를 획득하는 과정을 나타낸 도면이다.
도 7은 본 발명에 따른 제2 영상을 기초로 2차원 정보를 획득하는 과정을 나타낸 도면이다.
도 8(a) 및 도 8(b)는 본 발명에 따른 제2 영상을 기초로 회전 각도를 획득하는 과정을 나타낸 도면이다.
도 9는 본 발명에 따른 매니퓰레이터의 동작을 제어하는 과정을 나타낸 도면이다.
본 명세서에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 상술한 내용들을 바탕으로 본 발명의 바람직한 일 실시예에 따른, 매니퓰레이터 제어 시스템 및 제어 방법에 관하여 상세히 설명하면 다음과 같다.
도 1은 본 발명에 따른 매니퓰레이터 제어 시스템을 나타낸 도면이다.
도 1에 따르면, 본 발명에 따른 제어 시스템은, 타겟(10)을 비전 인식하는 매니퓰레이터(11) 제어 시스템일 수 있다. 본 발명에 따른 제어 시스템은 제1 영상 획득부(110), 제2 영상 획득부(120) 및 제어부(130)를 포함할 수 있다. 매니퓰레이터(11)는 본 발명에 따른 제어 시스템에 포함될 수도 있다. 타겟(10)은 비전 인식의 대상이 되며, 매니퓰레이터(11)를 통하여 Pick and Place 하기 위한 대상 물체일 수 있다.
제1 영상 획득부(110)는 비전 인식을 위하여 매니퓰레이터(11)와 이격되어 타겟(10)을 촬영하는 구성으로서 카메라일 수 있다. 제2 영상 획득부(120)는 비전 인식을 위하여 매니퓰레이터(11)에 설치되어 타겟(10)을 촬영하는 구성으로서 카메라일 수 있다. 제1 영상 획득부(110)에서 획득된 영상은 제1 영상일 수 있고, 제2 영상 획득부(120)에서 획득된 영상은 제2 영상일 수 있다.
제어부(130)는 제1 영상 획득부(110) 및 제2 영상 획득부(120)에서 수신한 영상으로부터 타겟(10)의 특징을 학습할 수 있다. 또한, 제어부(130)는 학습 결과를 기초로 매니퓰레이터(11)를 제어할 수 있다. 즉, 제어부(130)는 제1 영상 및 제2 영상을 수신하고, 그로부터 타겟(10)의 특징을 학습할 수 있다. 타겟(10)의 특징은 시각적이고 형태적인 특징일 수 있다.
제어부(130)는 Hand-to-Eye 방식을 통하여 타겟(10)의 깊이 정보를 제1 영상으로부터 획득할 수 있다. 깊이 정보는 3차원 정보를 의미할 수 있다. 즉, 제어부(130)는 제1 영상으로부터 타겟(10)에 대한 3차원 정보를 획득할 수 있다. 제어부(130)는 YOLOv3 등의 알고리즘을 활용하여 제1 영상의 깊이 정보를 획득할 수 있다. 제어부(130)는 깊이 정보를 기초로 ROI(Region of Interest) 이미지를 획득할 수 있다.
제어부(130)는 제2 영상 획득부(120)로부터 제2 영상을 수신하고, Hand-in-Eye 방식을 통하여 타겟(10)의 2차원 정보를 제2 영상으로부터 획득할 수 있다. 이때, 2차원 정보는 매니퓰레이터(11)의 회전 각도 및 회전 방향을 포함할 수 있다.
도 2는 본 발명에 따른 제어부를 나타낸 도면이다.
도 2에 따르면, 제어부(130)는 프로세서(131), 메모리(132) 및 통신부(133)를 포함할 수 있다. 프로세서(131)는, 연산을 수행하고 다른 장치를 제어할 수 있는 구성이다. 주로, 중앙 연산 장치(CPU), 어플리케이션 프로세서(AP), 그래픽스 처리 장치(GPU) 등을 의미할 수 있다. 또한, CPU, AP 또는 GPU는 그 내부에 하나 또는 그 이상의 코어들을 포함할 수 있으며, CPU, AP 또는 GPU는 작동 전압과 클락 신호를 이용하여 작동할 수 있다. 다만, CPU 또는 AP는 직렬 처리에 최적화된 몇 개의 코어로 구성된 반면, GPU는 병렬 처리용으로 설계된 수 천 개의 보다 소형이고 효율적인 코어로 구성될 수 있다.
메모리(132)는, 제어부(130)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(132)는 제어부(130)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
메모리(132)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(132)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수도 있다.
통신부(133)는, 안테나를 통해 기지국 또는 통신 기능을 포함하는 차량과 정보의 송수신을 실행한다. 통신부(133)는, 변조부, 복조부, 신호 처리부 등을 포함할 수 있다.
무선 통신은, 통신사들이 기존에 설치해둔 통신 시설과 그 통신 시설의 주파수를 사용하는 무선 통신망을 사용한 통신을 말할 수 있다. 이때, 통신부(133)는, CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 통신 시스템에 사용될 수 있으며, 뿐만 아니라, 통신부(133)는, 3GPP(3rd generation partnership project) LTE(long term evolution) 등에도 사용될 수 있다. 또한, 최근 상용화 중인 5G 통신 뿐만 아니라, 추후 상용화가 예정되어 있는 6G 등도 사용될 수 있다. 다만, 본 명세서는 이와 같은 무선 통신 방식에 구애됨이 없이 기설치된 통신망을 활용할 수 있다.
도 3은 본 발명에 따른 영상 획득부를 나타낸 도면이다.
도 3에 따르면, 본 발명의 영상 획득부는 제1 영상 획득부(110) 및 제2 영상 획득부(120)를 의미할 수 있다. 설명의 편의를 위하여 제1 영상 획득부(110)로 설명하나, 제2 영상 획득부(120)도 동일한 구성일 수 있다.
제1 영상 획득부(110)는 카메라로서, 카메라 모듈(111)을 포함할 수 있다. 카메라 모듈(111)은 광 이미지로부터 영상 이미지를 생성할 수 있다. 카메라 모듈(111)은 측벽에 관통홀을 포함하는 하우징, 관통홀에 설치된 렌즈(113) 및 렌즈(113)를 구동하는 구동부(112)를 포함할 수 있다. 관통홀은 렌즈(113)의 직경에 대응되는 크기로 형성될 수 있다. 렌즈(113)는 관통홀에 삽입될 수 있다.
구동부(112)는 렌즈(113)를 전방 또는 후방으로 움직이도록 제어하는 구성일 수 있다. 렌즈(113)와 구동부(112)는 종래 알려진 방식으로 연결되고 렌즈(113)는 종래 알려진 방식으로 구동부(112)에 의하여 제어될 수 있다.
다양한 영상 이미지를 수득하기 위해서는 렌즈(113)가 카메라 모듈(111) 또는 영상 획득부(110)를 구성하는 하우징의 외부로 노출될 필요가 있다.
바람직하게 상기 렌즈(113)는 그 표면에 하기의 [화학식 1]로 표시되는 실록산계 화합물; 유기 용매, 무기 입자 및 분산제가 포함되는 코팅조성물로 코팅된 것일 수 있다.
[화학식 1]
Figure 112020141344058-pat00001
(여기서 n은 1 내지 100의 정수이다.)
상기 코팅조성물로 렌즈(1321)가 코팅된 경우 우수한 발수성 및 내오염성을 나타낼 수 있기 때문에 차량의 외부에 설치된 렌즈(113)가 오염 환경에 장기간 노출되더라도, 도로정보로 활용할 수 있는 이미지 또는 영상을 수집할 수 있다.
상기 무기 입자는 실리카, 알루미나 및 이들의 혼합물로 이루어진 군으로부터 선택될 수 있다. 상기 무기 입자의 평균 직경은 70 내지 100㎛이지만, 상기 예시에 국한되지 않는다. 상기 무기 입자는 렌즈(113) 표면에 코팅층(114)으로 형성 후, 물리적인 강도를 향상시키고, 점도를 일정 범위로 유지시켜 성형성을 높일 수 있다.
상기 유기 용매는 메틸에틸케톤(MEK), 톨루엔 및 이들의 혼합으로 이루어진 군으로부터 선택되며, 바람직하게는 메틸에틸케톤을 사용할 수 있으나, 상기 예시에 국한되지 않는다.
상기 분산제로는 폴리에스테르 계열의 분산제를 사용할 수 있고, 구체적으로 2-메톡시프로필 아세테이트 및 1-메톡시-2-프로필 아세테이트의 공중합체로 이루어진 폴리에스테르 계열의 분산안정제로서 TEGO-Disperse 670 (제조사: EVONIK)을 사용할 수 있으나, 상기 예시에 국한되지 않고 통상의 기술자에게 자명한 분산제는 제한 없이 모두 사용 가능하다.
상기 코팅 조성물은 기타 첨가제로 안정화제를 추가로 포함할 수 있고, 상기 안정화제는 자외선 흡수제, 산화방지제 등을 포함할 수 있으나, 상기 예시에 국한되지 않고 제한 없이 사용 가능하다.
상기 코팅층(114)을 형성하기 위한, 코팅 조성물은 보다 구체적으로 상기 화학식 1로 표시되는 실록산계 화합물; 유기 용매, 무기 입자 및 분산제를 포함할 수 있다.
상기 코팅 조성물은 유기용매 100 중량부에 대하여, 상기 화학식 1로 표시되는 실록산계 화합물 40 내지 60 중량부, 무기 입자 20 내지 40 중량부 및 분산제 5 내지 15 중량부를 포함할 수 있다. 상기 범위에 의하는 경우 각 구성 성분의 상호 작용에 의한 발수 효과가 임계적 의의가 있는 정도의 상승효과가 발현되며, 상기 범위를 벗어나는 경우 상승효과가 급격히 저하되거나 거의 없게 된다.
보다 바람직하게, 상기 코팅 조성물의 점도는 1500 내지 1800cP이며, 상기 점도가 1500cP 미만인 경우에는 렌즈(113) 표면에 도포하면, 흘러내려 코팅층(114)의 형성이 용이하지 않은 문제가 있고, 1800cP를 초과하는 경우에는 균일한 코팅층(114)의 형성이 용이하지 않은 문제가 있다.
[제조예 1: 코팅층의 제조]
1. 코팅 조성물의 제조
메틸에틸케톤에 상기 [화학식 1]로 표시되는 실록산계 화합물, 무기입자 및 분산제를 혼합하여, 코팅 조성물을 제조하였다:
상기 대전방지 조성물의 보다 구체적인 조성은 하기 표 1과 같다.
TX1 TX2 TX3 TX4 TX5
유기용매 100 100 100 100 100
폴리실록산 30 40 50 60 70
무기입자 10 20 30 40 50
분산제 1 5 10 15 20
(단위 중량부)2. 코팅층의 제조
렌즈(113)의 일면에 상기 DX1 내지 DX5의 코팅 조성물을 도포 후, 경화시켜 코팅층(114)을 형성하였다.
[실험예]
1. 표면 외관에 대한 평가
코팅 조성물의 점도 차이로 인해, 코팅층(114)을 제조한 이후, 균일한 표면이 형성되었는지 여부에 대해 관능 평가를 진행하였다. 균일한 코팅층(114)을 형성하였는지 여부에 대한 평가를 진행하였고, 하기와 같은 기준에 의해 평가를 진행하였다.
○: 균일한 코팅층 형성
×: 불균일한 코팅층의 형성
TX1 TX2 TX3 TX4 TX5
관능 평가 Х ○ ○ ○ Х
코팅층(114)을 형성할 때, 일정 점도 미만인 경우에는 렌즈(113)의 표면에서 흐름이 발생하여, 경화 공정 이후, 균일한 코팅층(114)의 형성이 어려운 경우가 다수 발생하였다. 이에 따라, 생산 수율이 낮아지는 문제가 발생할 수 있다. 또한, 점도가 너무 높은 경우에도, 조성물의 균일 도포가 어려워 균일한 코팅층(114)의 형성이 불가하였다.
2. 발수각의 측정
상기 렌즈(113) 표면에 코팅층(114)을 형성한 이후, 발수각을 측정한 결과는 하기 표 3과 같다.
전진 접촉각 (
Figure 112020141344058-pat00002
Figure 112020141344058-pat00003
) 		정지 접촉각 (
Figure 112020141344058-pat00004
Figure 112020141344058-pat00005
)		 후진 접촉각 (
Figure 112020141344058-pat00006
Figure 112020141344058-pat00007
)
TX1 117.1±2.9 112.1±4.1 < 10
TX2 132.4±1.5 131.5±2.7 141.7±3.4
TX3 138.9±3.0 138.9±2.7 139.8±3.7
TX4 136.9±2.0 135.6±2.6 140.4±3.4
TX5 116.9±0.7 115.4±3.0 < 10
상기 표 3에 나타낸 바와 같이, TX1 내지 TX5의 코팅 조성물을 이용하여 코팅층(114)을 형성한 이후, 접촉각을 측정한 결과를 확인하였다. TX1 및 TX5는 후진 접촉각이 10도 미만으로 측정되었다. 즉, 코팅 조성물을 제조하기 위한 최적의 범위를 벗어나게 되는 경우, 물방울이 피닝(Pinning)되는 현상이 발생하는 것을 확인하였다. 반면 TX2 내지 4에서는 피닝 현상이 발생하지 않음을 확인하여 우수한 방수 효과를 나타낼 수 있음을 확인하였다.
3. 내오염성 평가
설비 외부에 상기 실시예에 따른 코팅층(114)을 형성한 렌즈(113)를 모형카메라에 부착하고, 4일 간 일반도로 주행 환경에 노출되도록 하였다. 비교예(Con)로는 코팅층(114)이 형성되지 않은 동일한 렌즈(113)를 사용하였으며, 각 실시예에 모형카메라는 차량의 동일한 위치에 부착하였다.
그 뒤 실험 전후의 렌즈(113)의 오염 정도를 유관으로 평가하였고, 객관적인 비교를 위하여 코팅층(114)이 형성되지 않은 비교예와 비교하여 그 결과를 1 내지 10의 지수로 평가하여 하기의 표 4에 나타내었다. 하기의 지수는 그 숫자가 낮을수록 내오염성이 우수한 것이다.
Con TX1 TX2 TX3 TX4 TX5
내오염성 10 7 3 3 3 8
(단위: 지수)상기 표 4를 참조하면, 렌즈(113)에 코팅층(114)을 형성하는 경우 차량의 외부에 라이더 센서 또는 카메라를 설치하면서 렌즈(113)가 외부로 노출되도록 하여도 높은 내오염성을 오랜 기간 분석하기 용이한 형태로 이미지 데이터를 수집할 수 있다는 점을 알 수 있다. 특히 TX2 내지 TX4에 의하는 경우 코팅층(114)에 의한 내오염성이 매우 우수하다는 점을 확인할 수 있다.
도 4(a) 및 도4(b)는 본 발명에 따른 제1 영상 및 제2 영상을 나타낸 도면이다.
제1 영상은 고정된 제1 영상 획득부(110)에서 촬영되는 것으로서, Field of View가 고정되어 있을 수 있다. 제2 영상은 매니퓰레이터(11)에 설치된 제2 영상 획득부(120)에서 촬영되는 것으로서, 매니퓰레이터(11) 동작에 따라 Field of View가 고정되지 않고, 계속하여 움직일 수 있다.
도 5는 본 발명에 따른 매니퓰레이터 제어 방법을 나타낸 도면이다.
도 5에 따른 매니퓰레이터(11) 제어 방법의 수행 주체는 제어부(130) 또는 제어부(130)에 포함되는 프로세서(131)일 수 있다. 또한, 본 발명에 따른 제어 방법에 대한 설명 중 상술한 설명과 동일하거나 중복되는 내용은 생략될 수 있다.
도 5에 따르면, 본 발명에 따른 제어 방법은, 제1 영상 획득부(110) 및 제2 영상 획득부(120)에 대한 동작 명령 생성을 생성하고 전송하는 단계(S1100)로 개시될 수 있다.
본 발명에 따른 제어 방법은, 제1 영상 획득부(110)로부터 타겟(10)을 촬영한 제1 영상을 수신하는 단계(S1210), 제2 영상 획득부(120)로부터 타겟(10)을 촬영한 제2 영상을 수신하는 단계(S1220), 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계(S1310) 및 제2 영상으로부터 2차원 정보를 획득하는 단계(S1320)를 더 포함할 수 있다.
또한, 본 발명에 따른 제어 방법은, ROI 이미지 및 2차원 정보를 기초로 타겟(10)의 특징을 학습하여 인식하는 단계(S1400) 및 인식 결과를 기초로, 매니퓰레이터(11)가 타겟(10)에 대한 동작을 수행하도록 제어하는 단계(S1500)를 더 포함할 수 있다.
제1 영상 획득부(110)로부터 타겟(10)을 촬영한 제1 영상을 수신하는 단계(S1210)는 Hand-to-Eye 방식으로 촬영된 제1 영상을 수신하는 단계일 수 있다. 제2 영상 획득부(120)로부터 타겟(10)을 촬영한 제2 영상을 수신하는 단계(S1220)는 Hand-in-Eye 방식으로 촬영된 제2 영상을 수신하는 단계일 수 있다. 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계(S1310)는 깊이 정보를 기초로 타겟(10)을 포함하는 ROI 이미지를 획득할 수 있다. 제어부(130)는 제1 영상의 깊이 정보를 기초로, 깊이 이미지를 획득하고, 깊이 이미지 중 ROI 이미지를 획득할 수 있다. ROI 이미지를 획득하는 알고리즘은 YOLO 알고리즘일 수 있다. YOLO 알고리즘은 오브젝트 검출을 위한 알고리즘으로서, 영상 속 물체를 찾아내기 위한 알고리즘일 수 있다. YOLO 알고리즘은 깊이 정보를 기초로 타겟(10)을 검출하고 타겟(10)에 대한 ROI 이미지를 획득할 수 있다. 이에 대한 내용은 도 6에서 후술한다.
제2 영상으로부터 2차원 정보를 획득하는 단계(S1320)는 제2 영상의 영상 박스(box)와 타겟(10)의 윤곽선을 기초로 2차원 정보를 획득하는 단계일 수 있다. 이에 대한 내용은 도 7에서 후술한다.
도 6은 본 발명에 따른 제1 영상을 기초로 ROI 이미지를 획득하는 과정을 나타낸 도면이다.
도 6에 따르면, 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계(S1310)는 제1 영상(원본 이미지, Original Image)를 획득하는 단계(S1311), 제1 영상을 스레숄딩(thresholding)하는 단계(S1312), 스레숄딩(thresholding)된 제1 영상에 대한 객체 인식(Object Detection)으로 타겟(10)을 인식하는 단계(S1313), 인식 타겟(10)에 대한 깊이(Depth) 이미지를 획득하는 단계(S1314) 및 깊이 이미지로부터 타겟(10)에 대한 ROI 이미지를 획득하는 단계(S1315)를 포함할 수 있다. 스레숄딩(thresholding)이란 객체 인식을 위하여 타겟(10)의 픽셀 강도와 배경 강도의 차이를 이용하여, 영상을 분할하는 방법일 수 있다. 주로 스레숄딩(thresholding)은 Opencv로 수행될 수 있다.
도 7은 본 발명에 따른 제2 영상을 기초로 2차원 정보를 획득하는 과정을 나타낸 도면이고, 도 8(a) 및 도 8(b)는 본 발명에 따른 제2 영상을 기초로 회전 각도를 획득하는 과정을 나타낸 도면이다.
도 7에 따르면, 제2 영상으로부터 2차원 정보를 획득하는 단계(S1320)는, 제2 영상을 스레숄딩(thresholding)하는 단계(S1321), 스레숄딩 이후 딥 러닝 알고리즘을 기반으로 타겟(10)의 윤곽선(contour)을 감지하는 단계(S1322) 및 윤곽선을 기초로 타겟(10)의 회전 각도를 획득하는 단계(S1323)를 포함할 수 있다.
도 8(a) 및 도 8(b)에 따르면, 윤곽선을 기초로 타겟(10)의 회전 각도를 획득하는 단계(S1323)는 제2 영상에 대한 영상 박스를 기준으로 기준선을 획득하는 단계, 복수의 윤곽선 중 대표 윤곽선을 획득하는 단계 및 대표 윤곽선과 기준선 사이의 2차원 각도를 획득하는 단계를 포함할 수 있다. 이때, 2차원 각도는 기준선을 기준으로 한 타겟(10)의 회전 각도일 수 있다.
이때, 대표 윤곽선은 복수의 윤곽선 중 임의로 선택된 하나일 수 있다. 또한, 대표 윤곽선은 복수의 윤곽선 중 미리 정해진 기준에 따라 선택된 하나일 수 있다. 일 예로, 대표 윤곽선은 복수의 윤곽선 중 가장 길이가 긴 윤곽선일 수 있다.
이때, 타겟(10)의 회전 각도
Figure 112020141344058-pat00008
는 하기의 수학식 1을 기초로 생성될 수 있으며, 상술한 회전 방향은 회전 각도
Figure 112020141344058-pat00009
가 0이 되는 방향일 수 있다.
[수학식 1]
Figure 112020141344058-pat00010
(단,
Figure 112020141344058-pat00011
: YOLO에서 사용되는 Bounding Box 좌표,
Figure 112020141344058-pat00012
: 회전각도, 단위는 °)
또한, 도 8(a) 및 도 8(b)에 따른 타겟(10)의 회전 각도
Figure 112020141344058-pat00013
는 하기의 수학식 2를 예시로 할 수 있다.
[수학식 2]
Figure 112020141344058-pat00014
도 9는 본 발명에 따른 매니퓰레이터의 동작을 제어하는 과정을 나타낸 도면이다.
도 9에 따르면, 인식 결과를 기초로, 매니퓰레이터가 타겟(10)에 대한 동작을 수행하도록 제어하는 단계(S1500)는, 회전 각도를 기초로 매니퓰레이터의 회전 방향을 획득하는 단계(S1510) 및 회전 방향을 기초로 매니퓰레이터의 동작을 제어하는 단계(S1520)를 포함할 수 있다.
회전 각도를 기초로 매니퓰레이터의 회전 방향을 획득하는 단계(S1510)는 회전 각도
Figure 112020141344058-pat00015
가 0°가 되는 방향일 수 있다. 이때, 도출되는 회전 방향은 2개의 방향일 수 있으며, 도 8에 따르면, 제어부(130)는 제1 방향 및 제2 방향 중 보다 작은 각도만큼 움직이는 방향을 회전 방향으로 선택할 수 있다.
제어부(130)는 제2 영상의 기준선과 대표 윤곽선이 일치하도록 매니퓰레이터를 회전할 수 있다. 이러한 과정을 통하여, 제어부(130)는 매니퓰레이터의 동작을 제어하여 타겟(10)에 대하여 미리 정해진 동작을 수행하기 위한 위치로 매니퓰레이터를 움직일 수 있다.
또한, 본 발명에 따른 제어 시스템은 하기와 같은 사양의 제어부(130) 및 매니퓰레이터를 포함할 수 있다.
Figure 112020141344058-pat00016
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 모델링하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 모델링되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.
앞에서 설명된 본 발명의 어떤 실시 예들 또는 다른 실시 예들은 서로 배타적이거나 구별되는 것은 아니다. 앞서 설명된 본 발명의 어떤 실시 예들 또는 다른 실시 예들은 각각의 구성 또는 기능이 병용되거나 조합될 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 타겟
11: 매니퓰레이터
110: 제1 영상 획득부
120: 제2 영상 획득부
130: 제어부

Claims (8)

  1. 타겟을 비전 인식하는 매니퓰레이터 제어 시스템에 있어서,
    상기 비전 인식을 위하여 상기 매니퓰레이터와 이격되어 상기 타겟을 촬영하는 제1 영상 획득부;
    상기 비전 인식을 위하여 상기 매니퓰레이터에 설치되어 상기 타겟을 촬영하는 제2 영상 획득부; 및
    상기 제1 영상 획득부 및 상기 제2 영상 획득부로부터 수신한 영상으로부터 상기 타겟의 특징을 학습하고, 상기 학습 결과를 기초로 상기 매니퓰레이터를 제어하는 제어부;를 포함하되,
    상기 제어부는,
    상기 제1 영상 획득부로부터 제1 영상을 수신하고, Hand-to-Eye 방식을 통하여 상기 타겟의 깊이 정보를 상기 제1 영상으로부터 획득하고, 상기 제2 영상 획득부로부터 제2 영상을 수신하고, Hand-in-Eye 방식을 통하여 상기 타겟의 2차원 정보를 상기 제2 영상으로부터 획득하며,
    상기 2차원 정보는 상기 매니퓰레이터의 회전 각도 및 회전 방향을 포함하고,
    상기 제2 영상 획득부의 회전 축은 상기 매니퓰레이터가 회전하는 축과 동일하며,
    상기 제2 영상 획득부는 상기 매니퓰레이터가 회전함에 따라 함께 회전하고,
    상기 회전 각도는 상기 제2 영상에 대한 영상 박스를 기준으로 획득된 기준선 및 대표 윤곽선 사이의 2차원 각도이며,
    상기 회전 방향은 상기 회전 각도가 0°가 되는 제1 방향 및 제2 방향 중에서, 더 작은 각도로 움직이는 방향인 것인,
    매니퓰레이터 제어 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 회전 각도는 하기의 수학식 1을 기초로 생성되는 것인,
    매니퓰레이터 제어 시스템.
    [수학식 1]
    Figure 112022019044703-pat00026

    (단,
    Figure 112022019044703-pat00027
    : YOLO에서 사용되는 Bounding Box 좌표,
    Figure 112022019044703-pat00028
    : 회전각도, 단위는 °)
  5. 매니퓰레이터와 이격된 제1 영상 획득부 및 상기 매니퓰레이터에 설치된 제2 영상 획득부를 통하여 타겟을 비전 인식하는 매니퓰레이터 제어 방법에 있어서,
    상기 제1 영상 획득부로부터 상기 타겟을 촬영한 제1 영상을 수신하는 단계;
    상기 제2 영상 획득부로부터 상기 타겟을 촬영한 제2 영상을 수신하는 단계;
    상기 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계;
    상기 제2 영상으로부터 2차원 정보를 획득하는 단계;
    상기 ROI 이미지 및 상기 2차원 정보를 기초로 상기 타겟의 특징을 학습하여 인식하는 단계; 및
    상기 인식 결과를 기초로, 상기 매니퓰레이터가 상기 타겟에 대한 동작을 제어하는 단계;를 포함하되,
    상기 제1 영상으로부터 깊이 정보에 기반한 ROI(Region of Interest) 이미지를 획득하는 단계는,
    상기 제1 영상을 스레숄딩(thresholding)하는 단계;
    상기 스레숄딩 이후 딥 러닝 알고리즘을 기반으로 상기 타겟을 감지하는 단계;
    상기 제1 영상속 감지된 상기 타겟에 대한 깊이(depth) 이미지를 획득하는 단계; 및
    상기 깊이 이미지를 기초로 상기 ROI 이미지를 획득하는 단계;를 포함하고,
    상기 제2 영상으로부터 2차원 정보를 획득하는 단계는,
    상기 제2 영상을 스레숄딩(thresholding)하는 단계;
    상기 스레숄딩 이후 딥 러닝 알고리즘을 기반으로 상기 타겟의 윤곽선(contour)을 감지하는 단계; 및
    상기 윤곽선을 기초로 상기 타겟의 회전 각도를 획득하는 단계;를 포함하며,
    상기 매니퓰레이터가 상기 타겟에 대한 동작을 제어하는 단계는,
    상기 회전 각도를 기초로 상기 매니퓰레이터의 회전 방향을 획득하는 단계; 및
    상기 회전 방향을 기초로 상기 매니퓰레이터의 동작을 제어하는 단계;를 포함하고,
    상기 2차원 정보는 상기 매니퓰레이터의 회전 각도 및 회전 방향을 포함하고,
    상기 제2 영상은 상기 매니퓰레이터가 회전하는 축과 동일한 회전축을 기준으로 회전하는 상기 제2 영상 획득부에 의하여 생성되고,
    상기 제2 영상은 상기 매니퓰레이터가 회전함에 따라 함께 회전하고,
    상기 회전 각도는 상기 제2 영상에 대한 영상 박스를 기준으로 획득된 기준선 및 대표 윤곽선 사이의 2차원 각도이며,
    상기 회전 방향은,
    상기 회전 각도가 0°가 되는 제1 방향 및 제2 방향 중에서, 더 작은 각도로 움직이는 방향인 것인,
    매니퓰레이터 제어 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 회전 각도는 하기의 수학식 1을 기초로 생성되는 것인,
    매니퓰레이터 제어 방법.
    [수학식 1]
    Figure 112022019044703-pat00029

    (단,
    Figure 112022019044703-pat00030
    : YOLO에서 사용되는 Bounding Box 좌표,
    Figure 112022019044703-pat00031
    : 회전각도, 단위는 °)
  8. 제5항에 있어서,
    상기 매니퓰레이터가 상기 타겟에 대한 동작을 제어하는 단계는,
    상기 회전 각도를 기초로 상기 매니퓰레이터의 회전 방향을 획득하는 단계; 및
    상기 회전 방향을 기초로 상기 매니퓰레이터의 동작을 제어하는 단계;를 포함하는 것인, 매니퓰레이터 제어 방법.
KR1020200183917A 2020-12-24 2020-12-24 매니퓰레이터 제어 시스템 및 제어 방법 KR102483351B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200183917A KR102483351B1 (ko) 2020-12-24 2020-12-24 매니퓰레이터 제어 시스템 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200183917A KR102483351B1 (ko) 2020-12-24 2020-12-24 매니퓰레이터 제어 시스템 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20220092288A KR20220092288A (ko) 2022-07-01
KR102483351B1 true KR102483351B1 (ko) 2022-12-30

Family

ID=82396943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183917A KR102483351B1 (ko) 2020-12-24 2020-12-24 매니퓰레이터 제어 시스템 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102483351B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016052695A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 ロボット装置、およびロボット装置の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101789071B1 (ko) * 2011-01-13 2017-10-24 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
KR102095089B1 (ko) 2017-12-21 2020-03-31 한국과학기술원 디지털 에이전트 이동 매니퓰레이터 및 그 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016052695A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 ロボット装置、およびロボット装置の制御方法

Also Published As

Publication number Publication date
KR20220092288A (ko) 2022-07-01

Similar Documents

Publication Publication Date Title
CN110719828B (zh) 由数据中心机器人执行的方法和数据中心机器人系统
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN102929288B (zh) 基于视觉伺服的输电线路无人机巡检云台控制方法
US20140088765A1 (en) Method for invalidating sensor measurements after a picking action in a robot system
CN107009391B (zh) 机器人抓取方法
WO2020107372A1 (zh) 拍摄设备的控制方法、装置、设备及存储介质
CN110666805A (zh) 一种基于主动视觉的工业机器人分拣方法
US20180141213A1 (en) Anti-collision system and anti-collision method
CN114347015B (zh) 一种机器人抓取控制方法、系统、装置及介质
CN110298885B (zh) 一种非光滑类球体目标的立体视觉识别方法和定位夹持检测装置及其应用
Zheng et al. Industrial part localization and grasping using a robotic arm guided by 2D monocular vision
CN108955525B (zh) 透视投影式机器学习图像数据标注系统及方法
CN112907586A (zh) 基于视觉的机械臂控制方法、装置、系统和计算机设备
KR102483351B1 (ko) 매니퓰레이터 제어 시스템 및 제어 방법
CN104760812A (zh) 基于单目视觉的传送带上产品实时定位系统和方法
CN109625922A (zh) 一种用于智能制造的自动上下料系统及方法
CN109732601B (zh) 一种自动标定机器人位姿与相机光轴垂直的方法和装置
JP2010131685A (ja) ロボット装置および撮像方法
Lin et al. Vision based object grasping of industrial manipulator
CN207901217U (zh) 一种基于多目摄像头倾角目标识别的agv机器人
Chang et al. Automatic robot assembly with eye-in-hand stereo vision
CN116443256A (zh) 用于空中加油的方法、系统及计算机程序产品
CN105196297B (zh) 一种图符智能涂色系统及其工作流程
KR102589433B1 (ko) 스테레오 카메라 기반 미학습 물체 검출 방법 및 시스템
Rostkowska et al. Improving self-localization efficiency in a small mobile robot by using a hybrid field of view vision system

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant