KR101412513B1 - 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법 - Google Patents

프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법 Download PDF

Info

Publication number
KR101412513B1
KR101412513B1 KR1020130085164A KR20130085164A KR101412513B1 KR 101412513 B1 KR101412513 B1 KR 101412513B1 KR 1020130085164 A KR1020130085164 A KR 1020130085164A KR 20130085164 A KR20130085164 A KR 20130085164A KR 101412513 B1 KR101412513 B1 KR 101412513B1
Authority
KR
South Korea
Prior art keywords
image
robot arm
original images
resizing
images
Prior art date
Application number
KR1020130085164A
Other languages
English (en)
Inventor
이종화
길도현
이창수
Original Assignee
(주)나임기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나임기술 filed Critical (주)나임기술
Priority to KR1020130085164A priority Critical patent/KR101412513B1/ko
Application granted granted Critical
Publication of KR101412513B1 publication Critical patent/KR101412513B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법은 다 채널의 영상과, 각 채널의 영상을 설정된 크기로 하나의 영상으로 리사이징 결합된 영상을 획득하고, 먼저 리사이징된 영상에 포함된 각 마크를 인식하여 인식된 마크의 좌표정보에 따라 로봇팔을 1차적으로 목표위치로 이동 제어한 후, 상기 획득된 다 채널에 대한 각각의 영상으로부터 해당 영상에 포함된 마크를 인식하여 마크의 좌표 정보에 따라 로봇팔을 최종적인 목표위치로 이동 제어 함으로서, 로봇팔의 선 이동을 빠르게 수행할 수 있으며, 로봇팔과 대상물의 얼라인 또는 로봇팔에 의해 이송되는 물체의 정확한 위치를 파악할 수 있도록 한 것이다.

Description

프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법{Method and system for controlling robot arm using frame grabber board}
본 발명은 프레임 그래버 보드(Frame Grabber Board)를 이용한 로봇팔 제어시스템 및 그 방법에 관한 것으로, 다 채널에 대한 각각의 원영상과, 각 채널의 원영상을 설정된 크기로 하나의 영상으로 리사이징시킨 영상 각각에 포함된 마크 인식에 따른 각각의 좌표정보에 따라 로봇팔을 단계적으로 목표위치로 이동시킬 수 있도록 한 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법에 관한 것이다.
일반적으로, 프레임 그래버 보드(Frame grabber board)는 아날로그 형태의 영상신호를 컴퓨터에서 처리 가능한 디지털 신호로 변환해서 다른 장치로 출력하는 장치 즉, 영상을 캡처해서 파일로 저장할 수 있게 하는 보드로, 입력한 영상을 보관하는 프레임 버퍼(Frame Buffer)를 두어 이곳에 입력된 영상을 컴퓨터의 중앙처리장치(CPU)에 입력해서 저장할 수 있도록 하는 보드이다.
이러한 프레임 그래버 보드는 다양한 영상 처리장치에 이용하는 것으로, 산업용 로봇팔의 위치 이동을 위한 영상 제공장치로서도 많이 이용되고 있는 실정이다. 즉, 산업용 로봇팔은 얼라인 혹은 물체의 이송 기능을 수행하게 되는데 얼라인 혹은 물체의 정확한 이송을 위해 물체에 부여된 마크를 다수의 카메라 및 프레임 그래버 보드를 이용하여 물체의 정확한 좌표를 계산함으로서 로봇팔의 정확한 위치 이동을 제어하는 것이다.
이와 같이 산업용 로봇팔의 위치 이동 제어를 위해 프레임 그래버 보드를 이용하는 경우에 대한 동작을 간단하게 살펴보기로 하자.
먼저, 얼라인 혹은 이송을 위한 물체의 일부분(모서리 부분)에 부여된 마크를 인식하기 위해 다수의 카메라에 의한 영상이 촬영된다. 이렇게 촬영된 마크 정보가 포함된 영상들로부터 물체에 대한 정확한 마크 위치를 인식하고, 인식된 마크 위치에 따른 좌표정보를 이용하여 로봇팔의 이동을 제어하게 된다. 따라서, 로봇팔에 의해 해당 물체로의 얼라인 또는 물체의 이송이 가능하게 되는 것이다.
이와 같은 기존의 로봇팔의 위치 이동 제어 동작은 영상 획득, 마크 인식 및 로봇팔 이동과 같은 3단계로 이루어지게 된다.
또한, 대상 물체에 대한 마크 인식을 각각 카메라로부터 획득되는 각각의 영상을 통해 마크인식을 수행하여 인식된 마크에 대한 좌표 계산이 이루어진 상태에서 한번에 로봇팔을 해당 대상 물체로 이동시키기 때문에 로봇팔의 이동시간이 길어지게 되는 문제점이 있다.
이에, 로봇팔의 위치 이동을 좀 더 빠른 시간에 이루어지도록 하고, 대상 물체에 부여된 마크의 인식을 정확하게 하여 마크 위치에 대한 좌표 계산을 정확하게 할 수 있는 연구 개발이 필요한 실정이다.
따라서, 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로 본 발명의 목적은, 다 채널의 영상과, 각 채널의 영상을 설정된 크기로 하나의 영상으로 리사이징 결합된 영상을 획득하고, 리사이징된 영상에 포함된 각 마크를 인식하여 인식된 마크의 좌표정보에 따라 로봇팔을 1차적으로 목표위치로 이동시키고, 상기 획득된 다 채널에 대한 각각의 영상으로부터 해당 영상에 포함된 마크를 인식하여 마크의 좌표 정보에 따라 로봇팔을 최종적인 목표로 이동시키도록 한 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법을 제공함에 있다.
본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어 시스템의 일 측면에 따르면, 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 각각의 영상을 촬영하여 입력하는 다수의 카메라; 다수의 카메라를 통해 입력되는 각각의 원영상과, 각각의 원영상을 설정된 크기로 리사이즈시킨 하나의 리사이징 영상을 생성하여 상기 각각의 원영상과 상기 생성된 리사이징 영상을 각각 전송하는 영상처리부; 및 상기 영상 처리부에서 전송되는 리사이징 영상에 포함된 마크 정보와 다수의 원영상에 포함된 마크 정보에 대한 각각의 좌표값을 생성하고, 생성된 각각의 좌표값을 이용하여 대상물이 위치한 목표위치로 상기 로봇팔을 단계적으로 이동제어하는 얼라인 제어부를 포함할 수 있다.
상기 영상 처리부와 상기 얼라인 제어부간 영상 송수신은 PCI버스를 통해 송수신될 수 있다.
상기 영상 처리부는, 상기 다수의 카메라로부터 입력되는 각각의 영상을 인터페이싱하는 카메라 인터페이스; 상기 카메라 인터페이스를 통해 인터페이싱되는 각각의 영상을 설정된 크기로 리사이즈시켜 하나의 리사이징된 영상을 생성하는 영상 생성부; 상기 카메라 인터페이스를 통해 인터페이싱되는 각각의 원영상과, 상기 영상 생성부를 통해 생성된 리사이징 영상을 각각 저장하는 메모리; 및 상기 메모리에 저장된 각각의 원영상과 리사이징된 영상을 상기 얼라인 제어부로 순차적으로 전송하는 통신부를 포함할 수 있다.
상기 메모리는 각각의 원영상을 각각 저장하는 다수의 FIFO와, 상기 리사이징된 영상을 저장하는 FIFO로 구성될 수 있다.
상기 얼라인 제어부는, 상기 영상 처리부로부터 전송되는 각각의 원영상과 리사이징된 영상을 수신하는 통신부; 상기 통신부를 통해 수신되는 각각의 원 영상과 리사이징된 영상을 각각 저장하는 메모리; 상기 메모리에 저장된 리사이징된 영상에 포함된 마크 정보와, 상기 메모리에 저장된 각 원 영상들에 포함된 마크 정보를 각각 인식하여 인식된 마크 정보에 따라 리사이징 영상에 대한 좌표값과 원 영상들에 대한 좌표값을 각각 생성하는 좌표값 생성부; 상기 좌표값 생성부에서 생성된 리사이징 영상에 대한 좌표값을 이용하여 상기 로봇팔을 대상물의 목표위치로 1차적으로 이동 제어한 후, 상기 원영상들에 대한 좌표값을 이용하여 1차적으로 이동된 로봇팔을 최종 목표 위치로 2차 이동 제어하는 제어부를 포함할 수 있다.
상기 메모리는 각각의 원영상과 리사이징된 영상을 하나의 메모리내 서로 다른 영역에 각각 저장하거나, 각각의 원영상과 리사이징된 영상을 각각 저장하는 두개의 메모리를 포함할 수 있다.
상기 좌표값 생성부는, 상기 메모리에 저장된 리사이징된 영상에 포함된 마크 정보를 인식하여 인식된 마크 정보에 따라 리사이징 영상에 대한 로봇팔 제1 위치 이동 위치 좌표값을 생성하는 제1 좌표값 생성부; 및 상기 메모리에 저장된 원 영상들에 포함된 마크 정보를 인식하여 인식된 마크 정보에 따라 원영상에 대한 로봇팔 최종 이동 위치 좌표값을 생성하는 제2 좌표값 생성부를 포함할 수 있다.
한편, 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어 방법의 일 측면에 따르면, 다수의 카메라를 통해 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 각각의 영상을 입력하는 단계; 다수의 카메라를 통해 입력되는 각각의 원영상과, 각각의 원영상을 설정된 크기로 리사이즈시킨 하나의 리사이징 영상을 생성하여 상기 각각의 원영상과 상기 생성된 리사이징 영상을 각각 전송하는 단계; 및 상기 전송되는 리사이징 영상에 포함된 마크 정보와 다수의 원영상에 포함된 마크 정보에 대한 각각의 좌표값을 생성하고, 생성된 각각의 좌표값을 이용하여 대상물이 위치한 목표위치로 상기 로봇팔을 단계적으로 이동 제어하는 단계를 포함할 수 있다.
상기 원영상과 리사이징 영상의 전송은 PCI버스를 통해 전송할 수 있다.
상기 전송하는 단계는, 상기 다수의 카메라로부터 입력되는 각각의 원영상을 설정된 크기로 리사이즈시켜 하나의 리사이징된 영상을 생성하는 단계; 상기 입력되는 각각의 원영상과, 상기 리사이징된 영상을 각각 메모리에 저장한 후, 메모리에 저장된 각각의 원영상과 리사이징된 영상을 순차적으로 전송하는 단계를 포함할 수 있다.
상기 이동 제어하는 단계는, 상기 전송되는 각각의 원영상과 리사이징된 영상을 수신하는 단계; 상기 수신된 각각의 원 영상과 리사이징된 영상을 각각 저장하는 단계; 상기 저장된 리사이징된 영상에 포함된 마크 정보와, 상기 저장된 각 원 영상들에 포함된 마크 정보를 각각 인식하여 인식된 마크 정보에 따라 리사이징 영상에 대한 좌표값과 원 영상들에 대한 좌표값을 각각 생성하는 단계; 및 상기 생성된 리사이징 영상에 대한 좌표값을 이용하여 상기 로봇팔을 대상물의 목표위치로 1차적으로 이동 제어한 후, 상기 원영상들에 대한 좌표값을 이용하여 1차적으로 이동된 로봇팔을 최종 목표 위치로 2차 이동 제어하는 단계를 포함할 수 있다.
본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법은 다 채널에 대한 각각의 영상과, 각 채널의 영상을 설정된 크기로 하나의 영상으로 리사이징 결합된 영상을 획득하고, 리사이징된 영상에 포함된 각 마크를 인식하여 인식된 마크의 좌표정보에 따라 로봇팔을 1차적으로 목표위치로 이동제어한 후, 상기 획득된 다 채널에 대한 각각의 영상으로부터 해당 영상에 포함된 마크를 인식하여 마크의 좌표 정보에 따라 로봇팔을 최종적인 목표로 이동 제어 함으로서, 로봇팔의 선 이동을 빠르게 수행할 수 있으며, 로봇팔과 대상물의 얼라인 또는 로봇팔에 의해 이송되는 물체의 정확한 위치를 파악할 수 있는 효과를 가지게 된다.
도 1은 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어 시스템에 대한 블록 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 시스템에서 촬영된 다 채널의 원 영상과 저장되는 저장 영상에 대한 일 예를 나타낸 도면이다.
도 3은 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어방법에 대한 동작 플로우챠트를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어 시스템 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명해보기로 하자.
도 1은 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어 시스템에 대한 블록 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 시스템에서 촬영된 다 채널의 원 영상과, 저장되는 원영상 및 리사이징 영상에 대한 일 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 로봇팔 제어 시스템은 다수의 카메라(10-1, 10-2, 10-3), 프레임 그래버 보드(20), 얼라인 처리기(30) 및 로봇팔(40)을 포함한다.
다수의 카메라(10-1, 10-2, 10-3)는 로봇팔에 의한 얼라인 처리를 위한 대상물에 각각 부여된 마크를 인식하기 위해 각각의 마크 부여 위치에 설치되어 해당 마크를 포함하는 각각의 영상을 촬영하여 프레임 그래버 보드(20)로 제공한다.
프레임 그래버 보드(20)는 각 카메라(10-1, 10-2, 10-3)를 통해 각각 촬영되어 제공되는 각 영상(원영상)들을 각각 저장하고, 각 영상(원영상)을 소정 비율로 리사이징(축소)하고 이를 결합하여 하나의 영상(리사이징 영상)으로 저장한 후, 각 원영상들과 리사이징된 영상을 각각 얼라인 처리기(30)로 전송한다. 즉, 복수의 원영상을 축소하여 하나의 리사이징 영상으로 저장하는 것이므로, 본 발명에서 리사이징은, 원영상을 축소하는 것이다.
여기서, 도 1에는 카메라(10-1, 10-2, 10-3)가 3대가 존재하여 3채널이지만 실질적으로 상기 3채널과 리사이징된 영상을 별도로 생성하여 얼라인 처리기(30)로 전송하기 때문에 4채널이 되는 것이다. 즉, 제1,2,3채널은 각각의 원영상 채널이고, 제4채널은 리사이징된 영상에 대한 채널이다.
또한, 상기한 원영상은 도 2의 (a)와 같이 각 카메라(10-1, 10-2, 10-3)를 통해 각각 촬영된 영상이고, 리사이징된 영상은 도 2(b)와 같이 상기 각 원 영상들을 소정 비율로 축소하고 이를 결합하여 새로운 하나의 리사이징 영상으로 생성된 것이다. 한편, 상기 4채널 프레임 그래버 보드(20)와 얼라인 처리기(30)는 PCI 버스를 통해 연결될 수 있다.
얼라인 처리기(30)는 프레임 그래버 보드(20)에서 각각 전송되는 원영상들과 리사이징된 영상을 각각 구분하여 저장한 후, 리사이징된 영상으로부터 각각의 마크를 인식하여 인식된 마크에 대한 로봇팔(40)의 선 이동위치에 대한 좌표값을 생성한다.
그리고, 생성된 선이동 위치에 대한 좌표값에 따라 로봇팔(40)을 대상물의 목표위치로 선이동시킨다. 여기서, 로봇팔(40)을 선이동시키는 동작은 도 1의 ①과 같이 로봇팔(40)을 선 이동시키게 되는데, 상기 로봇팔(40)의 선 이동을 위해 생성된 좌표값은 원영상이 축소된 리사이징된 영상에 포함된 마크를 인식하여 생성된 것으로서 대상물의 정확한 목표위치에 대한 좌표값이 아니기 때문에 1차적으로 선 이동시에는 정확한 목표위치로 이동되지 않게 된다.
따라서, 로봇팔(40)의 목표위치로의 정확한 위치이동을 위해 상기 저장된 각 채널에 대한 원영상에 대한 각각의 마크를 상세하게 각각 인식하여 인식된 각 마크에 대한 로봇팔(40)의 위치 이동 좌표값을 생성하게 된다.
이렇게 생성된 좌표값을 이용하여 다시 1차적으로 이동된 로봇팔(40)을 상기 생성된 각 원영상에 대한 마크의 좌표값에 따라 대상물에 대한 목표위치로 이동시키게 된다. 여기서, 2차적으로 로봇팔(40)을 이동시키는 과정은 도 1의 ②와 같다.
상기에서의 각 원영상 및 리사이징 영상으로부터 마크를 인식하여 이동 좌표값을 생성하는 방법은 일반적으로 공지된 기술로서 그 상세 설명은 생략하기로 한다. 여기서, 공지된 기술로는 특허 출원번호 10-2006-0133293(얼라인 마크 인식 머신 비젼 시스템 및 얼라인 마크 인식 방법), 특허 출원번호 10-2002-0049261(얼라인 마크 패턴 인식방법)등이 있다. 그 외 다수의 마크 인식방법에 대한 공지 기술을 본 발명에 적용하여 실시할 수 있음을 이해해야 할 것이다.
상기한 구성 및 동작에 대하여 좀 더 구체적으로 설명해 보기로 하자.
상기 프레임 그래버 보드(20)는 카메라 인터페이스(21), 리사이즈 영상 생성부(22), FIFO1-FIFO4(23-26) 및 통신부(27)를 포함할 수 있다.
카메라 인터페이스(21)는 카메라(10-1, 10-2, 10-3)로부터 입력되는 각각의 영상을 대응되는 FIFO2-FIFO4(24-26)에 저장함과 동시에 입력되는 각각의 원영상을 리사이즈 영상 생성부(22)로 제공한다.
리사이즈 영상 생성부(22)는 카메라 인터페이스(21)로부터 제공되는 각각의 원영상을 소정 비율로 축소하고 이를 결합하여 하나의 리사이징 영상으로 생성한 후, 생성된 리사이징 영상을 FIFO1(23)에 저장한다. 여기서, 원영상과 리사이징된 영상은 도 2의 (a)와 같으며, 각 FIFO1-FIFO4(23-26)에 저장되는 각각의 영상은 도 2(b)에 도시된 바와 같다.
통신부(27)는 상기 각 FIFO1-FIFO4(23-26)으로부터 출력되는 각각의 원영상과 리사이징된 영상을 얼라인 처리기(30)로 순차적으로 전송한다. 여기서, 통신부(27)와 얼라인 처리기(30)는 PCI버스를 통해 연결될 수 있다.
한편, 도 1에 도시된 얼라인 처리기(30)는 통신부(31), 영상 저장부(32), 제1,2 좌표 생성부(33, 34) 및 제어부(35)를 포함할 수 있다. 여기서, 영상 저장부(32)는 도 1에 도시된 바와 같이 프레임 그래버 보드(20)의 통신부(27)를 통해 전송되는 원영상을 저장하는 저장영역과 리사이징된 영상을 저장하는 저장영역을 각각 구비할 수 있으며, 또한, 원영상과 리사이징 영상을 서로 다른 두 개의 메모리에 각각 저장할 수도 있음을 이해해야 할 것이다. 그리고, 리사이징된 영상을 먼저 얼라인 처리기(30)로 전송한 후, 원영상을 얼라인 처리기(30)로 전송함이 더욱 바람직할 것이다. 즉, 본 발명에서는 리사이징된 영상에 포함된 각각의 마크를 인식하여 인식된 마크에 대한 좌표값을 이용하여 로봇팔을 먼저 선 이동 제어한 후, 원영상에 포함된 각각의 마크를 인식하여 그 인식된 마크에 대한 좌표값을 이용하여 선 이동된 로봇팔을 최종적인 목표위치로 이동되도록 제어하는 것이기 때문에 프레임 그래버 보드(20)의 통신부(27)는 리사이징된 영상을 먼저 얼라인 처리기(30)로 전송하고, 그 후에 원영상을 얼라인 처리기(30)로 전송함이 바람직할 것이다.
얼라인 처리기(30)의 통신부(31)는 프레임 그래버 보드(20)의 통신부(27)를 통해 순차적으로 전송되는 도 2 (a)에서와 같은 원영상과 리사이징된 영상을 영상 저장부(32)의 대응되는 저장 영역에 도 2 (b)와 같이 각각 저장한다. 여기서, 얼라인 처리기(30)의 통신부(31)와 프레임 그래버 보드(20)의 통신부(27)는 PCI 버스를 통해 연결될 수 있다.
상기 제1 좌표 생성부(33)는 영상 저장부(32)에 각각 저장된 원영상 및 리사이징 영상중 리사이징 영상을 해당 저장 영역으로부터 리드하고, 리드된 리사이징 영상에 포함된 각각의 마크를 인식한 후, 인식된 마크에 대한 좌표값 즉, 로봇팔(40)을 목표위치로 선 이동시키기 위한 좌표값을 계산하여 계산된 좌표값을 제어부(35)로 제공한다.
그리고, 제2 좌표 생성부(34)는 영상 저장부(32)에 각각 저장된 원영상 및 리사이징 영상중 원영상이 저장된 저장 영역으로부터 원영상을 리드하고, 리드된 원영상 각각에 포함된 각각의 마크를 인식한 후, 인식된 마크에 대한 좌표값 즉, 로봇팔(40)을 목표위치로 최종적으로 이동시키기 위한 좌표값을 계산하여 계산된 좌표값을 제어부(35)로 제공한다. 여기서, 제1,2 좌표 생성부(33, 34)에서 리사이징된 영상과 원영상으로부터 마크를 인식하여 각각의 좌표값을 생성하는 방법에 대해서는 상기에서 설명한 바와 같이 공지된 기술로서 상세 설명은 생략하기로 한다. 그리고, 상기한 공지된 특허에 기술된 방법 이외의 다양한 다른 공지의 방법에 의해 마크인식 및 좌표값 생성이 이루어질 수도 있음을 이해해야 할 것이다.
제어부(35)는 제1 좌표 생성부(33)로부터 제공되는 리사이징된 영상에 대한 마크 좌표값을 이용하여 로봇팔(40)을 제어하여 도 1에 도시된 ①의 위치로 로봇팔(40)을 선 이동 제어한다.
로봇팔(40)의 선 이동 제어가 이루어진 후, 제어부(35)는 제2 좌표 생성부(34)로부터 제공되는 원영상 각각에 대한 마크 좌표값을 이용하여 로봇팔(40)을 도 1에 도시된 ①의 위치에서 ②의 위치 즉, 최종 대상물이 위치한 목표위치로 최종적으로 이동되도록 제어한다.
이하, 상기한 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어 시스템에 대한 구성과 동작에 상응하는 본 발명에 따른 로봇팔 제어 방법에 대하여 첨부한 도 3에 도시된 동작 플로우챠트를 이용하여 단계적으로 설명해 보자.
도 3은 본 발명에 따른 프레임 그래버 보드를 이용한 로봇팔 제어방법에 대한 동작 플로우챠트를 나타낸 도면이다.
도 3을 참조하면, 먼저 대상물에 마킹된 다수의 마크를 인식하기 위해 각각의 마크의 위치에 설치된 다수의 카메라를 통해 해당 영상을 촬영하여 입력한다(S101).
각 카메라에 의해 촬영되어 입력되는 각 채널에 대한 각각의 영상을 소정 비율로 축소하고 이를 결합하여 하나의 리사이징 영상을 생성한 후, 로봇팔의 선 위치 이동을 제어하기 위한 얼라인 처리기로 전송한다(S102).
그리고, 상기 각 카메라에 의해 촬영되어 입력되는 각 채널에 대한 각각의 영상을 로봇팔의 최종 위치 이동을 제어하기 위한 얼라인 처리기로 전송한다(S103).
얼라인 처리기는 각 채널에 대한 각각의 원영상들과, 원영상들을 리사이징한 새로운 하나의 영상을 각각 저장한 후(S104, S105), 먼저 저장된 리사이징된 영상을 리드하여 해당 영상에 포함된 마크를 인식하여 로봇팔의 선 위치 이동을 위한 좌표값을 생성한다(S106).
이렇게 생성된 좌표값을 이용하여 로봇팔을 대상물의 목표위치로 선 이동(1차 이동) 제어한다(S107). 여기서, 로봇팔의 선 이동 위치는 도 1의 ①의 위치에 해당된다.
로봇팔의 선 이동 제어가 완료되면, 얼라인 처리기는 저장된 각 채널에 대한 원 영상들을 리드하여 각 영상에 포함된 마크를 인식하여 로봇팔의 최종 이동 제어를 위한 각 마크에 대한 좌표값을 생성한다(S108).
상기 생성된 원영상에 대한 좌표값에 따라 1차적으로 선 이동된 로봇팔의 위치에서 대상물의 최종 목표위치로 이동되도록 제어하는 것이다(S109). 여기서, 최종적으로 로봇팔이 이동 제어되는 과정은 도 1의 ②에 도시되어 있다.
상기 S106, S108단계에서 리사이징된 영상과 원영상으로부터 마크를 인식하여 각각의 좌표값을 생성하는 방법에 대해서는 상기에서 설명한 바와 같이 공지된 기술로서 상세 설명은 생략하기로 한다. 그리고, 상기한 공지된 기술 이외의 다양한 다른 공지의 방법에 의해 마크인식 및 좌표값 생성이 이루어질 수도 있음을 이해해야 할 것이다.
결론적으로, 본 발명에 따른 프레임 그래버를 이용한 로봇팔 제어시스템 및 그 방법은 다 채널에 대한 각각의 영상과, 각 채널의 영상을 소정 비율로 축소하고 이를 결합하여 하나의 리사이징 영상을 획득하고, 리사이징된 영상에 포함된 각 마크를 인식하여 인식된 마크의 좌표정보에 따라 로봇팔을 1차적으로 목표위치로 이동시키고, 상기 획득된 다 채널에 대한 각각의 원영상으로부터 해당 영상에 포함된 마크를 인식하여 마크의 좌표 정보에 따라 로봇팔을 1차적으로 이동된 위치에서 최종적인 목표로 이동되도록 단계 이동 제어를 수행하도록 하는 것이다.
위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다.
10-1, 10-2, 10-3 : 카메라 20 : 프레임 그래버 보드
21 : 카메라 인터페이스 22 : 리사이즈 영상 생성부
23-26 : FIFO 27 : 통신부
30 : 얼라인 처리기 31 : 통신부
32 : 영상 저장부 33 : 제1 좌표 생성부
34 : 제2 좌표 생성부 35 : 제어부
40 : 로봇팔

Claims (12)

  1. 로봇팔 제어 시스템에 있어서,
    얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 각각의 영상을 촬영하여 입력하는 복수의 카메라;
    상기 복수의 카메라를 통해 입력되는 복수의 원영상과, 상기 복수의 원영상을 소정 비율로 축소하고 결합하여 생성한 리사이징 영상을 각각 전송하는 영상처리부;
    상기 리사이징 영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치의 근처로 1차 이동하고, 복수의 원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치로 2차 이동하도록 제어하는 얼라인 제어부를 포함하는 로봇팔 제어 시스템.
  2. 제1항에 있어서, 상기 영상 처리부와 상기 얼라인 제어부간 영상 송수신은 PCI버스를 통해 송수신되는 로봇팔 제어 시스템.
  3. 제1항에 있어서, 상기 영상 처리부는,
    상기 복수의 카메라로부터 입력되는 상기 복수의 원영상을 인터페이싱하는 카메라 인터페이스;
    상기 복수의 원영상을, 소정 비율로 축소하고 결합하여 리사이징 영상을 생성하는 영상 생성부;
    상기 복수의 원영상과, 상기 리사이징 영상을 각각 저장하는 제1메모리; 및
    상기 메모리에 저장된 상기 복수의 원영상과 상기 리사이징 영상을 상기 얼라인 제어부로 순차적으로 전송하는 통신부를 포함하는 로봇팔 제어 시스템.
  4. 제3항에 있어서, 상기 제1메모리는 상기 복수의 원영상을 각각 저장하는 복수의제1FIFO와, 상기 리사이징 영상을 저장하는 제2FIFO로 구성되는 로봇팔 제어 시스템.
  5. 제1항에 있어서, 상기 얼라인 제어부는,
    상기 영상 처리부로부터 전송되는 상기 복수의 원영상과 상기 리사이징 영상을 수신하는 통신부;
    상기 통신부를 통해 수신되는 상기 복수의 원영상과 상기 리사이징 영상을 각각 저장하는 제2메모리;
    상기 제2메모리에 저장된 상기 리사이징 영상에 포함된 마크 정보와, 상기 제2메모리에 저장된 상기 복수의 원영상에 포함된 마크 정보를 각각 인식하여, 상기 리사이징 영상에서의 제1좌표(대상물의 목표위치의 근처임)와 상기 복수의 원영상들에 대한 제2좌표(대상물의 목표위치에 대응함)를 각각 생성하는 좌표값 생성부;
    상기 로봇팔을 제1좌표로 1차적으로 이동 제어한 후, 상기 제2좌표로 2차 이동 제어하는 제어부를 포함하는 로봇팔 제어 시스템.
  6. 제5항에 있어서, 상기 제2메모리는,
    상기 복수의 원영상과 상기 리사이징 영상을 서로 다른 영역에 각각 저장하거나, 상기 복수의 원영상과 상기 리사이징 영상을 각각 저장하는 복수의 메모리를 포함하는 로봇팔 제어 시스템.
  7. 제5항에 있어서, 상기 좌표값 생성부는,
    상기 리사이징 영상에 포함된 마크 정보를 인식하여, 대상물의 목표위치의 근처에 해당하는 제1좌표를 생성하는 제1생성부; 및
    상기 메모리에 저장된 원영상들에 포함된 마크 정보를 인식하여, 대상물의 목표위치에 대응하는 제2좌표를 생성하는 제2생성부를 포함하는 로봇팔 제어 시스템.
  8. 로봇팔 제어 방법에 있어서,
    복수의 카메라를 통해 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 복수의 원영상을 수신하는 단계;
    상기 복수의 원영상과, 상기 복수의 원영상을 소정 비율로 축소하여 결합한 리사이징 영상을 각각 전송하는 단계; 및
    상기 리사이징 영상에 포함된 마크 정보를 이용하여, 대상물의 목표위치의 근처에 해당하는 제1좌표를 생성하여, 상기 로봇팔을 제1좌표로 이동하는 단계; 및
    상기 복수의 원영상에 포함된 마크 정보를 이용하여, 대상물의 목표위치에 대응하는 제2좌표를 생성하여, 상기 로봇팔을 제2좌표로 이동하는 단계를 포함하는 로봇팔 제어 방법.
  9. 제8항에 있어서, 상기 복수의 원영상과 리사이징 영상은 PCI버스를 통해 전송하는 로봇팔 제어 방법.
  10. 제8항에 있어서, 상기 전송하는 단계는,
    상기 복수의 카메라로부터 입력되는 상기 복수의 원영상을 소정 비율로 축소하여 결합한 리사이징 영상을 생성하는 단계;
    상기 복수의 원영상과 상기 리사이징 영상을 메모리에 저장하는 단계; 및
    상기 메모리에 저장된 상기 복수의 원영상과 상기 리사이징 영상을 순차적으로 전송하는 단계를 포함하는 로봇팔 제어 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 복수의 원영상과 상기 리사이징 영상은 상기 메모리내 서로 다른 영역에 각각 저장하거나, 서로 다른 메모리에 저장하는 로봇팔 제어 방법.

KR1020130085164A 2013-07-19 2013-07-19 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법 KR101412513B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130085164A KR101412513B1 (ko) 2013-07-19 2013-07-19 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130085164A KR101412513B1 (ko) 2013-07-19 2013-07-19 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101412513B1 true KR101412513B1 (ko) 2014-06-26

Family

ID=51134575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130085164A KR101412513B1 (ko) 2013-07-19 2013-07-19 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101412513B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679285B1 (ko) * 2015-05-12 2016-11-24 사단법인 캠틱종합기술원 영상을 이용한 자세 및 동작 분석 시스템
CN108038861A (zh) * 2017-11-30 2018-05-15 深圳市智能机器人研究院 一种多机器人协作分拣方法、系统及装置
US10154225B2 (en) 2016-11-18 2018-12-11 Electronics & Telecommunications Research Institute Frame grabber, image processing system including the same, and image processing method using the frame grabber
KR20230052774A (ko) * 2021-10-13 2023-04-20 (주)나임기술 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100001754A (ko) * 2008-06-27 2010-01-06 한국산업기술대학교산학협력단 상용 프레임 그래버를 이용한 영상 사격 시뮬레이션 시스템
KR20100112310A (ko) * 2009-04-09 2010-10-19 의료법인 우리들의료재단 수술용 로봇의 제어 방법 및 그 시스템
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20120041455A (ko) * 2010-10-21 2012-05-02 주식회사 이턴 수술용 로봇의 움직임 제어/보상 방법 및 장치
US20120158179A1 (en) * 2010-12-20 2012-06-21 Kabushiki Kaisha Toshiba Robot control apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100001754A (ko) * 2008-06-27 2010-01-06 한국산업기술대학교산학협력단 상용 프레임 그래버를 이용한 영상 사격 시뮬레이션 시스템
KR20100112310A (ko) * 2009-04-09 2010-10-19 의료법인 우리들의료재단 수술용 로봇의 제어 방법 및 그 시스템
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20120041455A (ko) * 2010-10-21 2012-05-02 주식회사 이턴 수술용 로봇의 움직임 제어/보상 방법 및 장치
US20120158179A1 (en) * 2010-12-20 2012-06-21 Kabushiki Kaisha Toshiba Robot control apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679285B1 (ko) * 2015-05-12 2016-11-24 사단법인 캠틱종합기술원 영상을 이용한 자세 및 동작 분석 시스템
US10154225B2 (en) 2016-11-18 2018-12-11 Electronics & Telecommunications Research Institute Frame grabber, image processing system including the same, and image processing method using the frame grabber
CN108038861A (zh) * 2017-11-30 2018-05-15 深圳市智能机器人研究院 一种多机器人协作分拣方法、系统及装置
KR20230052774A (ko) * 2021-10-13 2023-04-20 (주)나임기술 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법
KR102619814B1 (ko) * 2021-10-13 2024-01-03 (주)나임기술 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR101697200B1 (ko) 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법
JP2020535509A (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
KR101412513B1 (ko) 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법
US11403780B2 (en) Camera calibration device and camera calibration method
CN108942929B (zh) 基于双目立体视觉的机械臂定位抓取的方法及装置
US11654571B2 (en) Three-dimensional data generation device and robot control system
KR20040097904A (ko) 화상 처리 장치
US11209790B2 (en) Actuator control system, actuator control method, information processing program, and storage medium
JP2006224291A (ja) ロボットシステム
CN106991701A (zh) 一种用于全景拍摄设备参数的标定系统及方法
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN109581964B (zh) 控制装置、控制装置的控制方法以及记录媒体
US20190228569A1 (en) Apparatus and method for processing three dimensional image
US11478922B2 (en) Robot teaching device and robot system
CN111275758B (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
KR20130134986A (ko) 사용자로부터 환경에 대한 사진 입력을 받는 이동로봇의 slam 시스템 및 방법
Shaikh et al. Robotic arm movements wirelessly synchronized with human arm movements using real time image processing
CN111565898B (zh) 操作引导系统
CN115564823A (zh) 三维扫描方法、装置、设备及存储介质
CN111522299B (zh) 机械控制装置
EP3961556A1 (en) Object recognition device and object recognition method
CN102646276B (zh) 多维图像识别定位方法和系统
US20230281857A1 (en) Detection device and detection method
RU2065133C1 (ru) Способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения
WO2023219371A1 (ko) 학습 데이터를 증강시키는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 7