KR20230052774A - 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법 - Google Patents

프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법 Download PDF

Info

Publication number
KR20230052774A
KR20230052774A KR1020210136196A KR20210136196A KR20230052774A KR 20230052774 A KR20230052774 A KR 20230052774A KR 1020210136196 A KR1020210136196 A KR 1020210136196A KR 20210136196 A KR20210136196 A KR 20210136196A KR 20230052774 A KR20230052774 A KR 20230052774A
Authority
KR
South Korea
Prior art keywords
image
resized
images
robot arm
resize
Prior art date
Application number
KR1020210136196A
Other languages
English (en)
Other versions
KR102619814B1 (ko
Inventor
이종화
Original Assignee
(주)나임기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나임기술 filed Critical (주)나임기술
Priority to KR1020210136196A priority Critical patent/KR102619814B1/ko
Publication of KR20230052774A publication Critical patent/KR20230052774A/ko
Application granted granted Critical
Publication of KR102619814B1 publication Critical patent/KR102619814B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Numerical Control (AREA)

Abstract

본 발명의 일 실시예에 따른 로봇팔 제어 시스템 은 하나 이상의 카메라로부터 복수의 원영상을 수신하고, 상기 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송하는 영상 처리부 및 상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치의 근처로 1차 이동하도록 제어하고, 상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치로 2차 이동하도록 제어하는 얼라인 제어부를 포함하고, 상기 복수의 원영상은 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보가 각각 포함되어 촬영된 영상인 것을 특징으로 한다.

Description

프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법 {Method and system for controlling robot arm using obtaining re-size image by frame grabber}
본 발명은 프레임 그래버(Frame Grabber)의 리사이즈 영상 획득을 이용한 로봇팔 제어 시스템 및 그 방법에 관한 것으로, 보다 구체적으로, 다 채널에 대한 각각의 원영상을 축소 및 전처리시킨 리사이즈 영상 및 리사이즈 영상으로부터 복원된 복원영상에 각각 포함된 마크 인식을 통해 생성되는 각각의 좌표정보에 따라 로봇팔을 단계적으로 목표위치로 이동시키는 로봇팔 제어시스템 및 그 방법에 관한 것이다.
일반적으로, 프레임 그래버 보드(Frame grabber board)는 아날로그 형태의 영상신호를 컴퓨터에서 처리 가능한 디지털 신호로 변환해서 다른 장치로 출력하는 장치 즉, 영상을 캡처해서 파일로 저장할 수 있게 하는 보드로, 입력한 영상을 보관하는 프레임 버퍼(Frame Buffer)를 두어 이곳에 입력된 영상을 컴퓨터의 중앙처리장치(CPU)에 입력해서 저장할 수 있도록 하는 보드이다.
이러한 프레임 그래버 보드는 다양한 영상 처리장치에 이용하는 것으로, 산업용 로봇팔의 위치 이동을 위한 영상 제공장치로서도 많이 이용되고 있는 실정이다. 즉, 산업용 로봇팔은 얼라인 혹은 물체의 이송 기능을 수행하게 되는데 얼라인 혹은 물체의 정확한 이송을 위해 물체에 부여된 마크를 다수의 카메라 및 프레임 그래버 보드를 이용하여 물체의 정확한 좌표를 계산함으로서 로봇팔의 정확한 위치 이동을 제어하는 것이다.
이와 같이 산업용 로봇팔의 위치 이동 제어를 위해 프레임 그래버 보드를 이용하는 경우에 대한 동작을 간단하게 살펴보기로 하자. 먼저, 얼라인 혹은 이송을 위한 물체의 일부분(모서리 부분)에 부여된 마크를 인식하기 위해 다수의 카메라에 의한 영상이 촬영된다. 이렇게 촬영된 마크 정보가 포함된 영상들로부터 물체에 대한 정확한 마크 위치를 인식하고, 인식된 마크 위치에 따른 좌표정보를 이용하여 로봇팔의 이동을 제어하게 된다. 따라서, 로봇팔에 의해 해당 물체로의 얼라인 또는 물체의 이송이 가능하게 되는 것이다. 이와 같은 기존의 로봇팔의 위치 이동 제어 동작은 영상 획득, 마크 인식 및 로봇팔 이동과 같은 3단계로 이루어지게 된다.
또한, 대상 물체에 대한 마크 인식을 각각 카메라로부터 획득되는 각각의 영상을 통해 마크인식을 수행하여 인식된 마크에 대한 좌표 계산이 이루어진 상태에서 한번에 로봇팔을 해당 대상 물체로 이동시키기 때문에 로봇팔의 이동시간이 길어지게 되는 문제점이 있다.
이에, 로봇팔의 위치 이동을 좀 더 빠른 시간에 이루어지도록 하고, 대상 물체에 부여된 마크의 인식을 정확하게 하여 마크 위치에 대한 좌표 계산을 정확하게 할 수 있는 연구 개발이 필요한 실정이다.
본 발명으로 해결하고자 하는 기술적 과제는, 원영상을 축소 및 전처리시킨 리사이즈 영상 및 리사이즈 영상으로부터 복원된 복원영상에 각각 포함된 마크 인식을 통해 생성되는 각각의 좌표정보에 따라 로봇팔을 단계적으로 목표위치로 이동시키는 프레임 그래버 보드를 이용한 로봇팔 제어 시스템 및 그 방법을 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 로봇팔 제어 시스템은 하나 이상의 카메라로부터 복수의 원영상을 수신하고, 상기 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송하는 영상 처리부; 및 상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔을 대상물의 목표위치의 근처로 1차 이동하도록 제어하고, 상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치로 2차 이동하도록 제어하는 얼라인 제어부를 포함하고, 상기 복수의 원영상은 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보가 각각 포함되어 촬영된 영상인 것을 특징으로 한다.
또한, 상기 영상 처리부와 상기 얼라인 제어부간 영상 송수신은 PCI 또는 PCI-Express 버스를 통해 송수신될 수 있다.
또한, 상기 영상 처리부는, 상기 카메라로부터 상기 복수의 원영상을 입력받는 카메라 인터페이스; 상기 복수의 원영상을, 소정 비율로 축소하고 결합하여 복수의 리사이즈 영상을 생성하는 리사이즈 영상 생성부; 상기 복수의 리사이즈 영상 중 일부를 전처리하여 전처리된 리사이즈 영상을 생성하는 전처리 영상 생성부; 상기 생성된 리사이즈 영상 및 상기 전처리된 리사이즈 영상을 저장하는 하나 이상의 제1 메모리; 및 상기 제1 메모리에 저장된 리사이즈 영상 중 전처리된 리사이즈 영상부터 순차적으로 상기 얼라인 제어부에 전송하는 통신부를 포함할 수 있다.
또한, 상기 리사이즈 영상 생성부는, 상기 복수의 원영상의 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 복수의 픽셀 중 대응되는 위치의 픽셀들을 각각 결합하여 복수의 리사이즈 영상을 생성하되, 상기 단위영역을 구성하는 픽셀의 수는 상기 원영상을 축소하는 비율에 따라 설정될 수 있다.
또한, 상기 전처리 영상 생성부는, 상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 마크 정보 인식을 위한 전처리를 수행할 수 있다.
또한, 상기 전처리 영상 생성부는, 이치화, 엣지처리, 필터링, 및 해리스코너 중 적어도 하나의 전처리를 수행할 수 있다.
또한, 상기 영상 처리부는 FPGA로 구현되는 프레임 그래버일 수 있다.
또한, 상기 얼라인 제어부는, 상기 영상 처리부로부터 리사이즈 영상을 수신하는 통신부; 상기 수신한 리사이즈 영상을 저장하는 영상 저장부; 상기 영상 저장부에 저장된 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 인식하여 제1 좌표를 생성하는 제1 좌표 생성부; 상기 영상 저장부에 저장된 리사이즈 영상을 복원하여 복원영상을 생성하는 영상 복원부; 상기 복원영상에 포함된 마크 정보를 인식하여 제2 좌표를 생성하는 제2 좌표 생성부; 및 상기 로봇팔을 제1좌표로 1차적으로 이동 제어한 후, 상기 제2좌표로 2차 이동 제어하는 제어부를 포함할 수 있다.
또한, 상기 제2 좌표 생성부는, 상기 제1 좌표 생성부가 인식한 마크 정보에 따른 마크 영역을 이용하여 상기 복원영상에 포함된 마크 정보를 탐색할 탐색영역을 설정하고, 상기 설정된 탐색영역 내에서 마크를 탐색할 수 있다.
또한, 상기 제2 좌표 생성부는, 리사이즈 비율에 따라 상기 마크 영역을 확대하고, 마진을 적용하여 상기 탐색영역을 설정할 수 있다.
또한, 상기 제1 좌표는 대상물의 목표위치의 근처에 해당하는 좌표이고, 상기 제2 좌표는 대상물의 목표위치에 대응하는 좌표일 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 로봇팔 제어 방법은 하나 이상의 카메라로부터 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 복수의 원영상을 수신하는 단계; 상기 카메라로부터 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송하는 단계; 상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔을 대상물의 목표위치의 근처에 해당하는 제1 좌표를 생성하고, 상기 로봇팔을 상기 제1 좌표로 이동시키는 단계; 및 상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치에 대응하는 제2좌표를 생성하여, 상기 로봇팔을 상기 제2 좌표로 이동시키는 단계를 포함한다.
또한, 상기 리사이즈 영상을 전송하는 단계는, 상기 복수의 원영상의 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 복수의 픽셀 중 대응되는 위치의 픽셀들을 각각 결합하여 상기 리사이즈 영상을 생성하는 단계; 및 상기 리사이즈 영상 중 상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 전처리를 수행하는 단계를 포함할 수 있다.
또한, 상기 로봇팔을 상기 제2 좌표로 이동시키는 단계는, 상기 리사이즈 영상 중 전처리되지 않은 리사이즈 영상을 이용하여 복원영상을 생성하는 단계; 상기 전처리된 리사이즈 영상에 포함된 마크 정보에 따른 마크 영역을 이용하여 상기 복원영상에 포함된 마크 정보를 탐색할 탐색영역을 설정하는 단계; 및 상기 설정된 탐색영역 내에서 마크를 탐색하여 상기 복원영상에 포함된 마크 정보를 인식하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따르면, 전처리를 프레임 그래버의 영상 입출력 단계에서 FPGA로 처리하여 시간을 단축 할 수 있다. 또한, 리사이즈 영상 처리를 개선하여, 입력 받을 수 있는 카메라의 개수를 더 늘릴 수 있고, 제1 좌표를 참조하여 제 2좌표 생성부의 탐색 영역을 줄여서 계산 시간을 단축할 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇팔 제어 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 로봇팔 제어 시스템의 블록도이고, 도 3 내지 도 6은 로봇팔 제어 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 로봇팔 제어 방법의 흐름도이다.
도 8 및 도 9는 본 발명의 다른 실시예에 따른 로봇팔 제어 방법의 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성 요소에 '연결', '결합', 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 '연결', '결합', 또는 '접속'되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합', 또는 '접속'되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위)" 또는 "하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, "상(위)" 또는 "하(아래)"는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위)" 또는 "하(아래)"로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇팔 제어 시스템의 블록도이다.
본 발명의 일 실시예에 따른 로봇팔 제어 시스템(100)은 영상 처리부(110) 및 얼라인 제어부(120)로 구성되고, 카메라(210)를 포함할 수 있다. 여기서, 영상 처리부(110)는 FPGA로 구현되는 프레임 그래버일 수 있고, 얼라인 제어부(120)는 PC 단말 등으로 구현되는 프로세서일 수 있다.
제어하고자 하는 로봇팔(220)은 이동속도가 늦기 때문에, 로봇팔(220)의 이동 시점을 최대한 앞당길수록 전체 처리 속도가 빨라진다. 로봇팔(220)의 이동 시점을 앞당기기 위하여, 본 발명의 실시예에 따른 로봇팔 제어 시스템(100)은 로봇팔(220)을 이동시키고자 하는 목표위치의 좌표를 생성하는데 마크정보를 포함하는 원영상을 그대로 이용하지 않고, 복수의 원영상을 축소하고 결합하여 생성하는 리사이즈 영상 생성과 함께 전처리를 수행한다. 리사이징 및 전처리를 통해 성성되는 리사이즈 영상을 이용하여 좌표를 생성함으로써 신속한 처리가 가능하여 로봇팔(220)의 이동 시점을 앞당기고, 전체 처리 속도를 높일 수 있다.
영상 처리부(110)는 원영상으로부터 리사이즈 영상을 생성하고 리사이즈 영상 중 일부에 전처리를 수행한다. 영상 처리부(110)는 하나 이상의 카메라로부터 복수의 원영상을 수신하고, 상기 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송한다.
카메라(210)는 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 촬영하는 카메라로, 하나 이상의 카메라를 포함할 수 있다. 카메라(210)는 복수의 카메라를 포함하고, 각 카메라가 촬영한 영상은 서로 다른 채널을 통해 수신될 수 있다. 카메라(210)는 복수의 카메라 렌즈모듈을 가지는 하나의 카메라 장치일 수 있고, 각 카메라 렌즈모듈이 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 포함한 영상을 촬영할 수 있다. 또는, 복수의 카메라를 포함하여, 각각의 카메라가 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 포함한 영상을 촬영할 수 있다.
영상 처리부(110)는 카메라(210)로부터 입력된 복수의 원영상을 각각 소정의 비율로 축소한 뒤, 각각의 축소된 영상을 결합하여 리사이즈 영상을 생성한다. 리사이즈 영상 중 일부에 대해서 마크 인식에 적합하도록 리사이즈 영상 생성과 함께 전처리를 수행한다.
영상 처리부(110)는 카메라 인터페이스(111), 리사이즈 영상 생성부(112), 전처리 영상 생성부(113), 제1 메모리(114 내지 117), 및 통신부(118)를 포함할 수 있다.
카메라 인터페이스(111)는 상기 카메라(210)로부터 상기 복수의 원영상을 입력받는다. 카메라 인터페이스(interface, I/F))는 도 2와 같이, 복수의 카메라(210)로부터 영상을 각 채널을 통해 입력받을 수 있다. 예를 들어, 4 개의 카메라로부터 4 채널을 통해 각 카메라가 촬영한 원영상을 수신할 수 있다. 여기서, 카메라로부터 입력받는 원영상은 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보가 각각 포함되어 촬영된 영상일 수 있다.
리사이즈 영상 생성부(112)는 상기 복수의 원영상을, 소정 비율로 축소하고 결합하여 복수의 리사이즈 영상을 생성할 수 있다. 원영상을 이후에 마크를 탐색하는데 그대로 이용하지 않고, 탐색할 영역의 크기를 줄이기 위하여, 소정 비율로 축소하여 리사이즈 영상을 생성할 수 있다.
리사이즈 영상 생성부(112)는 상기 복수의 원영상의 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 복수의 픽셀 중 대응되는 위치의 픽셀들을 각각 결합하여 복수의 리사이즈 영상을 생성하되, 상기 단위영역을 구성하는 픽셀의 수는 상기 원영상을 축소하는 비율에 따라 설정될 수 있다.
리사이즈 영상은 복수의 원영상을 축소한 각각의 영상을 하나의 영상으로 결합하여 각각의 리사이즈 영상에 복수의 원영상의 축소 영상들이 포함되는 영상일 수 있다. 이를 위하여, 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 픽셀 위치 중 하나의 픽셀 위치에 대응하는 픽셀들을 이용하여 축소된 영상을 생성하고, 이를 결합하여 리사이즈 영상을 생성할 수 있다. 상기 단위영역을 구성하는 픽셀의 수는 상기 원영상을 축소하는 비율에 따라 설정될 수 있다.
예를 들어, 도 3과 같이, 4 채널을 통해 4 개의 원영상(310 내지 340))을 수신하는 경우, 4 개의 픽셀로 구성되는 단위영역(311)으로 각 영상을 나눌 수 있다. 단위영역(311)은 사각형의 영역으로 영역 내 (0,0), (0,1), (1,0), (1,1,) 좌표에 위치하는 4 개의 픽셀로 구성될 수 있다. 각 단위영역 별로 동일 좌표에 대응하는 픽셀만으로 리사이즈 영상(350 내지 380)을 생성함으로써 하나의 리사이즈 영상(350)에 각 원영상(310 내지 340)의 축소된 영상을 포함할 수 있다. 즉, 적색 위치(0,0)에 대응하는 픽셀들만으로 리사이즈 영상(350)을 생성할 수 있고, 다른 위치 역시 각각 다른 리사이즈 영상(360 내지 380)을 생성할 수 있다. 이와 같이, 생성된 각 리사이즈 영상은 4 개의 원영상(310 내지 340)의 정보를 1/4씩 포함하게 된다. 4 개의 채널을 이용하는 경우, 4 개의 원영상으로부터 4 개의 리사이즈 영상을 생성함으로써 4 개의 채널을 모두 이용하여 효율적으로 영상 처리가 이루어지도록 할 수 있다.
4 개의 원영상을 이용하여 리사이즈 영상을 생성함으로써 1/4 배율로 축소된 영상을 생성할 수 있고, 4 개의 리사이즈 영상을 생성하기 위하여, 단위영역은 4 개의 픽셀로 이루어지는 것을 알 수 있다. 축소 비율은 원영상의 수, 리사이즈 영상의 수, 또는 사용자에 의해 설정될 수 있다. 예를 들어, 축소 비율이 1/2인 경우, 단위영역은 2 개의 픽셀을 포함하고, 1/6인 경우, 단위영역은 6 개의 픽셀을 포함할 수 있다.
전처리 영상 생성부(113)는 상기 복수의 리사이즈 영상 중 일부를 전처리하여 전처리된 리사이즈 영상을 생성한다. 각 리사이즈 영상을 통해 마크 인식이 빠르게 이루어지도록 함과 동시에, 나아가 마크 인식을 위한 전처리 과정을 미리 수행하여 마크 인식을 더 빠르게 처리하도록 할 수 있다. 마크 인식을 위한 전처리 과정을 수행함에 있어서, 전처리 영상 생성부(113)는 상기 복수의 리사이즈 영상 중 일부만을 전처리하여 전처리된 리사이즈 영상을 생성한다. 전처리를 수행하는 경우, 원영상의 정보가 줄어들게 되어, 정확한 마크 정보를 인식하기 어려울 수 있다. 따라서, 모든 리사이즈 영상이 아닌 일부의 리사이즈 영상에 대해서만 전처리를 수행할 수 있다. 전처리되지 않은 리사이즈 영상은 이후 복원영상을 생성하는데 이용될 수 있다. 영상 처리부(110)는 FPGA(Field Programmable Gate Array)로 구현될 수 있고, 이를 통해, 빠른 전처리가 가능하여, 영상의 입출력과 동시에 전처리가 수행될 수 있다.
이때, 전처리 영상 생성부(113)는 상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 마크 정보 인식을 위한 전처리를 수행할 수 있다. 전처리되지 않은 리사이즈 영상은 원영상을 복원하는데 이용되기 ‹š문에, 많은 정보 및 다른 리사이즈 영상과의 관계 정보를 포함하고 있어야 한다. 따라서, 복원영상을 생성할 것으로 고려하여, 전처리 영상 생성부(113)는 상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 마크 정보 인식을 위한 전처리를 수행할 수 있다. 도 4와 같이, 단위영역(311)의 4 개의 픽셀 중 2 개의 픽셀로 형성되는 리사이즈 영상에 대해 전처리를 수행하는 경우, 픽셀 간 거리가 가장 먼 위치인 (0,0) 및 (1,1)의 픽셀들로 이루어지는 2 개의 리사이즈 영상(350 및 380)에 대해 전처리를 수행할 수 있다. 또는 (1,0) 및 (0,1)의 픽셀들로 이루어지는 2 개의 리사이즈 영상(360 및 370)에 대해 전처리를 수행할 수 있음은 당연하다.
이때, 전처리 영상 생성부(113)는 이치화(binarize), 엣지처리(sobel edge), 필터링(3x3 filter), 및 해리스코너(harrisconer) 중 적어도 하나의 전처리를 수행할 수 있다. 이외에 마크 인식을 위해 수행되어야 하는 전처리 과정을 수행할 수 있음은 당연하다. 마크 인식을 위해 수행되어야 하는 전처리 과정의 수에 따라 전처리를 수행하는 리사이즈 영상의 수는 달라질 수 있다. 다만, 원영상 복원의 정확성을 높이기 위해서는 전처리를 수행하는 리사이즈 영상의 수를 줄일 수 있다. 즉, 필요한 전처리 과정 및 목표하는 원영상 복원의 품질 정도에 따라 전처리를 수행하는 리사이즈 영상의 수가 달라질 수 있다. 전처리되지 않은 리사이즈 영상의 수가 많을수록 원영상에 대한 정보가 많아 복원영상의 품질을 높일 수 있다.
예를 들어, 도 4와 같이, 2 개의 리사이즈 영상(350 및 380) 중 하나의 리사이즈 영상(350)에 대해 이치화를 수행하여 전처리된 리사이즈 영상(410)을 생성하고, 다른 리사이즈 영상(380)에 대해 에지 처리를 수행하여 전처리된 리사이즈 영상(420)을 생성할 수 있다. 또는, 원영상 복원의 품질을 높이기 위하여, 하나의 리사이즈 영상(350)에 대해서만 이치화를 수행하여 하나의 전처리된 리사이즈 영상(410)을 생성할 수도 있다.
제1 메모리(114 내지 117)은 상기 생성된 리사이즈 영상 및 상기 전처리된 리사이즈 영상을 저장한다. 제1 메모리는 FIFO(first in first out)로 구현될 수 있고, 영상 채널의 수에 따라 복수의 FIFO인 FIFO1 내지 FIFO4(114 내지 117)를 포함할 수 있다. 제1 메모리 각각은 상기 생성된 리사이즈 영상을 저장하고, 그 중 일부의 리사이즈 영상에 대해 전처리 영상 생성부(113)가 전처리를 수행하면, 상기 전처리된 리사이즈 영상을 저장할 수 있다.
통신부(118)는 상기 제1 메모리(114 내지 117)에 저장된 리사이즈 영상 중 전처리된 리사이즈 영상부터 순차적으로 상기 얼라인 제어부(120)에 전송할 수 있다. 통신부(118)는 얼라인 제어부(120)와 PCI(peripheral component interconnect) 또는 PCI-Express(PCI-E)버스를 통해 연결되어 영상을 송수신할 수 있다. 이때, 로봇팔(220)의 이동 시점을 앞당기기 위하여, 전처리된 리사이즈 영상이 필요한 바, 통신부(118)는 전처리된 리사이즈 영상부터 순착적으로 얼라인 제어부(120)에 전송할 수 있다.
얼라인 제어부(120)는 상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔(220)을 대상물의 목표위치의 근처로 1차 이동하도록 제어하고, 상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 로봇팔(220)을 대상물의 목표위치로 2차 이동하도록 제어한다. 얼라인 제어부(120)는 로봇팔(220)의 이동 시점을 앞당기기 위하여, 탐색영역이 작은 리사이즈 영상, 특히, 마크 정보 인식에 필요한 전처리가 이미 수행되어진 전처리된 리사이즈 영상을 이용하여 전처리된 리사이즈 영상에 포함된 마크 정보를 인식한다. 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔(220)을 대상물의 목표위치의 근처로 1차 이동하도록 제어함으로써 로봇팔(220)의 이동 시점을 앞당길 수 있다. 전처리된 리사이즈 영상을 이용하여 1차 이동을 수행하도록 함과 동시에, 전처리되지 않은 리사이즈 영상을 복원함으로써 대상물의 목표위치로 2차 이동하기 위한 정확한 좌표를 생성한다. 1차 이동이 이루어지는 시간 동안 2차 이동을 위한 좌표 생성이 종료될 수 있고, 이를 통해, 1차 이동이 이루어지는 동안 또는 1차 이동이 이루어진 이후, 2차 이동이 이어서 이루어지도록 할 수 있다. 이를 통해, 로봇팔(220)의 이동 시점을 앞당김과 동시에 목표위치를 정확히 알 수 있어, 정확한 제어가 가능하다.
영상으로부터 마크를 인식하여 이동 좌표값을 생성하는 방법은 일반적으로 공지된 기술로서 그에 대한 상세한 설명은 생략하기로 한다. 여기서, 공지된 기술로는 특허 출원번호 10-2006-0133293(얼라인 마크 인식 머신 비젼 시스템 및 얼라인 마크 인식 방법), 특허 출원번호 10-2002-0049261(얼라인 마크 패턴 인식방법) 등이 있다. 그 외 다수의 마크 인식방법에 대한 공지 기술을 본 발명에 적용하여 실시할 수 있음은 당연하다.
얼라인 제어부(120)는 통신부(121), 영상 저장부(122), 제1 좌표 생성부(123), 영상 복원부(124), 제2 좌표 생성부(125), 및 제어부(126)를 포함할 수 있다.
통신부(121)는 영상 처리부(110)로부터 리사이즈 영상을 수신한다. 얼라인 제어부(120)의 통신부(121)는 영상 처리부(110)의 통신부(118)로부터 리사이즈 영상을 수신한다. 영상 처리부(110)의 통신부(118)와 PCI 또는 PCI-Express 버스를 통해 연결될 수 있고, 영상 처리부(110)의 통신부(118)로부터 전처리된 리사이즈 영상 및 전처리되지 않은 리사이즈 영상을 순차적으로 수신할 수 있다.
영상 저장부(122)는 상기 수신한 리사이즈 영상을 저장한다. 영상 저장부(122)는 전처리된 리사이즈 영상과 전처리되지 않은 원리사이즈 영상을 각각 저장할 수 있다.
제1 좌표 생성부(123)는 상기 영상 저장부(122)에 저장된 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 인식하여 제1 좌표를 생성할 수 있다. 전처리된 리사이즈 영상은 마크 정보를 인식하는데 필요한 또는 정확성 및 신속성을 높이기 위한 전처리가 이미 수행되어진 리사이즈 영상으로, 마크 정보를 인식하는데 필요한 영역이 축소되어 있는바, 별도의 전처리과정이 없거나, 일부의 전처리 과정을 수행하지 않고도 빠른 마크 정보 인식이 가능하다.
얼라인 마크 인식 알고리즘은 대부분 전처리를 포함하고, 카메라 영상의 크기가 계속 커지면서 전처리 시간도 계속 늘어나고 있어, 전처리에 소모되는 시간이 처리 속도에 영향을 많이 미칠 수 있다. 제1 좌표를 생성함에 있어서, 미리 전처리된 리사이즈 영상을 이용함으로써 전처리에 소모되는 시간을 줄일 수 있다. 이를 통해, 전처리된 리사이즈 영상으로부터 인식된 마크 정보를 이용하여 빠르게 목표 위치와 가까운 위치에 해당하는 제1 좌표를 생성할 수 있다. 앞서 설명한 마크 인식 기술들을 이용하여 제1 좌표를 생성할 수 있다. 마크 인식 알고리즘의 종류에 따라 전처리된 리사이즈 영상 중 일부를 선택하여 마크 인식을 수행할 수 있다. 예를 들어, 컨투어(Contour) 혹은 블랍분석(Blob Analysis)을 기반으로 하는 알고리즘의 경우에는 도 4의 전처리된 리사이즈 영상 중 이치화된 리사이즈 영상(410)을 이용할 수 있다. 패턴 인식을 기반으로 한 알고리즘의 경우에는 에지 처리된 리사이즈 영상(420)을 이용할 수 있다. 리사이즈와 선행 전처리로 처리 시간을 단축하고, 모터 이동 시점을 좀 더 앞당길 수 있다.
영상 복원부(124)는 상기 영상 저장부(122)에 저장된 리사이즈 영상을 복원하여 복원영상을 생성한다. 영상 복원부(124)는 리사이즈 영상의 픽셀들을 원래 위치로 가져와 하나의 영상을 생성한다. 전처리되지 않은 리사이즈 영상은 픽셀 정보를 그대로 포함하고 있으나, 전처리된 리사이즈 영상은 전처리과정에서 픽셀 정보 중 일부가 소실되어, 복원영상은 원영상과 다를 수 있다. 이때, 복원영상의 품질을 높여 로봇팔(220) 제어의 정확성을 높이기 위하여, 전처리되지 않은 리사이즈 영상의 픽셀 정보를 이용하여 전처리된 리사이즈 영상의 픽셀을 복원할 수 있다.
도 5와 같이, 복원영상(510)을 생성시, 적색 픽셀 및 청색 픽셀은 전처리된 픽셀이고, 노란색 픽셀 및 녹색 픽셀은 전처리되지 않은 원 픽셀일 수 있다. 앞서 설명한 바와 같이, 전처리를 수행하는 픽셀은 거리가 먼 픽셀에 대해 수행되기 때문에, 전처리된 픽셀 상하좌우에 이웃하는 픽셀은 원 픽셀이 위치하게 된다. 도 5와 같이, 청색 픽셀(E) 상하에는 노란색 픽셀, 좌우에는 녹색 픽셀이 위치하고, 적색 픽셀(B) 상하에는 녹색 픽셀, 좌우에는 노란색 픽셀이 위치하는 것을 알 수 있다. 이러한 위치 관계를 이용하여 다음과 같이, 복원할 수 있다.
E(or B)의 복원 값 = ( y1 + y2 + g1 + g2 )/4
얼라인 마크는 십자가, 원 등 단순 형태를 이용할 수 있고, 상기와 같이, 복원된 영상은 원영상과 차이가 적어, 복원영상의 품질을 높일 수 있다.
제2 좌표 생성부(125)는 상기 복원영상에 포함된 마크 정보를 인식하여 제2 좌표를 생성할 수 있다. 제2 좌표 생성부(125)는 영상 복원부(124)에서 복원된 복원영상을 탐색하여 이에 포함된 마크 정보를 인식하고, 그에 따라 제2 좌표를 생성할 수 있다. 앞서 설명한 마크 인식 기술들을 이용하여 제2 좌표를 생성할 수 있다.
제2 좌표 생성부(125)는 상기 제1 좌표 생성부(123)가 인식한 마크 정보에 따른 마크 영역을 이용하여 상기 복원영상에 포함된 마크 정보를 탐색할 탐색영역을 설정하고, 상기 설정된 탐색영역 내에서 마크를 탐색할 수 있다. 제2 좌표 생성부(125)는 복원영상에 포함된 마크 정보를 인식함에 있어서, 제1 좌표 생성부(123)가 인식한 리사이즈 영상에 포함된 마크 정보를 이용할 수 있다. 제1 좌표 생성부(123)는 인식된 마크 정보인 마크 의 위치 및 크기 정보를 제2 좌표 생성부(125)로 전송할 수 있다.
리사이즈 영상(610)의 마크 정보는 복원영상(620)과 일정 비율로 대응되는바, 이 점을 이용하여 복원영상(620)에 대한 마크 정보를 탐색할 탐색영역을 전체가 아닌 일부로 제한하여 설정할 수 있다. 이를 통해, 마크 정보 탐색에 소모되는 시간을 줄일 수 있다.
제1 좌표 생성부(123)의 마크 정보 인식결과는 인식된 마크의 최대사각형으로, 마크 사각형은 도 6과 같이, LT 및 RB의 2 개의 좌표로 MarkRectangle( LT , RB )와 같이, 구성될 수 있다.
제2 좌표 생성부(125)의 마크 탐색영역을 제1 좌표 생성부(123)에서 인식된 마크 사각형을 이용하여 도 6의 복원영상(620)에 표시된 사각형과 같이 설정할 수 있다. 이때, 탐색 영역 또한 P1 및 P2의 2 개의 좌표로 SearchArea( P1, P2 )와 같이 구성할 수 있다. 탐색 영역은 마크 사각형을 참조하여 설정하되, 마크 사각형이 없다면 복원 영상의 전체 영역을 탐색하고, 마크 사각형이 있다면, 복원 영상 크기에 비례하여 변환한다.
제2 좌표 생성부(125)는 리사이즈 비율에 따라 상기 마크 영역을 확대하되, 마진을 적용하여 상기 탐색영역을 설정할 수 있다. 탐색 영역의 오차를 고려하여, 마진을 적용할 수 있다. 예를 들어, 변환된 사각형의 크기를 20% 추가 확대한 후 탐색한다. 즉, 탐색 영역의 좌표는 다음과 같이 설정할 수 있다.
P1(X, Y) = LT(x*2+x*2*0.2, y*2+y*2*0.2)
P2(X, Y) = RB(x*2+x*2*0.2, y*2+y*2*0.2)
이와 같이, 설정된 탐색 영역에 대해서만 탐색을 수행함으로써 마크 정보 인식의 속도를 높일 수 있다.
제어부(126)는 상기 로봇팔을 제1 좌표로 1차적으로 이동 제어한 후, 상기 제2 좌표로 2차 이동 제어한다. 통신부(121)가 전처리된 리사이즈 영상부터 수신하여 제1 좌표 생성부(123)가 빠르게 제1 좌표를 생성하면, 그에 따라 제어부(126)가 로봇팔(220)이 빠르게 제1 좌표로의 1차 이동을 시작하도록 하고, 영상 복원부(124)의 영상 복원 및 제2 좌표 생성부(125)가 제2 좌표를 생성하면, 제어부(126)가 로봇팔(220)이 정확한 위치인 제2 좌표로 1차 이동과 연속적으로 또는 1차 이동 이후 2차 이동이 이루어지도록 로봇팔(220)을 제어한다. 여기서, 상기 제1 좌표는 대상물의 목표위치의 근처에 해당하는 좌표이고, 상기 제2 좌표는 대상물의 목표위치에 대응하는 좌표로, 2 단계 좌표 탐색을 통해 로봇팔(220)에 대한 빠른 제어가 가능하다. 앞서 설명한 바와 같이, 제1 좌표는 리사이즈 영상으로부터 생성되기 때문에, 원영상으로부터 생성되는 제2 좌표보다 정확성이 떨어질 수 있다. 예를 들어, 1/4 비율로 축소하는 경우, 좌표의 정확성이 1/4로 줄어들게 되고, 이는 해상도의 차이일 수 있다. 먼저, 제1 좌표로 이동시키고, 이후, 좀 더 세밀한 제2 좌표로 이동함으로써 빠른 이동과 동시에 정확성도 확보할 수 있다.
도 7은 본 발명의 일 실시예에 따른 로봇팔 제어 방법의 흐름도이고, 도 8 및 도 9는 본 발명의 다른 실시예에 따른 로봇팔 제어 방법의 흐름도이다. 도 7 내지 도 9의 각 단계에 대한 상세한 설명은 도 1 내지 도 6의 로봇팔 제어 시스템에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 생략하도록 한다.
먼저, S11 단계에서 하나 이상의 카메라로부터 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 복수의 원영상을 수신하고, S12 단계에서 상기 카메라로부터 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송하고, S13 단계에서 상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔을 대상물의 목표위치의 근처에 해당하는 제1 좌표를 생성하고, 상기 로봇팔을 상기 제1 좌표로 이동시키고, S14 단계에서 상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치에 대응하는 제2좌표를 생성하여, 상기 로봇팔을 상기 제2 좌표로 이동시킨다.
상기 리사이즈 영상을 전송하는 S12 단계는 S21 단계 내지 S22 단계로 수행될 수 있다. 먼저, S21 단계에서 상기 복수의 원영상의 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 복수의 픽셀 중 대응되는 위치의 픽셀들을 각각 결합하여 상기 리사이즈 영상을 생성하고, S22 단계에서 상기 리사이즈 영상 중 상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 전처리를 수행할 수 있다.
상기 로봇팔을 상기 제2 좌표로 이동시키는 S14 단계는 S31 단계 내지 S34 단계로 수행될 수 있다. 먼저, S31 단계에서 상기 리사이즈 영상 중 전처리되지 않은 리사이즈 영상을 이용하여 복원영상을 생성하고, S32 단계에서 상기 전처리된 리사이즈 영상에 포함된 마크 정보에 따른 마크 영역을 이용하여 상기 복원영상에 포함된 마크 정보를 탐색할 탐색영역을 설정하고, S33 단계에서 상기 설정된 탐색영역 내에서 마크를 탐색하여 상기 복원영상에 포함된 마크 정보를 인식하고, S34 단계에서 마크 정보를 이용하여 로봇팔을 대상물의 목표위치에 대응하는 제2좌표를 생성하여, 로봇팔을 제2 좌표로 이동시킬 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (14)

  1. 하나 이상의 카메라로부터 복수의 원영상을 수신하고, 상기 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송하는 영상 처리부; 및
    상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔을 대상물의 목표위치의 근처로 1차 이동하도록 제어하고, 상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치로 2차 이동하도록 제어하는 얼라인 제어부를 포함하고,
    상기 복수의 원영상은 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보가 각각 포함되어 촬영된 영상인 로봇팔 제어 시스템.
  2. 제1항에 있어서,
    상기 영상 처리부와 상기 얼라인 제어부간 영상 송수신은 PCI 또는 PCI-Express 버스를 통해 송수신되는 로봇팔 제어 시스템.
  3. 제1항에 있어서,
    상기 영상 처리부는,
    상기 카메라로부터 상기 복수의 원영상을 입력받는 카메라 인터페이스;
    상기 복수의 원영상을, 소정 비율로 축소하고 결합하여 복수의 리사이즈 영상을 생성하는 리사이즈 영상 생성부;
    상기 복수의 리사이즈 영상 중 일부를 전처리하여 전처리된 리사이즈 영상을 생성하는 전처리 영상 생성부;
    상기 생성된 리사이즈 영상 및 상기 전처리된 리사이즈 영상을 저장하는 하나 이상의 제1 메모리; 및
    상기 제1 메모리에 저장된 리사이즈 영상 중 전처리된 리사이즈 영상부터 순차적으로 상기 얼라인 제어부에 전송하는 통신부를 포함하는 로봇팔 제어 시스템.
  4. 제3항에 있어서,
    상기 리사이즈 영상 생성부는,
    상기 복수의 원영상의 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 복수의 픽셀 중 대응되는 위치의 픽셀들을 각각 결합하여 복수의 리사이즈 영상을 생성하되,
    상기 단위영역을 구성하는 픽셀의 수는 상기 원영상을 축소하는 비율에 따라 설정되는 로봇팔 제어 시스템.
  5. 제4항에 있어서,
    상기 전처리 영상 생성부는,
    상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 마크 정보 인식을 위한 전처리를 수행하는 로봇팔 제어 시스템.
  6. 제3항에 있어서,
    상기 전처리 영상 생성부는,
    이치화, 엣지처리, 필터링, 및 해리스코너 중 적어도 하나의 전처리를 수행하는 로봇팔 제어 시스템.
  7. 제1항에 있어서,
    상기 영상 처리부는 FPGA로 구현되는 프레임 그래버인 로봇팔 제어 시스템.
  8. 제1항에 있어서,
    상기 얼라인 제어부는,
    상기 영상 처리부로부터 리사이즈 영상을 수신하는 통신부;
    상기 수신한 리사이즈 영상을 저장하는 영상 저장부;
    상기 영상 저장부에 저장된 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 인식하여 제1 좌표를 생성하는 제1 좌표 생성부;
    상기 영상 저장부에 저장된 리사이즈 영상을 복원하여 복원영상을 생성하는 영상 복원부;
    상기 복원영상에 포함된 마크 정보를 인식하여 제2 좌표를 생성하는 제2 좌표 생성부; 및
    상기 로봇팔을 제1좌표로 1차적으로 이동 제어한 후, 상기 제2좌표로 2차 이동 제어하는 제어부를 포함하는 로봇팔 제어 시스템.
  9. 제8항에 있어서,
    상기 제2 좌표 생성부는,
    상기 제1 좌표 생성부가 인식한 마크 정보에 따른 마크 영역을 이용하여 상기 복원영상에 포함된 마크 정보를 탐색할 탐색영역을 설정하고, 상기 설정된 탐색영역 내에서 마크를 탐색하는 로봇팔 제어 시스템.
  10. 제9항에 있어서,
    상기 제2 좌표 생성부는,
    리사이즈 비율에 따라 상기 마크 영역을 확대하고, 마진을 적용하여 상기 탐색영역을 설정하는 로봇팔 제어 시스템.
  11. 제8항에 있어서,
    상기 제1 좌표는 대상물의 목표위치의 근처에 해당하는 좌표이고, 상기 제2 좌표는 대상물의 목표위치에 대응하는 좌표인 로봇팔 제어 시스템.
  12. 하나 이상의 카메라로부터 얼라인 또는 이송을 위한 대상물에 부여된 복수의 마크정보를 각각 포함하는 복수의 원영상을 수신하는 단계;
    상기 카메라로부터 수신한 복수의 원영상을 소정 비율로 축소하고 결합하여 리사이즈 영상을 생성하고, 상기 리사이즈 영상 중 일부를 전처리하여 리사이즈 영상을 전송하는 단계;
    상기 리사이즈 영상 중 전처리된 리사이즈 영상에 포함된 마크 정보를 이용하여 로봇팔을 대상물의 목표위치의 근처에 해당하는 제1 좌표를 생성하고, 상기 로봇팔을 상기 제1 좌표로 이동시키는 단계; 및
    상기 리사이즈 영상을 복원하여 복원영상을 생성하고, 상기 복원영상에 포함된 마크 정보를 이용하여 상기 로봇팔을 대상물의 목표위치에 대응하는 제2좌표를 생성하여, 상기 로봇팔을 상기 제2 좌표로 이동시키는 단계를 포함하는 로봇팔 제어 방법.
  13. 제12항에 있어서,
    상기 리사이즈 영상을 전송하는 단계는,
    상기 복수의 원영상의 각 원영상을 복수의 픽셀로 구성되는 단위영역으로 나누고, 각 단위영역을 구성하는 복수의 픽셀 중 대응되는 위치의 픽셀들을 각각 결합하여 상기 리사이즈 영상을 생성하는 단계; 및
    상기 리사이즈 영상 중 상기 단위영역을 구성하는 픽셀 중 픽셀 간 거리가 가장 먼 픽셀들로 생성되는 복수의 리사이즈 영상에 대해 전처리를 수행하는 단계를 포함하는 로봇팔 제어 방법.
  14. 제12항에 있어서,
    상기 로봇팔을 상기 제2 좌표로 이동시키는 단계는,
    상기 리사이즈 영상 중 전처리되지 않은 리사이즈 영상을 이용하여 복원영상을 생성하는 단계;
    상기 전처리된 리사이즈 영상에 포함된 마크 정보에 따른 마크 영역을 이용하여 상기 복원영상에 포함된 마크 정보를 탐색할 탐색영역을 설정하는 단계; 및
    상기 설정된 탐색영역 내에서 마크를 탐색하여 상기 복원영상에 포함된 마크 정보를 인식하는 단계를 포함하는 로봇팔 제어 방법.
KR1020210136196A 2021-10-13 2021-10-13 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법 KR102619814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210136196A KR102619814B1 (ko) 2021-10-13 2021-10-13 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210136196A KR102619814B1 (ko) 2021-10-13 2021-10-13 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230052774A true KR20230052774A (ko) 2023-04-20
KR102619814B1 KR102619814B1 (ko) 2024-01-03

Family

ID=86143659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210136196A KR102619814B1 (ko) 2021-10-13 2021-10-13 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102619814B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100119146A1 (en) * 2008-11-07 2010-05-13 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
JP2013191123A (ja) * 2012-03-15 2013-09-26 Panasonic Corp 映像処理システム
KR101412513B1 (ko) * 2013-07-19 2014-06-26 (주)나임기술 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법
KR101652300B1 (ko) * 2016-02-29 2016-09-01 황준호 웨어러블 디바이스와 마커 인식을 활용한 시각장애인용 실내 내비게이션 시스템
KR20180051772A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 영상처리장치 및 영상처리방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100119146A1 (en) * 2008-11-07 2010-05-13 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
JP2013191123A (ja) * 2012-03-15 2013-09-26 Panasonic Corp 映像処理システム
KR101412513B1 (ko) * 2013-07-19 2014-06-26 (주)나임기술 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법
KR101652300B1 (ko) * 2016-02-29 2016-09-01 황준호 웨어러블 디바이스와 마커 인식을 활용한 시각장애인용 실내 내비게이션 시스템
KR20180051772A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 영상처리장치 및 영상처리방법

Also Published As

Publication number Publication date
KR102619814B1 (ko) 2024-01-03

Similar Documents

Publication Publication Date Title
CN108520247B (zh) 对图像中的对象节点的识别方法、装置、终端及可读介质
EP3680808A1 (en) Augmented reality scene processing method and apparatus, and computer storage medium
Baek et al. Character region awareness for text detection
US10997465B2 (en) Information processing device, information processing method, and storage medium
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
KR101399709B1 (ko) 모델-기반 디워핑 방법 및 장치
EP2783328B1 (en) Text detection using multi-layer connected components with histograms
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
US9345429B2 (en) Image processing device, image processing system, image processing method, and program
US10366307B2 (en) Coarse-to-fine search method, image processing device and recording medium
US20100158387A1 (en) System and method for real-time face detection using stereo vision
US20220383525A1 (en) Method for depth estimation for a variable focus camera
WO2021093637A1 (zh) 追焦方法和装置、电子设备、计算机可读存储介质
JP2021174554A (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
JP2014116716A (ja) 追尾装置
US9392146B2 (en) Apparatus and method for extracting object
KR20230052774A (ko) 프레임 그래버의 리사이즈 영상 획득을 이용한 로봇팔 제어시스템 및 그 방법
WO2020119058A1 (zh) 微表情描述方法、装置、计算机装置及可读存储介质
US20220230459A1 (en) Object recognition device and object recognition method
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2023535005A (ja) 電子画像内の物体を認識するための方法及びシステム又は装置
CN106713726A (zh) 一种识别拍摄方式的方法和装置
JP2021117909A (ja) 三次元画像生成装置及び三次元画像生成方法
JP2004199200A (ja) パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant