WO2010030141A2 - 무인운송장치의 정차제어시스템 및 방법 - Google Patents

무인운송장치의 정차제어시스템 및 방법 Download PDF

Info

Publication number
WO2010030141A2
WO2010030141A2 PCT/KR2009/005173 KR2009005173W WO2010030141A2 WO 2010030141 A2 WO2010030141 A2 WO 2010030141A2 KR 2009005173 W KR2009005173 W KR 2009005173W WO 2010030141 A2 WO2010030141 A2 WO 2010030141A2
Authority
WO
WIPO (PCT)
Prior art keywords
image information
display unit
reference point
unmanned transportation
hsi
Prior art date
Application number
PCT/KR2009/005173
Other languages
English (en)
French (fr)
Other versions
WO2010030141A3 (ko
Inventor
김상우
박지훈
박영수
이제원
Original Assignee
동명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020080089811A external-priority patent/KR100882946B1/ko
Priority claimed from KR1020080089773A external-priority patent/KR100882944B1/ko
Priority claimed from KR1020080089810A external-priority patent/KR100882945B1/ko
Application filed by 동명대학교 산학협력단 filed Critical 동명대학교 산학협력단
Publication of WO2010030141A2 publication Critical patent/WO2010030141A2/ko
Publication of WO2010030141A3 publication Critical patent/WO2010030141A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 무인운송장치의 정차제어시스템 및 방법에 관한 것으로서 상세하게는 사용자가 원하는 장소에 무인운송장치를 보다 편리하고 정확하게 위치시킬 수 있는 정차제어시스템 및 방법에 관한 것이다. 이러한 목적을 달성하기 위한 본 발명은, 무인운송장치에 마련되는 카메라와; 상기 무인운송장치의 외부에 마련되되, 상기 무인운송장치의 목표정지위치를 표시하고 RGB이미지 정보가 마련되며 상기 무인운송장치의 목표정지위치 이탈여부의 기준이 되는 기준점을 구비하는 정지표시부와; 상기 카메라에 의하여 촬영된 영상의 RGB이미지 정보를 HSI이미지 정보로 변환하는 HSI 변환부와; 상기 HSI 변환부에 의하여 인식된 정보를 기 입력된 상기 기준점의 HSI이미지 정보와 비교하여 상기 기준점의 위치를 찾아내고, 상기 기준점의 위치를 이용하여 상기 무인운송장치가 목표정지위치에 도달하였는지를 판단하여 상기 무인운송장치의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 무인운송장치 정차제어시스템을 제공한다.

Description

무인운송장치의 정차제어시스템 및 방법
본 발명은 무인운송장치의 정차제어시스템 및 방법에 관한 것으로서 상세하게는 보다 정확하고 효율적으로 무인운송장치를 원하는 목표지점에 정지시킬 수 있는 무인운송장치의 정차제어시스템에 관한 것이다.
세계적인 물동량의 증가에 따라서, 항만에서 크레인을 이용하여 컨테이너를 하역하거나 선적을 하는데 소용되는 시간과 비용을 감소시키고자 하는 요구가 커짐에 따라서, 운용의 효율성을 향상시키기 위하여 항만용 크레인의 자동화와 컨테이너 이송장치의 무인화에 대하여 국내외에서 많은 연구가 진행되고 있다.
유럽복합터미널과 같은 선진화된 컨테이너 터미널에서는 컨테이너의 하역 및 선적이 보다 효율적으로 이루어지도록 무인자동화시스템을 구축하여 가동하고 있으며, 이러한 항만 무인자동화 시스템에 있어서 가장 중요한 구성요소는 터미널 내에서 움직이고 컨테이너를 운송하는 무인운송장치(AGV ; Automated Guided Vechicle)이다.
항만 무인자동화 시스템에 있어서, 무인운송장치가 크레인 아래에 정지하게 되면, 크레인의 스프레더가 하강하여 무인운송장치에 실린 컨테이너를 들어올려서 화물선에 선적을 하거나 야적장에 놓여 있는 컨테이너를 무인운송장치에 싣는 작업을 한다.
이 경우, 무인운송장치의 정차위치를 정하는데 있어서 오차가 거의 발생하지 않아야 크레인의 스프레더가 컨테이너를 정확하게 무인운송장치에 내려놓거나 끌어올릴 수 있게 되며, 정확한 정차위치에 무인운송장치가 정차하지 않는다면 그 위치를 보정하기 위해 시간적 비용적 부담이 증가하게 되는 문제점이 있다.
따라서, 무인운송장치의 정차위치를 보다 정확하고 신속하게 인식하여 무인운송장치를 원하는 정차위치에 위치시킬 수 있는 시스템 및 방법에 대한 요구가 점점 커지고 있다.
본 발명은 무인운송장치를 운용함에 있어서, 무인운송장치에 실린 화물을 내리기 전이나 무인운송장치에 화물을 싣기 전에 무인운송장치의 정확한 정차위치를 신속하고도 거의 오차가 없도록 파악하는데 그 기술적 과제가 있다.
또한, 무인운송장치의 정확한 정차위치를 신속하고도 정확하게 파악함으로써 크레인을 이용하여 무인운송장치에 화물을 싣거나 내리는 경우 그 작업이 보다 신속하고 효율적으로 이루어질 수 있도록 하는데 그 기술적 과제가 있다.
이러한 기술적 과제를 수행하기 위한 본 발명은, 무인운송장치에 마련되는 카메라와; 상기 무인운송장치의 외부에 마련되되, RGB이미지 정보가 마련되며 상기 무인운송장치의 목표정지위치 이탈여부의 기준이 되는 기준점을 구비하는 정지표시부와; 상기 카메라에 의하여 인식된 정지표시부의 RGB이미지 정보를 HSI이미지 정보로 변환하는 HSI 변환부와; 상기 HSI 변환부에 의하여 인식된 정보를 기 입력된 상기 기준점의 HSI이미지 정보와 비교하여 상기 기준점의 위치를 찾아내고, 상기 기준점의 위치를 이용하여 상기 무인운송장치가 목표정지위치에 도달하였는지를 판단하여 상기 무인운송장치의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 무인운송장치 정차제어시스템을 제공한다.
상기 정지표시부에 구비되는 상기 RGB이미지 정보는 상호 구획되어 마련되고 서로 다른 색수치를 갖는 복수개의 색상으로 구성되는 것을 특징으로 한다.
상기 HSI이미지 정보는 명도이미지 정보 및 색상이미지 정보를 포함하는 것을 특징으로 한다.
상기 제어부는 상기 명도이미지 정보로부터 Harris corner detector를 이용하여 코너를 검색하고, 검색된 코너 주위의 색상이미지 정보와 상기 기준점의 HSI이미지 정보가 일치하는지를 판단하여 상기 기준점을 찾는 것을 특징으로 한다.
상기 정지표시부는 원판형태로 마련되며 상기 교차점은 상기 정지표시부의 정중앙에 배치되는 것을 특징으로 한다.
상기 제어부는 상기 카메라에 의하여 촬영된 영상의 프레임 내에 상기 기준점이 인식되면, Lucas-Kanade 방법으로 상기 기준점을 계속적으로 추적하는 것을 특징으로 한다.
상기 제어부는 상기 카메라에 의하여 촬영된 영상의 프레임 내에 상기 기준점이 인식되면, 상기 카메라에 의하여 촬영된 영상의 프레임의 일 모서리와 상기 기준점의 상대위치 변화를 계산하여 상기 목표정지위치와 상기 무인운송장치의 현재위치와의 거리를 계산하는 것을 특징으로 한다.
상기 제어부는 상기 카메라에 의하여 촬영된 영상의 프레임 내에 특정된 일 지점과 상기 기준점이 일치하는 경우 상기 무인운송장치를 정지시키는 것을 특징으로 한다.
상기 무인운송장치 정차제어시스템은 상기 무인운송장치가 이동하는 이동경로에 배치되어 무인운송장치의 이동을 안내하는 신호를 발생하는 신호발생부와, 상기 신호를 인식하도록 상기 무인운송장치에 배치되는 신호인식부를 포함하며, 상기 신호발생부는 상기 무인운송장치가 상기 정지표시부를 주위를 순환할 수 있는 형태로 배치되는 것을 특징으로 한다.
본 발명은 또한, 무인운송장치에 마련된 카메라에 의하여 정지표시부의 기준점을 찾기 위해 영상을 촬영하는 단계; 상기 촬영된 영상의 RGB이미지 정보를 HSI이미지 정보로로 변환시키는 단계와; 상기 HSI이미지 정보와 기 입력된 상기 기준점 주위의 HSI이미지 정보를 비교하여 상기 정지표시부를 찾는 단계; 상기 정지표시부의 위치로부터 목표정지위치를 파악하고 상기 목표정지위치에 상기 무인운송장치를 정지시키는 단계를 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법을 제공한다.
상기 촬영된 영상의 HSI이미지 정보는 명도이미지 정보 및 색상이미지 정보를 포함하는 것을 특징으로 한다.
상기 HSI이미지 정보와 기 입력된 상기 기준점 주위의 HSI이미지 정보를 비교하여 상기 정지표시부를 찾는 단계는, 상기 명도이미지 정보로부터 Harris corner detector를 이용하여 코너를 검색하고, 검색된 코너 주위의 색상이미지 정보와 상기 기준점 주위의 HSI 정보가 일치하는지를 판단하여 상기 기준점을 찾는 것을 특징으로 한다.
상기 HSI이미지 정보와 기 입력된 상기 기준점 주위의 HSI이미지 정보를 비교하여 상기 정지표시부를 찾는 단계 후, 상기 쵤영된 영상 프레임을 계속적으로 갱신하여 정지표시부의 위치를 계속적으로 추적하는 단계를 더 포함하는 것을 특징으로 한다.
상기 정지표시부의 위치를 계속적으로 추적하는 단계는 Lucas-Kanade 방법을 이용하여 상기 정지표시부의 위치를 계속적으로 추적하는 것을 특징으로 한다.
상기 정지표시부와 상기 무인운송장치와의 거리를 계산하는 단계를 더 포함하는 것을 특징으로 한다.
상기 무인운송장치를 정지시키는 단계는 비례제어기의 게인값을 높여가면서 상기 비례제어기로 피드백되어 입력되는 속도를 감소시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명은 또한, 무인운송장치에 마련된 카메라에 의하여 정지표시부의 기준점을 찾기 위해 영상을 촬영하는 단계; 상기 촬영된 영상의 RGB이미지 정보를 명도이미지 정보, 색상이미지 정보 및 채도이미지 정보를 포함하는 HSI이미지 정보로 변환시키는 단계와; 상기 명도이미지로부터 Harris Corner detector를 이용하여 코너를 검색하는 단계; 상기 채도이미지 정보에서 소정의 문턱값 이상의 채도를 갖는 정보만으로 이루어진 바이너리이미지 정보를 구하고, 이를 마스크로 하여 상기 색상 이미지 정보와 결합함으로써 데스티네이션이미지 정보를 구하는 단계; 상기 코너 주위의 데스티네이션이미지 정보와 상기 기준점 주위의 HSI이미지 정보가 일치하는지를 비교하여 상기 정지표시부를 찾는 단계; 및 상기 정지표시부의 위치로부터 목표정지위치를 파악하고 상기 목표정지위치에 상기 무인운송장치를 정지시키는 단계를 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법을 제공한다.
상기 무인운송장치 정차제어방법은, 상기 정지표시부가 발견되면, 상기 쵤영된 영상 프레임을 계속적으로 갱신하여 정지표시부의 위치를 계속적으로 추적하는 단계를 더 포함하는 것을 특징으로 한다.
상기 정지표시부의 위치를 계속적으로 추적하는 단계는 Lucas-Kanade 방법을 이용하여 상기 정지표시부의 위치를 계속적으로 추적하는 것을 특징으로 한다.
상기 정지표시부와 상기 무인운송장치와의 거리를 계산하는 단계를 더 포함하는 것을 특징으로 한다.
상기 무인운송장치를 정지시키는 단계는 비례제어기의 게인값을 높여가면서 상기 비례제어기로 피드백되어 입력되는 속도를 감소시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.
이와 같은 본 발명에 의하여 정차위치를 나타내는 정지표시부를 정확하게 판별하고, 이를 계속적으로 추적하여 목표로 하는 정차위치에 빠른 시간내에 무인운송장치를 정차시킴으로써 컨테이너를 하역 또는 선적함에 있어서 소요되는 시간을 줄일 수 있는 장점이 있다.
도 1은 본 발명이 적용되는 무인운송장치 및 크레인을 개략적으로 나타낸 사시도이다.
도 2는 본 발명에 의한 무인운송장치의 정차제어시스템의 제어블록도이다.
도 3은 본 발명에 의한 정지표시부의 정면도이다.
도 4는 본 발명에 의한 무인운송장치의 정차제어방법의 제어흐름도이다.
도 5은 HSI이미지 정보에서 코너를 중심으로 하여 이미지 정보 데이터를 수집하기 위한 좌표계를 도시한 것이다.
도 6은 정지표시부를 반경을 구하기 위한 좌표계를 도시한 것이다.
도 7은 본 발명에 있어서 무인운송장치를 정차시키기 위한 제어블록도이다.
도 8은 본 발명의 무인운송장치의 정지시 목표정차위치와 실제위치와의 이탈범위를 나타낸 표이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 알아보기로 하겠다.
도 1은 컨테이너 터미널의 일부를 구성하는 크레인(10)과 그 크레인(10)의 아래에서 운용되는 무인운송장치(80)를 간략하게 도시한 것이다. 도 1에서 개시된 바와 같이, 상기 크레인(10)은 철 구조물로 이루어지는 프레임(20)과, 상기 프레임(20)의 상부에 마련되는 레일(30)과, 상기 레일(30)의 안내를 받아서 전후방향으로 이동하게 되는 트롤리(40)로 구성된다.
상기 트롤리(40)에는 와이어(60)로 연결되어 컨테이너(C)를 홀딩한 상태로 상기 컨테이너(C)를 상하로 움직일 수 있는 스프레더(50)가 마련되고 있다.
그리고 상기 크레인(10)의 주위에는 무인운송장치(80)가 일정한 신호를 따라서 움직이게 되는데, 이를 위하여 상기 크레인(10)의 주위에는 순환트랙(90)이 마련되고, 그 순환트랙(90)에는 상기 무인운송장치(80)의 이동을 안내하는 신호를 발생시키는 신호발생부(100)가 마련된다. 여기서 상기 신호발생부(100)는 RFID, 또는 마그네틱 장치 등이 있는데, 이러한 한정에 그칠 것은 아니다.
한편, 상기 무인운송장치(80)는 컨테이너를 실을 수 있는 몸체부(110)와 그 몸체부(110) 양측에 마련된 구동바퀴(120)와, 상기 몸체부(110)에 마련되어 상기 신호발생부(100)에서 발생되는 안내신호를 수신하는 신호수신부(130)를 포함하고 있다.
상기 크레인(10)의 스프레더(50)가 상기 컨테이너(C)를 상기 무인운송장치(80)로부터 집어올리거나 내려놓기 위에서는 그 작업이 가능하도록 상기 무인운송장치(80)가 목표정지위치에 있어야 한다. 여기서 목표정지위치란 스프레더(50)가 상하로 움직일때 그 궤적의 하부에 컨테이너(C)가 있어야 되는 무인운송장치(80)의 정차위치이다.
이러한 목표정차위치를 표시하기 위하여 상기 크레인(10)의 프레임(20)에는 소정의 정지표시부(200)가 마련되며, 상기 무인운송장치(80)의 일측면에는 상기 정지표시부(200)를 인식하기 위한 카메라(미도시)가 마련된다. 카메라는 정지표시부를 인식하기 위해 계속적으로 영상을 촬영하게 된다. 여기서, 카메라는 예를 들어 CCD로 구성될 수 있다.
도 2에서 도시한 바와 같이, 상기 무인운송장치(80)에는 그 장치의 정차 및 이동을 제어하며, 상기 신호인식부(130), 상기 카메라(150) 및 상기 무인운송장치의 구동부(170)와 연결되는 제어부(160)가 마련된다.
한편, 상기 카메라(150)는 정지표시부(200)의 RGB이미지 정보를 HSI이미지 정보로 바꾸어주는 HSI 변환부(150)가 연결되고, 이러한 HSI 변환부(150)는 상기 제어부(160)와도 연결된다. 후술하는 바와 같이 상기 HSI이미지 정보를 기 설정된 데이터와 비교함으로써 상기 무인운송장치의 목표정차위치 도달여부를 판단할 수 있게 된다.
이와 같이, 촬영된 영상의 RGB이미지 정보를 HSI이미지 정보로 바꾸는 이유는 RGB이미지 정보의 경우 색상과 더불어 빛, 즉, 광택에 의하여 잘못된 정보가 인식될 우려가 있기 때문에, 빛에 의한 악영향을 배제시킬 수 있도록 색상(Hue)과 채도(Saturation) 및 명도(Intensity)를 기준으로 하여 이미지 정보를 판독할 수 있도록 하기 위함이다.
도 3에서 도시하는 바와 같이, 상기 정지표시부(200)의 구성을 보면, 그 전체적인 형태는 소정의 반경(R)을 가진 원형의 형태이며, 그 내부는 소정의 수평선(220)과 수직선(210)에 의하여 균등분할 되어 있으며, 상기 수평선(220)과 상기 수직선(210)이 교차되는 교차점(230)이 만들어지는데, 상기 교차점(230)은 상기 무인운송장치의 목표정지위치의 도달여부를 판단하는 기준점(230)이 된다.
상기 정지표시부(200)를 원형으로 구성한 이유는 상기 정지표시부에 대한 접근방향 및 정지표시부의 회전, 기타 크기의 축소에 관계없이 상기 기준점을 명확하게 인식할 수 있기 때문이다.
한편, 상기 수평선(220)과 상기 수직선(210)에 의하여 분할되는 각각의 구역에는 서로 다른 색수치를 갖는 색상이 배치되어 있어서, 인식된 정지표시부(200)가 실제 목표정지위치를 나타내는 진정한 정지표시부인지 판단하는 경우 보다 정확한 기준이 될 수 있다.
즉, 1개의 색상만 존재하는 경우보다 복수개의 색상이 동시에 기준에 들어맞게 되는 경우에 그 기준에 맞다고 판단한 결과가 상대적으로 신뢰도가 높기 때문이다.
도 4는 본 발명의 무인운송장치의 정차제어방법에서 그 목표정지위치를 판독하고 무인운송장치를 정차시키는 제어흐름을 도시한 것이다.
도 4에서 개시된 바와 같이, 우선 무인운송장치에 설치된 카메라에 의하여 영상을 촬영한 후(S100), 상기 영상의 RGB이미지 정보를 HSI이미지 정보로 변환한 후에 그 변환된 정보를 토대로 기 입력된 정지표시부의 HSI이미지 정보가 인식되었는지 판단한다(S110).
본 단계에 대해 보다 상세하게 설명하면, 먼저 RGB 이미지 정보로부터 명도이미지 정보, 즉 gray-scale 이미지 정보로 바꾼다. 여기서 gray-scale 이미지 정보로 바꾸는 이유는 Harris Corner detector를 이용하여 상기 정지표시부에 마련된 기준점을 용이하게 판별하기 위해서이다.
상기 명도정보로부터 Harris Corner detector를 이용하여 코너를 검색하는데, 검색된 코너들은 정지표시부의 기준점에 대한 후보(candidate)가 된다. 다음으로 이들 코너 주위의 색상이미지 정보를 구하고, 이들 색상이미지 정보와 기 입력된 정지표시부의 HSI이미지 정보 즉 기준점 주위의 HSI이미지 정보를 비교하여 양자가 일치하면 그 코너를 정지표시부의 기준점으로 판단하게 된다.
그러나, 색상이미지 정보만을 이용할 경우 무의미한 색상이미지 정보(무채색 등 채도가 낮은 이미지에 대한 정보)에 의해 정확한 판단을 하기 어려우므로, 채도이미지에서 소정의 문턱값을 기준으로 바이너리이미지(binary image) 정보를 구한 후, 이 바이너리이미지를 마스크로 하여 색상이미지와 결합함으로써 데스티네이션이미지(destination image)를 구하고, 이 데스티네이션이미지 정보를 정지표시부의 기준점의 HSI이미지 정보와 비교하여 기준점을 찾게 된다. 위와 같이 바이너리이미지와 색상이미지를 결합하여 얻어진 데스티네이션이미지를 이용함으로써, 문턱값 미만의 채도가 낮은 픽셀의 색상 정보를 0으로 만들 수 있다. 바이너리이미지 정보를 구하기 위한 채도의 문턱값은 특별히 제한되지 않는다.
한편, 상기와 같이 변환된 HSI이미지 정보로부터 코너들을 인식하고 각 코너들이 진정한 정지표시부인지 판단하는 단계는 아래와 같은 알고리즘에 의하여 구현된다.
즉, 명도이미지 정보로부터 Harris Corner dector를 이용하여 코너(Igray(x, y))를 인식하고, 그 코너를 중심으로 아래 표1과 도 5에서 개시된 것처럼 소정의 거리(d)만큼 떨어져있는 복수의 지점(Idest(x±d, y±d))에서의 색상이미지 정보 또는 바이너리이미지 정보를 마스크로 하여 얻어진 데스티네이션이미지 정보를 구한 다음, 그 정보를 기준점의 HSI이미지 정보와 비교함으로써 그 코너가 무인운송장치의 목표지점을 나타내는 진정한 정지표시부인지 판단한다.
표 1
Figure PCTKR2009005173-appb-T000001
위와 같은 과정을 통해 촬영된 영상에서 정지표시부가 인식되지 않으면, 무인운송장치의 이동과 함께 계속적으로 영상을 촬영하고 정지표시부를 찾는 과정을 반복하게 된다.
한편, 촬영된 영상의 특정 지점의 HSI이미지 정보와 정지표시부의 이미지 정보가 일치하여 정지표시부를 발견하게 되면, 정지표시부를 추적하게 된다(S130).
그 추적방법은 이와 같다. 즉, 상기 무인운송장치가 움직이면서 상기 무인운송장치에 마련된 카메라가 상기 정지표시부를 인식하게 되면, 상기 정지표시부가 찍힌 영상 프레임 내에서 정지표시부의 위치가 계속적으로 변하게 되는데, 매 프레임마다 갱신된 정지표시부의 기준점의 optical flow를 계속적으로 추적하는 Lucas-Kanade 방법을 이용한다.
원형의 정지표시부가 감지되고 난 후 연속되는 영상 프레임에서 정지표시부의 자취(trace)를 Lucas-Kanade Optical flow 방법을 사용하여 추적한다. 정지표시부의 기준점의 이동위치를 추정한 후 정확한 기준점의 좌표를 구하기 위하여 추정한 기준점의 위치로부터 소정의 반경까지 Harris corner detector를 적용하여 정확한 기준점의 좌표를 구하게 된다.
여기서, harris corner detector를 적용하여 정확한 기준점의 좌표를 구하는 범위는 정지표시부 반경의 범위로 하는 것이 바람직하다. 즉, 추정한 기준점의 위치로부터 정지표시부의 반경 만큼 벗어난 범위까지 Harris corner detector를 적용하여 정확한 기준점의 좌표를 구하는 것이다.
정지표시부의 반경을 구하는 방법에 대해 아래의 표2와 도 6을 참조하여 살펴 보면, 원형의 정지표시부의 기준점을 중심으로 하여 소정의 거리(d)만큼 떨어진 복수개의 부분(Idest(x±d, y±d))의 색수치를 판단한 다음 일정 거리(r)만큼 확대시켜 가면서 복수개의 부분(Idest(x±d±r, y±d±r))의 색수치 차이를 검사하여 정지표시부의 반경(R)을 구하게 된다.
표 2
Figure PCTKR2009005173-appb-T000002
이와 같이 정확한 기준점의 좌표가 구해지면 정지표시부의 위치을 확정하게 된다(S140).
한편, 상기 무인운송장치가 계속적으로 움직일 때 상기 무인운송장치와 상기 목표정차위치까지의 거리를 계산하게 되는데(S150), 여기서 제어부는 상기 카메라에 의하여 인식된 영상의 프레임의 일 모서리와 상기 기준점의 상대위치 변화를 계산하여 상기 목표정지위치와 상기 무인운송장치의 현재위치 사이의 거리를 계산하게 된다.
그리고, 상술한 비교값이 소정의 초기설정값에 이르고, 상기 정지표시판에 있는 기준점이 상기 영상프레임에 나타난 특정된 일 지점과 일치하는지 여부를 판단하여(S160) 결과값이 그러하다고 나오게 되면(상기 정지표시부에 의하여 표시되는 목표정지위치와 상기 무인운송장치의 거리가 0이 되면), 상기 무인운송장치가 정지하게 되는데, 이때 제어블록도를 보면 도 7과 같다.
상기 무인운송장치를 정지시키기 위한 제어구성를 보면, 프로세스(300) 앞에 비례제어기(400)를 달아서 제어를 하는데 여기서 input 값(e)은 속도이고, output 값(y)은 목표정지위치와 무인운송장치의 거리가 되며, 무인운송장치와 목표정지위치의 거리가 가까워질수록 비례제어기(400)의 게인값을 증가시킴으로써 되먹임 제어를 하게 되면 비례제어기(400) 쪽으로 피드백되어 들어오는 속도(e)가 점점 0에 가까워지면서 결국에는 목표정지위치에 정차하게 되는 것이다.
도 8은 본 발명의 실험결과를 나타낸 것인데, 50번의 실험에 걸쳐서 검토한 결과, 원하는 정차위치 기준포인트에서 평균적으로 약 0.25cm정도 벗어났고, 최대 이탈범위는 0.48cm인 것을 감안하면, 실질적으로 정확한 목표정차위치에 정차시킬수 있음을 알 수 있다.

Claims (21)

  1. 무인운송장치에 마련되는 카메라와;
    상기 무인운송장치의 외부에 마련되되, 상기 무인운송장치의 목표정지위치를 표시하고 RGB이미지 정보가 마련되며 상기 무인운송장치의 목표정지위치 이탈여부의 기준이 되는 기준점을 구비하는 정지표시부와;
    상기 카메라에 의하여 촬영된 영상의 RGB이미지 정보를 HSI이미지 정보로 변환하는 HSI 변환부와;
    상기 HSI 변환부에 의하여 인식된 정보를 기 입력된 상기 기준점 주위의 HSI이미지 정보와 비교하여 상기 정지표시부의 위치를 찾아내고, 상기 정지표시부의 위치를 이용하여 상기 무인운송장치가 목표정지위치에 도달하였는지를 판단하여 상기 무인운송장치의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  2. 제1항에 있어서,
    상기 정지표시부에 구비되는 상기 RGB이미지 정보는 상호 구획되어 마련되고 서로 다른 색수치를 갖는 복수개의 색상으로 구성되는 것을 특징으로하는 무인운송장치 정차제어시스템.
  3. 제1항에 있어서,
    상기 HSI이미지 정보는 명도이미지 정보 및 색상이미지 정보를 포함하는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  4. 제3항에 있어서,
    상기 제어부는 상기 명도이미지로부터 Harris corner detector를 이용하여 코너를 검색하고, 검색된 코너 주위의 색상이미지 정보와 상기 기준점 주위의 HSI이미지 정보가 일치하는지를 판단하여 상기 정지표시부를 찾는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  5. 제1항에 있어서,
    상기 정지표시부는 원판형태로 마련되며 상기 기준점은 상기 정지표시부의 정중앙에 배치되는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  6. 제1항에 있어서,
    상기 제어부는 상기 카메라에 의하여 촬영된 영상에서 상기 기준점이 인식되면, Lucas-Kanade 방법으로 상기 기준점을 계속적으로 추적하는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  7. 제6항에 있어서,
    상기 제어부는 상기 카메라에 의하여 촬영된 영상에서 상기 기준점이 인식되면, 상기 카메라에 의하여 촬영된 영상의 프레임의 일 모서리와 상기 기준점의 상대위치 변화를 계산하여 상기 목표정지위치와 상기 무인운송장치의 현재위치와의 거리를 계산하는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  8. 제1항에 있어서,
    상기 제어부는 상기 카메라에 의하여 촬영된 영상의 프레임 내에 특정된 일 지점과 상기 기준점이 일치하는 경우 상기 무인운송장치를 정지시키는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  9. 제1항에 있어서,
    상기 무인운송장치가 이동하는 이동경로에 배치되어 무인운송장치의 이동을 안내하는 신호를 발생하는 신호발생부와,
    상기 신호를 인식하도록 상기 무인운송장치에 배치되는 신호인식부를 포함하며,
    상기 신호발생부는 상기 무인운송장치가 상기 정지표시부를 주위를 순환할 수 있는 형태로 배치되는 것을 특징으로 하는 무인운송장치 정차제어시스템.
  10. 무인운송장치에 마련된 카메라에 의하여 정지표시부의 기준점을 찾기 위해 영상을 촬영하는 단계;
    상기 촬영된 영상의 RGB이미지 정보를 HSI이미지 정보로로 변환시키는 단계와;
    상기 HSI이미지 정보와 기 입력된 상기 기준점 주위의 HSI이미지 정보를 비교하여 상기 정지표시부를 찾는 단계;
    상기 정지표시부의 위치로부터 목표정지위치를 파악하고 상기 목표정지위치에 상기 무인운송장치를 정지시키는 단계를 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  11. 제10항에 있어서,
    상기 촬영된 영상의 HSI이미지 정보는 명도정이미지 정보 및 색상이미지 정보를 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  12. 제11항에 있어서,
    상기 HSI이미지 정보와 기 입력된 상기 기준점 주위의 HSI이미지 정보를 비교하여 상기 정지표시부를 찾는 단계는,
    상기 명도이미지 정보로부터 Harris corner detector를 이용하여 코너를 검색하고, 검색된 코너 주위의 색상이미지 정보와 상기 기준점 주위의 HSI이미지 정보가 일치하는지를 판단하여 상기 정지표시부를 찾는 것을 특징으로 하는 무인운송장치 정차제어방법.
  13. 제10항에 있어서,
    상기 HSI이미지 정보와 기 입력된 상기 기준점 주위의 HSI이미지 정보를 비교하여 상기 정지표시부를 찾는 단계 후,
    상기 쵤영된 영상 프레임을 계속적으로 갱신하여 상기 정지표시부의 위치를 계속적으로 추적하는 단계를 더 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  14. 제13항에 있어서,
    상기 정지표시부의 위치를 계속적으로 추적하는 단계는 Lucas-Kanade 방법을 이용하여 상기 정지표시부의 위치를 계속적으로 추적하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  15. 제10항에 있어서,
    상기 정지표시부와 상기 무인운송장치와의 거리를 계산하는 단계를 더 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  16. 제10항에 있어서,
    상기 무인운송장치를 정지시키는 단계는 비례제어기의 게인값을 높여가면서 상기 비례제어기로 피드백되어 입력되는 속도를 감소시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 무인운송장치 정차제어방법.
  17. 무인운송장치에 마련된 카메라에 의하여 정지표시부의 기준점을 찾기 위해 영상을 촬영하는 단계;
    상기 촬영된 영상의 RGB이미지 정보를 명도이미지 정보, 색상이미지 정보 및 채도이미지 정보를 포함하는 HSI이미지 정보로 변환시키는 단계와;
    상기 명도이미지로부터 Harris Corner detector를 이용하여 코너를 검색하는 단계;
    상기 채도이미지 정보에서 소정의 문턱값 이상의 채도를 갖는 정보만으로 이루어진 바이너리이미지 정보를 구하고, 이를 마스크로 하여 상기 색상 이미지 정보와 결합함으로써 데스티네이션이미지 정보를 구하는 단계;
    상기 코너주위의 데스티네이션이미지 정보와 상기 기준점 주위의 HSI이미지 정보가 일치하는지를 비교하여 상기 정지표시부를 찾는 단계; 및
    상기 정지표시부의 위치로부터 목표정지위치를 파악하고 상기 목표정지위치에 상기 무인운송장치를 정지시키는 단계를 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  18. 제17항에 있어서,
    상기 정지표시부가 발견되면, 상기 쵤영된 영상 프레임을 계속적으로 갱신하여 정지표시부의 위치를 계속적으로 추적하는 단계를 더 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  19. 제18항에 있어서,
    상기 정지표시부의 위치를 계속적으로 추적하는 단계는 Lucas-Kanade 방법을 이용하여 상기 정지표시부의 위치를 계속적으로 추적하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  20. 제17항에 있어서,
    상기 정지표시부와 상기 무인운송장치와의 거리를 계산하는 단계를 더 포함하는 것을 특징으로 하는 무인운송장치 정차제어방법.
  21. 제17항에 있어서,
    상기 무인운송장치를 정지시키는 단계는 비례제어기의 게인값을 높여가면서 상기 비례제어기로 피드백되어 입력되는 속도를 감소시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 무인운송장치 정차제어방법.
PCT/KR2009/005173 2008-09-11 2009-09-11 무인운송장치의 정차제어시스템 및 방법 WO2010030141A2 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2008-0089773 2008-09-11
KR1020080089811A KR100882946B1 (ko) 2008-09-11 2008-09-11 무인운송장치의 정차제어시스템
KR10-2008-0089810 2008-09-11
KR10-2008-0089811 2008-09-11
KR1020080089773A KR100882944B1 (ko) 2008-09-11 2008-09-11 무인운송장치의 정차제어방법
KR1020080089810A KR100882945B1 (ko) 2008-09-11 2008-09-11 무인운송장치의 정차제어방법

Publications (2)

Publication Number Publication Date
WO2010030141A2 true WO2010030141A2 (ko) 2010-03-18
WO2010030141A3 WO2010030141A3 (ko) 2010-06-24

Family

ID=42005648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005173 WO2010030141A2 (ko) 2008-09-11 2009-09-11 무인운송장치의 정차제어시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2010030141A2 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191750A (ja) * 1993-12-27 1995-07-28 Meidensha Corp 無人搬送車
US5956413A (en) * 1992-09-07 1999-09-21 Agrovision Ab Method and device for automatic evaluation of cereal grains and other granular products
US6741757B1 (en) * 2000-03-07 2004-05-25 Microsoft Corporation Feature correspondence between images using an image pyramid
US20050185836A1 (en) * 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
US20080122926A1 (en) * 2006-08-14 2008-05-29 Fuji Xerox Co., Ltd. System and method for process segmentation using motion detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956413A (en) * 1992-09-07 1999-09-21 Agrovision Ab Method and device for automatic evaluation of cereal grains and other granular products
JPH07191750A (ja) * 1993-12-27 1995-07-28 Meidensha Corp 無人搬送車
US6741757B1 (en) * 2000-03-07 2004-05-25 Microsoft Corporation Feature correspondence between images using an image pyramid
US20050185836A1 (en) * 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
US20080122926A1 (en) * 2006-08-14 2008-05-29 Fuji Xerox Co., Ltd. System and method for process segmentation using motion detection

Also Published As

Publication number Publication date
WO2010030141A3 (ko) 2010-06-24

Similar Documents

Publication Publication Date Title
JP3785061B2 (ja) 荷役クレーンにおけるコンテナ位置検知方法及び装置並びにコンテナ着床、段積制御方法
Chang et al. Real-time visual tracking and measurement to control fast dynamics of overhead cranes
CN201809065U (zh) 岸桥下集装箱装卸自动控制系统
CN112938766B (zh) 起重机装置
CN112157642B (zh) 一种用于配电室的无人巡检机器人
JP2010189130A (ja) フォークリフトの荷役支援装置
WO2021066416A1 (en) Unmanned aerial vehicle for inventory management and method of operating the same
JPH11272328A (ja) 色標識，移動ロボットおよび移動ロボットの誘導方法
CN107918384A (zh) 一种库存物品管理系统、运载装置及其与被运载物的对接方法
WO2010030141A2 (ko) 무인운송장치의 정차제어시스템 및 방법
JP2008197705A (ja) 搬送台車、停止位置判定方法およびプログラム
WO2020111327A1 (ko) 비접촉식 물건속성 인식장치 및 방법
JP3482938B2 (ja) 物品位置認識装置
CN111800992B (zh) 制冷设备控制方法、装置、设备及计算机可读存储介质
CN113400999A (zh) 运载车对位方法及其对位系统、电动汽车电池更换方法
KR100882946B1 (ko) 무인운송장치의 정차제어시스템
KR100882945B1 (ko) 무인운송장치의 정차제어방법
KR100882944B1 (ko) 무인운송장치의 정차제어방법
JP5924748B1 (ja) 誘導ラインプレート及びそれを用いた無人搬送システム
JP2020111419A (ja) 天井搬送車
KR100344102B1 (ko) 스프레더의자동착지방법및그장치
CN104250841A (zh) 移送系统、电解精炼系统及移送方法
JPH01176795A (ja) クレーンの位置検出並びに制御装置
JPH0227273B2 (ko)
CN218490685U (zh) 转运装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09813263

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09813263

Country of ref document: EP

Kind code of ref document: A2