KR20070115244A - 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법 - Google Patents

이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법 Download PDF

Info

Publication number
KR20070115244A
KR20070115244A KR1020060049395A KR20060049395A KR20070115244A KR 20070115244 A KR20070115244 A KR 20070115244A KR 1020060049395 A KR1020060049395 A KR 1020060049395A KR 20060049395 A KR20060049395 A KR 20060049395A KR 20070115244 A KR20070115244 A KR 20070115244A
Authority
KR
South Korea
Prior art keywords
mobile robot
obstacle
information
collision
remote control
Prior art date
Application number
KR1020060049395A
Other languages
English (en)
Other versions
KR100791381B1 (ko
Inventor
박준호
김연호
방석원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060049395A priority Critical patent/KR100791381B1/ko
Priority to US11/644,980 priority patent/US7853372B2/en
Priority to JP2007027569A priority patent/JP2007320024A/ja
Publication of KR20070115244A publication Critical patent/KR20070115244A/ko
Application granted granted Critical
Publication of KR100791381B1 publication Critical patent/KR100791381B1/ko
Priority to JP2011209946A priority patent/JP5323910B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및 방법이 제공된다. 이동 로봇의 원격 조종을 위한 충돌방지 시스템은 장착된 카메라로 촬영한 영상 데이터를 송신하며 수신된 제어 데이터에 의해 이동하는 이동 로봇 및 영상 데이터를 수신하여 분석하고 분석한 결과를 화면에 디스플레이하며 이동 로봇에 제어 데이터를 송신하는 제어기기를 포함한다.
이동 로봇, 장애물, 충돌 방지, 옵티컬 플로우(Optical Flow), FOE(Focus of expansion), TOC(Time of contact)

Description

이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및 방법{System, apparatus and method to prevent collision for remote control of mobile robot}
도 1a 내지 도 1b는 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치(이동 로봇)의 구조를 도시한 블록도이다.
도 3은 옵티컬 플로우의 실시예로 전형적인 옵티컬 플로우의 패턴을 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치(제어기기)의 구조를 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 이동 로봇의 진행 방향의 영상 및 이동 로봇의 진행 정보가 제어기기의 화면에 표시된 것을 도시한 도면이다.
도 6a 내지 도 6c는 본 발명의 다른 실시예에 따른 이동 로봇의 진행 방향의 영상 및 이동 로봇의 진행 정보가 제어기기의 화면에 표시된 것을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 방법의 흐름을 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 방법의 흐름을 도시한 도면이다.
<도면의 주요 부분에 관한 부호의 설명>
201 : 영상 처리부
202 : 장애물 감지부
203 : 컬러 매핑부
204 : 엔코더부
205 : 송수신부
206 : 제어부
본 발명은 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및 방법에 관한 것으로서, 더욱 상세하게는 원격지에서 이동 로봇을 제어하는 제어기기의 화면에서 충돌이 예상되는 장애물에 컬러를 매핑하고, 이동 로봇이 장애물에 충돌하기 전 경고음을 발생시킴으로써 원격지에서 이동 로봇을 제어하는 사용자가 장애물을 쉽게 인지하도록 하는 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및 방법에 관한 것이다.
일반적으로 이동 로봇은 카메라를 이용하여 자기의 현재 위치와 장애물의 위치를 검출하고 그 위치정보를 이용하여 주행하고 작업을 수행한다.
최근 이동 로봇의 활용 분야는 국방, 산업현장에서 가정에까지 다양하게 확대됨에 따라 이동 로봇의 장애물 위치 파악과 이동 로봇을 제어하는 사용자의 장애물 인식이 중요한 관심사로 떠올랐고, 이에 여러 장치 및 방법들(예를 들어, 미국특허 'US 4,905,151', 'One dimensional image visual system for a moving vehicle', 미국특허 'US 6,845,297', 'Method and system for remote control of mobile robot'이 제시되었다.
상술한 바와 같은 종래의 기술에서, 이동 로봇은 빛을 이동 로봇 전면에 조사하여 CCD(Charge Coupled Device)에 맺히는 빛의 위치와 밝기를 이용하여 장애물과의 거리를 측정하거나 원격지에 있는 사용자가 모니터를 통해 로봇의 헤드-업(Heads-up) 디스플레이와 오버헤드 맵(Overhead Map)을 보고 로봇을 원격 조종한다.
그러나 CCD의 시계(視界 ; Field Of View, 이하 FOV)에 의해서 카메라를 통해 보여지는 주변 사물의 왜곡 정도와 카메라를 통해 한번에 보여지는 정보의 양이 달라지기 때문에, CCD의 FOV가 작을 경우 장애물의 형태를 알아보기 어렵고 원격지에 있는 사용자에게 장애물의 정보를 알려주기 힘들다.
또한 원격지의 사용자가 알아볼 수 있는 형태의 오버헤드-맵을 작성하기 위해서는 값비싼 거리 측정센서가 필요하고 사용자가 가지고 있는 이동 로봇을 제어하는 기기의 화면이 작은 경우 오버헤드-맵을 디스플레이하기 어려울 뿐 아니라 디스플레이 된 오버헤드-맵을 통해서 사용자가 장애물을 인식하기 어려운 단점이 있다.
본 발명은 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및 방법을 통해 원격지에서 이동 로봇을 제어하는 제어기기의 화면에 이동 로봇과 충돌 가능성이 있는 장애물에 컬러를 오버랩(Overlap) 시키는데 그 목적이 있다.
본 발명의 다른 목적은 원격지에서 이동 로봇을 제어하는 제어기기의 화면에 이동 로봇과 충돌 가능성이 있는 장애물에 컬러를 오버랩 시킴으로써, 화면의 크기가 작은 제어기기에서도 이동 로봇을 제어하는 사용자가 효과적으로 장애물을 인식하도록 하는 것이다.
본 발명의 또 다른 목적은 FOE(Focus Of Expansion)와 이동 로봇의 속도를 이동 로봇 제어기기의 화면에 아이콘으로 표시하여 사용자에게 이동 로봇의 이동에 관한 정보를 쉽게 전달하는 것이다.
본 발명의 또 다른 목적은 이동 로봇이 장애물에 충돌하기 소정의 시간(초) 전에 사용자에게 경고음을 통해 알림으로써 이동 로봇이 장애물에 충돌하는 것을 효과적으로 예방하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 시스템은 장착된 카메라로 촬영한 영상 데이터를 송신하며 수신된 제어 데이터에 의해 이동하는 이동 로봇 및 영상 데이터를 수신하여 분석하고 분석한 결과를 화면에 디스플레이하며 이동 로봇에 제어 데이터를 송신하는 제어기기를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치는 이동 로봇의 주행 방향의 영상을 소정의 시간차로 저장하여 비교하는 영상 처리부, 이동 로봇의 주행 방향에 존재하는 장애물을 감지하고 충돌 예상 정보를 제공하는 장애물 감지부 및 충돌 예상 정보를 기초로 장애물의 충돌 예상 영역에 매핑할 컬러정보를 제공하는 컬러 매핑부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치는 이동 로봇으로부터 수신한 정보들을 기초로 화면에 보여지는 장애물에 이동 로봇이 충돌 가능한 충돌 예상 영역을 컬러로 매핑하는 매핑 처리부, 수신한 정보들을 기초로 화면에 이동 로봇의 진행정보를 표시하는 진행 정보 표시부 및 충돌 가능한 장애물에 이동 로봇이 접근할 때 수신한 정보들을 기초로 소정의 충돌 예상 시간(초) 전에 경고음으로 사용자에게 경고하는 경고음 발생부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 방법은 이동 로봇에 장착된 카메라에서 촬영한 주행 방향의 영상을 소정의 시간차로 저장하여 비교하는 영상 처리 단계, 이동 로봇의 주행 방향에 존재하는 장애물을 감지하고 충돌 예상 정보를 제공하는 장애물 감지 단계 및 충돌 예상 정보를 기초로 장애물의 충돌 예상 영역에 매핑할 컬러정보를 제공하는 컬러 매핑정보 제공 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 방법은 이동 로봇으로부터 수신한 정보들을 기초로 화면에 보여지는 장애물에 이동 로봇이 충돌 가능한 충돌 예상영역을 컬러로 매핑하는 컬러 매핑 처리 단계, 수신한 정보들을 기초로 화면에 이동 로봇의 진행정보를 표시하는 진행 정보 표시 단계 및 충돌 가능한 장애물에 이동 로봇이 접근할 때 수신한 정보들을 기초로 소정의 충돌 예상 시간 전에 경고음으로 사용자에게 경고하는 경고음 발생 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1a 내지 도 1b는 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 시스템의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 시스템(100)은 이동 로봇(101)과 원격지에서 이동 로봇을 제어하는 제어기기(102)를 포함하며 이동 로봇(101)과 제어기기(102)는 유무선 데이터 통신망(103)으로 연결되어 있다.
이동 로봇은(101)은 장착된 카메라로 촬영한 진행방향의 영상 데이터 및 이동 정보들을 유무선 통신망(102)을 통해 원격지의 제어기기(102)로 송신하며, 제어기기(102)는 이동 로봇(101)으로부터 수신한 영상 데이터 및 이동 정보들을 분석하고 분석한 결과를 제어기기(102)의 화면에 디스플레이 한다.
원격지에 있는 사용자는 제어기기(102)의 화면에 디스플레이된 영상 및 이동 정보를 보고 이동 로봇(101)을 제어할 수 있다.
여기에서 제어기기(102)는 이동 로봇(101)에서 송신한 영상을 디스플레이 할 수 있는 화면과 이동 로봇(101)을 제어할 수 있는 키패드 또는 버튼과 같은 방향키를 포함하는 것으로, 이동 단말기나 컴퓨터가 제어기기(102)의 예가 될 수 있다.
도 2는 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치(이동 로봇)의 구조를 도시한 블록도이다.
본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지장치(200)는 장착된 카메라에서 촬영한 주행 방향의 영상을 소정의 시간차로 저장하여 비교하는 영상 처리부(201), 이동 로봇(101)의 주행 방향에 존재하는 장애물을 감지하고 충돌 예상 정보를 제공하는 장애물 감지부(202), 충돌 예상 정보를 기초로 장애 물의 충돌 예상 영역에 매핑할 컬러정보를 제공하는 컬러 매핑부(203), 이동 로봇(101)의 바퀴의 동작을 감지하여 이동 속도 및 이동 방향 그리고 이동 거리에 대한 정보를 제공하는 엔코더부(204), 장착된 카메라로 촬영한 진행방향의 영상 데이터 및 이동 정보를 제어기기(102)로 송신하고, 이동 로봇(101)을 제어하는 제어 데이터를 제어기기(102)로부터 수신하는 송수신부(205), 각 부를 제어하는 제어부(206)를 포함한다.
본 발명의 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.
그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다.
'~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
도 2에서 영상 처리부(201)는 이동 로봇(101)에 장착된 카메라에서 촬영한 주행 방향의 영상을 소정의 시간차로 저장하여 비교한다.
소정의(일정) 시차를 두고 연속적으로 입력되는 영상을 분석하여 대상물체의 움직임을 추정하는 이동물체 추적기법은 컴퓨터 비젼(Vision) 분야 및 이를 이용한 이동 로봇 분야에서 많은 관심을 받고 있다.
이것은 현재 프레임 영상처리 결과를 반복적으로 다음 프레임 처리시에 이용함으로써 연속적으로 입력되는 영상의 움직임 동정이나 동적 물체의 분석작업을 행하는 것이다.
이와 같이 복수개의 영상처리에서 얻어진 특징의 차이로부터 움직임 정보를 검출하는 작업에서는 대상 물체의 움직이는 방향과 속도가 중요한 특징값이 되며 이것을 동시에 벡터로 표현하는 것을 옵티컬 플로우(Optical Flow)라 한다.
따라서 대상 물체의 각 점의 옵티컬 플로우를 계산함으로써 대상 물체의 움직임을 추정할 수 있다.
영상 처리부(201)는 이동 로봇(101)에 장착된 카메라에서 촬영한 주행 방향의 영상을 소정의 시간차로 저장소(미도시)에 저장하여 비교하고 엔코더부(204)로부터 이동 로봇(101)의 이동 속도 및 이동 방향에 대한 정보를 제공받아 옵티컬 플로우를 계산한다.
이동 로봇(101)의 3차원 공간상의 움직임은 2차원적인 이동변위를 야기시키는데, 만일 이동 로봇(101)이 이동한다면 이동 로봇(101)의 운동은 무한대의 거리에 위치한 한 점으로부터의 옵티컬 플로우로 생각될 수 있다.
2차원 영상내의 특정점 p = (x, y)에서 옵티컬 플로우 f = (u, v)는
[수학식 1]
Figure 112006038888768-PAT00001
을 통해 계산할 수 있다.
[수학식 1]에서
Figure 112006038888768-PAT00002
는 시간차를 두고 얻은 카메라 영상이며,
Figure 112006038888768-PAT00003
는 특징점 (x, y)에서 x, y 방향으로의 편차이며
Figure 112006038888768-PAT00004
는 편차의 최대 크기이다.
또한 영상 처리부(201)는 FOE (Focus Of Expansion : 확장초점)를 계산한다.
FOE는 옵티컬 플로우를 설명하면서 언급한 무한대의 거리에 위치한 한 점을 의미하며, 2차원 영상에서 임의의 한 점은 FOE로부터 그 점에 이르는 직선을 따라 움직인다.
따라서 독립적으로 움직이는 이동 로봇(101)은 자신의 운동 방향과 관련된 FOE에 연결된다.
도 3은 옵티컬 플로우의 실시예로 전형적인 옵티컬 플로우의 패턴을 도시한 도면이다.
이동 로봇(101)이 좌우의 회전 없이 앞으로 직선 이동한다고 가정하면, 이동 로봇(101)은 도 3에 도시된 화면을 향해 접근하게 된다.
따라서 옵티컬 플로우를 표현하는 화살표(302)가 FOE(301)라고 불리우는 한 점에서 바깥쪽으로 향하고 있다.
반대로 이동 로봇(101)이 도 3에 도시된 화면으로부터 멀어질 경우에는 옵티 컬 플로우를 표현하는 화살표(302)가 FOE(301)를 향한다.
FOE는 2차원 영상에서의 운동을 3차원 실제 영상과 대응하여 연관시키는 주요한 역할을 담당하며 2차원 영상에서 FOE인 점 P = (X0, Y0)는
[수학식 2]
Figure 112006038888768-PAT00005
Figure 112006038888768-PAT00006
를 통해 계산할 수 있다.
[수학식 2]에서 m, n은 (x, y)에서 x, y방향으로의 편차이며
Figure 112006038888768-PAT00007
는 편차의 최대 크기이다.
Figure 112006038888768-PAT00008
는 (u, v)벡터의 크기가 t 보다 큰 점의 개수며
Figure 112006038888768-PAT00009
는 이들 벡터들 방향각 의 총합이다. 따라서, 이들 벡터들이 모두 대칭인 영역에서의 중심값이 FOE가 된다.
이동 로봇의 원격 조종을 위한 충돌방지 장치(200)에서 장애물 감지부
(202)는 이동 로봇(101)의 주행 방향에 존재하는 장애물을 감지하고 충돌 예상 정보를 제공한다.
여기에서 충돌 예상 정보란 이동 로봇(101)의 이동 속도 및 이동 방향 그리고 진행 방향에 존재하는 장애물에 이동 로봇(101)이 충돌 가능한 충돌 예상영역 정보와, 이동 로봇(101)이 장애물에 접근 시 소정의 충돌 예상시간 전에 이동 로봇(101)을 제어하는 제어기기(102)에서 경고음을 낼 수 있도록 하는 경고 신호 정보를 포함한다.
이때 경고음을 내도록 하는 경고 신호 정보를 이동 로봇(101)을 제어하는 제어기기(102)로 전달하는 시점은 사용자가 설정할 수 있다.
예를 들어 사용자가 상술한 시점을 5초로 설정한다면 이동 로봇(101)의 장애물 감지부(202)는 현재 이동 로봇(101)의 속도와 진행방향에 존재하는 장애물과의 거리를 계산하여, 이동 로봇(101)이 장애물에 충돌하기 5초 전에 이동 로봇을 제어하는 제어기기(102)에서 경고음이 울릴 수 있도록 한다.
장애물 감지부(202)는 이동 로봇(101)의 진행 방향에 존재하는 장애물에 이동 로봇(101)이 충돌 가능한 충돌 예상영역을 계산하기 위해
[수학식 3]
Figure 112006038888768-PAT00010
을 통해 TOC(Time Of Contact) τ를 구한다.
[수학식 3]에서 f는 카메라 초점거리,
Figure 112006038888768-PAT00011
는 공간상 3차원 좌표값,
Figure 112006038888768-PAT00012
는 3차원 속도성분이며 (x, y)는 카메라 영상상의 2차원 좌표값,
Figure 112006038888768-PAT00013
는 2차원 속도성분이며
Figure 112006038888768-PAT00014
는 TOC이다.
또한 장애물 감지부(202)는 엔코더부(204)에서 제공하는 이동 로봇(101)의 이동 속도 및 이동 방향 정보, 그리고 영상 처리부(201)에서 계산된FOE를 이용하여 제어기기(102)의 화면에 이동 로봇(101)의 속도크기와 진행 방향을 표시할 정보를 생성하여 제어부(206)를 통해 송수신부(205)로 전달한다.
컬러 매핑부(203)는 장애물 감지부(202)로부터 제공받은 충돌 예상 정보를 기초로 장애물의 충돌 예상 영역에 매핑할 컬러정보를 생성한다.
장애물의 충돌 예상 영역에 매핑할 컬러정보는 장애물 감지부(202)에서 계산 된 TOC의 값에 따라, 정해진 컬러의 점으로 표시된다.
수학식 (3)을 통해 계산된 TOC의 값이 작으면 컬러의 점을 진하게, TOC의 값이 크면 컬러의 점을 약하게 하여 TOC의 값에 따라 충돌 예상 영역에 매핑되는 컬러의 색조를 조절하고 이 정보를 제어부(206)를 통해 송수신부(205)로 전달한다.
도 4는 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치(제어기기)의 구조를 도시한 블록도이다.
본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지장치(400)는 이동 로봇으로부터 수신한 정보들을 기초로 화면에 보여지는 장애물에 이동 로봇이 충돌 가능한 충돌 예상 영역을 컬러로 매핑하는 컬러 매핑 처리부(401), 수신한 정보들을 기초로 화면에 이동 로봇의 진행정보를 표시하는 진행 정보 표시부(402), 충돌 가능한 장애물에 이동 로봇이 접근할 때 수신한 정보들을 기초로 소정의 충돌 예상 시간 전에 경고음으로 사용자에게 경고하는 경고음 발생부(403), 화면에 디스플레이 할 이동 로봇(101)의 정보들을 이동 로봇(101)으로부터 수신하고 이동 로봇(101)을 제어할 정보를 이동 로봇(101)으로 송신하는 송수신부(404), 송수신부(404)로부터 수신한 정보들을 분석하여 각 부를 제어하는 제어부(405), 화면으로 해당 정보를 디스플레이하는 디스플레이부(406) 및 이동 로봇(101)의 방향을 제어할 수 있도록 키패드나 버튼과 같은 방향키를 가지는 입력부(407)를 포함한다.
도 1b에 도시된 것처럼 이동 로봇(101)을 제어하는 제어기기(102)가 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 장치(400)가 될 수 있다.
이동 로봇의 원격 조종을 위한 충돌방지 장치(400)는 송수신부(404)를 통해 이동 로봇(101)으로부터 화면에 디스플레이 할 정보들을 수신하고, 제어부(405)에서는 수신한 정보들을 분석하여 각 부를 제어한다.
여기에서 이동 로봇(101)으로부터 수신한 정보들은 이동 로봇의 주행 방향의 영상 데이터, FOE, 이동 로봇(101)의 이동 속도, 이동 방향, 이동 로봇의 주행방향에 존재하는 장애물에 대한 충돌 경고음 정보 및 상기 충돌 예상 영역에 매핑할 컬러정보를 포함한다.
이동 로봇의 원격 조종을 위한 충돌방지 장치(400)의 진행 정보 표시부(402)는 이동 로봇의 FOE를 표시하고, 이동 로봇의 속도크기와 진행방향을 아이콘 및 옵티컬 플로우로 표시한다.
컬러 매핑 처리부(401)에서는 TOC에 따른 컬러 매핑정보를 화면에 보여지는 장애물에 매핑하여 작은 화면의 제어기기에서도 사용자가 장애물을 쉽게 인지할 수 있도록 한다.
또한 경고음 발생부(403)에서는 이동 로봇(101)이 장애물에 충돌하기 소정의 시간(초) 전에 경고음을 발생시켜 사용자가 이동 로봇(101)의 장애물 충돌을 미리 예방할 수 있다.
제어기기(102)의 화면에 표시된 충돌 가능한 장애물에 컬러를 매핑하고 사전에 경고음을 발생시킴으로써 사용자는 이동 로봇(101)의 진행방향에 존재하는 장애물을 더욱 쉽게 인지하여 제어기기(102) 상에 위치하는 입력부(407)인 키패드나 버 튼과 같은 방향키로 이동 로봇(101)을 제어하는 제어 데이터를 송수신부(404)를 통해 원격지의 이동 로봇(101)으로 송신한다.
도 5는 본 발명의 실시예에 따른 이동 로봇의 진행 방향의 영상 및 이동 로봇의 진행 정보가 제어기기의 화면에 표시된 것을 도시한 도면이다.
FOE(501)가 X자 아이콘으로 표시되어 있고 이동 로봇의 속도크기와 진행 방향이 삼각형의 아이콘(502)으로 표시되어 있다.
삼각형의 아이콘(502)은 이동 로봇(101)의 진행방향에 따라 각도가 변경되며 이동 로봇(101)의 속도에 따라 삼각형의 아이콘 크기가 변경된다.
즉, 이동 로봇의 속도가 빠르면 삼각형의 아이콘이 길어지며 속도가 느리면 삼각형의 아이콘이 짧아지게 되어 원격지에서 이동 로봇(101)을 제어하는 사용자는 삼각형 아이콘(502)의 크기를 보고 이동 로봇(101)의 이동 속도와 진행방향을 쉽게 인지할 수 있다.
FOE(501)의 표시 아이콘은 X자로만 한정하지 않으며 X자가 아닌 십자 모양이나 별(Star) 모양 등 기타 다양한 아이콘으로 표시될 수 있다.
삼각형 아이콘(502) 역시 삼각형으로만 한정하지 않으며 아이콘의 모양은 사용자가 길이에 따라 이동 로봇(101)의 방향과 속도를 쉽게 인지할 수 있는 것이 바람직하다.
또한, 이동 로봇의 진행방향에 존재하는 장애물(503)에 충돌 예상 영역(503a)이 컬러로 매핑되어 제어기기(102)의 화면이 작은 경우에도 이동 로봇(101)이 충돌할 가능성이 있는 장애물(503)을 사용자가 쉽게 인지할 수 있다.
도 6a 내지 도 6c는 본 발명의 다른 실시예에 따른 이동 로봇의 진행 방향의 영상 및 이동 로봇의 진행 정보가 제어기기의 화면에 표시된 것을 도시한 도면이다.
도 6a는 이동 로봇이 좌우로 회전하지 않고 직진하는 상태가 제어기기의 화면에 표시되어있다.
FOE(601a)가 화면 중앙에 표시되어 있고 이동 로봇의 진행 방향과 속도를 나타내는 삼각형의 아이콘(602a)이 화면 하단에 표시되어있다.
좌우회전이 없는 직진상태기 때문에 옵티컬 플로우(603a)의 모양은 FOE(601a)를 중심으로 바깥쪽을 향하고 있으며 옵티컬 플로우를 표현하는 화살표는 작은 모양으로 표시되어 있다.
또한 장애물(604a)에 충돌 예상 영역(605a)이 컬러로 매핑되어 있고 충돌 예상 가능성에 따라 진한 컬러(606a)와 상대적으로 연한 컬러(607a)로 표시되어 있다.
도 6b는 도 6a의 상태에서 이동 로봇이 우측으로 회전하여 전진하는 상태가 제어기기의 화면에 표시되어 있다.
FOE(602b)가 도 6a의 FOE(601a)에 비해 우측으로 이동하였고 우측으로 회전하는 각도에 따라 이동 로봇의 진행 방향과 속도를 나타내는 삼각형의 아이콘(602b)이 화면 하단에 표시되어있다.
옵티컬 플로우(603b)의 모양은 FOE(602ba)를 중심으로 바깥쪽을 향하고 있으며 컬러로 매핑된 장애물(604b)에 충돌 예상 영역(605b)이 도 6a의 충돌 예상 영 역(605a)에 비해 상대적으로 더 넓게 표시되어 있다.
그만큼 장애물(604b)에 이동 로봇(101)이 가까이 접근했다는 의미이다.
도 6c는 도 6b에 도시된 상태에서 이동 로봇이 더 우측으로 회전하여 더 빠른 속도로 전진하는 상태가 제어기기의 화면에 표시되어 있다.
FOE(603c)가 장애물(604c)에 더 가까이 표시되어 있고 우측으로 회전하는 각도에 따라 이동 로봇의 진행 방향과 속도를 나타내는 삼각형의 아이콘(602c)이 화면 하단에 표시되어 있다.
도 6b에 도시된 상태보다 더 빠른 속도로 전진하므로 도 6b에 도시된 삼각형의 아이콘(602b)보다 더 길어진 삼각형의 아이콘(603c)을 볼 수 있으며 옵티컬 플로우(603c)는 FOE(602c)를 중심으로 바깥쪽을 향하고 옵티컬 플로우(603c)를 표현하는 화살표는 도 6b에 도시된 것 보다 상대적으로 더 길어졌다.
또한 장애물(604c)의 충돌 예상 영역(605c)은 도 6b의 충돌 예상 영역(605b)에 비해 상대적으로 더 넓게 표시되어 있고 충돌 가능성도 더 크기 때문에 진한 컬러로 매핑된 영역(606c)이 더 넓어졌다.
도 7은 본 발명의 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 방법의 흐름을 도시한 도면으로 도 2에 도시된 장치(200)를 참조해 설명하기로 한다.
정지 상태에 있던 이동 로봇(101)이 움직이기 시작하면 이동 로봇(101)에 장착된 카메라에서 촬영한 주행 방향의 영상을 제어부(206)를 통해 영상 처리부(201)로 전송하고 엔코더부(204)에서는 이동 로봇(101)의 바퀴의 동작을 감지하여 이동 속도 및 이동 방향에 대한 정보를 제어부(206)를 통해 영상 처리부(201)로 전송한 다(S701).
S701후, 소정의 시간차로 이동 로봇(101)에 장착된 카메라에서 촬영한 주행 방향의 두번째 영상은 제어부(206)를 통해 영상 처리부(201)로 전송되고 엔코더부(204)에서는 이동 로봇(101)의 바퀴의 동작을 감지하여 두번째 영상이 전송된 시점의 이동 속도 및 이동 방향에 대한 정보를 제어부(206)를 통해 영상 처리부(201)로 전송한다(S702)
영상 처리부(201)는 S701~S702 과정을 통해 입력된 주행 방향의 영상을 저장소(미도시)에 저장하여 비교하고 이동 속도 및 이동 방향에 대한 정보를 기초로 옵티컬 플로우를 계산한다(S703).
S703후, 영상 처리부(201)는 FOE를 계산한다(S704).
S704 후, 장애물 감지부(202)는 이동 로봇(101)의 주행 방향에 존재하는 장애물을 감지하고 충돌 경고음 정보 생성 및 TOC를 계산한다(S705).
S705 후, 컬러 매핑부(203)는 S705에서 계산된 TOC를 기초로 충돌 가능한 장애물에 매핑될 컬러의 색조를 TOC 값에 따라 조절한다(S706).
S701~S706을 통해 획득한 정보들은 제어부(206)를 통해 송수신부(205)로 전달되고 송수신부(205)는 해당 정보들을 원격지에 있는 제어기기(102)로 송신한다(S707).
도 8은 본 발명의 다른 실시예에 따른 이동 로봇의 원격 조종을 위한 충돌방지 방법의 흐름을 도시한 도면으로 도 4에 도시된 장치(400)를 참조해 설명하기로 한다.
송수신부(404)에서는 원격지에 있는 이동 로봇(101)으로부터 정보들을 수신하여 제어부(405)로 전달한다(S801).
제어부(405)는 전달받은 정보들을 분석하여 주행 방향의 영상은 디스플레이부(406)를 통해 화면에 디스플레이하고(S802), FOE 및 이동 로봇(101)의 속도크기와 진행방향을 진행 정보 표시부(402)를 통해 아이콘과 옵티컬 플로우로 표시한다(S803).
S803 후, 컬러 매핑 처리부(401)는 제어부(405)로부터 충돌 가능한 장애물에 매핑할 컬러 정보를 전달받아 TOC 값에 따라 정해진 컬러의 색조를 조절하여 매핑한다(S804).
S804 후, 경고음 발생부(403)에서는 제어부(405)로부터 전달받은 경고음 정보를 통해 이동 로봇(101)이 장애물에 충돌하기 소정의 시간(초) 전에 경고음을 발생시킨다(S805).
S805 후, 사용자는 제어기기(102)의 방향키를 사용해 장애물에 충돌하지 않도록 이동 로봇의 방향을 제어하는 제어 데이터를 송수신부(404)를 통해 원격지에 있는 이동 로봇(101)으로 송신한다(S806).
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명의 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
원격지에서 이동 로봇을 제어하는 제어기기의 화면에 이동 로봇과 충돌 가능성이 있는 장애물에 컬러를 오버랩 시킴으로써, 화면의 크기가 작은 제어기기에서도 이동 로봇을 제어하는 사용자가 효과적으로 장애물을 인식하는 장점도 있다.
이동 로봇의 속도크기에 대한 진행방향을 제어기기의 화면에 아이콘 및 벡터로 표시하여 사용자에게 이동 로봇의 이동에 관한 정보를 쉽게 전달하는 장점도 있다.
이동 로봇이 장애물에 충돌하기 소정의 시간(초) 전에 사용자에게 경고음을 통해 알림으로써 이동 로봇의 충돌방지에 더욱 효과적인 장점도 있다.

Claims (26)

  1. 장착된 카메라로 촬영한 영상 데이터를 송신하며 수신된 제어 데이터에 의해 이동하는 이동 로봇; 및
    상기 영상 데이터를 수신하여 분석하고 분석한 결과를 화면에 디스플레이하며 상기 이동 로봇에 제어 데이터를 송신하는 제어기기를 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 시스템.
  2. 제 1항에 있어서,
    상기 이동 로봇 및 상기 제어기기는 유선 또는 무선 방식의 데이터 통신망을 통해 소정의 데이터를 송신 및 수신하는 이동 로봇의 원격 조종을 위한 충돌방지 시스템.
  3. 이동 로봇의 주행 방향의 영상을 소정의 시간차로 저장하여 비교하는 영상 처리부;
    상기 이동 로봇의 주행 방향에 존재하는 장애물을 감지하고 상기 장애물에 대한 충돌 예상 정보를 제공하는 장애물 감지부; 및
    상기 충돌 예상 정보를 기초로 상기 장애물의 충돌 예상 영역에 매핑할 컬러정보를 제공하는 컬러 매핑부를 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  4. 제 3항에 있어서,
    상기 이동 로봇의 이동 속도 및 이동 방향 그리고 이동 거리에 대한 정보를 제공하는 엔코더부를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  5. 제 3항에 있어서,
    상기 주행 방향의 영상 정보, 상기 충돌 예상 정보 및 상기 충돌 예상 영역에 매핑할 컬러정보 중 적어도 하나를 제어기기로 송신하고, 상기 이동 로봇을 제어하는 제어 데이터를 상기 제어기기로부터 수신하는 송수신부를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  6. 제 3항에 있어서,
    상기 영상 처리부는 옵티컬 플로우를 계산하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  7. 제 6항에 있어서,
    상기 영상 처리부는 상기 계산된 옵티컬 플로우를 이용해 FOE(Focus Of Expansion)를 계산하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  8. 제 3항에 있어서,
    상기 장애물 감지부는 상기 이동 로봇의 진행 방향에 존재하는 장애물에 대한 이동 로봇의 TOC(Time Of Contact)를 계산하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  9. 제 8항에 있어서,
    상기 장애물 감지부는 상기 TOC를 이용하여 상기 장애물에 이동 로봇이 충돌 가능한 충돌 예상영역을 계산하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  10. 제 3항에 있어서,
    상기 장애물 감지부는 상기 이동 로봇이 상기 장애물에 접근 시 소정의 충돌 예상시간 전에 이동 로봇을 제어하는 제어기기로 경고 신호를 전달하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  11. 제 10항에 있어서,
    상기 경고 신호를 상기 제어기기로 전달하는 시점은 사용자가 설정 가능한 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  12. 제 3항에 있어서,
    상기 컬러 매핑부는 상기 장애물 감지부의 TOC값에 따라 상기 충돌 예상 영역에 매핑되는 컬러의 색조(色調 ; tone of color)를 조절하는 이동 로봇의 원격 조종을 위한 충돌방지 장치.
  13. 이동 로봇으로부터 수신한 정보들을 기초로 화면에 보여지는 장애물에 이동 로봇이 충돌 가능한 충돌 예상 영역을 컬러로 매핑하는 컬러 매핑 처리부;
    상기 수신한 정보들을 기초로 상기 화면에 상기 이동 로봇의 진행정보를 표시하는 진행 정보 표시부; 및
    상기 충돌 가능한 장애물에 상기 이동 로봇이 접근할 때 상기 수신한 정보들을 기초로 소정의 충돌 예상 시간 전에 경고음으로 사용자에게 경고하는 경고음 발생부를 포함하는 이동 로봇의 원격 조종을 위한 충돌 방지 장치.
  14. 제 13항에 있어서,
    상기 이동 로봇으로부터 수신한 정보들은 상기 이동 로봇의 주행 방향의 영상 정보, 상기 이동 로봇의 주행방향에 존재하는 장애물에 대한 충돌 예상 정보 및 상기 충돌 예상 영역에 매핑할 컬러정보를 포함하는 이동 로봇의 원격 조종을 위한 충돌 방지 장치.
  15. 제 13항에 있어서,
    상기 진행 정보 표시부는 상기 이동 로봇의 FOE를 표시하고, 상기 이동 로봇의 속도크기와 진행방향을 아이콘 및 옵티컬 플로우로 표시하는 이동 로봇의 원격 조종을 위한 충돌 방지 장치.
  16. 제 13항에 있어서,
    상기 충돌 예상 정보는 상기 이동 로봇이 상기 장애물에 충돌하기 전에 사용자에게 경고하는 경고음 정보를 포함하는 이동 로봇의 원격 조종을 위한 충돌 방지 장치.
  17. 이동 로봇에 장착된 카메라에서 촬영한 주행 방향의 영상을 소정의 시간차로 저장하여 비교하는 영상 처리 단계;
    상기 이동 로봇의 주행 방향에 존재하는 장애물을 감지하고 충돌 예상 정보를 제공하는 장애물 감지 단계; 및
    상기 충돌 예상 정보를 기초로 상기 장애물의 충돌 예상 영역에 매핑할 컬러정보를 제공하는 컬러 매핑정보 제공 단계를 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  18. 제 17항에 있어서,
    상기 이동 로봇의 바퀴의 동작을 감지하여 이동 속도 및 이동 거리에 대한 정보를 획득하는 이동속도 및 이동거리 획득 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  19. 제 17항에 있어서,
    상기 영상 처리 단계는 옵티컬 플로우를 계산하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  20. 제 19항에 있어서,
    상기 영상 처리 단계는 상기 계산된 옵티컬 플로우를 이용해 FOE(Focus Of Expansion)를 계산하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  21. 제 17항에 있어서,
    상기 장애물 감지 단계는 상기 이동 로봇의 진행 방향에 존재하는 장애물에 대한 이동 로봇의 TOC(Time Of Contact)를 계산하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  22. 제 21항에 있어서,
    상기 장애물 감지 단계는 상기 TOC를 이용하여 상기 장애물에 이동 로봇이 충돌 가능한 충돌 예상영역을 계산하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  23. 제 17항에 있어서,
    상기 장애물 감지 단계는 상기 이동 로봇이 상기 장애물에 접근 시 소정의 충돌 예상시간 전에 이동 로봇을 제어하는 제어기기로 경고 신호를 전달하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  24. 제 17항에 있어서,
    상기 컬러 매핑 정보제공 단계는 상기 장애물 감지 단계의 TOC값에 따라 상기 충돌 예상 영역에 매핑되는 컬러의 색조(色調 ; tone of color)를 조절하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌방지 방법.
  25. 이동 로봇으로부터 수신한 정보들을 기초로 화면에 보여지는 장애물에 이동 로봇이 충돌 가능한 충돌 예상영역을 컬러로 매핑하는 매핑 처리 단계;
    상기 수신한 정보들을 기초로 상기 화면에 상기 이동 로봇의 진행정보를 표시하는 진행 정보 표시 단계; 및
    상기 충돌 가능한 장애물에 상기 이동 로봇이 접근할 때 상기 수신한 정보들을 기초로 소정의 충돌 예상 시간 전에 경고음으로 사용자에게 경고하는 경고음 발생 단계를 포함하는 이동 로봇의 원격 조종을 위한 충돌 방지 방법.
  26. 제 25항에 있어서,
    상기 진행 정보 표시 단계는 상기 이동 로봇의 FOE를 표시하고, 상기 이동 로봇의 속도크기와 진행방향을 아이콘 및 옵티컬 플로우로 표시하는 단계를 더 포함하는 이동 로봇의 원격 조종을 위한 충돌 방지 방법.
KR1020060049395A 2006-06-01 2006-06-01 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법 KR100791381B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060049395A KR100791381B1 (ko) 2006-06-01 2006-06-01 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법
US11/644,980 US7853372B2 (en) 2006-06-01 2006-12-26 System, apparatus, and method of preventing collision of remote-controlled mobile robot
JP2007027569A JP2007320024A (ja) 2006-06-01 2007-02-07 移動ロボットの遠隔操縦のための衝突防止システム、装置及び方法
JP2011209946A JP5323910B2 (ja) 2006-06-01 2011-09-26 移動ロボットの遠隔操縦のための衝突防止装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060049395A KR100791381B1 (ko) 2006-06-01 2006-06-01 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법

Publications (2)

Publication Number Publication Date
KR20070115244A true KR20070115244A (ko) 2007-12-05
KR100791381B1 KR100791381B1 (ko) 2008-01-07

Family

ID=38791361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060049395A KR100791381B1 (ko) 2006-06-01 2006-06-01 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법

Country Status (3)

Country Link
US (1) US7853372B2 (ko)
JP (2) JP2007320024A (ko)
KR (1) KR100791381B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988416B1 (ko) * 2008-06-04 2010-10-18 성균관대학교산학협력단 이동 로봇의 장애물 외곽선 검출 방법, 이동 로봇 및 이동로봇 원격 제어기
KR101151787B1 (ko) * 2009-11-30 2012-05-31 재단법인대구경북과학기술원 조향 결정 성능이 향상된 원격 조종 로봇 시스템 및 이에 사용되는 원격 조종기
KR101228332B1 (ko) * 2011-03-31 2013-01-31 삼성테크윈 주식회사 감시 시스템
KR101324327B1 (ko) * 2011-12-14 2013-10-31 건국대학교 산학협력단 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
KR101408657B1 (ko) * 2007-12-18 2014-06-17 삼성전자주식회사 원격 제어 로봇 시스템의 사용자 인터페이스 장치 및 방법
CN103878634A (zh) * 2014-04-16 2014-06-25 温岭普瑞斯磨床有限公司 机械手防撞结构
KR20150009048A (ko) * 2013-07-11 2015-01-26 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR101487168B1 (ko) * 2014-05-15 2015-02-09 아진산업(주) 지게차량의 안전 관리 시스템
WO2018097574A1 (ko) * 2016-11-24 2018-05-31 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN113395444A (zh) * 2021-04-25 2021-09-14 戴井之 一种家庭智能监控防盗系统
WO2022203150A1 (ko) * 2021-03-23 2022-09-29 삼성전자주식회사 로봇 및 그 제어 방법
KR20230087955A (ko) * 2021-12-10 2023-06-19 주식회사 엑스와이지부산 작업자 선도형 스마트 이송 로봇
CN117047797A (zh) * 2023-08-25 2023-11-14 湖北建科国际工程有限公司 一种施工现场监控机器人

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328819B2 (ja) * 2007-11-30 2009-09-09 本田技研工業株式会社 移動装置およびその制御プログラム
JP4577697B2 (ja) * 2007-11-30 2010-11-10 本田技研工業株式会社 移動装置および移動装置システム
JP5178406B2 (ja) * 2008-09-03 2013-04-10 株式会社Ｉｈｉエアロスペース 遠隔操縦システム
KR101553950B1 (ko) 2009-03-02 2015-09-17 엘지전자 주식회사 로봇 청소기 및 그의 위치 검출 방법
JPWO2011145239A1 (ja) * 2010-05-19 2013-07-22 国立大学法人東京工業大学 位置推定装置、位置推定方法及びプログラム
WO2011146254A2 (en) * 2010-05-20 2011-11-24 Irobot Corporation Mobile human interface robot
KR101251184B1 (ko) * 2010-08-05 2013-04-08 서울대학교산학협력단 구동 명령을 이용한 비젼 트래킹 시스템 및 방법
US8919476B2 (en) 2011-07-11 2014-12-30 Holland Moving & Rigging Supplies, Inc. Platform dolly system
JP6008612B2 (ja) * 2012-06-28 2016-10-19 三菱重工業株式会社 無線操作式車両の遠隔操作システム
JP6069923B2 (ja) * 2012-07-20 2017-02-01 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置
PL401996A1 (pl) * 2012-12-11 2014-06-23 Robotics Inventions Spółka Z Ograniczoną Odpowiedzialnością Układ kontroli kolizji robota z przeszkodą, robot wyposażony w taki układ oraz sposób kontroli kolizji robota z przeszkodą
TWI558525B (zh) 2014-12-26 2016-11-21 國立交通大學 機器人及其控制方法
DE102015220495A1 (de) * 2015-10-21 2017-04-27 Kuka Roboter Gmbh Schutzfeldanpassung eines Manipulatorsystems
US10788836B2 (en) 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US11449061B2 (en) 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
US11927965B2 (en) 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US10452071B1 (en) 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots
CN106003041B (zh) * 2016-06-17 2018-01-30 浙江理工大学 一种五自由度机械手控制方法
CN106200672B (zh) * 2016-07-19 2019-08-27 深圳北航新兴产业技术研究院 一种基于光流的无人机避障方法
WO2018049643A1 (en) * 2016-09-18 2018-03-22 SZ DJI Technology Co., Ltd. Method and system for operating a movable object to avoid obstacles
EP3611589B1 (en) * 2017-04-11 2021-11-17 Amicro Semiconductor Co., Ltd. Method for controlling motion of robot based on map prediction
JP2019053426A (ja) * 2017-09-13 2019-04-04 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6939896B2 (ja) * 2017-11-08 2021-09-22 日本電気株式会社 遠隔制御装置、システム、方法、及びプログラム
KR102466940B1 (ko) * 2018-04-05 2022-11-14 한국전자통신연구원 로봇 주행용 위상 지도 생성 장치 및 방법
CN110365419A (zh) * 2019-07-26 2019-10-22 秒针信息技术有限公司 送餐服务的通信方法及送餐机器人

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905151A (en) * 1988-03-07 1990-02-27 Transitions Research Corporation One dimensional image visual system for a moving vehicle
JP3452268B2 (ja) 1993-08-06 2003-09-29 矢崎総業株式会社 車両用後側方監視方法
JPH06337286A (ja) 1993-05-28 1994-12-06 Mitsubishi Heavy Ind Ltd 移動体用衝突位置予測警報装置
DE4414192C2 (de) * 1994-04-22 1996-06-13 Siemens Ag Verfahren zur Ermittlung einer Sicherheitszone um eine selbstbewegliche mobile Einheit
JPH11353565A (ja) 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP4132415B2 (ja) 1999-06-09 2008-08-13 株式会社豊田自動織機 清掃ロボット
US6845297B2 (en) * 2000-05-01 2005-01-18 Irobot Corporation Method and system for remote control of mobile robot
JP2002029346A (ja) 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP3843742B2 (ja) * 2001-03-09 2006-11-08 独立行政法人科学技術振興機構 ロボット視聴覚システム
KR100437372B1 (ko) 2001-04-18 2004-06-25 삼성광주전자 주식회사 이동통신망을 이용한 로봇 청소 시스템
KR100406636B1 (ko) 2001-04-18 2003-11-21 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어방법
JP3776094B2 (ja) 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
JP2004127182A (ja) 2002-10-07 2004-04-22 Yazaki Corp 車両用周辺監視装置
KR100485696B1 (ko) 2003-02-07 2005-04-28 삼성광주전자 주식회사 로봇청소기의 위치인식표지 검출방법 및 이 검출방법을적용한 로봇청소기
JP4578795B2 (ja) 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP2003330540A (ja) 2003-03-28 2003-11-21 Sanyo Electric Co Ltd 自走車両
EP1658937A1 (en) * 2003-08-21 2006-05-24 TMSUK Co., Ltd. Robot system and remote operation system of robot
JP2005231381A (ja) * 2004-02-17 2005-09-02 Nissan Motor Co Ltd 車両用情報提示装置および方法
JP2005258792A (ja) 2004-03-11 2005-09-22 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP2006039682A (ja) 2004-07-22 2006-02-09 Toshiba Tec Corp 自律走行ロボット
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
JP4096932B2 (ja) * 2004-09-22 2008-06-04 日産自動車株式会社 車両用衝突時間推定装置及び車両用衝突時間推定方法
JP4069919B2 (ja) 2004-09-28 2008-04-02 日産自動車株式会社 衝突判定装置、および方法
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002520B2 (en) 2007-12-18 2015-04-07 Samsung Electronics Co., Ltd. User interface device of remote control system for robot device and method using the same
US9757861B2 (en) 2007-12-18 2017-09-12 Samsung Electronics Co., Ltd. User interface device of remote control system for robot device and method using the same
KR101408657B1 (ko) * 2007-12-18 2014-06-17 삼성전자주식회사 원격 제어 로봇 시스템의 사용자 인터페이스 장치 및 방법
KR100988416B1 (ko) * 2008-06-04 2010-10-18 성균관대학교산학협력단 이동 로봇의 장애물 외곽선 검출 방법, 이동 로봇 및 이동로봇 원격 제어기
KR101151787B1 (ko) * 2009-11-30 2012-05-31 재단법인대구경북과학기술원 조향 결정 성능이 향상된 원격 조종 로봇 시스템 및 이에 사용되는 원격 조종기
KR101228332B1 (ko) * 2011-03-31 2013-01-31 삼성테크윈 주식회사 감시 시스템
KR101324327B1 (ko) * 2011-12-14 2013-10-31 건국대학교 산학협력단 가상 세계를 사용한 무인 이동체 원격 제어 장치 및 방법
KR20150009048A (ko) * 2013-07-11 2015-01-26 삼성전자주식회사 청소 로봇 및 그 제어 방법
CN103878634A (zh) * 2014-04-16 2014-06-25 温岭普瑞斯磨床有限公司 机械手防撞结构
KR101487168B1 (ko) * 2014-05-15 2015-02-09 아진산업(주) 지게차량의 안전 관리 시스템
WO2018097574A1 (ko) * 2016-11-24 2018-05-31 엘지전자 주식회사 이동 로봇 및 그 제어방법
US11330948B2 (en) 2016-11-24 2022-05-17 Lg Electronics Inc. Moving robot and control method thereof
WO2022203150A1 (ko) * 2021-03-23 2022-09-29 삼성전자주식회사 로봇 및 그 제어 방법
CN113395444A (zh) * 2021-04-25 2021-09-14 戴井之 一种家庭智能监控防盗系统
KR20230087955A (ko) * 2021-12-10 2023-06-19 주식회사 엑스와이지부산 작업자 선도형 스마트 이송 로봇
CN117047797A (zh) * 2023-08-25 2023-11-14 湖北建科国际工程有限公司 一种施工现场监控机器人
CN117047797B (zh) * 2023-08-25 2024-01-30 湖北建科国际工程有限公司 一种施工现场监控机器人

Also Published As

Publication number Publication date
US20070282531A1 (en) 2007-12-06
JP5323910B2 (ja) 2013-10-23
JP2007320024A (ja) 2007-12-13
US7853372B2 (en) 2010-12-14
KR100791381B1 (ko) 2008-01-07
JP2012045706A (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
KR100791381B1 (ko) 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법
US10322696B2 (en) Vehicle environment imaging systems and methods
JP4475308B2 (ja) 表示装置
Chintalacheruvu et al. Video based vehicle detection and its application in intelligent transportation systems
EP3164769B1 (en) Machine safety dome
JP5187292B2 (ja) 車両周辺監視装置
JP2016506572A (ja) インフォテイメントシステム
JP2007064804A (ja) 車両用障害物検出装置
JP5240149B2 (ja) 車両周辺監視装置
JP4510554B2 (ja) 立体物監視装置
JP5418661B2 (ja) 車両周辺監視装置
CN111052735B (zh) 图像处理装置、图像处理方法以及图像显示系统
Pundlik et al. Collision detection for visually impaired from a body-mounted camera
JP2020042446A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP2007280387A (ja) 物体移動の検出方法及び検出装置
JP2006027481A (ja) 物体警告装置及び物体警告方法
CN111736596A (zh) 有手势控制功能的车辆、车辆的手势控制方法和存储介质
JP2011070580A (ja) 運転支援装置
JP2012256159A (ja) 接近物検知装置および接近物検知方法
KR20160136757A (ko) 단안 카메라를 이용한 장애물 검출장치
CN113173160B (zh) 车辆用防碰撞装置及车辆用防碰撞方法
Malik et al. Smart Cars and Smart Roads.
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
JP2005071041A (ja) 運転者視対象検出装置及び運転者視対象検出システム
EP3671640B1 (en) Warning device, warning method, program, and non-temporary computer-readable information storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171121

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 12