KR100834577B1 - 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치 - Google Patents

스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치 Download PDF

Info

Publication number
KR100834577B1
KR100834577B1 KR1020060124036A KR20060124036A KR100834577B1 KR 100834577 B1 KR100834577 B1 KR 100834577B1 KR 1020060124036 A KR1020060124036 A KR 1020060124036A KR 20060124036 A KR20060124036 A KR 20060124036A KR 100834577 B1 KR100834577 B1 KR 100834577B1
Authority
KR
South Korea
Prior art keywords
image
robot
target
information
objects
Prior art date
Application number
KR1020060124036A
Other languages
English (en)
Inventor
최승민
장지호
조재일
황대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060124036A priority Critical patent/KR100834577B1/ko
Priority to US11/981,940 priority patent/US20080215184A1/en
Application granted granted Critical
Publication of KR100834577B1 publication Critical patent/KR100834577B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Abstract

본 발명은 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및 이를 적용한 가정용 지능형 서비스 로봇 장치에 대한 것으로, 본 발명은 저가의 스테레오 카메라와, 스테레오 매칭 및 후처리 전용 칩, 그리고 임베디드 프로세서를 이용하여, 로봇으로부터 가까운 순서대로 n개의 물체의 형태(shape)를 분리한 후, 분리된 형태를 인지하여 사용자(목표물)와 장해물로 구분하고, 이를 바탕으로 장해물을 회피하여 사용자(목표물)에게 접근하도록 구현함으로써, 스테레오 매칭의 결과에서 발생하는 다양한 노이즈로부터 벗어나 보다 정확하게 n번째 대상체의 형태를 찾아내고 인식하는 것이 가능하다.
지능형 로봇, 스테레오, 카메라, 비전, 움직임, 검출, 명령, 추종, 이동

Description

스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및 이를 적용한 가정용 지능형 서비스 로봇 장치{Home Intelligent Service Robot and Method capable of searching and following moving of target using stereo vision processing}
도 1은 본 발명의 바람직한 실시예에 따른 네트워크 기반 지능형 서비스 로봇의 비전처리장치가 적용되는 네트워크 기반 가정용 지능형 서비스 로봇 시스템의 전체 구성을 개략적으로 도시한 도면,
도 2는 본 발명의 바람직한 실시예에 따른 도 1의 네트워크 기반 가정용 지능형 서비스 로봇의 로봇 비전처리부의 내부 구성을 상세하게 도시한 블록도,
도 3은 본 발명의 바람직한 실시예에 따라 도 2의 로봇 비전 처리부의 각 부에서 처리되는 영상의 처리 결과를 나타낸 도면,
도 4는 본 발명의 바람직한 실시예에 따른 가정용 지능형 서비스 로봇의 목표물 추종 주행 방법을 도시한 흐름도, 그리고
도 5는 본 발명의 바람직한 실시예에 따라 영상 후처리 단계를 보다 상세히 도시한 흐름도이다.
본 발명은 가정용 지능형 서비스 로봇의 사용자 인식 및 추종 방법에 관한 것으로서, 보다 상세하게는, 취득한 스테레오 비전 영상의 정합 결과와 원영상(original image)을 이용하여 보다 안정적으로 목표물의 형태를 분리해 내고, 해당 목표물을 추종할 수 있게 하는 기술에 관한 것이다.
일반적으로, 로봇에서 얻어진 영상 정보를 이용하여 얼굴 검출이나 얼굴 인식 및 양안 정합과 같은 고도한 프로세서의 연산능력이 필요한 알고리즘을 실행하기 위해서는 아래 2가지 방법으로 시스템을 구성한다.
첫째 영상 처리를 위해 처리 능력이 뛰어난 컴퓨터를 이용하여 로봇 자체에서 실행하거나, 둘째 취득한 영상 정보를 네트워크 서버로 전송하여 서버에서 영상처리가 실행되도록 하는 방법이 있다.
첫 번째 방법을 적용할 경우에는, 로봇의 크기가 커지고 전력 소모가 큰 단점이 존재한다. 따라서 이러한 방법은 전지에 의해 동작 전원을 공급받는 로봇에 상용으로 적용하기에는 곤란한 문제점이 있다.
또한 두 번째 방법을 적용할 경우에는, 복잡한 연산은 네트워크 서버측에서 담당하는 네트워크 기반의 단말 로봇이 적용되기 때문에 영상 처리에 대한 처리 부담을 경감시킬 수 있다. 그러나 이 경우에도 네트워크 기반의 단말 로봇이 단순히 영상 정보를 압축하여 서버측으로 전송할 경우, 단말 로봇과 서버 간에 영상 정보 전송(업로드)에 따른 과도한 통신 트래픽이 유발됨으로 인해 수집한 영상 정보에 대응하는 로봇의 반응 속도가 느려지는 단점이 있다.
현재까지 네트워크 기반의 지능형 서비스 로봇에서 로봇으로부터 영상정보를 서버측으로 전송하기 위해서 MPEG, H.264 등의 기존의 영상 압축 알고리즘을 이용하여 전송하는 방법을 이용한다. 그러나, 이러한 방법들은 서버에서 처리하고자 하는 물체 이외에 영상 정보에 포함된 배경과 같은 불필요한 영상 부분에 대해서도 압축을 수행하기 때문에 보다 높은 압축률을 기대하기는 어렵다.
게다가, 하나의 서버에 다수의 지능형 로봇이 네트워크로 연결되어 서버에 의해 관리되는 URC(Ubiquitous Robot Companion) 시스템에서는, 서버로 전송되는 정보의 용량이 최소화하여 네트워크에 부담되는 부하를 줄일 필요가 있다.
종래의 지능형 서비스 로봇에 있어서, 비전 처리의 대부분은 하나의 카메라(모노(mono) 카메라라 함)로부터 수집되어 입력되는 영상 정보를 통해 외부 환경이나, 사용자의 얼굴, 키 등을 인식 한 후 추종(following moving)하는데 집중되어 있다.
뿐만 아니라, 지능형 서비스 로봇의 사용자 추종(human following) 중에 발생하는 장해물을 회피하기 위해서는 초음파, 적외선 등의 센서정보를 복합적으로 이용하여 안전 주행을 수행한다. 이로 인해, 지능형 서비스 로봇은 과도한 프로세서의 연산능력과 전력이 요구되어, 전지에 의해 동작 전원을 공급받는 로봇에 상용으로 적용하기에는 무리가 따르게 되는 문제점이 있다.
또한, 지능형 서비스 로봇의 복잡한 연산은 서버측에서 담당하는 네트워크 기반의 단말 로봇이라 할지라도, 종래의 기술을 통해 사용자 추종을 할 경우, 단말 로봇과 서버 간에 과도한 통신 트래픽이 유발되고, 반응 속도가 느린 단점이 있다.
한편, 지능형 서비스 로봇에 탑재되는 한 쌍의 카메라를 통해 영상 정보를 취득하는 스테레오 비전에 대한 종래의 기술들은 대부분 각 카메라로부터 취득된 영상정보를 양안 정합(stereo matching)하는 기술에 집중되어 있으며, 전처리 및 후처리와, 이를 통한 사용자의 형태 인식 후 추종에 관한 기술은 각 특허에서 각각 분산된 요소 기술로 발명 되어 있거나, 구체적이지 못한 경우가 대부분이다. 따라서, 내장형 프로세서에 적은 부하를 주면서 장해물을 회피하면서 보다 안정적으로 사용자 추종이 가능한 지능형 서비스 로봇에 대한 기술이 요구된다.
현재까지, 가정용 지능형 서비스 로봇에서 사용자의 인식은, 움직임 검출과 얼굴인식, 패턴 매칭, 색차 정보 활용 등의 방식을 이용하고 있으나, 이러한 기술들은 지능형 서비스 로봇 자체가 움직일 경우 피사체 인식 및 추종의 성능 저하, 많은 메모리와 과도한 프로세서 연산 필요, 조명에 민감하다는 등의 단점이 있다.
한편, 기존의 지능형 서비스 로봇에 대한 자율 주행 기술은 로봇이 존재하고 있는 공간에서 로봇의 자기 위치 인식(localization), 지도 구축(map building) 및 이를 바탕으로 한 네비게이션(navigation) 등을 통해 가능했다. 그러나 이러한 이동 방식은, 지능형 서비스 로봇의 자기 위치 인식을 가능하게 하는 인공적인 외부의 센서 부착, 특정 상황에서만 사용 가능한 자연 표식(natural landmark)의 인식, 갑자기 출현하는 장해물에 대한 회피 불능, 과도한 시간과 CPU 및 메모리 등의 자원이 필요하여 대화형(interactive) 실시간 모바일 시스템에는 적용하기 힘이든 단점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제1 목적은, 하드웨어 칩을 이용하여 보다 간단한 영상 정보 처리를 통해 로봇으로부터 가까운 n개의 목표물의 검출 및 정확한 목표물의 형태(shape)를 제공할 수 있는 가정용 지능형 서비스 로봇 장치 및 그 방법을 제공하는 데 있다.
본 발명의 제2 목적은, 주변으로부터 수집되는 명령정보에 기초하여 목표물까지의 이동을 장해물을 회피하면서 보다 안정적으로 추종 이동할 수 있는 가정용 지능형 서비스 로봇 장치 및 그 방법을 제공하는 데 있다.
본 발명의 제3 목적은, 서버와의 해당 영상 데이터 송수신에 필요한 네트워크 자원을 절약하면서 수집되는 스테레오 영상정보와 원영상의 처리를 통해 목표물까지 보다 안정적으로 추종 이동할 수 있는 가정용 지능형 서비스 로봇 장치 및 그 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 지능형 서비스 로봇은, 입력되는 이동 명령에 따라 지능형 서비스 로봇을 이동시키는 구동부; 목표물 추종을 위한 촬영 명령에 따라 적어도 2 이상의 카메라를 통해 영상을 촬영하고, 상기 영상에 포함된 물체들에 대한 변이지도(disparity map)를 계산하여 거리 정보를 추출하고, 상기 거리 정보를 이용해 상기 영상에 포함된 물체들에 대한 수평 및 수직 크기를 추출하여 목표물 및 장해물을 구분하는 로봇 비전처리부; 및 외부로부터 명령정보가 수집되면 상기 명령정보가 수집된 방향의 목표물 추종을 위한 촬영 명령을 상기 로봇 비전처리부에 제공하고, 이에 대응하여 상기 로봇 비전처리부에 의해 구분된 결과 정보에 기초하여 상기 장해물을 회피하면서 상기 목표물을 향해 추종 이동하도록 상기 구동부를 제어하는 로봇 제어부를 포함한다.
바람직하게는, 상기 로봇 비전처리부는, 상기 카메라를 통해 각각 촬영되는 영상 정보를 수집하는 스테레오 카메라부; 상기 스테레오 카메라부로부터 수집된 영상 정보에 대해 영상 전처리를 수행하기 위한 영상 처리 기법을 통해 상기 영상들을 교정하는 입력 영상 전처리부; 상기 교정된 영상들에 대해 서로 대응되는 영역을 매칭시켜 하나의 영상으로 변이지도를 생성하는 스테레오 정합부; 및 상기 변이지도와 원영상을 바탕으로 로봇으로 가까운 n개의 서로 다른 대상체들을 구분하고 이에 대한 거리지도를 생성하며, 상기 구분된 대상체들로부터 상기 목표물 및 상기 장해물을 구분하는 영상 후처리부를 포함한다.
상기 영상 후처리부는, 상기 구분된 대상체들에 대해 수평 및 수직 크기와 상기 가정용 지능형 서비스 로봇에서 해당 대상체까지의 거리정보를 추출한다.
본 발명의 실시예에 따른 지능형 서비스 로봇은, 상기 스테레오 카메라부, 입력 영상 전처리부, 스테레오 정합부, 및 영상 후처리부로부터 각각 출력되는 영상을 로봇 서버로 전송하기 위해 선택적으로 출력하는 영상출력 선택부를 더 포함한다.
본 실시예에서 상기 스테레오 카메라부는 2개의 카메라가 좌, 우에 하나씩 배치되어 동일한 물체에 대해 중복되는 3차원의 영상을 촬영한다.
상기 입력 영상 전처리부는, 상기 영상 전처리를 위해 교정(Calibration), 스케일 다운 필터링(Scale down Filtering), 수정(Rectification), 및 휘도 조절(Brightness Control) 등의 영상 처리 기법을 이용한다. 또한, 상기 입력 영상 전처리부는, 상기 영상 전처리를 위해 상기 영상에 대한 잡음 제거, 밝기 레벨 조절, 대비(contrast) 조절, 히스토그램 균등화(Histogram Equalization)및 에지 검출(Edge Detection) 등의 영상 처리 기법을 더 이용할 수 있다
본 실시예에서 상기 명령정보는 상기 목표물로부터 발생되는 움직임 정보 또는 소리 정보이다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 지능형 서비스 로봇의 목표물 추종 주행 방법은, 외부로부터 지시되는 명령정보를 수집하는 단계; 상기 수집되는 명령정보가 수집된 방향을 향해 적어도 2 이상의 카메라를 통해 영상을 촬영하고, 상기 영상에 포함된 물체들에 대한 변이지도(disparity map)를 계산하여 거리 정보를 추출하고, 상기 거리 정보를 이용해 상기 영상에 포함된 물체들에 대한 수평 및 수직 크기를 추출하여 목표물 및 장해물을 구분하는 비전 처리 단계; 및 상기 비전 처리 결과에 기초하여 상기 장해물을 회피하면서 상기 목표물을 향해 추종 이동하는 단계를 포함한다.
바람직하게는, 상기 비전 처리 단계는, 상기 카메라를 통해 각각 촬영되는 영상 정보를 각각 수집하는 단계; 상기 각각 수집된 영상 정보에 대해 영상 전처리를 수행하기 위한 영상 처리 기법을 통해 상기 영상들을 교정하는 단계; 상기 교정된 영상들에 대해 서로 대응되는 영역을 매칭시켜 하나의 영상으로 변이지도를 생성하는 단계; 상기 변이지도를 바탕으로 거리 지도를 생성하여 서로 다른 대상체들을 구분하는 단계; 및 상기 구분된 대상체들로부터 상기 목표물 및 상기 장해물을 구분하는 단계를 포함한다.
본 발명의 실시예에 따른 지능형 서비스 로봇의 목표물 추종 주행 방법은, 상기 구분된 대상체들에 대해 수평 및 수직 크기와 현재 위치에서 해당 대상체들까지의 거리정보를 추출하는 단계를 더 포함한다.
상기 교정 단계에서는, 상기 영상에 대한 스케일 다운 필터링(Scale down Filtering), 수정(Rectification), 및 휘도 조절(Brightness Control) 중 적어도 하나의 영상 처리 기법을 수행한다. 또한, 상기 교정 단계에서는, 상기 영상에 대한 잡음 제거, 밝기 레벨 조절, 대비(contrast) 조절, 히스토그램 균등화(Histogram Equalization), 및 에지 검출(Edge Detection) 중 적어도 하나의 영상 처리 기법을 더 수행할 수 있다.
본 발명에 따르면, 저가의 스테레오 카메라와 전용칩이 인터페이스 된 내장형 하드웨어를 사용하여 적은 프로세서 연산만으로 다른 센서의 도움 없이 로봇의 자율 주행에 이용함으로써, 서버에 전송해야 할 데이터의 양을 줄여 과도한 네트워크 트래픽과 로봇이 연결될 서버의 연산 부하를 덜어주는 장점이 있다.
이하, 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 스테레오 카메라를 이용하여 삼차원 정보를 만들고 이를 통해 물 체의 움직임을 검출 한 후, 장해물을 회피하면서 해당 목표 물체까지 안정적으로 추종 이동할 수 있는 방법을 제시한다. 또한 본 발명은 지능형 서비스 로봇에 비전 처리 장치를 구비하여 서버-단말간의 영상 데이터 송수신에 필요한 네트워크 자원을 절약하면서 자체적으로 영상 정보를 통한 목표물 및 장해물을 판별하고 이에 기초한 목표물 추종 이동이 가능한 방법을 제시한다.
도 1은 본 발명의 바람직한 실시예에 따른 네트워크 기반 지능형 서비스 로봇의 비전처리장치가 적용되는 네트워크 기반 지능형 서비스 로봇 시스템의 전체 구성을 개략적으로 도시한 도면이다.
도시된 바와 같이, 네트워크 기반 로봇 시스템은 1개의 로봇 서버(20)에 연동되는 복수 개의 로봇 단말(10)들로 구성될 수 있다.
도시된 네트워크 기반 로봇 시스템의 기본 개념은 로봇 단말(10)에서 처리하기 어려운 대용량의 복잡한 응용이나, 고속의 연산을 필요로 하는 부하를 네트워크로 연결된 로봇 서버(20)에 집중시켜 상대적으로 낮은 가격으로 로봇 단말(10)을 구현하는 시스템이다. 이를 통해, 사용자는 다양하고 높은 품질의 서비스를 낮은 비용으로 공급받을 수 있다.
도시된 로봇 단말(10)들은 주요 특징 면에서 동일한 구성을 갖는다. 대표적으로, 도시된 로봇 단말(10)은 크게 로봇 비전처리부(100), 로봇 센서 및 구동부(400), 로봇 서버 통신부(300), 및 로봇 제어부(200)를 포함하여 구성된다.
로봇 비전처리부(100)는 외부 영상을 취득하여 처리한다. 로봇 센서 및 구동부(400)는 외부 환경을 감지하고 로봇 단말(10)을 구동한다. 로봇 서버 통신 부(300)는 로봇 서버(20)와 로봇 단말(10) 간에 통신을 담당한다. 로봇 제어부(200)는 로봇 단말(10)의 전체적인 동작을 제어한다.
이와 같이, 1개의 로봇 서버(20)와 연동되는 여러 개의 로봇 단말(10)들로 구성되는 네트워크 기반 로봇 시스템은, 로봇 단말(10)에서 처리하기 어려운 대용량의 복잡한 응용이나 고속의 연산을 필요로 하는 부하를 네트워크로 연결된 로봇 서버(20)에 집중시킨다. 이를 통해, 상대적으로 낮은 가격으로 로봇 단말(10)을 구현하여 사용자는 다양하고, 높은 질의 서비스를 낮은 비용으로 공급받을 수 있도록 한다.
네트워크 기반 지능형 서비스 로봇에서 사용자에게 낮은 비용으로 주행을 포함한 다양한 기능의 서비스를 제공해 주기 위해서는, 로봇 단말(10)의 저가격화, 저전력화, 무게 축소 등을 먼저 고려하여야 한다. 따라서 로봇 단말(10)의 로봇 제어부(200)는 고가의 기존 개인용 컴퓨터 등을 사용하지 않고 가격과 전력 소모, 무게 면에서 장점이 있는 저전력 임베디드 프로세서를 사용해 구현된다.
또한 저가격화를 위해 추가로 고려되어야 할 사항은 네트워크 이용에 따른 통신비용 문제로서 인터넷 종량제를 고려할 때, 네트워크 기반 지능형 서비스 로봇 응용에서 로봇 단말(10)과 로봇 서버(20) 간의 과도한 통신은 피하는 것이 유리하다.
로봇 단말(10)의 로봇 제어부(200)를 비교적 낮은 컴퓨팅 파워를 갖도록 구현하고 복잡한 응용을 로봇 서버(20)에서 처리하도록 할 경우, 로봇 단말(10)은 상대적으로 낮은 가격에 구현할 수 있다. 반면, 서비스를 실현하기 위한 많은 응용 을 로봇 서버(20)에서 수행하게 되므로, 결국 로봇 서버(20)와의 통신 트래픽이 증가하게 되어 상대적으로 고가의 통신비용을 부담해야 한다.
반대로 로봇 서버(20)와의 통신비용을 줄이기 위해 많은 기능을 로봇 단말(10)에서 구현할 경우, 통신비용을 줄이는 장점은 있으나 로봇 단말(10)에서 처리해야 할 부하가 많아져, 상대적으로 로봇 제어부(200)는 높은 컴퓨팅 파워를 갖기 위해 고가로 구현될 수밖에 없다.
이상과 같은 네트워크 기반 지능형 서비스 로봇 시스템의 비용구성 특성 때문에 상기 두 가지 고려 사항의 절충이 필요하다. 특히 로봇 서버(20)와 로봇 단말(10)과의 통신 트래픽은 도 1에 도시된 바와 같이 로봇 서버(20) 한 개에 여러 개의 로봇 단말(10)들이 연동되므로, 통신비용뿐만 아니라 시스템 안정성에도 중요한 영향을 미치는 요인이 된다.
본 발명에서는 네트워크 기반 지능형 서비스로봇 시스템에서 고가로 로봇 단말(10)을 구현하지 않으면서 로봇 서버(20)와의 통신 트래픽의 대부분을 차지하는 영상 데이터를 로봇 단말(10) 자체에서 처리하게 하는 네트워크 기반 지능형 서비스 로봇과 그 운용 방법을 제시한다.
일반적으로, 네트워크 기반 지능형 서비스 로봇 시스템에서 로봇 단말(10)의 구동을 위해서는 취득된 영상 정보를 로봇 서버(20)에 송신하고, 로봇 서버(20)에서 로봇 주행 또는 이동시 장해가 되는 장해물에 대한 영상 인식/처리 후 로봇 주행을 제어하는 방식을 취하고 있다. 그러나, 로봇 서버(20) 및 네트워크의 과도한 부하를 해결하기 위해, 본 발명에서는 도 2와 같은 지능형 서비스 로봇의 비전 처 리 장치를 로봇 단말에 두어 로봇 주행 및 이동에 필요한 정보를 로봇 서버(20)로 송신함 없이 로봇 단말 자체에서 저가의 전용칩과 저가의 임베디드 프로세서로 구현된 로봇 제어부(200)를 통해 처리할 수 있도록 한다.
도 2는 본 발명의 바람직한 실시예에 따른 도 1의 네트워크 기반 지능형 서비스 로봇의 로봇 비전처리부(100)의 내부 구성을 상세하게 도시한 블록도이다.
도시된 바와 같이, 네트워크 기반 지능형 서비스 로봇의 로봇 비전처리부(100)는 크게 스테레오 카메라부(110), 입력 영상 전처리부(120), 스테레오 정합부(130), 영상 후처리부(140), 및 영상출력 선택부(150)를 포함하여 구성된다.
도 3은 본 발명의 실시예에 따라 도 2의 로봇 비전 처리부(100)의 각 부에서 처리되는 영상의 처리 결과를 나타낸 도면이다.
도 2에서 스테레오 카메라부(110)는 좌, 우 두 개의 카메라로부터 영상을 취득한다. 이때 취득한 카메라의 좌, 우 영상은 도 3의 (a) 카메라 출력 영상과 같이 나타난다. 본 실시예에서 로봇 제어부(200)는 주변으로부터 명령 정보가 수집되면, 이에 대응하여 명령 정보가 발생된 방향으로부터 영상 정보를 수집하도록 스테레오 카메라부(110)에 촬영명령을 입력한다. 여기서 명령 정보는 목표물로부터 발생되는 움직임(예를 들어, 손짓) 정보 또는 소리의 방향(sound localization)에 의한 정보이다.
입력 영상 전처리부(120)는 스테레오 카메라부(110)의 각 카메라로부터 입력되는 영상을 스테레오 정합부(130)에서 스테레오 정합을 용이하게 하기 위해 해당 종류의 영상 처리 기법을 수행하여 전체적인 성능을 개선시킨다. 이때 처리된 영 상은 도 3의 (b) 입력 영상 전처리부 출력 영상과 같이 교정되어 나타난다. 본 실시예에서 입력 영상 전처리부(120)에 의해 처리 가능한 영상 처리 기법은 교정(Calibration), 스케일 다운 필터링(Scale down Filtering), 수정(Rectification), 및 휘도 조절(Brightness Control) 등을 예로 들 수 있다.
또한 입력 영상 전처리부(120)는 스테레오 카메라부(110)의 좌우 각 카메라로부터 촬영한 영상 정보에 존재하는 잡음을 제거하고 두 대의 카메라에서 입력되는 영상의 밝기 레벨이나 콘트라스트가 상이할 경우 이러한 영상 정보를 일치시켜서 두 대의 카메라로부터 입력되는 영상신호가 동일한 환경을 갖도록 조정해 주는 역할을 수행한다. 뿐만 아니라, 입력 영상 전처리부(120)는 필요에 따라서 히스토그램 균등화(Histogram Equalization)를 수행하거나 에지 검출(Edge Detection) 등의 기능을 수행하여 전체적인 성능을 개선시켜 도 3의 b와 같은 영상을 얻을 수 있다.
스테레오 정합부(130)는 입력 영상 전처리부(120)에서 교정된 좌 우 영상으로부터 서로 대응되는 부분(Stereo Matching)을 찾아 변이지도(disparity map)를 계산하고, 그 결과에 따라 하나의 영상으로 합성한다. 이때 스테레오 정합부(130)에서 출력되는 영상은 도 3의 (c)와 같이 물체의 거리정보를 밝은색(가까운 물체)과 어두운색(멀리있는 물체)으로 표현된 영상이다.
영상 후처리부(140)는 스테레오 정합부(130)에서 계산된 변이 지도(disparity map)를 바탕으로 거리를 계산 및 추출(depth computation, depth extraction)하여 거리 지도(Depth map)를 생성한다. 이때 영상 후처리부(140)는 생성한 거리 지도(Depth map)로부터 서로 다른 대상체들을 구분하는 작업(segmentation, Labeling)을 수행한다. 이때 영상 후처리부(140)에서 출력되는 영상은 도 3의 (d)와 같이 로봇에 가까운 순서대로(밝기순서) n개의 물체들이 묶여진후(Grouping) 원하는 물체에 대한 형상(shape)만을 표현하는 영상이다.
또한 본 실시예에 따라 영상 후처리부(140)는 생성된 거리 지도에 포함되어 구분된 서로 다른 각각의 대상체들에 대해, 수평 및 수직 크기와 로봇 단말(10)에서 해당 대상체까지의 거리 정보를 각각 측정하여 출력한다. 이에 따라, 영상 후처리부(140)는 각 대상체들에 대해 측정된 정보들을 바탕으로 해당 대상체가 이동 로봇(10)이 이동하기 위한 목표물인지, 장해물인지를 구분하는 작업을 수행한다.
따라서 로봇 제어부(200)는 영상 후처리부(140)에 의해 처리된 결과에 기초하여 로봇 서버(20)와의 통신 연결 없이 로봇 단말(10) 자체에서 목표물을 향해 추종 주행을 수행하도록 로봇 센서 및 구동부(400)를 제어한다.
한편, 영상출력 선택부(150)는 입력되는 명령에 따라 스테레오 카메라부(100), 입력 영상 전처리부(120), 스테레오 정합부(130), 및 영상 후처리부(140)에서 출력되는 영상을 선택적으로 출력한다. 이에 따라, 로봇 제어부(200)는 영상출력 선택부(150)에서 각각 출력되는 영상을 내부 또는 로봇 서버(20)로 선택적으로 출력할 수 있다.
이와 같이, 네트워크 기반 지능형 서비스 로봇의 로봇 비전처리부(100)를 스테레오 카메라(110)를 이용해 구현함으로서 스테레오 카메라(110) 영상으로부터 외부 대상체들의 삼차원 거리 정보를 추출하여 기타 다른 센서 없이 스테레오 카메라 영상 처리 만으로 지능형 서비스 로봇(10)의 이동과 주행을 수행할 수 있는 장점이 있다. 또한 로봇 서버(20)와의 통신 트래픽의 대부분을 차지하는 영상 데이터를 로봇 서버(20)로 송신하지 않아도 되므로 로봇 서버(20)와의 네트워크 트래픽을 줄이게 되어 네트워크 연결에 소요되는 통신비용을 절감할 수 있을 뿐만 아니라 여러 개의 로봇 단말들이 연동되는 네트워크 기반 지능형 서비스 로봇 시스템의 안정성을 확보할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 지능형 서비스 로봇의 목표물 추종 주행 방법을 도시한 흐름도이다.
도시된 바와 같이, 로봇 제어부(200)는 구비된 센서를 통해 호출 명령 정보가 수집되면(S110), 구비된 스테레오 카메라를 통해 스테레오 영상 정보를 취득하도록 스테레오 카메라부(110)를 제어한다. 로봇 제어부(200)로부터 촬영 명령이 입력되면, 스테레오 카메라부(110)는 카메라의 팬/틸트(Pan/Tilt)를 조작해 명령정보가 수집된 방향으로 촬영 방향을 전환을 전환하여 영상 정보를 취득한다(S120). 본 실시예에서 스테레오 카메라부(110)는 스테레오 카메라를 통해 3차원 영상 정보를 1 프레임(frame)씩 취득한다.
스테레오 카메라부(110)로부터 촬영 영상 정보가 취득되면, 로봇 제어부(200)는 취득한 촬영 정보에 대해 입력 영상 전처리를 수행하도록 입력 영상 전처리부(120)를 제어한다(S130). 본 실시예에서 입력 영상 전처리부(120)는, 입력 영상 전처리를 위해 좌우 원 영상 및 좌우 원 영상을 한 픽셀(pixel)씩 교차시켜 생성한 영상 활용하여, 밝기 레벨 조절, 대비(contrast) 조절, 히스토그램 균등 화(Histogram Equalization), 및 에지 검출(Edge Detection) 등의 영상 처리 기법을 이용한다. 또한 본 실시예에서 입력 영상 전처리부(120)는, 입력 영상 전처리를 위해 좌우 원 영상 및 좌우 원 영상을 한 픽셀(pixel)씩 교차시켜 생성한 영상을 압축(Encoding)시켜 로봇 서버(20)로 전송하고, 로봇 서버(20)에서 해당 영상 처리 기법을 이용하여 이 스트림을 압축 해제 한(Decoding) 영상을 수신한다.
입력 영상 전처리부(120)에 의해 각 카메라로부터 촬영된 영상에 대한 전처리가 수행되면, 로봇 제어부(200)는 전처리된 각 영상을 스테레오 영상 정합을 수행하도록 스테레오 정합부(130)를 제어한다(S140).
스테레오 정합부(130)에 의해 스테레오 영상이 정합되면, 로봇 제어부(200)는 정합된 영상에 대한 후처리를 수행하도록 영상 후처리부(140)를 제어한다(S200). 이에 의해, 영상에 포함된 대상체들에 대한 크기 및 로봇 단말(10)과의 거리 정보와, 목표물 및 장해물 정보를 얻을 수 있다.
이에 따라, 로봇 제어부(200)는 영상 후처리 결과에 기초하여 로봇 단말(10)의 목표물을 향해 장애물을 회피하면서 추종 이동을 제어한다(S160). 이때 로봇 제어부(200)는 스테레오 카메라부(110)를 통해 수집 및 각 영상 처리부(120,130,140)로부터 처리되는 영상 정보의 전송 명령 입력 여부를 판별한다(S170).
해당 영상 정보에 대한 전송 명령이 입력되면, 로봇 제어부(200)는 스테레오 카메라부(110)로부터 촬영된 영상에 대해 해당 영상 처리가 수행된 영상 정보를 로봇 서버 통신부(300)를 통해 로봇 서버(20)로 전송한다(S180).
또한 로봇 제어부(200)는 영상 후처리된 결과 정보에 기초하여 추종 주행을 수행하는 중에, 목표물로부터 설정된 거리 영역까지 근접한 것인지를 판별한다(S190). 목표물에 근접한 것으로 판단되면, 로봇 제어부(200)는 목표물로부터 이후에 수집되는 명령에 따라 해당 동작을 수행한다(S195).
본 실시예에서 사용자의 호출 명령 정보가 수집되는 경우, 호출 명령 소리가 발생한 방향을 바라봤을 때 움직이는 물체는 사람밖에 없다고 가정한다. 이는 가정용 로봇 응용에 적용하는데 큰 무리가 없으며, 가정에서 주로 움직이는 물체는 사람과, 애완용 동물, 및 로봇밖에 없다는 점에 착안한 가정이다. 특히, 가정용 서비스 로봇은 일정한 키를 가지고 사물을 바라보기 때문에, 애완용 동물이 아닌 사람의 움직임만을 감지하도록 설계 가능하다.
한편, 로봇 단말(10)이 사람을 추종할 경우, 로봇 제어부(200)는 두 번째 물체가 사람으로 판단되었을 경우 로봇 단말(10)이 두 번째 물체를 향해 이동하게 되며, 두 번째 물체를 피해서 지나치는 순간 첫 번째 물체가 사람으로 인식한다.
또 다른 예로, 로봇 제어부(200)는 첫 번째 물체가 사람으로 판단되어 로봇 단말(10)이 첫 번째 물체를 향해 이동하는 경우, 이동 중에 로봇과 사람 사이에 또 다른 사람이나 물체가 출현하게 되면, 이는 장해물로 인식한다.
도 5는 본 발명의 실시예에 따라 영상 후처리 단계(200)를 보다 상세히 도시한 흐름도이다.
도시된 바와 같이, 영상 후처리부(140)는 스테레요 정합부(130)에서 정합된 영상으로부터 양안정합 자체의 오류나 스테레오 카메라부(110)로부터 기인한 노이 즈를 저역통과필터(Low Pass Filter; LPF)를 이용하여 제거한다(s210). 이때 저역통과필터는 모드 필터(Mode filter) 또는 메디안 필터(Median filter) 등이 적용될 수 있다. 이를 통해, 영상 후처리부(140)는 직사각형 형태 노이즈의 크기를 재설정 가능하도록 하고, 배경 환경의 변화에 따라 매칭 오류의 노이즈를 가변적으로 제거할 수 있다.
노이즈가 제거되면, 영상 후처리부(140)는 이 결과 영상들에 대해 밝기에 기초하여 대상체 영상을 그룹핑(Grouping)한다(S220). 대상체 영상이 밝기에 따라 그룹핑되면, 영상 후처리부(140)는 그룹별로 각 대상체들을 구분(Segmentation)한다(S230).
이후 영상 후처리부(140)는 원영상의 엣지(edge) 정보를 이용하여 구분된 대상체들 각각의 외곽선(외형)을 추출한다(S240). 이때 구분된 대상체들은 밝기 정보를 가지고 있으므로, 영상 후처리부(140)는 대상체 각각의 밝기 정보에 기초하여 각 대상체의 거리 지도 정보를 추출한다(S250).
이후 영상 후처리부(140)는 구분된 각 대상체의 수평, 수직 크기를 산출한다(S260). 마지막으로, 영상 후처리부(140)는 구분된 대상체들의 외곽선 및 수평, 수직 크기 정보에 기초하여 각 대상체들이 목표물인지, 장해물인지를 구분한다(S270).
이상에서는 본 발명에서 특정의 바람직한 실시예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에 서 통상의 지식을 가진 자라면 누구든지 다양한 변형 및 균등한 타 실시가 가능할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부한 특허청구범위에 의해서만 정해져야 할 것이다.
상술한 본 발명에 따르면, 저가의 스테레오 카메라와 전용칩이 인터페이스 된 내장형 하드웨어를 사용하여 적은 프로세서 연산만으로 다른 센서의 도움 없이 로봇의 자율 주행에 이용함으로써, 서버에 전송해야 할 데이터의 양을 줄여 과도한 네트워크 트래픽과 로봇이 연결될 서버의 연산 부하를 덜어주는 장점이 있다.
또한, 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치를 스테레오 카메라를 이용해 구현하여 스테레오 카메라 영상으로부터 외부 대상체들의 삼차원 거리 정보를 추출하여 기타 다른 센서 없이 스테레오 카메라 영상 처리 만으로 지능형 서비스 로봇의 이동과 주행을 수행할 수 있는 장점이 있다.
뿐만 아니라, 로봇 서버와의 통신 트래픽의 대부분을 차지하는 영상 데이터를 로봇 서버로 송신하지 않아도 되므로 로봇 서버와의 네트워크 트래픽을 줄이게 되어 네트워크 연결에 소요되는 통신비용을 절감할 수 있을 뿐만 아니라 여러 개의 로봇 단말들이 연동되는 네트워크 기반 지능형 서비스 로봇 시스템의 안정성을 확보할 수 있다.

Claims (12)

  1. 입력되는 이동 명령에 따라 지능형 서비스 로봇을 이동시키는 구동부;
    목표물 추종을 위한 촬영 명령에 따라 적어도 2대 이상의 카메라를 통해 영상을 촬영하고, 상기 영상에 포함된 물체들에 대한 변이지도(disparity map)를 계산하여 거리 정보를 추출하고, 상기 거리 정보를 이용해 상기 영상에 포함된 물체들에 대한 수평 및 수직 크기를 추출하여 목표물 및 장해물을 구분하는 로봇 비전처리부; 및
    외부로부터 명령정보가 수집되면 상기 명령정보가 수집된 방향의 목표물 추종을 위한 촬영 명령을 상기 로봇 비전처리부에 제공하고, 이에 대응하여 상기 로봇 비전처리부에 의해 구분된 결과 정보에 기초하여 상기 장해물을 회피하면서 상기 목표물을 향해 추종 이동하도록 상기 구동부를 제어하는 로봇 제어부를 포함하는 것을 특징으로 하는 지능형 서비스 로봇.
  2. 제 1항에 있어서,
    상기 로봇 비전처리부는,
    상기 카메라를 통해 각각 촬영되는 영상 정보를 수집하는 스테레오 카메라부;
    상기 스테레오 카메라부로부터 수집된 영상 정보에 대해 영상 전처리를 수행하기 위한 영상 처리 기법을 통해 상기 영상들을 교정하는 입력 영상 전처리부;
    상기 교정된 영상들에 대해 서로 대응되는 영역을 매칭시켜 하나의 영상으로 변이지도를 생성하는 스테레오 정합부; 및
    상기 변이지도를 바탕으로 변이지도의 노이즈 제거 후 서로 다른 대상체들을 구분하고, 원영상의 엣지(edge) 정보를 이용하여 상기 구분된 대상체들의 외곽선을 추출하고, 이로부터 상기 목표물 및 상기 장해물을 구분하는 영상 후처리부를 포함하는 것을 특징으로 하는 지능형 서비스 로봇.
  3. 제 2항에 있어서,
    상기 영상 후처리부는, 상기 구분된 대상체들에 대해 수평 및 수직 크기와 상기 지능형 서비스 로봇에서 해당 대상체까지의 거리정보를 추출하는 것을 특징으로 하는 지능형 서비스 로봇.
  4. 제 2항에 있어서,
    상기 스테레오 카메라부, 입력 영상 전처리부, 스테레오 정합부, 및 영상 후처리부로부터 각각 출력되는 영상을 로봇 서버로 전송하기 위해 선택적으로 출력하는 영상출력 선택부를 더 포함하는 것을 특징으로 하는 지능형 서비스 로봇.
  5. 제 2항에 있어서,
    상기 영상 후처리부는,
    상기 변이지도 결과의 매칭 오류 또는 카메라 칼리브레이션(calibration)의 불일치에 의해 발생하는 노이즈를, 저역통과필터를 통해 제거하는 것을 특징으로 하는 지능형 서비스 로봇.
  6. 제 5항에 있어서,
    상기 저역통과필터는 모드 필터(Mode Filter) 또는 메디안 필터(Median Filter) 가 적용되는 것을 특징으로 하는 지능형 서비스 로봇.
  7. 제 2항에 있어서,
    상기 입력 영상 전처리부는,
    상기 입력 영상 전처리를 위해 좌우 원 영상 및 좌우 원 영상을 한 픽셀(pixel)씩 교차시켜 생성한 영상 활용하여, 밝기 레벨 조절, 대비(contrast) 조절, 히스토그램 균등화(Histogram Equalization), 및 에지 검출(Edge Detection) 중 적어도 어느 하나의 영상 처리 기법을 이용하는 것을 특징으로 하는 지능형 서비스 로봇.
  8. 제 2항 또는 제 7항에 있어서,
    상기 입력 영상 전처리부는,
    상기 입력 영상 전처리를 위해 좌우 원 영상 및 좌우 원 영상을 한 픽셀(pixel)씩 교차시켜 생성한 영상을 압축(Encoding)시켜 상기 로봇 서버로 전송하고, 상기 로봇 서버에서 해당 영상 처리 기법을 이용하여 이 스트림을 압축 해제 한(Decoding) 영상을 수신하는 것을 특징으로 하는 지능형 서비스 로봇.
  9. 제 1항에 있어서,
    상기 명령정보는 상기 목표물로부터 발생되는 움직임과 소리의 방향(sound localization)에 의한 정보인 것을 특징으로 하는 지능형 서비스 로봇.
  10. 외부로부터 지시되는 명령정보를 수집하는 단계;
    상기 수집되는 명령정보가 수집된 방향을 향해 적어도 2 이상의 카메라를 통해 영상을 촬영하고, 상기 영상에 포함된 물체들에 대한 변이지도(disparity map)를 계산하여 거리 정보를 추출하고, 상기 거리 정보를 이용해 상기 영상에 포함된 물체들에 대한 수평 및 수직 크기를 추출하여 목표물 및 장해물을 구분하는 비전 처리 단계; 및
    상기 비전 처리 결과에 기초하여 상기 장해물을 회피하면서 상기 목표물을 향해 추종 이동하는 단계를 포함하는 것을 특징으로 하는 지능형 서비스 로봇의 목표물 추종 주행 방법.
  11. 제 10항에 있어서,
    상기 비전 처리 단계는,
    상기 카메라를 통해 각각 촬영되는 영상 정보를 동기에 맞게 각각 수집하 는 단계;
    상기 각각 수집된 영상 정보에 대해 영상 전처리를 수행하기 위한 영상 처리 기법을 통해 상기 영상들을 교정하는 단계;
    상기 교정된 영상들에 대해 서로 대응되는 영역을 매칭시켜 하나의 영상으로 변이지도를 생성하는 단계;
    상기 변이지도의 매칭 오류 및 카메라 칼리브레이션으로부터 발생한 오류를 제거하는 단계;
    상기 노이즈가 제거된 변이지도를 바탕으로 밝기에 기반하여 서로 다른 대상체들을 묶은 후 구분하는 단계;
    상기 변이지도에서 밝기별로 구분되어 묶어진 대상체들의 위치에 해당하는 물체의 정확한 외형을 원영상의 edge 정보로부터 비교 분석하여 생성하는 단계; 및
    상기 구분된 정확한 외형을 가진 대상체들로부터 상기 목표물 및 상기 장해물을 구분하는 단계를 포함하는 것을 특징으로 하는 지능형 서비스 로봇의 목표물 추종 주행 방법.
  12. 제 11항에 있어서,
    상기 구분된 대상체들에 대해 수평 및 수직 크기와 현재 위치에서 해당 대상체들까지의 거리정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 지능형 서비스 로봇의 목표물 추종 주행 방법.
KR1020060124036A 2006-12-07 2006-12-07 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치 KR100834577B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060124036A KR100834577B1 (ko) 2006-12-07 2006-12-07 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US11/981,940 US20080215184A1 (en) 2006-12-07 2007-10-31 Method for searching target object and following motion thereof through stereo vision processing and home intelligent service robot using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060124036A KR100834577B1 (ko) 2006-12-07 2006-12-07 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치

Publications (1)

Publication Number Publication Date
KR100834577B1 true KR100834577B1 (ko) 2008-06-02

Family

ID=39733728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060124036A KR100834577B1 (ko) 2006-12-07 2006-12-07 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치

Country Status (2)

Country Link
US (1) US20080215184A1 (ko)
KR (1) KR100834577B1 (ko)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903786B1 (ko) 2009-03-16 2009-06-19 국방과학연구소 자율 이동체용 스테레오 센싱 장치, 스테레오 센싱 가능한 자율 이동체 및 스테레오 센싱 장치의 이미지 처리 방법
KR101129309B1 (ko) 2010-06-01 2012-03-26 광운대학교 산학협력단 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
KR101153125B1 (ko) * 2010-01-14 2012-06-04 서울과학기술대학교 산학협력단 정찰용 보행 로봇
KR101208647B1 (ko) * 2010-10-28 2012-12-06 재단법인대구경북과학기술원 도로상의 장애 물체 검출 방법 및 장치
KR101275823B1 (ko) * 2011-04-28 2013-06-18 (주) 에투시스템 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
WO2015194867A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR20150144729A (ko) * 2014-06-17 2015-12-28 주식회사 유진로봇 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US9365195B2 (en) 2013-12-17 2016-06-14 Hyundai Motor Company Monitoring method of vehicle and automatic braking apparatus
CN106863324A (zh) * 2017-03-07 2017-06-20 东莞理工学院 一种基于视觉的服务机器人平台
KR101776621B1 (ko) 2014-06-17 2017-09-11 주식회사 유진로봇 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776620B1 (ko) 2014-06-17 2017-09-11 주식회사 유진로봇 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN107297748A (zh) * 2017-07-27 2017-10-27 南京理工大学北方研究院 一种餐厅服务机器人系统及应用
CN107309883A (zh) * 2016-04-27 2017-11-03 王方明 智能机器人
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统
KR20180101081A (ko) * 2017-03-03 2018-09-12 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN110362091A (zh) * 2019-08-05 2019-10-22 广东交通职业技术学院 一种机器人的跟随录像方法、装置及机器人
WO2020111844A3 (ko) * 2018-11-28 2020-10-15 서울대학교 산학협력단 물체 레이블을 활용한 비주얼 슬램에서의 영상 특징점 강화 방법 및 장치
CN113084873A (zh) * 2021-04-26 2021-07-09 上海锵玫人工智能科技有限公司 一种机器人视觉装置及机器人
WO2021172936A1 (en) * 2020-02-28 2021-09-02 Lg Electronics Inc. Moving robot and control method thereof
CN114153310A (zh) * 2021-11-18 2022-03-08 天津塔米智能科技有限公司 一种机器人迎宾方法、装置、设备和介质

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
KR101581197B1 (ko) * 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
JP2012089931A (ja) * 2010-10-15 2012-05-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8797387B2 (en) * 2011-04-27 2014-08-05 Aptina Imaging Corporation Self calibrating stereo camera
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US9321173B2 (en) 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
AU2014239979B2 (en) 2013-03-15 2017-06-22 Aurora Operations, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
CN103231389A (zh) * 2013-04-13 2013-08-07 李享 一种基于机器人双目三维视觉的物体识别方法
KR102089510B1 (ko) 2013-12-19 2020-03-16 한국전자통신연구원 다-파장 분광장치를 이용한 객체인식 장치 및 그 방법
CN103737593A (zh) * 2014-01-21 2014-04-23 成都万先自动化科技有限责任公司 包包子服务机器人
CN103770120A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 修脚指甲服务机器人
CN103753562A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 瘦身咨询服务机器人
CN103770119A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 五子棋游戏机器人
CN103753539A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 化妆服务机器人
CN103753561A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 室内喷洒消毒服务机器人
CN103770117A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 邮递服务机器人
CN103770114A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 除草服务机器人
CN103753556A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 做蛋糕服务机器人
CN103753575A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 包馄饨服务机器人
CN103753554A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 纹身服务机器人
CN103737595A (zh) * 2014-01-24 2014-04-23 成都万先自动化科技有限责任公司 腿部按摩服务机器人
CN103753555A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 做面服务机器人
CN103737597A (zh) * 2014-01-24 2014-04-23 成都万先自动化科技有限责任公司 包饺子服务机器人
CN103753576A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 包粽子服务机器人
CN103768797A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 象棋游戏机器人
CN103770113A (zh) * 2014-01-24 2014-05-07 成都万先自动化科技有限责任公司 修手指甲服务机器人
CN105163103B (zh) * 2014-06-13 2017-10-27 株式会社理光 用层叠结构来表示立体图像以分析图像中的目标的技术
KR102223282B1 (ko) * 2014-08-07 2021-03-05 엘지전자 주식회사 스마트 줄자를 구비한 이동 단말기 및 그의 물체 길이 측정 방법
CN104898600B (zh) * 2015-04-03 2018-07-03 丰唐物联技术（深圳）有限公司 一种基于智能家居系统的信息推送方法及装置
CN104808625A (zh) * 2015-04-17 2015-07-29 南京信息职业技术学院 一种用于智能家居的远程联网巡视系统
JP6892393B2 (ja) * 2015-04-22 2021-06-23 マサチューセッツ インスティテュート オブ テクノロジー 足接地位置追随装置、その動きを制御する方法、コンピュータ実行可能なプログラム、及びそれを格納したコンピュータ読取可能な非一時的な情報記録媒体
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
WO2017041225A1 (zh) * 2015-09-08 2017-03-16 深圳市赛亿科技开发有限公司 一种机器人跟随方法
CN105364915B (zh) * 2015-12-11 2017-06-30 齐鲁工业大学 基于三维机器视觉的智能家庭服务机器人
US10338225B2 (en) 2015-12-15 2019-07-02 Uber Technologies, Inc. Dynamic LIDAR sensor controller
US10281923B2 (en) 2016-03-03 2019-05-07 Uber Technologies, Inc. Planar-beam, light detection and ranging system
US9952317B2 (en) 2016-05-27 2018-04-24 Uber Technologies, Inc. Vehicle sensor calibration system
CN105965478A (zh) * 2016-05-30 2016-09-28 北京海鑫智圣技术有限公司 一种基于移动终端的机器人
CN107598917A (zh) * 2016-07-12 2018-01-19 浙江星星冷链集成股份有限公司 一种机器人的视觉识别系统
CN106527469A (zh) * 2016-12-29 2017-03-22 新奥（中国）燃气投资有限公司 交互式智能机器人控制系统、控制方法及交互式智能机器人
KR102012550B1 (ko) * 2017-02-20 2019-08-20 엘지전자 주식회사 돌발 장애물을 식별하는 방법 및 이를 구현하는 로봇
US10775488B2 (en) 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10746858B2 (en) 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10914820B2 (en) 2018-01-31 2021-02-09 Uatc, Llc Sensor assembly for vehicles
KR102557049B1 (ko) 2018-03-30 2023-07-19 한국전자통신연구원 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
CN108564036A (zh) * 2018-04-13 2018-09-21 上海思依暄机器人科技股份有限公司 一种基于人脸识别的身份判定方法、装置和云服务器
WO2019224162A1 (en) * 2018-05-22 2019-11-28 Starship Technologies Oü Method and system for analyzing robot surroundings
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
CN109032096A (zh) * 2018-08-24 2018-12-18 明光智源复合材料有限公司 一种基于智能家居的辅助控制装置
CN109388068A (zh) * 2018-11-23 2019-02-26 上海神添实业有限公司 一种基于人工智能及通用组合传感器的智能家居应用系统
CN109702747A (zh) * 2019-01-21 2019-05-03 广东康云科技有限公司 一种机器狗系统及其实现方法
CN110658827B (zh) * 2019-10-25 2020-06-23 嘉应学院 一种基于物联网的运输车自动引导系统及其方法
FR3105440A1 (fr) 2019-12-20 2021-06-25 Orange Assistant et procédé d’assistance de recherche d’un élément dans une zone
GB2592413B8 (en) * 2020-02-27 2022-08-03 Dyson Technology Ltd Robot
CN113616235B (zh) * 2020-05-07 2024-01-19 中移(成都)信息通信科技有限公司 超声检测方法、装置、系统、设备、存储介质及超声探头
CN112008735A (zh) * 2020-08-24 2020-12-01 北京云迹科技有限公司 基于巡游机器人的救助方法、装置及系统
CN112518750B (zh) * 2020-11-30 2022-06-17 深圳优地科技有限公司 机器人控制方法、装置、机器人及存储介质
CN113359996A (zh) * 2021-08-09 2021-09-07 季华实验室 生活辅助机器人控制系统、方法、装置及电子设备
CN114442636B (zh) * 2022-02-10 2024-03-29 上海擎朗智能科技有限公司 一种跟随机器人的控制方法、装置、机器人和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636196B2 (ja) * 1988-10-19 1994-05-11 工業技術院長 障害物検出装置
JP2000326274A (ja) * 1999-05-24 2000-11-28 Nec Corp 自律行動ロボット

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852018A (en) * 1987-01-07 1989-07-25 Trustees Of Boston University Massively parellel real-time network architectures for robots capable of self-calibrating their operating parameters through associative learning
US5400244A (en) * 1991-06-25 1995-03-21 Kabushiki Kaisha Toshiba Running control system for mobile robot provided with multiple sensor information integration system
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JP2919284B2 (ja) * 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6986993B1 (en) * 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
JP3868896B2 (ja) * 2002-01-23 2007-01-17 本田技研工業株式会社 自律移動体用撮像装置、撮像装置較正方法及び撮像装置較正プログラム
US7031844B2 (en) * 2002-03-18 2006-04-18 The Board Of Regents Of The University Of Nebraska Cluster analysis of genetic microarray images
US7310439B2 (en) * 2002-07-29 2007-12-18 Hewlett-Packard Development Company, L.P. Robot having an imaging capability
US7030875B2 (en) * 2002-09-04 2006-04-18 Honda Motor Company Ltd. Environmental reasoning using geometric data structure
US7054716B2 (en) * 2002-09-06 2006-05-30 Royal Appliance Mfg. Co. Sentry robot system
US7162338B2 (en) * 2002-12-17 2007-01-09 Evolution Robotics, Inc. Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
US7373270B2 (en) * 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP3196805A3 (en) * 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
CA2834883C (fr) * 2005-03-07 2018-01-23 Dxo Labs Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636196B2 (ja) * 1988-10-19 1994-05-11 工業技術院長 障害物検出装置
JP2000326274A (ja) * 1999-05-24 2000-11-28 Nec Corp 自律行動ロボット

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903786B1 (ko) 2009-03-16 2009-06-19 국방과학연구소 자율 이동체용 스테레오 센싱 장치, 스테레오 센싱 가능한 자율 이동체 및 스테레오 센싱 장치의 이미지 처리 방법
KR101153125B1 (ko) * 2010-01-14 2012-06-04 서울과학기술대학교 산학협력단 정찰용 보행 로봇
KR101129309B1 (ko) 2010-06-01 2012-03-26 광운대학교 산학협력단 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
KR101208647B1 (ko) * 2010-10-28 2012-12-06 재단법인대구경북과학기술원 도로상의 장애 물체 검출 방법 및 장치
KR101275823B1 (ko) * 2011-04-28 2013-06-18 (주) 에투시스템 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
US9365195B2 (en) 2013-12-17 2016-06-14 Hyundai Motor Company Monitoring method of vehicle and automatic braking apparatus
KR101708659B1 (ko) 2014-06-17 2017-02-22 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR101776622B1 (ko) 2014-06-17 2017-09-11 주식회사 유진로봇 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR20150144728A (ko) * 2014-06-17 2015-12-28 주식회사 유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
US10133279B2 (en) 2014-06-17 2018-11-20 Yujin Robot Co., Ltd. Apparatus of updating key frame of mobile robot and method thereof
KR101725060B1 (ko) * 2014-06-17 2017-04-10 주식회사 유진로봇 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10399228B2 (en) 2014-06-17 2019-09-03 Yujin Robot Co., Ltd. Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
KR20150144729A (ko) * 2014-06-17 2015-12-28 주식회사 유진로봇 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 2014-06-17 2017-09-11 주식회사 유진로봇 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776620B1 (ko) 2014-06-17 2017-09-11 주식회사 유진로봇 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101784183B1 (ko) * 2014-06-17 2017-10-11 주식회사 유진로봇 ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10307910B2 (en) 2014-06-17 2019-06-04 Yujin Robot Co., Ltd. Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof
WO2015194867A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10275649B2 (en) 2014-06-17 2019-04-30 Yujin Robot Co., Ltd. Apparatus of recognizing position of mobile robot using direct tracking and method thereof
US10133278B2 (en) 2014-06-17 2018-11-20 Yujin Robot Co., Ltd. Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
CN107309883A (zh) * 2016-04-27 2017-11-03 王方明 智能机器人
US11269343B2 (en) 2017-03-03 2022-03-08 Lg Electronics Inc. Mobile robot and control method thereof
KR102017148B1 (ko) * 2017-03-03 2019-09-02 엘지전자 주식회사 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
KR20180101081A (ko) * 2017-03-03 2018-09-12 엘지전자 주식회사 이동 로봇 및 그 제어방법
US11846950B2 (en) 2017-03-03 2023-12-19 Lg Electronics Inc. Mobile robot and control method thereof
CN106863324A (zh) * 2017-03-07 2017-06-20 东莞理工学院 一种基于视觉的服务机器人平台
CN107297748A (zh) * 2017-07-27 2017-10-27 南京理工大学北方研究院 一种餐厅服务机器人系统及应用
CN107297748B (zh) * 2017-07-27 2024-03-26 南京理工大学北方研究院 一种餐厅服务机器人系统及应用
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统
WO2020111844A3 (ko) * 2018-11-28 2020-10-15 서울대학교 산학협력단 물체 레이블을 활용한 비주얼 슬램에서의 영상 특징점 강화 방법 및 장치
CN110362091A (zh) * 2019-08-05 2019-10-22 广东交通职业技术学院 一种机器人的跟随录像方法、装置及机器人
KR20210110064A (ko) * 2020-02-28 2021-09-07 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102320678B1 (ko) * 2020-02-28 2021-11-02 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2021172936A1 (en) * 2020-02-28 2021-09-02 Lg Electronics Inc. Moving robot and control method thereof
CN113084873A (zh) * 2021-04-26 2021-07-09 上海锵玫人工智能科技有限公司 一种机器人视觉装置及机器人
CN114153310A (zh) * 2021-11-18 2022-03-08 天津塔米智能科技有限公司 一种机器人迎宾方法、装置、设备和介质

Also Published As

Publication number Publication date
US20080215184A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
KR100834577B1 (ko) 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
KR100727033B1 (ko) 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
CN109691079B (zh) 成像装置和电子设备
US20180278820A1 (en) Optical detection apparatus and methods
JP4689107B2 (ja) 自律行動ロボット
KR100776805B1 (ko) 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
US7321386B2 (en) Robust stereo-driven video-based surveillance
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
US9256324B2 (en) Interactive operation method of electronic apparatus
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
KR101769601B1 (ko) 자동추적 기능을 갖는 무인항공기
US10914960B2 (en) Imaging apparatus and automatic control system
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
US20180173982A1 (en) System and method for 1d root association providing sparsity guarantee in image data
EP3286056A1 (en) System and method for a full lane change aid system with augmented reality technology
CN113056904A (zh) 图像传输方法、可移动平台及计算机可读存储介质
US8059153B1 (en) Three-dimensional object tracking using distributed thin-client cameras
CN106951077B (zh) 一种提示方法及第一电子设备
CN106650656B (zh) 一种用户身份识别装置和机器人
JP7278846B2 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
CN108521594A (zh) 一种基于体感相机手势识别的自由视点视频播放方法
CN114089364A (zh) 一种集成化的感知系统装置及实现方法
CN116152906A (zh) 图像识别方法、装置、通信设备及可读存储介质
Balakrishnan et al. Stereopsis method for visually impaired to identify obstacles based on distance
JP2534517B2 (ja) ３次元位置検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee