KR100727033B1 - 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템 - Google Patents

네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템 Download PDF

Info

Publication number
KR100727033B1
KR100727033B1 KR1020050119019A KR20050119019A KR100727033B1 KR 100727033 B1 KR100727033 B1 KR 100727033B1 KR 1020050119019 A KR1020050119019 A KR 1020050119019A KR 20050119019 A KR20050119019 A KR 20050119019A KR 100727033 B1 KR100727033 B1 KR 100727033B1
Authority
KR
South Korea
Prior art keywords
robot
image
unit
stereo matching
network
Prior art date
Application number
KR1020050119019A
Other languages
English (en)
Inventor
조재일
최승민
황대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050119019A priority Critical patent/KR100727033B1/ko
Priority to US12/088,111 priority patent/US8170324B2/en
Priority to JP2008535430A priority patent/JP5070213B2/ja
Priority to PCT/KR2005/004319 priority patent/WO2007066842A1/en
Application granted granted Critical
Publication of KR100727033B1 publication Critical patent/KR100727033B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 네트워크 기반 지능형 서비스 로봇 시스템의 비전 처리 장치와 방법 및 이를 이용한 시스템에 관한 것으로,
스테레오 카메라와 저가의 영상처리 전용칩 및 임베디드 프로세서를 이용해 외부 대상체들의 삼차원 거리정보를 추출/처리하여 네트워크를 통해 연결된 로봇 서버의 도움없이 장해물을 회피하면서 찾아 갈 대상 물체까지 이동할 수 있게 함으로써,
기타 다른 센서 없이 스테레오 카메라 영상 처리만으로 지능형 로봇의 이동과 주행을 수행할 수 있고, 또한 사용자가 낮은 비용으로 다양한 기능의 서비스를 제공받을 수 있는 효과가 있다.
지능형 서비스 로봇, 스테레오 영상

Description

네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및 방법과 이를 이용한 시스템{Apparatus and method for vision processing on network based intelligent service robot system and the system using the same}
도 1은 네트워크 기반 지능형 서비스 로봇의 전체 시스템 구성도,
도 2는 지능형 서비스 로봇의 비전 처리부의 상세 구성도,
도 3은 지능형 서비스 로봇의 비전 처리부의 결과 영상을 나타내는 도,
도 4는 지능형 서비스 로봇의 비전 처리 동작을 나타내는 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
10. 로봇 단말 20. 로봇 서버
101. 로봇 비전 처리부 102. 로봇 제어부
103. 로봇 서버 통신부 104. 로봇 센서 및 구동부
1010. 스테레오 카메라부 1011. 입력 영상 전처리부
1012. 스테레오 정합부 1013. 영상 후처리부
1014. 영상 출력 선택부
본 발명은 네트워크 기반 지능형 서비스 로봇의 비전처리에 관한 것으로, 더욱 상세하게는 네트워크 기반 지능형 서비스 로봇에 있어서 취득된 스테레오 영상에 대한 스테레오 정합 결과를 로봇의 주행과 이동에 이용하는 기술에 관한 것이다.
종래의 로봇 비전 처리의 대부분은 단순히 한 개 카메라의 입력 정보를 통해 로봇의 외부 환경을 인식하는데 국한되어 사용되고 있으며, 이를 로봇의 이동 및 주행에 이용하기 위해서는 기타 다른 센서, 예를 들면 초음파와 적외선 등의 센서 정보를 복합적으로 사용해야 하는 단점이 있다. 특히 네트워크 기반 지능형 서비스 로봇의 경우 필요한 영상 처리를 네트워크와 연결된 로봇 서버에서 수행하게 되므로 로봇 단말과 로봇 서버와의 과도한 통신 트래픽을 유발하는 단점이 있다.
일반적인 네트워크 기반 지능형 서비스 로봇의 전체 시스템 구성은 도 1에 나타낸 바와 같이, 네트워크 기반 지능형 서비스 로봇 시스템은 하나의 로봇 서버(20)에 다수의 로봇 단말(10: 1, 2, ... , n)들이 서로 연동 되어 연결되며, 각 로봇 단말(10)은 크게 외부 영상을 취득해 처리하는 로봇 비전 처리부(101), 로봇 단말 전체를 제어하는 로봇제어부(102), 로봇 서버와의 통신을 담당하는 로봇 서버통 신부(103), 그리고 기타 여러 종류의 외부 환경을 감지하고 로봇 단말을 구동하는 로봇센서 및 구동부(104)로 구성된다.
상기와 같은 시스템에서 로봇 단말의 구동을 위해, 로봇 단말은 취득된 영상 정보를 로봇 서버에 송신하고, 로봇 서버는 로봇 주행 또는 이동시 장해가 되는 장해물에 대한 영상 인식/처리 후 로봇 단말의 로봇 주행을 제어한다.
이러한 네트워크 기반 지능형 서비스 로봇 시스템은 각 로봇 단말(10)에서 처리하기 어려운 대용량의 복잡한 응용이나, 고속 연산을 필요로 하는 부하를 네트워크로 연결된 로봇 서버에 집중시켜 상대적으로 낮은 가격으로 로봇 단말을 구현함으로써, 사용자에게 다양하고, 높은 질의 서비스를 낮은 비용으로 공급할 수 있다.
즉, 네트워크 기반 지능형 서비스 로봇에서 사용자에게 낮은 비용으로 다양한 기능의 서비스를 제공하기 위해서 로봇 단말(10)의 저가격화를 고려하여, 로봇 단말(10)의 로봇 제어부(102)를 고가의 기존 개인용 컴퓨터 등을 사용하지 않고, 가격과 전력 소모 면에서 장점이 있는 저전력 임베디드 프로세서를 사용해 구현한다. 또, 로봇 단말(10)의 로봇제어부(102)를 비교적 낮은 컴퓨팅 파워를 갖도록 구현한다.
또한, 복잡한 응용을 로봇 서버에서 처리하도록 할 경우, 로봇 단말은 상대적으로 낮은 가격에 구현할 수 있으나, 서비스를 실현하기 위한 많은 응용을 로봇 서버에서 수행하게 되므로 결국 서버와의 통신 트래픽이 증가하게 되어 상대적으로 고가의 통신 비용을 부담해야 한다. 반대로 로봇 서버와의 통신비용을 줄이기 위해 많은 기능을 로봇 단말(10)에서 구현할 경우, 통신비용을 줄이는 이점은 있으나, 로봇 단말(10)에서 처리해야 할 부하가 많아져 상대적으로 로봇제어부(102)는 높은 컴퓨팅 파워를 갖기 위해 고가로 구현되어야 한다.
이상과 같은 네트워크 기반 지능형 서비스 로봇 시스템의 비용구성 특성 때문에 상기 두 가지 고려 사항의 절충이 필요하다. 특히 로봇 서버와 로봇 단말과의 통신 트래픽은 도 1에서 도시된 바와 같이 로봇 서버 한 개에 여러 개의 로봇 단말이 연동 되므로 통신 비용뿐만 아니라 시스템 안정성에도 큰 영향을 미치는 요인이 된다.
따라서 네트워크 기반 지능형 서비스 로봇이 사용자에게 낮은 비용으로 다양한 기능의 서비스를 제공해 주기 위해서는 로봇 단말의 저가격화를 먼저 고려하고, 또한 저가격화를 위해 추가로 고려되어야 할 사항은 네트워크를 이용하게 됨으로써 발생 되는 통신 비용 문제이다. 즉, 네트워크 통신 비용 측면에서 상당한 추가비용 발생 요인이 되는 네트워크 기반 지능형 서비스 로봇 응용에서 로봇 단말과 로봇 서버와의 과도한 통신 트래픽을 고려하여야 하는 문제점이 있다.
따라서, 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 네트워크 기반 지능형 서비스 로봇 시스템에서 고가로 로봇 단말을 구현하지 않으면서 로봇 서버와의 통신 트래픽의 대부분을 차지하는 영상 데이터를 로봇 단말 자체에서 처리하게 하는 네트워크 기반 지능형 서비스 로봇의 비전처리 장치 및 방법과 이를 이용한 시스템을 제공하는 것이다.
한편, 본 발명의 다른 목적은 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치를 스테레오 카메라를 이용하여 구현하고, 취득된 영상을 로봇의 외부 환경을 인식하는데 사용할 뿐만 아니라, 스테레오 정합 기술을 이용해 외부 대상체들의 삼차원 거리 정보를 추출/처리하여 기타 다른 센서의 도움없이 지능형 로봇의 이동과 주행에 이용할 수 있는 네트워크 기반 지능형 서비스 로봇의 비전처리 장치 및 방법과 이를 이용한 시스템을 제공하는 것이다.
한편, 본 발명의 또 다른 목적은 상기와 같은 로봇의 비전 처리 장치를 로봇 단말에 위치시켜 로봇 서버로 영상 데이터를 전송하지 않게 하여 로봇 단말과 로봇 서버와의 네트워크 통신 부담을 줄일 수 있는 네트워크 기반 지능형 서비스 로봇의 비전처리 장치 및 방법과 이를 이용한 시스템을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치는, 좌/우 두 개의 카메라로부터 영상을 취득하는 스테레오 카메라부와, 상기 스테레오 카메라부를 통해 입력되는 좌/우 영상에 대해 두 개의 카메라의 특성 차이를 교정하는 입력 영상 전처리부와, 상기 입력 영상 전처리부를 통해 입력되는 좌/우 영상에 대해 스테레오 정합을 통해 변이지도(disparity map)를 계산하는 스테레오 정합부와, 상기 스테레오 정합부를 통해 입력되는 영상에 대해 거리 지도(Depth map)를 추출하고, 상기 추출된 거리지도로부터 서로 다른 대상체들을 구분(segmentation)하는 작업을 수행하는 영상 후처리부 및 상기 스테레오 카메라부의 출력 영상과 상기 영상 후처리부의 출력 영상을 선택적으로 출력할 수 있는 영상 출력 선택부를 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명의 네트워크 기반 지능형 서비스 로봇의 비전처리 방법은, 두 개의 카메라로부터 입력 영상을 취득하는 입력 영상 획득 단계, 두 대의 카메라로부터 취득된 좌/우 영상 신호가 동일한 환경을 갖도록 여러가지 영상 처리 기법을 이용하여 조정하는 입력 영상 전처리 단계, 영상 전처리부에서 교정된 좌/우 영상으로부터 스테레오 정합부는 서로 대응되는 점을 찾아 변이지도(disparity map)를 계산하여 스테레오 정합하는 스테레오 정합 단계, 영상 후처리부(1013)에서 스테레오 정합부(1012)로부터 계산된 변이지도를 바탕으로 거리를 계산하여 거리 지도(Depth map)를 추출하고, 추출된 거리 지도로부터 서로 다른 대상체들을 구분 (segmentation)하는 영상 후처리 단계 및 상기 영상 후처리에 의해 구분된 대상체들의 수평, 수직 크기와 로봇 단말에서부터의 거리를 추출하여 이를 바탕으로 추적할 목표물인지 장해물인지를 구분/인지하여 로봇의 주행과 이동을 제어하는 로봇 제어 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치를 이용한 시스템은, 본 발명에 따른 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치를 구비하여 외부 영상을 취득해 처리하는 로봇 비전 처리부, 로봇 단말 전체를 제어하는 로봇 제어부, 로봇 서버와의 통신을 담당하는 로봇 서버 통신부, 외부 환경을 감지하고 로봇을 구동하는 로봇 센서/구동부를 포함하는 로봇 단말 및 상기 로봇 단말과 네트워크로 연동 되어 필요에 따라 로봇의 구동을 제어하는 로봇 서버를 포함하는 것을 특징으로 한다.
이하, 본 발명의 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및 방법과 이를 이용한 시스템에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일실시 예로서 네트워크 기반 지능형 서비스 로봇 단말(10)의 비전 처리부(101)의 내부 구성을 나타낸다.
본 발명의 네트워크 기반 지능형 서비스 로봇 단말의 비전 처리부(101)는 스테레오 카메라부(1010), 입력 영상 전처리부(1011), 스테레오 정합부(1012), 그리고 영상 후처리부(1013)를 포함하는 것을 특징으로 한다.
로봇 단말(10)에 상기와 같이 구성된 비전 처리부(101)를 두어 로봇 주행 및 이동에 필요한 정보를 로봇 서버(20)로 송신하지 않고, 로봇 단말 자체에서 저가의 전용칩과 저가의 임베디드 프로세서로 구현된 로봇 제어부(102)를 통해 처리할 수 있도록 한다.
상세하게 비전 처리부(101)의 각 구성요소에 대해 알아보면, 먼저 스테레오 카메라부(1010)는 좌, 우 두 개의 카메라로부터 영상을 취득하며, 취득된 영상은 카메라 출력 영상으로서 도 3의 (a)에 나타낸 바와 같다.
입력 영상 전처리부(1011)에서는 스테레오 카메라부(1010)로부터 입력되는 영상에 대해, 후단의 스테레오 정합부(1012)에서 스테레오 정합을 용이하게 할 수 있도록, 여러 종류의 영상 처리 기법을 사용한다. 여러 종류의 영상 처리 기법은 카메라 교정(Calibration)과 영상의 스케일 축소(Scale down), 조정(Rectification) 및 휘도 조절(Brightness control) 등을 포함한다. 이러한 영상 처리 기법을 이용하여 영상에 존재하는 잡음을 제거하고, 두 대의 카메라에서 입력되는 영상의 밝기 레벨이나 콘트라스트가 상이할 경우, 이러한 영상 정보를 일 치시켜서 두 대의 카메라로부터 입력되는 영상 신호가 동일한 환경을 갖도록 조정해 준다. 또한, 필요에 따라서 히스토그램 균등화(Histogram Equalization)를 수행하거나, 에지 검출(Edge Detection) 등의 기능을 수행하여 전체적인 성능을 개선시켜 교정하여 출력한다. 이 출력된 입력 영상 전처리부 출력 영상은 도 3의 (b)와 같다.
스테레오 정합부(1012)에서는 입력 영상 전처리부(1011)에서 교정된 좌/우 영상으로부터 서로 대응되는 점을 찾아 변이지도(disparity map)를 계산하게 되며, 이를 이용하여 스테레오 정합함으로써 도 3의 (c)에 나타낸 스테레오 정합부 출력 영상과 같이 물체의 거리정보를 밝은색(가까운 물체)과 어두운 색(멀리 있는 물체)으로 표현된 영상을 얻게 된다.
영상 후처리부(1013)에서는 스테레오 정합부(1012)에서 계산된 변이지도를 바탕으로 거리를 계산하여 거리 지도(Depth map)를 추출하고, 추출된 거리지도로부터 서로 다른 대상체들을 구분(segmentation)하는 작업을 수행하며, 도 3의 (d)와 같은 영상 후처리부 출력 영상을 얻게 된다. 영상 후처리부(1013)에서는 구분된 대상체들의 수평, 수직 크기와 로봇 단말에서부터의 거리를 추출하게 되고, 이를 바탕으로 추적할 목표물인지 장해물인지를 구분하는 작업을 수행한다. 이와 같은 영상 후처리부(1013)의 결과를 이용해 로봇 단말의 로봇 제어부(102)에서는 로봇 서버와의 연결 없이 로봇 단말 자체에서 로봇 주행 및 이동을 제어할 수 있게 된다.
영상 출력 선택부(1014)에서는 지능형 서비스 로봇의 비전 처리부(101)의 출력 영상을 선택하는 것으로, 지능형 서비스 로봇 단말의 응용에 따라 좌/우 카메라로부터 획득된 영상, 입력 영상 전처리부(1011)의 결과 영상, 스테레오 정합부(1012)의 결과 영상, 영상 후처리부(1013)의 결과 영상 중 선택하여 출력할 수 있다.
도 2와 같이 구성된 네트워크 기반 지능형 로봇 단말의 비전 처리부(101)를 스테레오 카메라를 이용해 구현함으로써, 스테레오 카메라에서 촬영된 영상으로부터 외부 대상체들의 삼차원 거리 정보를 추출할 수 있어 기타 다른 센서 없이 스테레오 카메라 영상 처리 만으로 지능형 로봇의 이동과 주행을 수행할 수 있게 되는 장점이 있으며, 로봇 서버와의 통신 트래픽의 대분분을 차지하는 영상 데이터를 로봇 서버로 송신하지 않아도 되므로 로봇 서버와의 네트워크 트래픽을 줄이게 되어 네트워크 연결에 소요되는 통신 비용을 절감할 수 있을 뿐만 아니라 여러 개의 로봇 단말이 연동되는 네트워크 기반 지능형 서비스 로봇 시스템의 안정성 측면에서도 장점이 있다.
그러면, 상기와 같은 구성을 가지는 본 발명의 네트워크 기반 지능형 서비스 로봇의 비전 처리 방법에 대해 도 4를 참조하여 설명하기로 한다. 도 4는 상기 와 같은 지능형 서비스 로봇 단말의 비전 처리부(101)에서 동작 흐름의 일실시 예를 나타낸다.
먼저 로봇 단말의 음원 추적(S1)을 통해 카메라의 Pan/Tilt를 조작하여 로봇 단말(10)을 목표물로 방향 전환을 수행하고, 스테레오 카메라부(1011)를 통해 입력 영상을 취득하고(S2),
스테레오 카메라부(1011)의 두 대의 카메라로부터 취득된 좌/우 영상 신호가 동일한 환경을 갖도록 여러가지 영상 처리 기법을 이용하여 조정하는 입력 영상 전처리를 수행하고(S3),
영상 전처리부(1011)에서 교정된 좌/우 영상으로부터 스테레오 정합부(1012)는 서로 대응되는 점을 찾아 변이지도(disparity map)를 계산하여, 물체의 거리정보를 밝은색(가까운 물체)과 어두운 색(멀리 있는 물체)으로 표현된 영상을 얻도록 스테레오 정합을 수행하고(S4),
영상 후처리부(1013)에서 스테레오 정합부(1012)로부터 계산된 변이지도를 바탕으로 거리를 계산하여 거리 지도(Depth map)를 추출하고, 추출된 거리 지도로부터 서로 다른 대상체들을 구분(segmentation)하는 영상 후처리(S5)를 수행하여 영상 후처리부 출력 영상을 얻게 된고,
그 결과, 상기 영상 후처리(S5)에 의해 구분된 대상체들의 수평, 수직 크기와 로봇 단말에서부터의 거리를 추출하여 이를 바탕으로 추적할 목표물인지 장해물인지를 구분/인지하여 로봇의 주행과 이동을 제어(S6)하게 되며, 필요에 따라 로봇 서버(20)에서 제공되는 정보에 의해 로봇의 구동을 제어(S6)하게 된다. 또한 영상 출력 선택부(1014)에서 송신할 영상을 비전 처리부(101)의 각 기능의 출력 영상 중 하나를 필요에 따라 선택(S7)하여 로봇 서버(20)에 보낸다(S8).
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이, 본 발명에 의한 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및 방법과 이를 이용한 시스템은, 스테레오 카메라와 저가의 전용칩 및 임베디드 프로세서를 이용해 로봇 단말에 구현하여 로봇 주행 및 이동에 필요한 정보를 로봇 서버로 송신함 없이 로봇 단말 자체에서 처리함으로써 지능형 서비스 로봇의 구동을 위해 필요한 영상 정보를 로봇 서버에 송신할 경우 발생 되는 통신 비용을 줄일 수 있어 사용자가 낮은 비용으로 다양한 기능의 서비스를 제공받을 수 있도록 하는 네트워크 기반 지능형 서비스 로봇을 구현할 수 있는 효과가 있다.
또한, 본 발명에 의한 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및 방법과 이를 이용한 시스템은, 지능형 로봇의 비전 처리 장치를 스테레오 카메라를 이용해 구현함으로써 취득된 영상을 로봇의 외부 환경을 인식하는데 사용할 뿐만 아니라, 스테레오 카메라 영상으로부터 외부 대상체들의 삼차원 거리 정보를 추출할 수 있어 기타 다른 센서 없이 스테레오 카메라 영상 처리만으로 지능형 로봇의 이동과 주행을 수행할 수 있는 효과가 있다.

Claims (9)

  1. 좌/우 두 개의 카메라로부터 영상을 취득하는 스테레오 카메라부;
    상기 스테레오 카메라부를 통해 입력되는 좌/우 영상에 대해 하기의 스테레오 정합부에서 스테레오 정합을 용이하게 할 수 있도록 카메라 교정(Calibration)과 영상의 스케일 축소(Scale down), 조정(Rectification) 및 휘도 조절(Brightness control)을 통해 두 개의 카메라의 특성 차이를 교정하는 입력 영상 전처리부;
    상기 입력 영상 전처리부를 통해 입력되는 좌/우 영상에 대해 스테레오 정합을 통해 변이지도(disparity map)를 계산하여 스테레오 정합 하는 스테레오 정합부;
    상기 스테레오 정합부에서 출력되는 영상에 대해 거리 지도(Depth map)를 추출하고, 상기 추출된 거리지도로부터 서로 다른 대상체들을 구분(segmentation)하는 작업을 수행하는 영상 후처리부; 및
    상기 좌/우 두 개의 카메라로부터 획득된 영상, 상기 입력 영상 전처리부의 결과 영상, 상기 스테레오 정합부의 결과 영상, 상기 영상 후처리부의 결과 영상 중 선택하여 출력하는 영상 출력 선택부;
    를 포함하는 것을 특징으로 하는 네트워크 기반 지능형 서비스 로봇의 비전처리 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서, 상기 영상 후처리부에서는,
    상기 스테레오 정합부를 통해 계산된 삼차원 영상 정보를 바탕으로 찾아갈 목표물과 장해물을 구분하고, 구분된 대상체들의 수평, 수직 크기와 거리를 이용해 로봇 단말의 이동과 주행을 위한 정보로 사용하는 것을 특징으로 하는 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치.
  6. 제 1항에 있어서, 상기 스테레오 정합부에서 출력되는 영상은,
    물체의 거리정보를 밝은색(가까운 물체)과 어두운 색(멀리 있는 물체)으로 표현되는 것을 특징으로 하는 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치.
  7. 두 개의 카메라로부터 입력 영상을 취득하는 입력 영상 획득 단계;
    두 대의 카메라로부터 취득된 좌/우 영상 신호가 동일한 환경을 갖도록 여러가지 영상 처리 기법을 이용하여 조정하는 입력 영상 전처리 단계;
    영상 전처리부에서 교정된 좌/우 영상으로부터 스테레오 정합부는 서로 대응되는 점을 찾아 변이지도(disparity map)를 계산하여 스테레오 정합하는 스테레오 정합 단계;
    영상 후처리부(1013)에서 스테레오 정합부(1012)로부터 계산된 변이지도를 바탕으로 거리를 계산하여 거리 지도(Depth map)를 추출하고, 추출된 거리 지도로부터 서로 다른 대상체들을 구분(segmentation)하는 영상 후처리 단계;
    상기 영상 후처리에 의해 구분된 대상체들의 수평, 수직 크기와 로봇 단말에서부터의 거리를 추출하여 이를 바탕으로 추적할 목표물인지 장해물인지를 구분/인지하여 로봇의 주행과 이동을 제어하는 로봇 제어 단계;
    를 포함하여 이루어진 것을 특징으로 하는 네트워크 기반 지능형 서비스 로봇의 비전처리 방법.
  8. 제 7항에 있어서, 상기 로봇 제어 단계에서는,
    상기 로봇 서버에서 제공되는 정보에 의해 상기 로봇의 구동을 제어하게 되는 것을 특징으로 하는 네트워크 기반 지능형 서비스 로봇의 비전 처리 방법.
  9. 상기 청구항 1항에 기재된 로봇의 비전 처리 장치를 구비하여 외부 영상을 취득해 처리하는 로봇 비전 처리부, 로봇 단말 전체를 제어하는 로봇 제어부, 로봇 서버와의 통신을 담당하는 로봇 서버 통신부, 외부 환경을 감지하고 로봇을 구동하는 로봇 센서/구동부를 포함하는 로봇 단말;
    상기 로봇 단말과 네트워크로 연동 되어 필요에 따라 로봇의 구동을 제어하는 로봇 서버;
    를 포함하는 것을 특징으로 하는 네트워크 기반 지능형 서비스 로봇의 비전처리장치를 이용한 시스템.
KR1020050119019A 2005-12-07 2005-12-07 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템 KR100727033B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020050119019A KR100727033B1 (ko) 2005-12-07 2005-12-07 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
US12/088,111 US8170324B2 (en) 2005-12-07 2005-12-15 Apparatus and method for vision processing on network based intelligent service robot system and the system using the same
JP2008535430A JP5070213B2 (ja) 2005-12-07 2005-12-15 ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
PCT/KR2005/004319 WO2007066842A1 (en) 2005-12-07 2005-12-15 Apparatus and method for vision processing on network based intelligent service robot system and the system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050119019A KR100727033B1 (ko) 2005-12-07 2005-12-07 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템

Publications (1)

Publication Number Publication Date
KR100727033B1 true KR100727033B1 (ko) 2007-06-12

Family

ID=38122972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050119019A KR100727033B1 (ko) 2005-12-07 2005-12-07 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템

Country Status (4)

Country Link
US (1) US8170324B2 (ko)
JP (1) JP5070213B2 (ko)
KR (1) KR100727033B1 (ko)
WO (1) WO2007066842A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941448B1 (ko) 2008-04-04 2010-02-11 (주)미래디피 스테레오 비젼을 이용한 터치펜 시스템
KR101129309B1 (ko) 2010-06-01 2012-03-26 광운대학교 산학협력단 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
KR101158678B1 (ko) * 2009-06-15 2012-06-22 (주)알파캠 입체 영상 시스템 및 입체 영상 처리 방법
CN110069056A (zh) * 2018-01-24 2019-07-30 南京机器人研究院有限公司 一种应用于扫地机器人的行走控制方法
CN110069057A (zh) * 2018-01-24 2019-07-30 南京机器人研究院有限公司 一种基于机器人的障碍物感测方法
WO2022234923A1 (ko) * 2021-05-06 2022-11-10 네이버랩스 주식회사 통신 기반 로봇 제어 방법 및 시스템과, 로봇이 배치되는 건물
KR102706709B1 (ko) * 2023-09-08 2024-09-13 네이버 주식회사 통신 기반 로봇 제어 방법 및 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE546951T1 (de) * 2007-11-09 2012-03-15 Thomson Licensing System und verfahren zur tiefenabbildungsextraktion unter verwendung von auf regionen basierender filterung
KR20110064722A (ko) * 2009-12-08 2011-06-15 한국전자통신연구원 영상 처리 정보와 컬러 정보의 동시 전송을 위한 코딩 장치 및 방법
TWI433529B (zh) * 2010-09-21 2014-04-01 Huper Lab Co Ltd 增強辨識３ｄ物件的方法
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
JP6005663B2 (ja) 2011-01-20 2016-10-12 ユニバーシティ オブ アイオワ リサーチ ファウンデーション 血管画像における動静脈比の自動測定
US20140035909A1 (en) * 2011-01-20 2014-02-06 University Of Iowa Research Foundation Systems and methods for generating a three-dimensional shape from stereo color images
US20140192163A1 (en) * 2011-10-11 2014-07-10 Kenji Shimizu Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
KR101875532B1 (ko) * 2011-11-23 2018-07-11 엘지이노텍 주식회사 계층적 스테레오 매칭 장치 및 방법
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
WO2013165614A1 (en) 2012-05-04 2013-11-07 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
US9349058B2 (en) 2012-10-31 2016-05-24 Tk Holdings, Inc. Vehicular path sensing system and method
US9292927B2 (en) * 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
WO2014143891A1 (en) 2013-03-15 2014-09-18 University Of Iowa Research Foundation Automated separation of binary overlapping trees
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
US10410355B2 (en) 2014-03-21 2019-09-10 U.S. Department Of Veterans Affairs Methods and systems for image analysis using non-euclidean deformed graphs
US10115194B2 (en) 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
CN106541402B (zh) * 2016-10-14 2018-10-09 广州励丰文化科技股份有限公司 一种基于多轨道和幕场模式的机械臂控制台及方法
US10751152B2 (en) * 2016-12-21 2020-08-25 National Yang-Ming University Jaw motion tracking system and operating method using the same
WO2019050886A1 (en) * 2017-09-06 2019-03-14 Covidien Lp SYSTEMS, METHODS, AND COMPUTER-READABLE MEDIA FOR PROVIDING NOTIFICATIONS AND / OR STEREOSCOPIC VISUAL PERCEPTION RECOMMENDATIONS DURING SURGICAL INTERVENTION

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050058085A (ko) * 2003-12-11 2005-06-16 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2817202B2 (ja) * 1989-05-30 1998-10-30 神鋼電機株式会社 移動ロボットの走行制御方法
JPH09183088A (ja) * 1995-12-28 1997-07-15 Matsushita Electric Ind Co Ltd 視覚センサ付ロボット装置
JP4509429B2 (ja) * 2001-06-25 2010-07-21 株式会社ホンダエレシス ステレオカメラによる障害物の認識方法およびその認識処理装置
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP3965067B2 (ja) * 2002-04-10 2007-08-22 富士重工業株式会社 ステレオ式監視装置およびステレオ式監視方法
EP2557469A1 (en) * 2002-10-01 2013-02-13 Fujitsu Limited Robot
JP3781370B2 (ja) * 2002-11-19 2006-05-31 本田技研工業株式会社 移動装置
JP3700707B2 (ja) * 2003-03-13 2005-09-28 コニカミノルタホールディングス株式会社 計測システム
US7373270B2 (en) * 2003-03-26 2008-05-13 Sony Corporation Diagnosing device for stereo camera mounted on robot, and diagnostic method of stereo camera mounted on robot apparatus
JP4285279B2 (ja) 2003-03-26 2009-06-24 ソニー株式会社 ロボットに搭載されたステレオ・カメラの診断用装置、並びにロボット装置に搭載されたステレオ・カメラの診断方法
JP4080932B2 (ja) * 2003-03-31 2008-04-23 本田技研工業株式会社 ２足歩行ロボットの制御装置
JP2004298988A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
JP4220857B2 (ja) * 2003-08-18 2009-02-04 本田技研工業株式会社 携帯端末機器を用いた移動ロボットの画像撮影装置
JP4394487B2 (ja) * 2004-03-05 2010-01-06 富士重工業株式会社 ステレオ画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050058085A (ko) * 2003-12-11 2005-06-16 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP P2004_279111 A

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941448B1 (ko) 2008-04-04 2010-02-11 (주)미래디피 스테레오 비젼을 이용한 터치펜 시스템
KR101158678B1 (ko) * 2009-06-15 2012-06-22 (주)알파캠 입체 영상 시스템 및 입체 영상 처리 방법
KR101129309B1 (ko) 2010-06-01 2012-03-26 광운대학교 산학협력단 다시점 영상의 히스토그램 매칭 기반 조명보상의 전처리 방법 및 그 기록매체
CN110069056A (zh) * 2018-01-24 2019-07-30 南京机器人研究院有限公司 一种应用于扫地机器人的行走控制方法
CN110069057A (zh) * 2018-01-24 2019-07-30 南京机器人研究院有限公司 一种基于机器人的障碍物感测方法
WO2022234923A1 (ko) * 2021-05-06 2022-11-10 네이버랩스 주식회사 통신 기반 로봇 제어 방법 및 시스템과, 로봇이 배치되는 건물
KR20220151460A (ko) * 2021-05-06 2022-11-15 네이버랩스 주식회사 통신 기반 로봇 제어 방법 및 시스템
KR102578127B1 (ko) * 2021-05-06 2023-09-13 네이버랩스 주식회사 통신 기반 로봇 제어 방법 및 시스템
KR102706709B1 (ko) * 2023-09-08 2024-09-13 네이버 주식회사 통신 기반 로봇 제어 방법 및 시스템

Also Published As

Publication number Publication date
JP2009512056A (ja) 2009-03-19
WO2007066842A1 (en) 2007-06-14
US20080240547A1 (en) 2008-10-02
JP5070213B2 (ja) 2012-11-07
US8170324B2 (en) 2012-05-01

Similar Documents

Publication Publication Date Title
KR100727033B1 (ko) 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템
KR100834577B1 (ko) 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
US12056886B2 (en) Systems and methods for depth estimation using generative models
Kueng et al. Low-latency visual odometry using event-based feature tracks
JP6858650B2 (ja) 画像レジストレーションの方法及びシステム
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
CN110793544B (zh) 路侧感知传感器参数标定方法、装置、设备及存储介质
KR101964861B1 (ko) 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
JP2017223648A (ja) 飛行時間型深度イメージングの際の消費電力の低減
US10571246B2 (en) Imaging processing apparatus, distance measuring apparatus and processing system
CN109829933B (zh) 影像目标追踪方法及装置
US20060188130A1 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
TW201338500A (zh) 利用多解析度程序產生堅固深度圖的系統與方法
CN103886107A (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN107635099B (zh) 一种人体感应双光网络摄像机及安防监控系统
JP2006324840A (ja) 画像処理装置及びホワイトバランス調整装置
US10282615B2 (en) System and method for root association in image data
Lu et al. Robustness to lighting variations: An RGB-D indoor visual odometry using line segments
WO2019163576A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
CN115116132B (zh) 一种物联网边缘服务环境下深度感知的人体行为分析方法
CN107045630A (zh) 一种基于rgbd的行人检测和身份识别方法及系统
JP2021149691A (ja) 画像処理システム及び制御プログラム
CN116917954A (zh) 图像检测方法、装置和电子设备
KR100292380B1 (ko) Ｔ형 탐색 영역을 이용한 얼굴 및 눈 위치 검출 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20140605

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee