KR20090095761A - 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법 - Google Patents

스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법 Download PDF

Info

Publication number
KR20090095761A
KR20090095761A KR1020080020892A KR20080020892A KR20090095761A KR 20090095761 A KR20090095761 A KR 20090095761A KR 1020080020892 A KR1020080020892 A KR 1020080020892A KR 20080020892 A KR20080020892 A KR 20080020892A KR 20090095761 A KR20090095761 A KR 20090095761A
Authority
KR
South Korea
Prior art keywords
information
robot vision
distance
image
robot
Prior art date
Application number
KR1020080020892A
Other languages
English (en)
Inventor
레드코프 빅터
이동훈
윤정석
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080020892A priority Critical patent/KR20090095761A/ko
Publication of KR20090095761A publication Critical patent/KR20090095761A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템으로서, 구체적으로는 두 개 또는 그 이상의 파노라믹 카메라를 상하로 탑재하여 카메라의 원선도 내 사각지대를 형성하지 않고 주변 오브젝트의 정보를 수집하는 장치이다. 스테레오 파노라믹 카메라에 의해 수집된 오브젝트의 정보는 영상 정보 처리부에 의해 처리되어 로봇에서 오브젝트까지의 거리 및 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 회전각을 생성할 수 있다. 생성된 거리 및 각도를 통해 로봇 내에 극좌표를 설정하고 상기 극좌표 상에 오브젝트의 위치를 기록할 수 있다. 이를 기반으로 지도 정보를 생성하거나 주변 지역을 감시할 수 있다.
스테레오 파노라믹 카메라, 로봇 비전 시스템, 지도 정보

Description

스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및 로봇 비전 방법{System and Method for Robot Vision employing Panoramic Stereo Camera}
본 발명은 로봇 비전 시스템에 관한 것으로, 보다 구체적으로는 스테레오 파노라믹 카메라를 사용하여 지도 정보를 생성하거나 주변 지역을 감시할 수 있는 로봇 비전 시스템 및 로봇 비전 방법에 관한 것이다.
로봇 비전 시스템에 의한 지도 정보 생성 또는 주변 지역 감시 기능을 구현하기 위해서는 오브젝트까지의 거리 및 로봇의 이동에 따른 오브젝트의 각도를 정확하게 계산할 수 있어야 한다. 종래의 로봇 비전 시스템은 상기 정확한 거리 및 각도 정보를 획득하기 위해 로봇의 외부에 인공 표식(beacon)을 장착하거나 로봇의 내부에 센서를 장착하였다. 하지만 그러한 타입의 인공 표식 및 센서를 사용하는 경우 정보를 획득하기 위한 부가적인 작업이 요구되거나 고가의 장비를 구입해야만 하였다.
종래의 로봇 비전 시스템은 오브젝트까지의 거리 및 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 각도를 정확하게 계산하기 위해 로봇의 외부에 인공 표식(beacon)을 장착하거나 로봇의 내부에 센서를 장착하였다. 그러한 타입의 센서로는 자이로 센서, 레이저 스캐너, IR 센서 등이 있으나 그 중 비교적 정확한 거리 및 각도 정보를 제공하는 센서는 레이저 스캐너 또는 인공 표식이다. 하지만, 레이저 스캐너는 고가의 장비이며 인공 표식은 사용자가 부가적인 작업을 수행해야 하여 사용에 불편을 초래하였다.
본 발명의 목적은 위와 같은 문제점을 해결하기 위한 것으로서, 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템을 도입하여 저비용으로 정확하게 필요한 거리 및 각도 정보를 획득하기 위한 것이다.
또한 본 발명의 목적은, 파노라믹 카메라가 상하로 탑재되어 종래의 일반 카메라 또는 좌우로 배치된 스테레오 파노라믹 카메라에 의해 발생하는 사각 지대를 제거하기 위한 것이다.
또한 본 발명의 목적은, 상기 계산된 거리 및 각도 정보를 기반으로 상기 로봇 비전 시스템이 운송 수단에 의해 이동하면서 주변 지역의 지도 정보를 생성하기 위한 것이다.
또한 본 발명의 목적은, 상기 로봇 비전 시스템이 한정된 지역 내의 물체 정보만 수집하는 경우, 상기 계산된 거리 정보를 기반으로 주변 지역을 감시 또는 관찰하기 위한 것이다.
본 발명의 일 실시예에 따른 로봇 비전 시스템은, 상하로 탑재된 두 개의 스테레오 파노라믹 카메라로 사각 지대 없이 오브젝트의 정보를 수집하는 영상 정보 수집부; 상기 수집된 오브젝트의 정보를 기반으로 거리 및 각도 계산을 하여 상기 오브젝트의 위치 정보를 생성하는 영상 정보 처리부; 및 상기 영상 정보 수집부 및 상기 영상 정보 처리부를 수용하는 수용부;를 포함한다.
본 발명의 일 실시예에 따른 로봇 비전 방법은, 상하로 탑재된 두 개의 스테레오 파노라믹 카메라로 사각 지대 없이 오브젝트의 정보를 수집하는 단계; 및 상기 수집된 오브젝트의 정보를 기반으로 거리 및 각도 계산을 하여 상기 오브젝트의 위치 정보를 생성하는 단계;를 포함한다.
본 발명에 따르면 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템을 도입하여 저비용으로 정확하게 필요한 거리 및 각도 정보를 획득할 수 있다.
또한, 본 발명에 따르면 파노라믹 카메라가 상하로 탑재되어 종래의 일반 카메라 또는 좌우로 배치된 스테레오 파노라믹 카메라에 의해 발생하는 사각 지대를 제거할 수 있다.
상기 계산된 거리 및 각도 정보를 기반으로 상기 로봇 비전 시스템은 운송 수단에 의해 이동하면서 주변 지역의 지도 정보를 생성할 수 있다.
또한, 상기 로봇 비전 시스템이 한정된 지역 내의 오브젝트 정보만 수집하는 경우, 상기 계산된 거리 및 각도 정보를 기반으로 주변 지역을 감시 또는 관찰할 수 있다.
이하 도면을 참조하여 본 발명의 실시예들에 대해 보다 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 로봇 비전 시스템의 사시도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 로봇 비전 시스템은, 상하로 탑재된 두 개의 스테레오 파노라믹 카메라(12)로 사각 지대 없이 오브젝트의 정보를 수집하는 영상 정보 수집부(11), 상기 수집된 오브젝트의 정보를 기반으로 거리 및 각도 계산을 하여 상기 오브젝트의 위치 정보를 생성하는 영상 정보 처리부(13), 및 상기 영상 정보 수집부(11) 및 상기 영상 정보 처리부(13)를 수용하는 수용부(14)로 구성될 수 있다.
상기 영상 정보 수집부(11)는 상하로 탑재된 파노라믹 카메라(12)에 의해 로봇 주변의 오브젝트가 사각 지대에 가리지 않고 전방위로 카메라에 포착되도록 한다.
종래의 파노라믹 카메라가 아닌 일반 카메라는 카메라의 후방에 사각 지대가 존재하고, 또한 파노라믹 카메라를 좌우로 배치한 스테레오 카메라도 각 파노라믹 카메라가 다른 파노라믹 카메라에 사각 지대를 제공하여 원선도 내에 일부 사각 지대가 존재하였으나 본 발명의 상하로 탑재된 카메라를 사용하면 사각 지대를 제거할 수 있다.
상기 영상 정보 수집부(11)에 의해 로봇의 주변에 존재하는 오브젝트의 정보가 수집되고, 상기 수집된 오브젝트의 정보는 상기 영상 정보 처리부(13)로 전송된다.
상기 물체로는 예컨대 빌딩, 주택 등의 건축물, 큰 나무, 육교 등 상기 로봇 주변에 위치한 고정된 물체일 수 있다. 상기 물체의 정보는 상기 물체의 이미지 데이터를 포함할 수 있다.
전송된 오브젝트의 정보를 기반으로 상기 영상 정보 처리부(13)는 로봇에서 오브젝트까지의 거리를 계산하여 오브젝트의 거리 정보를 생성하고, 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 각도 정보를 생성할 수 있다.
수용부(14)는 상기 영상 정보 수집부(11) 및 상기 영상 정보 처리부(13)를 수용한다.
실시예에 따라 상기 수용부(14)는 운송 수단에 의해 이동 가능할 수도 있고, 임의의 장소에 고정되어 상기 영상 정보 수집부(11) 및 상기 영상 정보 처리부(13)를 지지할 수도 있다. 이동 가능한 경우는 예컨대 바퀴, 캐터필러(caterpillar), 로봇 다리 등의 운송 수단에 의해 로봇 비전 시스템을 움직이게 하여 오브젝트의 거리 및 각도 정보를 생성하는 경우이고, 고정된 경우는 예컨대 벽, 방 안의 코너, 천장 등의 임의의 장소에 고정되어 상기 영상 정보 수집부(11) 및 상기 영상 정보 처리부(13)를 지지하여 감시 기능을 수행하는 경우이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 로봇 비전 시스템에서 오브젝트까지의 거리 및 각도를 측정하는 방법을 설명하기 위한 도면이다.
오브젝트(15)의 거리 정보는 로봇 비전 시스템(10)으로부터 오브젝트(15)까지의 최단 거리를 의미하고, 파노라믹 카메라 간의 거리, 렌즈의 초점 거리, 및 상부 및 하부 파노라믹 카메라에 형성된 오브젝트의 비디오 프레임에서 각 비디오 프레임의 중심과 비디오 프레임 내 오브젝트의 영상 간의 거리에 의한 오브젝트의 시차 정보를 기반으로 오브젝트와 로봇 비전 시스템 간의 거리를 계산할 수 있다. 오브젝트(15)의 각도 정보는 로봇 비전 시스템(10)이 위치(10a)에서 위치(10b)로 이 동하였을 때, 물체 사이의 회전각을 의미한다. 따라서 거리 정보는 오브젝트(15)의 현재 정보로도 생성 가능하나, 오브젝트(15)의 각도 정보는 오브젝트(15)의 히스토리 정보 즉, 과거 위치에 대한 정보가 요구된다.
도 3은 도 1의 영상 정보 수집부(11)를 구성하는 파노라믹 카메라(12)의 확대도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 파노라믹 카메라(12)는 콘(cone) 형태로 제작된 콘형 미러(121), 렌즈(122) 및 감광 매트릭스(Photosensitive Matrix)(123)로 구성된다. 상기 콘형 미러(121)는 미러가 콘 형태로 제작되어 상기 콘형 미러(121)로 입사된 오브젝트의 정보를 상기 콘형 미러(121)의 하단에 위치한 상기 렌즈(122)로 반사시키는 기능을 갖는다.
상기 콘형 미러(121)에 의해 반사된 오브젝트의 정보는 상기 렌즈(122)를 통과하여 상기 감광 행렬(123)로 굴절되어 오브젝트의 정보가 파노라믹 이미지로 상기 감광 행렬(123)에 형성된다.
도 6은 실제 상기 감광 행렬(123)에 형성된 오브젝트의 파노라믹 이미지(61)를 도시한다.
상술한 본 발명의 일 실시예는 상기 영상 정보 수집부(11)를 구성하는 파노라믹 카메라(12)가 상하로 두 대가 탑재된 경우를 설명하였으나 실시예에 따라서는 두 대 이상의 카메라로 위와 같은 동작을 구현할 수도 있다.
도 4는 본 발명의 영상 정보 처리부(13)의 내부 구성도이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 정보 처리부(13)는 오브젝트의 거리 및 각도 계산을 수행할 수 있도록 영상 정보 수집부(11)에 의해 수집된 오브젝트의 정보를 구체화 시키는 구체화부(41), 상기 구체화된 오브젝트의 히스토리 정보를 저장하는 저장부(135), 및 상기 구체화된 오브젝트의 정보 및 저장된 오브젝트의 히스토리 정보를 기반으로 거리 및 각도를 계산하는 계산부(42)로 구성될 수 있다.
또한, 상기 구체화부(41)는 상기 수집된 오브젝트의 정보의 왜곡을 보상하는 전처리부(131), 상기 전처리된 오브젝트의 정보로부터 오브젝트의 경계선을 검출하는 경계선 검출부(132), 상기 검출된 오브젝트의 경계선으로부터 정보성 있는 오브젝트를 선택하는 오브젝트 선택부(133)로 구성될 수 있다.
상기 경계선 검출부(132)에 의한 경계선 검출 방법으로는 웨이브렛 해석(wavelet analysis) 등을 사용할 수 있고, 이미지 정합 방법으로는 평균 제곱 오차 계산(mean square error calculation) 방법 또는 인공 지능 접근 방법(artificial intelligence approach) 등을 사용할 수 있다.
상기 오브젝트 선택부(133)는 로봇 비전 시스템 주변에 존재하는 많은 오브젝트들 중 로봇 비전 시스템의 목적에 부합하는 가장 정보성 있는 오브젝트를 선택한다. 예를 들면, 로봇 비전 시스템이 지도 작성을 위해 사용된다면 건물 및 언덕 등의 지형물은 정보성 있는 오브젝트로 상기 오브젝트 선택부(133)에 의해 선택될 수 있고, 로봇 비전 시스템이 일정 지역 감시를 위해 사용된다면 지역 내를 통행하 는 사람도 정보성 있는 오브젝트가 될 수 있다.
상기 저장부(135)는 상기 선택된 정보성 있는 오브젝트의 히스토리 정보를 저장한다. 예를 들면 상기 영상 정보 수집부(11)에 의해 수집된 오브젝트의 정보는 비디오 프레임일 수 있다. 상기 저장부(135)는 상기 비디오 프레임을 일정 프레임 간격으로 저장할 수 있는데, 일정 프레임 간격은 로봇 비전 시스템의 이동 속도, 상기 계산부(52)의 계산 능력 및 카메라 해상도에 따라 달라질 수 있다.
또한 주변 지역의 정보가 충분하지 않은 경우에는 프레임 간격을 짧게 설정할 수도 있다. 상기 저장부(135)에 저장된 상기 선택된 정보성 있는 오브젝트의 히스토리 정보는 후술할 오브젝트의 각도 계산에 사용된다.
상기 계산부(52)는 상기 오브젝트의 시차(parallax) 정보를 기반으로 오브젝트까지의 거리를 계산하는 거리 계산부(134) 및 상기 저장부(135)에 저장된 상기 정보성 있는 오브젝트의 히스토리 정보를 기반으로 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 회전각을 계산하는 각도 계산부(136)로 구성된다.
상기 거리 계산부(134)는 파노라믹 카메라 간의 거리, 렌즈의 초점 거리, 및 상부 및 하부 파노라믹 카메라에 형성된 오브젝트의 비디오 프레임에서 각 비디오 프레임의 중심과 비디오 프레임 내 오브젝트의 영상 간의 거리에 의한 오브젝트의 시차 정보를 기반으로 오브젝트와 로봇 비전 시스템 간의 거리를 계산할 수 있다.
상기 각도 계산부(136)는 상기 거리 계산부(134)에서 계산된 오브젝트의 거리, 로봇 비전 시스템이 이동한 이동 거리, 및 상기 오브젝트 선택부에 의해 선택된 정보성 있는 오브젝트의 모션 벡터를 기반으로 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 회전각을 계산할 수 있다. 여기서 오브젝트의 모션 벡터는 오브젝트의 현재 비디오 프레임과 오브젝트의 히스토리 비디오 프레임을 기반으로 생성될 수 있다.
상기 계산된 오브젝트의 거리 및 각도 정보를 기반으로 상기 로봇 비전 시스템은 상기 로봇 비전 시스템 내에 극좌표를 설정하고 상기 극좌표 상에 오브젝트의 위치를 기록하면서 지도 정보를 생성할 수 있다. 즉, 상기 로봇 비전 시스템의 수용부(14)가 운송 수단에 의해 이동 가능하게 된다면 상기 로봇 비전 시스템은 이동하면서 수집한 오브젝트의 정보를 바탕으로 주변 지역의 지도 정보를 생성할 수 있다.
또한, 상기 수용부(14)가 임의의 장소에 고정되어 로봇 비전 시스템이 한정된 지역 내의 오브젝트 정보만을 수집하는 경우, 상기 계산된 오브젝트의 거리 및 각도 정보를 기반으로 주변 지역을 감시 또는 관찰하는 기능을 가질 수 있다. 예를 들면, 임의의 지역 내에 침입자가 들어온 경우, 로봇 비전 시스템은 평상시와 다른 오브젝트의 정보인 침입자의 위치 정보를 수집하게 되어 이를 통해 보안 시스템을 작동시킬 수 있다.
상기 수용부(14)는 바퀴, 캐터필러(caterpillar), 로봇 다리 등의 로봇을 이동 가능하게 하는 운송 수단에 의해 로봇 비전 시스템을 움직이게 할 수 있으나 이에 한정되지는 않는다. 또한 상기 수용부는 벽, 방 안의 코너, 천장 등의 임의의 장소에 고정되어 상기 영상 정보 수집부(11) 및 상기 영상 정보 처리부(13)를 지지 하여 고정된 장소에서 상술한 감시 기능을 수행할 수 있다. 이 경우에는 히스토리 정보를 이용한 로봇 주변의 오브젝트의 각도 정보를 생성할 수는 없으나, 움직이는 오브젝트 예컨대 사람이나 동물의 각도 정보를 생성할 수 있다.
상기 영상 정보 처리부(13)는 상술한 구성 요소 외에 이미지 변환부를 더 포함할 수 있다. 상기 이미지 변환부는 파노라믹 이미지를 사각 이미지로 변환하는 기능을 갖는다. 만약 로봇 비전 시스템의 상기 영상 정보 처리부(13)가 영상 정보 수집부(11)에서 수집한 파노라믹 이미지로부터 직접 경계선을 검출하지 못하거나 정보성 있는 오브젝트를 선택할 수 없다면, 상기 이미지 변환부는 상기 영상 정보 처리부 중 임의의 단계에 배치되어 파노라믹 이미지를 사각 이미지로 변환한다. 본 발명의 바람직한 실시예로는, 상기 이미지 변환부는 상기 전처리부(131)와 상기 경계선 검출부(132) 사이에 배치하여 사각 이미지로부터 경계선 검출 및 정보성 있는 오브젝트를 선택하게 해준다. 하지만 상기 이미지 변환부는 본 발명의 기술 분야의 당업자에 의해 영상 정보 처리부(13)의 어느 단계에도 배치될 수 있다.
도 6은 상기 영상 정보 수집부(11)에 의해 수집된 오브젝트의 파노라믹 이미지이고, 도 7은 상기 이미지 변환부에 의해 변환된 사각 이미지이다. 상기 파노라믹 이미지(61)의 라인(62)은 상기 사각 이미지(71)의 양 끝단(72 및 73)이 접하는 곳이다.
도 5는 본 발명의 일 실시예에 따른 로봇 비전 방법을 나타내는 흐름도이다.
단계(S51 및 S52)에서는, 오브젝트의 정보가 상하로 탑재된 두 개의 스테레오 파노라믹 카메라에 의해 수집된다. 상술한 바와 같이, 상하로 탑재된 스테레오 파노라믹 카메라는 상기 오브젝트의 정보를 사각 지대 없이 수집할 수 있다.
단계(S53)에서는, 상기 수집된 오브젝트의 정보가 전처리부에 의해 왜곡이 보정된다.
단계(S54)에서는, 상기 전처리된 오브젝트의 정보로부터 경계선 검출부에 의해 상기 오브젝트의 경계선이 검출된다. 상술한 바와 같이, 경계선 검출 방법은 웨이브렛 해석 등 여러 가지 방법을 사용할 수 있으며, 이미지 정합 방법은 평균 제곱 오차 계산 방법 또는 인공 지능 접근 방법 등이 여러 가지 방법을 사용할 수 있다.
단계(S55)에서는, 상기 검출된 오브젝트의 경계선으로부터 오브젝트 선택부에 의해 정보성 있는 오브젝트가 선택된다. 이 단계에서는 로봇 비전 시스템 주변에 존재하는 많은 오브젝트들 중 로봇 비전 시스템의 목적에 부합하는 가장 정보성 있는 오브젝트를 선택한다. 예를 들면 로봇 비전 시스템이 지도 작성을 위해 사용된다면 건물 및 언덕 등의 지형물은 정보성 있는 오브젝트로 상기 오브젝트 선택부에 의해 선택될 수 있고, 로봇 비전 시스템이 일정 지역 감시를 위해 사용된다면 지역 내를 통행하는 사람도 정보성 있는 오브젝트가 될 수 있다.
상기 단계(S53) 내지 단계(S55)는 후술할 오브젝트의 거리 및 각도 계산을 수행할 수 있도록 상기 파노라믹 카메라에 의해 수집된 오브젝트의 정보를 구체화 시키는 단계라 할 수 있다.
단계(S56)에서는, 상기 구체화된 오브젝트의 정보, 즉 최종적으로 오브젝트 선택부에 의해 선택된 정보성 있는 오브젝트의 정보를 기반으로 거리 계산부에 의해 오브젝트와 로봇 비전 시스템 간의 거리가 계산된다. 상기 거리 계산 단계는 파노라믹 카메라 간의 거리, 렌즈의 초점 거리, 및 상부 및 하부 파노라믹 카메라에 형성된 오브젝트의 비디오 프레임에서 각 비디오 프레임의 중심과 비디오 프레임 내 오브젝트의 영상 간의 거리에 의한 오브젝트의 시차 정보를 기반으로 오브젝트와 로봇 비전 시스템 간의 거리를 계산한다.
단계(S57)에서는, 상기 오브젝트 선택 단계(S55)에서 선택된 오브젝트의 히스토리 정보가 저장부에 저장된다. 예를 들면 상기 영상 정보 수집부에 의해 수집된 오브젝트의 정보는 비디오 프레임일 수 있다. 상기 저장부는 상기 비디오 프레임을 일정 프레임 간격으로 저장할 수 있는데, 일정 프레임 간격은 로봇 비전 시스템의 이동 속도, 계산부의 계산 능력 및 카메라 해상도에 따라 달라질 수 있다.
단계(S58)에서는, 상기 거리 계산부에서 계산된 오브젝트의 거리, 로봇 비전 시스템이 이동한 이동 거리, 및 상기 오브젝트 선택부에 의해 선택된 정보성 있는 오브젝트의 모션 벡터를 기반으로 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 회전각을 생성할 수 있다.여기서 오브젝트의 모션 벡터는 오브젝트의 현재 비디오 프레임과 오브젝트의 히스토리 비디오 프레임을 기반으로 생성될 수 있다;
상기 로봇 비전 방법은 상기 거리 및 각도 계산 단계(S56 및 S58)에서 계산된 거리 및 각도 정보를 기반으로 상기 로봇 비전 시스템 내에 극좌표를 설정하고 상기 극좌표 상에 오브젝트의 위치를 기록하면서 지도 정보를 생성할 수 있다. 따 라서, 상기 로봇 비전 시스템의 수용부(14)가 운송 수단에 의해 이동 가능하게 된다면 상기 계산된 거리 및 각도를 기반으로 지도 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 수용부가 임의의 장소에 고정되어 로봇 비전 시스템이 한정된 지역 내의 오브젝트 정보만을 수집하는 경우, 상기 계산된 오브젝트의 거리 및 각도 정보를 기반으로 주변 지역을 감시 또는 관찰하는 기능을 가질 수 있다.
이상, 본 발명을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 갖는 자에 의하여 여러 가지 변형이 가능하다.
도 1은 본 발명의 일 실시예에 따른 로봇 비전 시스템의 사시도이다.
도 2a는 본 발명의 일 실시예에 따른 로봇 비전 시스템에서 오브젝트까지의 거리를 측정하는 방법을 설명하기 위한 도면이다.
도 2b는 본 발명의 일 실시예에 따른 로봇의 이동에 대한 로봇의 각 위치와 오브젝트 사이의 각도를 측정하는 방법을 설명하기 위한 도면이다.
도 3은 도 1의 영상 정보 수집부(11)를 구성하는 파노라믹 카메라(12)의 확대도이다.
도 4는 본 발명의 일 실시예에 따른 영상 정보 처리부의 내부 구성도이다.
도 5는 본 발명의 일 실시예에 따른 로봇 비전 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 영상 정보 수집부에 의해 수집된 오브젝트의 파노라믹 이미지이다.
도 7은 본 발명의 일 실시예에 따른 오브젝트의 파노라믹 이미지가 이미지 변환부에 의해 변환된 사각 이미지이다.

Claims (18)

  1. 상하로 탑재된 두 개의 스테레오 파노라믹 카메라로 오브젝트의 정보를 수집하는 영상 정보 수집부;
    상기 수집된 오브젝트의 정보를 기반으로 거리 및 각도 계산을 하여 상기 오브젝트의 위치 정보를 생성하는 영상 정보 처리부; 및
    상기 영상 정보 수집부 및 상기 영상 정보 처리부를 수용하는 수용부;
    를 포함하는 로봇 비전 시스템.
  2. 제 1항에 있어서, 상기 영상 정보 수집부는 상기 상하로 탑재된 두 개의 스테레오 파노라믹 카메라로 사각 지대 없이 오브젝트의 영상 정보를 수집하는 로봇 비전 시스템.
  3. 제 1항에 있어서, 상기 영상 정보 처리부는 상기 거리 및 각도 계산을 수행할 수 있도록 상기 수집된 오브젝트의 정보를 구체화시키는 구체화부;
    상기 구체화된 오브젝트의 히스토리 정보를 저장하는 저장부; 및
    상기 구체화된 오브젝트의 정보 및 저장된 오브젝트의 히스토리 정보를 기반으로 거리 및 각도를 계산하는 계산부;
    를 포함하는 로봇 비전 시스템.
  4. 제 3항에 있어서, 상기 구체화부는 상기 수집된 오브젝트의 정보의 왜곡을 보상하는 전처리부;
    상기 전처리된 오브젝트의 정보로부터 오브젝트의 경계선을 검출하는 경계선 검출부; 및
    상기 검출된 오브젝트의 경계선으로부터 정보성 있는 오브젝트를 선택하는 오브젝트 선택부;
    를 포함하는 로봇 비전 시스템.
  5. 제 4항에 있어서, 상기 저장부는 상기 선택된 정보성 있는 오브젝트의 히스토리 정보를 저장하고,
    상기 계산부는 상기 오브젝트의 시차(parallax) 정보를 기반으로 오브젝트까지의 거리를 계산하는 거리 계산부; 및
    상기 저장부에 저장된 상기 정보성 있는 오브젝트의 히스토리 정보, 상기 선택된 오브젝트의 정보 및 상기 계산된 오브젝트까지의 거리를 기반으로 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 회전각을 계산하는 각도 계산부;
    를 포함하는 로봇 비전 시스템.
  6. 제 1항에 있어서, 상기 계산된 거리 및 각도 정보를 기반으로 지도 정보를 생성하는 로봇 비전 시스템.
  7. 제 1항에 있어서, 상기 계산된 거리 및 각도 정보를 기반으로 주변 지역을 감시하는 로봇 비전 시스템.
  8. 제 1항에 있어서, 상기 수용부는 운송 수단에 의해 이동 가능한 로봇 비전 시스템.
  9. 제 1항에 있어서, 상기 수용부는 임의의 장소에 고정되어 상기 영상 정보 수집부 및 영상 정보 처리부를 지지하는 로봇 비전 시스템.
  10. 제 1항 내지 제 9항 중 어느 한 항에 있어서, 상기 영상 정보 처리부는 파노라믹 이미지를 사각 이미지로 변환하는 이미지 변환부를 더 포함하는 로봇 비전 시스템.
  11. 상하로 탑재된 두 개의 스테레오 파노라믹 카메라로 오브젝트의 정보를 수집하는 단계; 및
    상기 수집된 오브젝트의 정보를 기반으로 거리 및 각도 계산을 하여 상기 오브젝트의 위치 정보를 생성하는 단계;
    를 포함하는 로봇 비전 방법.
  12. 제 11항에 있어서, 상기 정보 수집 단계는 상기 상하로 탑재된 두 개의 스테 레오 파노라믹 카메라로 사각 지대 없이 오브젝트의 정보를 수집하는 로봇 비전 방법.
  13. 제 11항에 있어서, 상기 위치 정보 생성 단계는 상기 거리 및 각도 계산을 수행할 수 있도록 상기 수집된 오브젝트의 정보를 구체화시키는 단계;
    상기 구체화된 오브젝트의 히스토리 정보를 저장하는 단계; 및
    상기 구체화된 오브젝트의 정보 및 저장된 오브젝트의 히스토리 정보를 기반으로 거리 및 각도를 계산하는 단계;
    를 포함하는 로봇 비전 방법.
  14. 제 13항에 있어서, 상기 구체화 단계는 상기 수집된 오브젝트의 정보의 왜곡을 보상하는 전처리 단계;
    상기 전처리된 오브젝트의 정보로부터 오브젝트의 경계선을 검출하는 단계; 및
    상기 검출된 오브젝트의 경계선으로부터 정보성 있는 오브젝트를 선택하는 단계;
    를 포함하는 로봇 비전 방법.
  15. 제 14항에 있어서, 상기 저장 단계는 상기 선택된 정보성 있는 오브젝트의 히스토리 정보를 저장하고,
    상기 계산 단계는,
    상기 오브젝트의 시차(parallax) 정보를 기반으로 오브젝트까지의 거리를 계산하는 거리 계산 단계; 및
    상기 저장부에 저장된 상기 정보성 있는 오브젝트의 히스토리 정보, 상기 선택된 오브젝트의 정보 및 상기 계산된 오브젝트까지의 거리를 기반으로 로봇의 이동에 따른 로봇의 각 위치와 오브젝트 사이의 회전각을 계산하는 각도 계산 단계;
    를 포함하는 로봇 비전 방법.
  16. 제 11항에 있어서, 상기 계산된 거리 및 각도 정보를 기반으로 지도 정보를 생성하는 단계를 더 포함하는 로봇 비전 방법.
  17. 제 11항에 있어서, 상기 계산된 거리 및 각도 정보를 기반으로 주변 지역을 감시하는 단계를 더 포함하는 로봇 비전 방법.
  18. 제 11항 내지 제 17항 중 어느 한 항에 있어서, 파노라믹 이미지를 사각 이미지로 변환하는 이미지 변환 단계를 더 포함하는 로봇 비전 방법.
KR1020080020892A 2008-03-06 2008-03-06 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법 KR20090095761A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080020892A KR20090095761A (ko) 2008-03-06 2008-03-06 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080020892A KR20090095761A (ko) 2008-03-06 2008-03-06 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법

Publications (1)

Publication Number Publication Date
KR20090095761A true KR20090095761A (ko) 2009-09-10

Family

ID=41296046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080020892A KR20090095761A (ko) 2008-03-06 2008-03-06 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법

Country Status (1)

Country Link
KR (1) KR20090095761A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012038601A1 (en) * 2010-09-22 2012-03-29 Teknologian Tutkimuskeskus Vtt Optical system
KR101649163B1 (ko) * 2015-06-29 2016-08-18 한국원자력연구원 핵연료교환기 비상구동 이동로봇 영상 가이드 시스템
US9849589B2 (en) 2016-03-02 2017-12-26 Gachon University Of Industry-Academic Cooperation Foundation Method and system for localizing mobile robot using external surveillance cameras

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012038601A1 (en) * 2010-09-22 2012-03-29 Teknologian Tutkimuskeskus Vtt Optical system
KR101649163B1 (ko) * 2015-06-29 2016-08-18 한국원자력연구원 핵연료교환기 비상구동 이동로봇 영상 가이드 시스템
US9849589B2 (en) 2016-03-02 2017-12-26 Gachon University Of Industry-Academic Cooperation Foundation Method and system for localizing mobile robot using external surveillance cameras

Similar Documents

Publication Publication Date Title
US11490069B2 (en) Multi-dimensional data capture of an environment using plural devices
JP4607095B2 (ja) 測量機器において画像処理を行う方法と装置
US20080211910A1 (en) Surveillance Camera, Method For Calibrating the Surveillance Camera, and Use of the Surveillance Camera
JP2012533222A (ja) 画像ベースの表面トラッキング
CN107454309A (zh) 摄像系统、图像处理设备及其控制方法、程序和记录介质
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
EP3353492B1 (en) Device and method to locate a measurement point with an image capture device
JP6723208B2 (ja) 監視カメラの向上した方向制御
US20220003542A1 (en) Sensor apparatus
US11861863B2 (en) Shape dependent model identification in point clouds
US11624833B2 (en) System and method for automatically generating scan locations for performing a scan of an environment
KR20090095761A (ko) 스테레오 파노라믹 카메라를 사용한 로봇 비전 시스템 및로봇 비전 방법
US10447991B1 (en) System and method of mapping elements inside walls
US11009887B2 (en) Systems and methods for remote visual inspection of a closed space
JP2019201266A (ja) 自動追尾録画システムおよび録画制御装置
EP4068218A1 (en) Automated update of object-models in geometrical digital representation
JP2022160106A (ja) 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム
JP2020027443A (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
KR102461762B1 (ko) 라이다 센서 일체형 ptz 카메라 및 이를 이용한 영상 감시 시스템
JP7327596B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
EP4099059A1 (en) Automated update of geometrical digital representation
JP3338861B2 (ja) 三次元環境計測カメラ
JP2023139821A (ja) 画像管理システムおよび画像管理方法
CN115561734A (zh) 一种5g激光传感器探头、三维模型构建方法及装置
KR20200080404A (ko) 재난 탐사 로봇 및 이의 동작 방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination