KR101516428B1 - 로봇의 사물 인식 시스템 - Google Patents

Abstract

본 발명은 로봇의 사물 인식 시스템에 관한 것으로서, 스테레오 카메라로부터 스테레오 영상을 수신하는 영상 수신부; 및, 상기 스테레오 영상으로부터 사물을 인식하여 추출하는 영상 처리부를 포함하고, 상기 영상 처리부는, 상기 스테레오 영상 중 하나의 영상(이하 제1 고해상도 영상)과, 다른 하나의 영상(이하 제2 고해상도 영상)을 수신하여 저장하는 제1 버퍼부; 상기 제1 및 제2 고해상도 영상에서 상기 고해상도 영상의 해상도 보다 적은 해상도를 갖는 제1 및 제2 저해상도 영상을 각각 생성하는 압축부; 상기 제1 및 제2 저해상도 영상을 저장하는 제2 버퍼부; 상기 저해상도 영상으로부터 사물의 윤곽선을 나타내는 이진 영상을 생성하는 객체 추출부; 및, 상기 이진 영상을 고해상도 영상으로 변환하고, 상기 이진 영상의 윤곽선 이미지 내에 들어가는 영상을, 상기 제1 또는 제2 고해상도 영상에서 추출하여 사물로 인식하는 객체 인식부를 포함하여 구성된다.
상기와 같은 로봇의 사물 인식 시스템에 의하여, 고해상도 영상을 저해상도 영상으로 변환하고 이를 간단한 차분법으로 사물을 식별함으로써, 적은 컴퓨팅 파워를 이용하면서도 실시간으로 빠르게 사물을 인식할 수 있다.

Description

로봇의 사물 인식 시스템 { A object recognizing system for the robot and the method thereof }

본 발명은 로봇의 스테레오 카메라에서 촬영한 스테레오 영상으로부터 사물을 빠르고 간단하게 추출하는 로봇의 사물 인식 시스템에 관한 것이다.

일반적으로, 로봇은 인간을 대신하여 그 작업 영역을 다양하게 확대시켜 왔으며, 종류를 크게 나누면 고정된 장소에서 특정한 작업을 수행하는 로봇 매니퓰레이터(Robot Manipulator)와 이동성을 가지는 이동로봇(Mobile Robot)로 나눌 수 있다. 로봇 매 니퓰레이터는 그동안 성능과 신뢰도가 꾸준히 향상되어 산업용 로봇으로 응용이 활성화되었고 공장자동화를 위한 주요기반을 형성해왔다. 이동로봇은 로봇 매니퓰레이터와 다르게 바퀴 또는 그 밖의 구동장치에 의하여 이동할 수 있는 기능을 가진 로봇이다.

이동로봇은 구동장치에 의하여 공간을 이동하기 때문에, 이동하는 공간에 사물을 인식하고 주변의 상황을 센싱하여야 한다. 사물을 인식하는 방법 중 가장 많이 사용하는 것이 인간의 눈과 같이 카메라를 장착하고, 카메라로 촬영된 영상을 입력받아 영상을 분석하여 사물 및 주변 환경을 인식하는 방법이다.

특히, 이동로봇에 2대의 카메라로 구성된 스테레오 카메라를 설치하여, 좌측 영상 및 우측 영상 등 2개의 영상을 입력받아, 양안 시차를 이용하여 시차를 구하고 사물의 거리를 계산하여 인식한다.

스테레오 영상으로부터 객체(object)를 추출하는 종래기술에 의하면, 스테레오 영상을 촬영하고, 촬영된 좌측 및 우측 영상을 서로 정합하여 시차를 계산하여, 영상의 깊이 맵을 작성한다. 깊이 맵에서 객체의 깊이를 이용하여 객체를 추출한다. 객체는 배경에 비하여 앞으로 나와 있기 때문에, 특정 깊이 이상인 영상 부분으로부터 객체를 추출한다[특허문헌 1].

상기와 같은 객체 추출 기술을 로봇의 영상 시스템에 적용할 수 있을 것이다. 그러나 종래기술에 의한 객체 추출 방법은 많은 연산을 필요로 한다. 따라서 로봇에 장착하는 영상 처리 시스템은 고성능 마이크로 프로세서 등을 장착해야 하기 때문에, 제작 비용이 높아지는 문제점이 있다.

특히, 최근 카메라의 기술이 발전하여 장착되는 카메라는 고해상도로 영상을 촬영한다. 로봇의 영상 시스템이 고성능의 마이크로 프로세서를 장착하더라도, 고해상도의 영상을 입력받아 객체를 추출하려면 많은 시간이 소요될 수 있다. 그러나 로봇은 실시간으로 영상을 촬영하고 실시간으로 사물을 인식해야 하나, 상기와 같은 종래기술은 실시간으로 사물을 인식하여 처리하는 것이 매우 어렵다는 문제점이 있다.

[특허문헌 1] 한국공개특허 제2012-0108728호 (2012.10.05.공개)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 로봇의 카메라로 촬영된 고해상도의 스테레오 영상을 저해상도로 변환하여 사물의 영역을 인식하고, 인식된 사물의 영역을 고해상도 영상에 적용하여 사물을 추출하는 로봇의 사물 인식 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 로봇의 카메라로 촬영된 스테레오 영상의 저해상도 영상에서 좌측 영상 및 우측 영상을 차분하여, 차분값이 큰 영역을 사물의 영역으로 인식하는 로봇의 사물 인식 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 로봇의 사물 인식 시스템에 관한 것으로서, 스테레오 카메라로부터 스테레오 영상을 수신하는 영상 수신부; 및, 상기 스테레오 영상으로부터 사물을 인식하여 추출하는 영상 처리부를 포함하고, 상기 영상 처리부는, 상기 스테레오 영상 중 하나의 영상(이하 제1 고해상도 영상)과, 다른 하나의 영상(이하 제2 고해상도 영상)을 수신하여 저장하는 제1 버퍼부; 상기 제1 및 제2 고해상도 영상에서 상기 고해상도 영상의 해상도 보다 적은 해상도를 갖는 제1 및 제2 저해상도 영상을 각각 생성하는 압축부; 상기 제1 및 제2 저해상도 영상을 저장하는 제2 버퍼부; 상기 저해상도 영상으로부터 사물의 윤곽선을 나타내는 이진 영상을 생성하는 객체 추출부; 및, 상기 이진 영상을 고해상도 영상으로 변환하고, 상기 이진 영상의 윤곽선 이미지 내에 들어가는 영상을, 상기 제1 또는 제2 고해상도 영상에서 추출하여 사물로 인식하는 객체 인식부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 로봇의 사물 인식 시스템에 있어서, 상기 고해상도 영상에서 상기 저해상도 영상으로 해상도를 변환하는 비율은 1/N인 것을 특징으로 한다.

또한, 본 발명은 로봇의 사물 인식 시스템에 있어서, 상기 고해상도 영상에서 상기 저해상도 영상으로 해상도를 변환하는 비율을 가로축과 세로축을 서로 달리하되, 세로축의 변환 비율이 가로축의 변환 비율보다 큰 것을 특징으로 한다.

또한, 본 발명은 로봇의 사물 인식 시스템에 있어서, 상기 객체 추출부는 상기 제1 및 제2 저해상도 영상의 차영상을 구하고 차영상으로부터 이진 영상(이하 제1 이진 영상)을 구하는 것을 특징으로 한다.

또한, 본 발명은 로봇의 사물 인식 시스템에 있어서, 상기 객체 추출부는 에지 검출 방법에 의하여 에지 영상을 구하고 이로부터 이진 영상(이하 제2 이진 영상)을 구하여, 상기 제1 및 제2 이진 영상을 이용하여 최종 이진 영상을 구하는 것을 특징으로 한다.

또한, 본 발명은 로봇의 사물 인식 시스템에 있어서, 상기 객체 추출부는 상기 제1 이진 영상의 이미지와 겹치는 제2 이진 영상의 이미지를 객체의 윤곽선으로 판단하거나, 제1 이진 영상의 이미지를 이어주는 제2 이진 영상의 이미지를 객체의 윤곽선으로 판단하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 로봇의 사물 인식 시스템에 의하면, 고해상도 영상을 저해상도 영상으로 변환하고 이를 간단한 차분법으로 사물을 식별함으로써, 적은 컴퓨팅 파워를 이용하면서도 실시간으로 빠르게 사물을 인식할 수 있는 효과가 얻어진다.

도 1은 본 발명의 일실시예에 따른 로봇의 사물 인식 시스템의 구성에 대한 블록도.
도 2는 본 발명에 따라 생성되는 고해상도 영상, 저해상도 영상, 이진 영상, 객체 추출 영상에 대한 예시도.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 일실시예에 따른 로봇의 사물 인식 시스템을 도 2를 참조하여 설명한다.

도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 로봇의 사물 인식 시스템(10)은 스테레오 카메라(10)로부터 스테레오 영상을 수신하는 영상 수신부(20)와, 상기 스테레오 영상으로부터 사물을 인식하여 추출하는 영상 처리부(30)로 구성된다.

스테레오 카메라(10)는 2대의 카메라로 구성되어, 각각 좌측 영상과 우측 영상을 촬영하고, 영상 수신부(20)는 스테레오 카메라(10)로부터 상기 좌측 영상 및 우측 영상으로 구성된 스테레오 영상을 수신한다.

영상 처리부(30)는 제1 버퍼부(31), 압축부(32), 제2 버퍼부(33), 객체 추출부(34), 및, 객체 인식부(35)로 구성된다.

제1 버퍼부(31)는 좌측 영상 및 우측 영상으로 구성된 스테레오 영상을 수신하여 저장한다. 이때, 좌측 영상 및 우측 영상 중 어느 하나의 영상을 제1 고해상도 영상이라 부르고, 다른 하나의 영상을 제2 고해상도 영상이라 부르기로 한다.

제1 버퍼부(31)에 저장되는 고해상도 영상의 일례가 도 2의 (a1) 및 (a2)에 도시되고 있다. (a1) 및 (a2)의 영상은 스테레오 카메라(10)에 의해 촬영된 각각 좌측 및 우측 영상이다.

압축부(32)는 상기 제1 및 제2 고해상도 영상을 각각 저해상도 영상으로 변환한다. 이때, 저해상도로 변환된 영상을 각각 제1 및 제2 저해상도 영상이라 부르기로 한다. 즉, 저해상도 영상은 상기 고해상도 영상의 해상도 보다 적은 해상도를 갖는 영상을 말한다. 바람직하게는, 고해상도 영상을 1/N(N은 2 이상) 비율로 축소하여 저해상도 영상을 구한다.

또한, 바람직하게는, 저해상도 영상의 픽셀에 해당하는 고해상도 영상의 픽셀의 값을 평균하여, 상기 평균값으로 저해상도 영상의 픽셀값으로 정한다. 예를 들어, 1000×1000의 고해상도 화면을 500×500의 저해상도 화면으로 변환하는 경우, 고해상도 영상의 2×2 블록을 저해상도의 하나의 픽셀로 매칭하여 변환하되, 2×2 블록의 픽셀값을 평균하여 저해상도의 픽셀값으로 정한다.

또한, 더욱 바람직하게는, 고해상도 영상에서 저해상도로 영상을 변환하는 비율을 가로축과 세로축을 달리한다. 특히, 세로축의 비율을 가로축의 비율보다 더 크게 한다. 예를 들어, 1000×1000의 고해상도 화면을 500×250(또는 1000×500)의 저해상도 화면으로 변환한다. 이 경우, 고해상도의 2×4(또는 1×2) 블록을 저해상도의 하나의 픽셀로 매칭하여 변환한다. 이것은 좌우 양안시차에 의한 객체 추출을 보다 정밀하게 하기 위한 것으로서, 양안 시차가 발생하는 가로축의 영상을 더 적은 비율로 압축하기 위한 것이다.

그리고 상기 변환된 저해상도 영상은 제2 버퍼부(33)에 저장된다. 제2 버퍼부(33)에 저장되는 고해상도 영상의 일례가 도 2의 (b1) 및 (b2)에 도시되고 있다. (b1) 및 (b2)의 영상은 압축되어 해상도가 작아진, 각각 좌측 및 우측 영상이다.

객체 추출부(34)는 상기 저해상도 영상에서 사물 또는 객체를 추출한다. 즉, 객체 추출부(34)는 상기 제1 및 제2 해상도 영상으로부터 객체의 윤곽선을 나타내는 이진 영상을 생성한다. 도 2의 (c) 영상에서 빨간색 부분이 이진 영상으로 생성되는 부분이다.

바람직하게는, 상기 제1 및 제2 저해상도 영상의 차영상을 구하고 상기 차영상으로부터 이진 영상을 구하여, 상기 이진 영상에서 나타나는 이미지를 객체의 윤곽선으로 판단한다.

즉, 제1 및 제2 해상도 영상의 차이를 구한다. 이때의 차이는 두 영상의 픽셀값의 차이의 절대값을 픽셀값으로 갖는 영상이다. 차영상의 픽셀값(또는 차이)을 사전에 미리 정해진 문턱치와 대비하여, 크면 1, 작으면 0의 픽셀값을 갖는 이진 영상을 생성한다. 이진 영상에서 1의 값을 갖는 이미지가 곧 객체의 윤곽선으로 판단한다.

일반적으로 스테레오 영상은 사물 또는 객체를 촛점으로 촬영된 영상이므로, 영상에서 상대적으로 멀리 떨어진 배경 화면(또는 배경 영상)은 시차의 차이가 거의 나지 않는다. 따라서 좌측 영상 및 우측 영상의 배경 화면은 거의 동일한 화면이 촬영된다. 그러나 객체 또는 사물은 양안 시차(스테레오 카메라의 시차)에 의하여, 우측 및 좌측 영상에서의 객체 이미지가 약간씩 좌우로 차이가 발생한다.

따라서 2개의 영상의 차이를 구하면, 양안 시차가 발생하는 객체 또는 사물의 윤곽선 부분에서 영상의 차이가 많이 발생한다. 결국 윤곽선 부분이 앞서 생성한 이진 영상에서 나타나는 이미지에 해당된다.

이때, 제1 및 제2 저해상도 영상의 배경 화면이 일치되도록 영상을 일치(또는 정합)시키는 보정은 사전에 구해둔 보정 변수에 의해 보정한다. 예를 들어, 사전에 배경 화면만을 촬영하여 2개의 영상을 일치시키는 보정 변수(회전 또는 크기 등)를 구해둔다.

한편, 객체 추출부(34)는 에지 검출 방법을 보완하여 보다 정밀하게 객체를 추출할 수 있다. 앞서 제1 및 제2 해상도 영상의 차이로부터 구한 이진 차영상을 제1 이진 영상이라고 부르기로 한다.

그리고 에지 검출 방법에 의하여 구한 이진 영상을 제2 이진 영상이라고 부르기로 한다. 에지 검출 방법은 제1 및 제2 저해상도 영상 중 어느 하나의 영상을 대상으로, 에지를 검출한다. 에지는 바로 이웃하는 픽셀값의 차이를 통해 구하고, 구한 픽셀값의 차이를 특정 문턱치 값과 비교하여 제2 이진 영상을 생성한다.

그리고 상기 제1 이진 영상의 이미지와 겹치는 제2 이진 영상의 이미지를 객체의 윤곽선으로 판단한다. 또한, 제1 이진 영상의 이미지를 이어주는 제2 이진 영상의 이미지도 객체의 윤곽선으로 판단한다. 상기 제2 이진 영상에서 그 외의 경우로 나타나는 이미지는 제거하여, 최종 이진 영상을 구한다.

다음으로, 객체 인식부(35)는 객체 추출부(34)에서 구한 최종 이진 영상을 고해상도로 변환하고, 상기 이진 영상의 윤곽선 이미지 내에 들어가는 영상을, 상기 제1 또는 제2 고해상도 영상에서 추출한다. 도 2의 (d) 영상에서 빨간색 부분의 이진 영상 내에 포함된 이미지가 객체로 추출되는 부분이다.

즉, 앞서 객체 추출부(34)에서 추출한 이진 영상, 즉, 윤곽선 이미지는 저해상도를 갖는 영상이다. 상기 저해상도 이진 영상을 고해상도 영상에 적용하기 위하여, 고해상도로 변환한다. 바람직하게는, 선형 보간법을 이용하여 저해상도에서 고해상도로 이진 영상을 변환한다.

그리고 제1 또는 제2 고해상도 영상에서, 고해상도 이진 영상의 윤곽선 이미지 내에 들어가는 영상 부분을 객체로 추출한다.

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 스테레오 카메라 20 : 영상 수신부
30 : 영상 처리부 31 : 제1 버퍼부
32 : 압축부 33 : 제2 버퍼부
34 : 객체 추출부 35 : 객체 인식부

Claims (6)

1. 로봇의 사물 인식 시스템에 있어서,
   스테레오 카메라로부터 스테레오 영상을 수신하는 영상 수신부; 및,
   상기 스테레오 영상으로부터 사물을 인식하여 추출하는 영상 처리부를 포함하고,
   상기 영상 처리부는,
   상기 스테레오 영상 중 하나의 영상(이하 제1 고해상도 영상)과, 다른 하나의 영상(이하 제2 고해상도 영상)을 수신하여 저장하는 제1 버퍼부;
   상기 제1 및 제2 고해상도 영상에서, 상기 제1 및 제2 고해상도 영상의 해상도 보다 적은 해상도를 갖는 제1 및 제2 저해상도 영상을 각각 생성하는 압축부;
   상기 제1 및 제2 저해상도 영상을 저장하는 제2 버퍼부;
   상기 제1 및 제2 저해상도 영상으로부터 사물의 윤곽선을 나타내는 이진 영상을 생성하는 객체 추출부; 및,
   상기 이진 영상을 고해상도 영상으로 변환하고, 상기 이진 영상의 윤곽선 이미지 내에 들어가는 영상을, 상기 제1 또는 제2 고해상도 영상에서 추출하여 사물로 인식하는 객체 인식부를 포함하고,
   상기 객체 추출부는 상기 제1 및 제2 저해상도 영상의 차영상을 구하고 차영상으로부터 이진 영상(이하 제1 이진 영상)을 구하고,
   상기 객체 추출부는 에지 검출 방법에 의하여 에지 영상을 구하고 이로부터 이진 영상(이하 제2 이진 영상)을 구하여, 상기 제1 및 제2 이진 영상을 이용하여 최종 이진 영상을 구하는 것을 특징으로 하는 로봇의 사물 인식 시스템.
   
2. 제1항에 있어서,
   상기 제1 및 제2 고해상도 영상에서 각각 상기 제1 및 제2 저해상도 영상으로 해상도를 변환하는 비율은 1/N인 것을 특징으로 하는 로봇의 사물 인식 시스템.
   
3. 제1항에 있어서,
   상기 제1 및 제2 고해상도 영상에서 각각 상기 제1 및 제2 저해상도 영상으로 해상도를 변환하는 비율을 가로축과 세로축을 서로 달리하되, 세로축의 변환 비율이 가로축의 변환 비율보다 큰 것을 특징으로 하는 로봇의 사물 인식 시스템.
   
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 객체 추출부는 상기 제1 이진 영상의 이미지와 겹치는 제2 이진 영상의 이미지를 객체의 윤곽선으로 판단하거나, 제1 이진 영상의 이미지를 이어주는 제2 이진 영상의 이미지를 객체의 윤곽선으로 판단하는 것을 특징으로 하는 로봇의 사물 인식 시스템.
   

Images