KR101795843B1 - 추종로봇 및 그 제어방법 - Google Patents

Abstract

추종로봇 및 그 제어방법이 개시된다. 상기 추종로봇은, 구동부의 작동에 의해 직선운동 및 회전운동 가능한 로봇으로서, 사용자의 신체 이미지를 촬영하는 촬영부; 상기 신체 이미지로부터 상기 사용자의 엉덩이 중심에 대한 3차원 좌표값을 취득하는 제1 연산부; 상기 취득된 3차원 좌표값을 이용하여 상기 엉덩이 중심의 장래 추정값을 산출하는 제2 연산부; 및 상기 로봇이 사용자를 뒤따라 움직일 수 있도록, 상기 추정값에 상응하는 구동신호를 상기 구동부에 전달하는 제어부;를 포함한다.

Description

추종로봇 및 그 제어방법{Following Robot and Its Control method}

본 발명은 추종로봇 및 그 제어방법에 관한 것이다.

이 작품은 많은 화물을 옮길 시 하나의 대형 화물차를 이용하는 것이 아니라 여러 차들을 이용하여 앞 차, 즉 움직이는 물체를 따라가게 하여 하나의 대형화물을 움직이는 것 보다 효율적인 방법을 제안하는 추종로봇(Following Robot)을 제작한다. 또한, 이와 같은 트래킹(Tracking) 기술로 거동이 불편한 사람들이 대형마트에서 물품을 구입할 때 카트(Cart)에 적용해 휠체어, 목발 등을 이용 시에도 편리하게 물품을 구입할 수 있게 도와 줄 수 있다.

선행기술문헌 : 한국등록특허공보 제10-0608650호 (등록일자 2006. 7. 27.)

본 발명은 사용자의 장래 이동을 예측하여 자동으로 사용자를 추종할 수 있는 추종로봇 및 그 제어방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 구동부의 작동에 의해 직선운동 및 회전운동 가능한 로봇으로서, 사용자의 신체 이미지를 촬영하는 촬영부; 상기 신체 이미지로부터 상기 사용자의 엉덩이 중심에 대한 3차원 좌표값을 취득하는 제1 연산부; 상기 취득된 3차원 좌표값을 이용하여 상기 엉덩이 중심의 장래 추정값을 산출하는 제2 연산부; 및 상기 로봇이 사용자를 뒤따라 움직일 수 있도록, 상기 추정값에 상응하는 구동신호를 상기 구동부에 전달하는 제어부;를 포함하는 추종로봇이 제공된다.

여기서, 상기 제1 연산부는, 상기 신체 이미지로부터 상기 사용자의 뼈대 이미지를 추출한 다음, 상기 뼈대 이미지로부터 상기 엉덩이 중심에 대한 3차원 좌표값을 취득할 수 있다.

또한, 사용자가 휴대하는 단말기로부터 수동신호를 수신하는 수신부를 더 포함할 수 있으며, 상기 수신부가 상기 수동신호를 수신하면, 상기 제어부는 수신된 수동신호에 상응하는 구동신호를 상기 구동부에 전달할 수 있다.

또한, 사용자와 추종로봇 사이의 거리를 감지하는 거리감지센서를 더 포함할 수 있으며, 상기 제어부는 사용자와 추종로봇 사이의 거리가 미리 설정된 값 이하로 감지되면 상기 구동부의 작동을 정지시킬 수 있다.

본 발명의 다른 실시예에 따르면, 구동부의 작동에 의해 직선운동 및 회전운동 가능한 로봇이 사용자를 뒤따라 움직일 수 있도록 제어하는 방법으로서, 사용자의 신체 이미지를 촬영하는 단계; 상기 신체 이미지로부터 상기 사용자의 엉덩이 중심에 대한 3차원 좌표값을 취득하는 단계; 상기 취득된 3차원 좌표값을 이용하여 상기 엉덩이 중심의 장래 추정값을 산출하는 단계; 및 상기 로봇이 사용자를 뒤따라 움직일 수 있도록, 상기 추정값에 상응하는 구동신호를 상기 구동부에 전달하는 단계;를 포함하는 추종로봇 제어방법이 제공된다.

여기서, 상기 3차원 좌표값을 취득하는 단계는, 상기 신체 이미지로부터 상기 사용자의 뼈대 이미지를 추출하는 단계; 및 상기 뼈대 이미지로부터 상기 엉덩이 중심에 대한 3차원 좌표값을 취득하는 단계;를 포함할 수 있다.

또한, 사용자와 추종로봇 사이의 거리를 감지하는 단계를 더 포함할 수 있으며, 사용자와 추종로봇 사이의 거리가 미리 설정된 값 이하로 감지되면, 상기 구동부가 정지될 수 있다.

본 발명의 바람직한 실시예에 따르면, 추종의 대상이 되는 사용자의 장래 이동을 예측하여 자동으로 사용자를 추종할 수 있다.

도 1은 본 발명의 일 실시예에 따른 추종로봇의 구조를 개략적으로 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 추종로봇의 시제품 사진.
도 3은 추종로봇과 사용자 사이의 3차원 좌표계를 나타내는 도면.
도 4는 키넥트에 의해 추출된 뼈대 이미지의 일 예.
도 5는 본 발명의 다른 실시예에 따른 추종로봇 제어방법을 나타내는 순서도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

먼저 본 발명의 일 측면에 따른 추종로봇의 실시예에 대하여 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른 추종로봇의 구조를 개략적으로 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 추종로봇의 시제품 사진이다. 도 1을 참조하면, 촬영부(100), 제1 연산부(200), 제2 연산부(300), 제어부(400), 구동부(500), 수신부(600), 거리감지센서(700)가 도시되어 있다.

도 1에 도시된 바와 같이, 본 실시예에 따른 추종로봇은, 로봇의 직선운동 및 회전운동을 구현하는 구동부(500), 사용자의 신체 이미지를 촬영하는 촬영부(100), 사용자의 신체 이미지로부터 엉덩이 중심(도 4의 C)에 대한 3차원 좌표값을 추출하는 제1 연산부(200), 취득된 3차원 좌표값을 이용하여 엉덩이 중심(도 4의 C)의 장래 추정값을 산출하는 제2 연산부(300), 구동부(500)에 구동신호를 전달하는 제어부(400)를 주된 구성요소로 갖는다.

위와 같은 구성을 통하여, 본 실시예에 따른 추종로봇은 사용자의 장래 움직임을 추측하고 그에 따라 움직임으로써, 자동으로 사용자의 뒤를 따라 다닐 수 있게 된다.

구동부(500)는 추종로봇의 움직임을 담당하는 구성요소로서 직선운동 및 회전운동이 모두 구현되도록 바퀴, 모터, 샤프트, 기어 등 다양한 세부 구성요소들로 이루어질 수 있다. 이러한 구동부(500)는 제어부(400)로부터 입력되는 구동신호에 따라 작동되어 추종로봇이 사용자의 뒤를 따라 움직일 수 있게 된다.

촬영부(100)는 추종의 대상이 되는 사용자의 신체 이미지를 촬영하는 기능을 수행하는 구성요소로서 각종 카메라 등이 이용될 수 있다.

제1 연산부(200)는 촬영부(100)에서 취득한 사용자의 신체 이미지를 이용하여, 사용자의 엉덩이 중심(도 4의 C)에 대한 3차원 좌표값을 추출한다. 좌표값 추출의 대상이 되는 엉덩이 중심(도 4의 C)은 사용자의 신체의 기준점으로 활용되는 것으로서 비교적 그 위치정보를 취득하기 쉬우면서도 사용자의 움직임을 판별하기에 적합하다.

여기서, 제1 연산부(200)는 신체 이미지로부터 사용자의 뼈대 이미지를 추출한 다음, 뼈대 이미지로부터 엉덩이 중심(도 4의 C)에 대한 3차원 좌표값(X, Y, Z)을 취득하는 방법을 통해 위 3차원 좌표값을 취득할 수 있다. 여기서 X축 값은 사용자의 좌우변위, Y축 값은 사용자의 상하변위, Z축 값은 사용자와 추종로봇 사이의 거리를 나타낸다(도 3 참조).

상술한 제1 연산부(200)로는 키넥트(kinect sensor)를 이용할 수 있다. 키넥트는 마이크로소프트(MS)사에서 발매되고 있는 동작인식 컨트롤러로서, IR 카메라, RGB 카메라, 마이크, 3축 센서 기능 등이 포함되어 있다. 이러한 키넥트를 이용하게 되면, 상술한 촬영부(100)와 제1 연산부(200)가 하나의 장치를 통해 구현될 수 있다. 도 4에는 키넥트에 의해 추출된 뼈대 이미지의 일 예가 도시되어 있다.

사용자의 뼈대 이미지 추출은 촬영부(100)로부터 취득된 사용자의 영상에 대해 Open NI를 이용하여 수행될 수 있을 것이다. Open NI란 키넥트를 동작시키기 위하여 PrimeSense사에서 개발된 오픈소스 드라이버를 말하는 것으로서, Windows XP 이상 또는 리눅스 우분투 10.10 이상의 환경에서 사용할 수 있다.

이렇게 취득된 엉덩이 중심(도 4의 C)에 대한 3차원 좌표값은 제2 연산부(300)로 전달된다. 제2 연산부(300)로는 다양한 종류의 MCU(Micro Controller Unit)가 사용될 수 있을 것인데, 이러한 제2 연산부(300)에서는 기 취득된 3차원 좌표값을 바탕으로 엉덩이 중심(도 4의 C)의 장래 추정값, 즉 사용자의 장래 움직임을 예측해 낸다. 제1 연산부(200)와 제2 연산부(300) 사이의 데이터 전송은 유선통신을 통해 구현될 수도 있을 것이나, 본 실시예에서는 추종로봇의 설계 자유도를 향상시키기 위해 블루투스 통신에 의해 데이터 전송이 이루어지도록 한다.

키넥트에서 받은 엉덩이 중앙에 대한 3차원 좌표값(X, Y, Z) 중 Y값은 촬영된 영상 중 사용자임을 인식할 수 있는 범위인 '사용자를 구별할 수 있는 수치 범위' 내에서 추종로봇이 사용자를 향해 움직이게 하는데 사용되고, X, Z 좌표를 2차원적인 공간적으로 칼만필터를 사용하여, 이 전의 움직임 데이터로 미래의 값을 예상하며, 상기 제어부는 미래의 움직임의 좌표값에 추종로봇이 항상 정면을 바라보며 따라갈 수 있게 X와 Z 값에서 '추종로봇이 사용자를 정면으로 향할 경우의 X와 Z값'인 중심값을 빼서 오차가 크면 PWM을 높여 빨리 중심을 되찾을 수 있게 PID 제어를 한다. 그리고 자연스러운 움직임을 위하여 Fuzzy Table를 만들어 2차원적인 공간에서의 움직임에 따른 각각의 모터(구동부(500))에 PWM을 넣어주어 효율적인 움직임 제어를 한다.

제2 연산부(300)에서 사용자의 장래 움직임에 관한 추정값이 산출되면, 제어부(400)는 그 추정값에 상응하는 구동신호를 구동부(500)에 전달한다. 즉, 사용자가 장래 이동할 것으로 예상되는 변위만큼 추종로봇이 따라서 움직일 수 있도록 하는 구동신호를 구동부(500)에 전달하는 것이다.

한편, 본 실시예에 따른 추종로봇에는 거리감지센서(700)가 구비될 수 있다. 거리감지센서(700)는 추종로봇의 전방에 설치되어 사용자와 추종로봇 사이의 거리를 실시간으로 감지하는 기능을 수행할 수 있는데, 실시간 거리 감지 결과 사용자와 추종로봇 사이의 거리가 미리 설정된 값(예를 들면 30cm) 이하로 판별되면 제어부(400)가 구동부(500)의 작동을 멈추게 하여 사용자와 추종로봇이 서로 충돌하게 사고를 방지할 수 있게 된다.

다른 한편, 본 실시예에 따른 추종로봇은 사용자가 휴대하는 단말기(미도시)로부터 수동신호를 수신하는 수신부(600)를 구비할 수도 있다. 이러한 수신부(600)는 사용자의 수동명령을 통해서도 추종로봇이 작동할 수 있도록 하는 기능을 수행한다. 예를 들어, 사용자가 단말기(제어프로그램이 설치된 스마트폰 등)를 통해 작동신호를 전송하면, 제어부(400)는 그에 따른 구동신호를 구동부(500)에 전달하여 추종로봇이 움직일 수 있게 하는 것이다.

이상에서 설명한 제2 연산부(300)와 제어부(400)는 서로 분리되어 존재할 수도 있으나, 하나의 장치에 집적되어 모듈화 될 수도 있을 것이다.

이상에서는 본 발명의 일 실시예에 따른 추종로봇의 구조에 대해 설명하였으며, 이하에서는 본 발명의 다른 실시예에 따른 추종로봇 제어방법에 대해 설명한다. 본 실시예에 따른 추종로봇 제어방법을 설명함에 있어서 추종로봇의 구조를 설명하는 과정에서 이미 설명된 부분은 생략하도록 한다.

본 실시예에 따른 추종로봇 제어방법은, 구동부(500)에 의해 직선 및 회전운동할 수 있는 로봇이 자동으로 사용자의 뒤를 따라 움직이도록 하기 위한 방법이다.

이를 위해 먼저 사용자의 신체 이미지를 촬영한다(S10). 이는 추종로봇에 구비된 촬영부(100)에 의해 실시될 수 있을 것이다.

다음으로, 촬영된 신체 이미지로부터 사용자의 엉덩이 중심(도 4의 C)에 대한 3차원 좌표값을 취득한다(S20). 이는 추종로봇에 구비된 제1 연산부(200)에 의해 구현될 수 있으며, 이러한 제1 연산부(200)로 키넥트 등을 이용할 수 있음은 전술한 바와 같다.

다음으로, 취득된 3차원 좌표값을 이용하여 엉덩이 중심(도 4의 C)의 장래 추정값을 산출한다(S30). 이는 추종로봇에 구비된 제2 연산부(300)에 의해 구현될 수 있으며, 장래 추정값 산출을 위해, 신체 이미지로부터 사용자의 뼈대 이미지를 추출한 다음, 뼈대 이미지로부터 엉덩이 중심(도 4의 C)에 대한 3차원 좌표값을 취득방법을 이용할 수도 있음은 전술한 바와 같다.

그리고 나서, 로봇이 사용자를 뒤따라 움직일 수 있도록, 취득된 추정값에 상응하는 구동신호를 구동부(500)에 전달한다(S40). 이를 통해 추종로봇은 사용자가 움직일 곳으로 따라서 이동할 수 있게 된다.

이상의 과정과 별도로, 실시간으로 사용자와 추종로봇 사이의 거리를 감지하는 단계를 더 포함할 수 있다. 실시간 감지 결과 사용자와 추종로봇 사이의 거리가 미리 설정된 값(예를 들면 30cm) 이하로 감지되면, 구동부(500)의 작동은 정지된다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

전술한 실시예 외의 많은 실시예들이 본 발명의 특허청구범위 내에 존재한다.

100 : 촬영부
200 : 제1 연산부
300 : 제2 연산부
400 : 제어부
500 : 구동부
600 : 수신부
700 : 거리감지센서
C : 엉덩이 중심

Claims (4)

1. 구동부의 작동에 의해 직선운동 및 회전운동 가능한 로봇으로서,
   사용자의 신체 이미지를 촬영하는 촬영부;
   상기 신체 이미지로부터 상기 사용자의 엉덩이 중심에 대한 3차원 좌표값을 취득하는 제1 연산부;
   상기 취득된 3차원 좌표값을 이용하여 상기 엉덩이 중심의 장래 추정값을 산출하는 제2 연산부;
   상기 로봇이 사용자를 뒤따라 움직일 수 있도록, 상기 추정값에 상응하는 구동신호를 상기 구동부에 전달하는 제어부;
   사용자가 휴대하는 단말기로부터 수동신호를 수신하는 수신부; 및
   사용자와 추종로봇 사이의 거리를 감지하는 거리감지센서
   를 포함하고,
   상기 제1 연산부는, 상기 신체 이미지로부터 상기 사용자의 뼈대 이미지를 추출한 다음, 상기 뼈대 이미지로부터 상기 엉덩이 중심에 대한 3차원 좌표값(X, Y, Z)을 취득하고, X축 값은 사용자의 좌우변위, Y축 값은 사용자의 상하변위, Z축 값은 사용자와 추종로봇 사이의 거리를 나타내고,
   상기 수신부가 상기 수동신호를 수신하면, 상기 제어부는 수신된 수동신호에 상응하는 구동신호를 상기 구동부에 전달하며,
   상기 제어부는 사용자와 추종로봇 사이의 거리가 미리 설정된 값 이하로 감지되면 상기 구동부의 작동을 정지시키고,
   상기 제2 연산부는 상기 제1 연산부에서 받은 엉덩이 중심에 대한 3차원 좌표값(X, Y, Z) 중 Y값은 촬영된 영상 중 사용자임을 인식할 수 있는 범위인 '사용자를 구별할 수 있는 수치 범위' 내에서 추종로봇이 사용자를 향해 움직이게 하는데 사용되고, X, Z 좌표를 2차원적인 공간적으로 칼만필터를 사용하여, 이 전의 움직임 데이터로 미래의 값을 예상하며, 상기 제어부는 미래의 움직임의 좌표값에 추종로봇이 항상 정면을 바라보며 따라갈 수 있게 X와 Z 값에서 '추종로봇이 사용자를 정면으로 향할 경우의 X와 Z값'인 중심값을 빼서 오차가 크면 PWM(Pulse Width Modulation)의 펄스폭을 높여 빨리 중심을 되찾을 수 있게 PID(Proportional Integral Derivative) 제어를 하고, 자연스러운 움직임을 위하여 Fuzzy Table를 만들어 2차원적인 공간에서의 움직임에 따른 각각의 상기 구동부의 모터에 PWM 신호를 넣어주어 움직임 제어를 하는 것을 특징으로 하는 추종로봇.
   
2. 삭제
3. 삭제
4. 삭제

Images