KR20160094168A - 로봇의 관측 시점 제어 장치 - Google Patents

Abstract

로봇의 관측 시점 제어 장치는 복수의 카메라들을 포함하는 로봇과 연결되고, 상기 복수의 카메라들을 통해 생성되며 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부 및 상기 로봇의 이동과 무관하게 이동 방향에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함한다. 따라서, 이동체의 이동 방향에 따라 이동체를 바라보는 시점을 재구성하여 디스플레이할 수 있다.

Description

로봇의 관측 시점 제어 장치{APPARATUS OF CONTROLLING OBSERVATION VIEW OF ROBOT}

본 발명은 로봇의 관측 시점 제어 기술에 관한 것으로, 보다 상세하게는, 이동체의 이동 방향에 따라 이동체를 바라보는 시점을 재구성하여 디스플레이할 수 있는 로봇의 관측 시점 제어 장치에 관한 것이다.

로봇은 자동화 처리 시스템에서 점차 일반화되어 사용되고 있으며, 인간 노동력을 사용하여 달성할 수 없는 정밀도와 효율을 가지며 작업을 수행한다. 또한, 로봇은 작업 환경이 민감하거나 위험한 환경에 해당하여 인간 노동력을 사용하는 것이 바람직하지 않은 경우 사용될 수 있다.

종래에는 로봇을 비가시권(직접 육안으로 보이지 않는 지역)에서 원격 제어할 때 단순히 2D(Dimensional) 또는 3D 카메라 시각에서 제공하는 영상만 사용하여 주변환경을 직관적으로 인식하였다. 단순 카메라를 통한 원격지 영상 정보 전달은 시인성 문제 및 이로 인한 직관적 원격에 대처할 수 없는 문제가 있다.

한국공개특허 제10-2011-0060705호는 조향 결정 성능이 향상된 원격 조종 로봇 시스템 및 이에 사용되는 원격 조종기를 개시한다. 이러한 기술은 로봇 주행 방향의 전방에 존재하는 장애물 및 공간과의 거리정보를 거리센서(초음파 또는 레이저센서)로 인식하여 보다 넓은 범위의 전방 상황을 인지할 수 있도록 하고, 화면상에 영상정보와 거리정보를 포함하는 상황인지정보를 디스플레이하여 로봇 전방의 넓은 범위의 상황을 인지하고 원격조종에 필요한 조종자의 조향 방향 결정하도록 할 수 있다.

한국공개특허 제10-2014-0134469호는 증강 현실 기술을 이용한 이동 로봇의 원격 네비게이션 시스템을 개시한다. 이러한 기술은 이동 로봇이 주행하는 공간에 대해 모델링된 3D 맵을 저장하고 카메라를 통해 주행 공간에 대한 촬영 영상을 획득하여 주행 공간에서의 카메라 절대 좌표와 카메라의 카메라 주시 방향을 산출할 수 있다. 따라서 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 조정자의 시야를 넓힐 수 있다.

한국공개특허 제10-2011-0060705호 한국공개특허 제10-2014-0134469호

본 발명의 일 실시예는 이동체의 이동 방향에 따라 이동체를 바라보는 시점을 재구성하여 디스플레이할 수 있는 로봇의 관측 시점 제어 장치를 제공하고자 한다.

본 발명의 일 실시예는 복수의 카메라들을 기초로 생성된 어라운드 뷰의 관측 시점을 변경하여 로봇의 이동을 최적으로 제어할 수 있는 로봇의 관측 시점 제어 장치를 제공하고자 한다.

본 발명의 일 실시예는 이동체의 이동 방향에 따라 가상적인 카메라를 통해 로봇을 바라보는 관측 시점을 생성할 수 있는 로봇의 관측 시점 제어 장치를 제공하고자 한다.

실시예들 중에서, 로봇의 관측 시점 제어 장치는 복수의 카메라들을 포함하는 로봇과 연결되고, 상기 복수의 카메라들을 통해 생성되며 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부 및 상기 로봇의 이동과 무관하게 이동 방향에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함한다.

일 실시예에서, 상기 어라운드 뷰는 상기 복수의 카메라들로부터 수신된 해당 방향 이미지들의 정합을 통해 상기 로봇 또는 상기 관찰 시점 제어부에서 생성될 수 있다.

일 실시예에서, 상기 가상 카메라 제어부는 상기 로봇의 후방에 위치되고 상기 관측 시점을 생성하는 가상 카메라를 상기 로봇의 이동 방향의 연장선 상으로 이동시킬 수 있다.

상기 가상 카메라 제어부는 상기 가상 카메라를 곡면을 따라 상기 로봇 객체의 후방 위치와 상기 로봇 객체의 이동 방향 간에 이동시킬 수 있다.

상기 가상 카메라 제어부는 상기 로봇 객체의 위치를 구의 중심으로 맞추고 상기 가상 카메라를 상기 구의 특정 높이에 있는 곡면을 따라 이동시키며, 상기 가상 카메라의 배율을 제어하여 상기 로봇 객체의 크기를 유지할 수 있다.

실시예들 중에서, 로봇의 관측 시점 제어 장치는 복수의 카메라들을 포함하는 로봇, 상기 복수의 카메라들을 통해 생성되고 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부 및 상기 로봇의 이동 방향에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함한다.

본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치는 이동체의 이동 방향에 따라 이동체를 바라보는 시점을 재구성하여 디스플레이할 수 있다.

본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치는 복수의 카메라들을 기초로 생성된 어라운드 뷰의 관측 시점을 변경하여 로봇의 이동을 최적으로 제어할 수 있다.

본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치는 이동체의 이동 방향에 따라 가상적인 카메라를 통해 로봇을 바라보는 관측 시점을 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치를 설명하는 블록도이다.
도 2는 도 1에 있는 로봇의 관측 시점 제어 장치의 로봇에 배치된 복수의 카메라들을 예시하는 도면이다.
도 3은 도 1에 있는 로봇의 관측 시점 제어 장치에서 제공하는 가상 카메라의 이동 및 그에 따른 어라운드 뷰를 예시하는 도면이다.
도 4는 도 1에 있는 로봇의 관측 시점 제어 장치의 가상 카메라 제어부에서 구의 곡면을 따라 가상 카메라를 제어하는 것을 예시하는 도면이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 본 발명의 일 실시예에 따른 로봇의 관측 시점 제어 장치를 설명하는 블록도이다.

도 1을 참조하면, 로봇의 관측 시점 제어 장치(100)는 디스플레이부(110), 가상 카메라 제어부(120) 및 제어부(130)를 포함한다.

디스플레이부(110)는 복수의 카메라들을 포함하는 로봇과 연결되고, 복수의 카메라들을 통해 생성되며 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이한다. 복수의 카메라들은 각각의 시점에서 이미지를 획득할 수 있다.

어라운드 뷰는 복수의 카메라들로부터 수신된 해당 방향 이미지들의 정합을 통해 로봇 또는 가상 카메라 제어부(120)에서 생성될 수 있다. 어라운드 뷰는 복수의 카메라들을 통해 획득된 이미지들 중 적어도 두 개의 이미지들 또는 복수의 이미지들을 기초로 생성될 수 있다. 적어도 두 개의 이미지들은 기본 설정된 이미지에 해당하거나 또는 로봇의 원격 조종자에 의해 설정된 이미지에 해당할 수 있다. 어라운드 뷰는 이미지들 간의 시간적 연관 관계에 따라 합성된 일련의 이미지를 기초로 생성될 수 있다. 예를 들어, 어라운드 뷰는 로봇 객체를 기준으로 로봇 객체의 주위를 360도로 촬상한 것과 같은 일련의 이미지를 기초로 생성될 수 있다.

일 실시예에서, 디스플레이부(110)는 어라운드 뷰에 작업 가이드라인을 표시할 수 있다. 작업 가이드라인은 로봇 객체로부터 일정 반경까지 설정될 수 있다.

가상 카메라 제어부(120)는 로봇의 이동과 무관하게 이동 방향에 따라 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어한다. 가상 카메라 제어부(120)는 원격 조종자에 의해 로봇의 이동 방향이 결정되면 로봇이 이동하지 않더라도 가상 카메라를 제어할 수 있다. 관측 시점은 로봇 객체 및 로봇 객체를 중심으로 바라보는 영상 시점에 해당한다. 가상 카메라는 실제로 존재하지 않는 장치로, 로봇의 이동 방향에 따라 로봇 객체를 바라보는 관측 시점을 재구성하여 어라운드 뷰를 제공할 수 있다.

가상 카메라 제어부(120)는 로봇의 후방에 위치되고 관측 시점을 생성하는 가상 카메라를 로봇의 이동 방향의 연장선 상으로 이동시킬 수 있다. 일 실시예에서, 가상 카메라 제어부(120)는 로봇이 좌측으로 이동하는 경우 로봇 객체의 관측 시점을 생성하는 가상 카메라를 로봇의 후방 우측으로 이동시키고, 로봇이 우측으로 이동하는 경우 로봇 객체의 관측 시점을 생성하는 가상 카메라를 로봇의 후방 좌측으로 이동시킬 수 있다. 원격 조종자는 좌측 및 우측 각각의 로봇 객체의 관측 시점을 기초로 작업 환경을 인식하여 로봇의 이동을 제어할 수 있다.

가상 카메라 제어부(120)는 가상 카메라를 곡면을 따라 로봇 객체의 후방 위치와 로봇 객체의 이동 방향 간에 이동시킬 수 있다. 곡면은 로봇을 중심으로 구(Sphere)로 형성된 호의 일부에 해당할 수 있다. 예를 들어, 가상 카메라 제어부(120)는 로봇이 좌측으로 이동하는 경우 가상 카메라를 로봇 객체의 후방 우측 위치로 이동시켜 복수의 카메라들을 통해 획득된 이미지를 기초로 생성된 어라운드 뷰를 후방 우측 위치 시점에서의 어라운드 뷰로 재구성할 수 있다. 다른 예를 들어, 가상 카메라 제어부(120)는 로봇이 우측으로 이동하는 경우 가상 카메라를 로봇 객체의 후방 좌측 위치로 이동시켜 복수의 카메라들을 통해 획득된 이미지를 기초로 생성된 어라운드 뷰를 후방 좌측 위치 시점에서의 어라운드 뷰로 재구성할 수 있다.

가상 카메라 제어부(120)는 로봇 객체의 위치를 구의 중심으로 맞추고 가상 카메라를 구의 특정 높이에 있는 곡면을 따라 이동시키며, 가상 카메라의 배율을 제어하여 로봇 객체의 크기를 유지할 수 있다. 가상 카메라 제어부(120)는 가상 카메라를 구의 상위 위치에서 곡면을 따라 로봇 객체의 후방 위치로 이동시키면 가상 카메라의 배율을 증가하여 로봇 객체의 크기를 유지할 수 있다.

제어부(130)는 로봇의 관측 시점 제어 장치(100)의 전체적인 동작을 제어하고, 디스플레이부(110) 및 가상 카메라 제어부(120) 간의 동작 및 데이터 흐름을 제어할 수 있다.

도 2는 도 1에 있는 로봇의 관측 시점 제어 장치의 로봇에 배치된 복수의 카메라들을 예시하는 도면이다.

도 2를 참조하면, 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 복수의 시점들에서 로봇 객체(10)의 주위를 각각 촬상하여 복수의 일련 이미지들을 생성한다. 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 로봇이 구동될 때 전원을 공급받아 로봇 객체(10)의 주위를 쵤상할 수 있다. 복수의 시점들은 로봇의 크기에 따라 달라질 수 있다. 예를 들어, 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 로봇의 전방, 후방 및 양 측방들 각각에 배치되어 각각의 시점에서 로봇 객체(10)의 주위를 촬상할 수 있다. 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 각각의 시점에서 로봇 객체(10) 주위를 190도로 촬상할 수 있다.

일 실시예에서, 복수의 카메라들(210-1, 210-2, 210-3, 210-4)은 로봇의 원격 조종자에 의해 상하 또는 좌우로 각각 움직일 수 있다.

로봇의 관측 시점 제어 장치(100)는 복수의 카메라들(210-1, 210-2, 210-3, 210-4)로부터 획득된 이미지 중 일부가 깨지면 일정 반경 이내에 있는 이미지 픽셀을 기초로 이미지 보간(Interpolation)을 수행하여 어라운드 뷰를 디스플레이하도록 할 수 있다.

도 3은 도 1에 있는 로봇의 관측 시점 제어 장치에서 제공하는 가상 카메라의 이동 및 그에 따른 어라운드 뷰를 예시하는 도면이다.

도 3을 참조하면, 가상 카메라 제어부(120)는 로봇이 정지해있는 경우 로봇 객체(10)의 위치를 구의 중심으로 맞추고 가상 카메라(20)를 구의 곡면을 따라 로봇 객체(10)의 후방 중심으로 이동시킬 수 있다(도 3a의 (a), 도 3b의 (a)에 해당). 가상 카메라 제어부(120)는 로봇이 좌측으로 이동하면 가상 카메라(20)를 구의 곡면을 따라 로봇 객체(10)의 후방 중심에서 후방 우측 방향으로 이동시킬 수 있다(도 3a의 (b), 도 3b의 (b)에 해당).

가상 카메라 제어부(120)는 구의 곡면 상에 있는 가상 카메라의 위치에 따라 해당 시점을 기준으로 어라운드 뷰를 재구성할 수 있다. 즉, 어라운드 뷰는 로봇의 이동 방향에 따라 가변적으로 생성될 수 있다.

도 4는 도 1에 있는 로봇의 관측 시점 제어 장치의 가상 카메라 제어부에서 구의 곡면을 따라 가상 카메라를 제어하는 것을 예시하는 도면이다.

도 4를 참조하면, 가상 카메라 제어부(120)는 로봇 객체(10)의 위치를 구의 중심으로 맞추고 가상 카메라를 구의 특정 위치(410)에서 곡면을 따라 로봇 객체(10)의 후방 위치(420)로 이동시킬 수 있다. 가상 카메라 제어부(120)는 가상 카메라가 구의 상위 위치(410)에 배치된 경우와 구의 후방 위치(420)에 배치된 경우에 동일한 크기의 로봇 객체(10)를 포함하는 어라운드 뷰를 생성할 수 있다.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 로봇의 관측 시점 제어 장치
110: 디스플레이부
120: 가상 카메라 제어부
130: 제어부
210-1, 210-2, 210-3, 210-4: 카메라
10: 로봇 객체
20: 가상 카메라

Claims (6)

1. 복수의 카메라들을 포함하는 로봇과 연결되고, 상기 복수의 카메라들을 통해 생성되며 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부; 및
   상기 로봇의 이동과 무관하게 이동 방향에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함하는 로봇의 관측 시점 제어 장치.
   
2. 제1항에 있어서, 상기 어라운드 뷰는
   상기 복수의 카메라들로부터 수신된 해당 방향 이미지들의 정합을 통해 상기 로봇 또는 상기 가상 카메라 제어부에서 생성되는 것을 특징으로 하는 로봇의 관측 시점 제어 장치.
   
3. 제1항에 있어서, 상기 가상 카메라 제어부는
   상기 로봇의 후방에 위치되고 상기 관측 시점을 생성하는 가상 카메라를 상기 로봇의 이동 방향의 연장선 상으로 이동시키는 것을 특징으로 하는 로봇의 관측 시점 제어 장치.
   
4. 제3항에 있어서, 상기 가상 카메라 제어부는
   상기 가상 카메라를 곡면을 따라 상기 로봇 객체의 후방 위치와 상기 로봇 객체의 이동 방향 간에 이동시키는 것을 특징으로 하는 로봇의 관측 시점 제어 장치.
   
5. 제4항에 있어서, 상기 가상 카메라 제어부는
   상기 로봇 객체의 위치를 구의 중심으로 맞추고 상기 가상 카메라를 상기 구의 특정 높이에 있는 곡면을 따라 이동시키며, 상기 가상 카메라의 배율을 제어하여 상기 로봇 객체의 크기를 유지하는 것을 특징으로 하는 로봇의 관측 시점 제어 장치.
   
6. 복수의 카메라들을 포함하는 로봇;
   상기 복수의 카메라들을 통해 생성되고 상기 로봇에 해당하는 로봇 객체를 포함하는 어라운드 뷰를 디스플레이하는 디스플레이부; 및
   상기 로봇의 이동 방향에 따라 상기 어라운드 뷰 상에 있는 로봇 객체를 바라보는 관측 시점을 생성하는 가상 카메라를 제어하는 가상 카메라 제어부를 포함하는 로봇의 관측 시점 제어 장치.
   .
   
   
   

Images