KR100812506B1 - 원격 조작 로봇 및 로봇 자기 위치 추정 방법 - Google Patents

Abstract

원격 조작 로봇(1)은 건물의 방의 배치도를 저장하는 수단(2)과, 방의 배치도 내에서 원격지측으로부터 지시되는 위치를 수취하는 수단(3)과, 지시된 위치로의 로봇의 이동을 제어하는 수단(4)을 구비한다. 자기 위치 추정 방법은 화상 촬영 방향을 변화할 수 있는 카메라를 탑재한 로봇에 의해서 실행된다. 미리 이동할 가능성이 있는 방의 파노라마 화상을 촬영하고, 그 다음에 복수의 블록 화상을 잘라내어 참조 화상을 작성하고, 로봇이 존재하는 위치에서 촬영된 화상과 참조 화상을 이용하여, 상관 연산과 DP 매칭함으로써 로봇이 존재하는 방을 식별한다.

통신 수단, 제어용 계산기, 팬 틸트, 크로러

Description

원격 조작 로봇 및 로봇 자기 위치 추정 방법{REMOTELY-OPERATED ROBOT, AND ROBOT SELF POSITION IDENTIFYING METHOD}

본 발명은 로봇의 제어나 이용 기술에 관한 것으로, 특히 예를 들면 건물 내에 위치하고, 원격지로부터, 예를 들면 인터넷을 통해 원격 조작이 가능한 로봇의 제어와 이용 기술에 관한 것이고, 또한 로봇의 현재 위치와 방향을 정확히 인식하기 위한 로봇 자기 위치 추정 방법에 관한 것이다.

종래부터, 원격지로부터 빈 집 등을 감시하기 위해 인터넷 카메라가 이용되고 있다. 그러나, 이 인터넷 카메라는 그 설치 장소가 고정되어 있어, 건물 내의 각 방의 상태를 보고자 할 때에는 모든 방에 카메라를 설치해야 하며, 또한 복수의 카메라와 호스트 컴퓨터와의 접속이 복잡해지고 비용이 증대한다고 하는 문제점이 있었다.

또한, 원격지로부터 빈 집용 가정 전기 기기를 조작하기 위해서는, LAN에 접속 가능한 정보 가전이 계속 개발되고 있지만, LAN 접속할 수 없는 종래로부터의 전기 기기를 조작할 수 없다고 하는 문제점이 있다.

게다가, 예를 들면, 건물 안을 이동할 수 있는 자율 이동형 로봇에 있어서, 사용자로부터 지시된 작업을 행하기 위해서는 우선 자기의 위치를 인식할 필요가 있다. 또한, 일반적으로 로봇을 자율 이동시키기 위해서는, 로봇이 인식하기 쉬운 흰 선 등의 랜드마크가 필요하다.

그러나, 일반 주택 등에서는, 특징적인 랜드마크를 주택 내에 긋는 것은 불가능하고, 또한 기존의 특징점을 랜드마크로서 기록해도, 로봇의 위치에 따라 카메라의 화상 상에서 대상물의 크기가 변화하기 때문에, 랜드마크를 화상만으로 쉽게 판단하는 것은 어렵다고 하는 문제점이 있었다.

본 발명의 목적은, 이상의 문제점을 감안하여 건물 내에서 로봇이 이동하여야 할 목적 위치를 원격지로부터 간단히 지시할 수가 있고, 또한 각 방의 상황을 원격지로부터 모니터하거나, 각 방에 있는 가정 전기 기기를 조작하기도 하는 기능을 갖는 원격 조작 로봇을 비교적 저 비용이면서 간단한 구성으로 실현하는 것이고, 또한 로봇이 자기의 위치와 방향을 정확하게 고정할 수 있는 로봇 자기 위치 추정 방법을 제공하는 것이다.

[발명의 개시]

도 1은 본 발명의 원격 조작 로봇의 원리 구성 블록도이고, 로봇(1)은 방 배치도 저장 수단(2), 통신 수단(3), 및 이동 제어 수단(4)을 포함한다.

발명의 실시예에서는, 원격 조작 로봇은 장애물 센서에 의한 단차 검지 결과에 기초하여, 건물 내에 존재하는 단차를 타고 넘기 위한 단차 타고 넘기 수단을 포함할 수도 있다. 또한, 로봇은 건물 내에서의 현재의 위치와 방향을 추정하는 자기 위치 추정 수단을 더 구비하고, 이동 제어 수단(4)이 그 추정 결과에 기초하여 로봇의 이동을 제어할 수도 있다.

발명의 실시예에서는, 원격 조작 로봇은 장애물 센서에 의한 단차 검지 결과 에 기초하여, 건물 내에 존재하는 단차를 타고 넘기 위한 단차 타고 넘기 수단을 포함할 수도 있다. 또한, 로봇은 건물 내에서의 현재의 위치와 방향을 동정하는 자기 위치 동정 수단을 더 구비하고, 이동 제어 수단(4)이 그 동정 결과에 기초하여 로봇의 이동을 제어할 수도 있다.

본 발명에서는, 도 1의 통신 수단(3)은 건물의 방의 배치도 내의 방의 지시를 원격지측의 단말기로부터 수취할 수 있고, 이 경우에는 이동 제어 수단(4)은 지정된 방의, 예를 들면 입구로의 로봇의 이동을 제어한다.

또한 본 발명의 원격 조작 로봇은, 건물 내의 화상을 촬영하는 화상 촬영 수단과, 정기적/또는 부정기적으로 로봇이 건물 내를 순회하여 화상 촬영 수단에 의해서 촬영된 화상을, 외부로부터 네트워크를 통해 참조 가능한 메모리를 갖는 계산기, 예를 들면 인터넷에 접속된 Web 서버에 보내는 통신 수단을 포함한다. 혹은 이러한 계산기, 예를 들면 Web 서버를 로봇 자체의 내부에 구비해도 된다.

이 경우, 실시예에서, 화상 촬영 수단에 의한 촬영 방향을 변화시키기 위한 선회 수단과, 화상 촬영 수단에 의한 촬영 방향과 병행하여 기기, 예를 들면 가정 전기 기기의 조작을 위한 적외선의 투광/수광을 행하는 적외선 투광/수광 수단을 더 포함할 수도 있다. 또한 전술한 단차 타고 넘기 수단을 포함할 수도 있다.

또한, 이 경우, 통신 수단이 외부로부터 인터넷을 통해 송신되는 링거 신호가 미리 정해진 횟수만큼 착신했을 때에, 전술한 계산기, 예를 들면 Web 서버의 기동을 행할 수도 있다.

다음으로, 본 발명의 원격 조작 로봇은, 로봇의 1개 이상의 동작에 대응하는 각각의 스크립트의 프로그램을 저장하는 스크립트 저장 수단과, 저장되어 있는 프로그램 중 어느 하나의 실행 지시를 외부로부터 수취하는 통신 수단을 구비한다.

본 발명의 원격 조작 로봇은 건물 내의 사람, 예를 들면 주택의 거주자로부터 외부에 대한 긴급 시의 연락 지시를 수취하는 지시 수취 수단과, 그 지시에 따라서 미리 정해진 외부 단말기에 긴급 연락을 행하는 통신 수단을 구비한다.

본 발명의 로봇 자기 위치 추정 방법은, 화상 촬영 방향을 변화시킬 수 있는 카메라를 탑재한 로봇에 의해서 실행되는 것으로, 미리 로봇이 이동할 가능성이 있는 각 방의 파노라마 화상을 촬영하고, 그 파노라마 화상으로부터 복수의 블록 화상을 잘라내어 참조 화상을 작성하고, 로봇이 존재하는 위치에서 촬영된 화상 파노라마 화상 내에서 그 블록 화상과 동일한 크기의 화상과 참조 화상을 이용하여, 상관 연산과 DP 매칭에 의해 로봇이 존재하는 방을 식별하는 방법이 이용된다.

이 경우 실시예에서는, 방 내에서 미리 촬영되어 있는 랜드마크의 화상을 참조 템플릿으로 하여, 로봇이 존재하는 위치에서 촬영된 화상 상에서의 그 랜드마크의 위치를 구하고, 랜드마크까지의 거리를 스테레오 시각에 의해 계측하여, 식별된 방 안에서의 자기의 위치와 방향을 추정할 수도 있다.

또한, 실시예에서는, 촬영되어 있는 랜드마크의 화상 내의 종선을 추출하고, 2개의 카메라의 촬영 방향과 그 종선의 방향이 이루는 2개의 각을 이용하여, 로봇의 위치와 방향을 정밀히 추정할 수도 있다.

또한, 실시예에서는, 촬영되어 있는 랜드마크의 화상 내의 종선을 추출하고, 2개의 카메라의 촬영 방향과 그 종선의 방향이 이루는 2개의 각을 이용하여, 로봇의 위치와 방향을 정밀히 동정할 수도 있다.

이상과 같이 본 발명에 의하면, 예를 들면 원격지측으로부터 건물의 방의 배치도 내에서, 로봇이 이동할 목적 위치나 목적의 방의 지시를 부여할 수 있다. 또한 로봇이 이동하는 가능성이 있는 각 방의 파노라마 화상을 이용함으로써, 로봇이 존재하는 방의 식별이 가능해진다.

<도면의 간단한 설명>

도 1은 본 발명의 원격 조작 로봇의 원리 구성 블록도.

도 2는 본 실시예에서의 원격 조작 로봇의 구성 블록도.

도 3은 원격지로부터의 로봇 조작 방식의 설명도.

도 4는 원격 조작 로봇의 외관도.

도 5는 원격 조작 로봇의 내부 구조를 나타내는 도면.

도 6은 원격 조작 로봇의 부품 구성을 나타내는 도면.

도 7은 이동처 목적 위치의 지시에 대한 로봇의 처리 흐름도.

도 8은 도 7의 처리에서의 원격지측 단말기에서의 방의 배치도의 표시예.

도 9는 이동 목적의 방의 명칭이 지시되는 경우의 로봇의 처리 흐름도.

도 12는 로봇이 존재하는 방의 추정 처리의 흐름도.

도 13은 추정 처리에서 이용되는 화상 상관 연산의 설명도.

도 14는 존재하는 방의 추정 후의 로봇 위치의 개략 추정 처리의 흐름도.

도 15는 존재하는 방의 추정 후의 로봇 위치의 정밀 추정 처리의 흐름도.

도 14는 존재하는 방의 동정 후의 로봇 위치의 개략 동정 처리의 흐름도.

도 15는 존재하는 방의 동정 후의 로봇 위치의 정밀 동정 처리의 흐름도.

도 16은 도 14, 도 15의 처리에서 요구된 로봇 위치의 설명도.

도 17은 로봇에 의한 원격지로의 긴급 연락 처리의 흐름도.

도 18은 로봇에 의해서 촬영된 화상을 원격지측으로부터 확인하는 방법(그 1)의 설명도.

도 19는 로봇에 의해서 촬영된 화상을 원격지측으로부터 확인하는 방법(그 2)의 설명도.

도 20은 미리 프로그램되어 있는 동작을 로봇에 실행시키는 방법의 설명도.

도 2에서, 카메라(12)는, 예를 들면 비디오 카메라이고, 적외선 송수신기(14)는 카메라(12)의 근방에 설치되고, 그 촬영 방향과 동일한 방향에 적외선을 송신할 수 있는 것으로 한다. 그 대는 카메라 선회 기구로서의 팬 틸트 대(13)에 의해서 임의의 방향으로 향하고, 예를 들면 원격지로부터 카메라(12)의 화상을 보면서, 그 방향에 있는 가전 기기의 조작을 행하기 위해서 적외선을 송신할 수 있다.

도 2는 본 실시예에서의 원격 조작 로봇의 구성 블록도이다.

도 2에서 로봇은 제어용 계산기(10), 이동 기구(11), 로봇의 주위를 촬영하기 위한 카메라(12), 카메라의 수평 회전 각도와 앙각, 또는 부각을 조정하기 위한팬 틸트대(13), 예를 들면 카메라(12)와 동일한 대 위에 설치되고, 카메라(12)의 촬영 방향과 평행하게 적외선을 송신하여, 리모콘 데이터를 학습하기 위해서 적외선을 수신하는 적외선 송수신기(14), 무선 통신부(15), 입력 디바이스(16), 포인팅 디바이스(17), 표시 디바이스(18), 각종 스위치(19), 및 각종 센서(20)를 구비하고 있다.

도 2에서, 카메라(12)는, 예를 들면 비디오 카메라이고, 적외선 송수신기(14 )는 카메라(12)의 근방에 설치되고, 그 촬영 방향과 동일한 방향에 적외선을 송신 할 수 있는 것으로 한다. 그 대는 카메라 선회 기구로서의 팬 틸트 대(13)에 의해서 임의의 방향으로 항하고, 예를 들면 원격지로부터 카메라(12)의 화상을 보면서, 그 방향에 있는 가전 기기의 조작을 행하기 위해서 적외선을 송신할 수 있다.

무선 통신부(15)는, 이러한 원격지로부터의 조작을 휴대 전화, PDA(퍼스널 디지털 어시스턴스) 등의 휴대 정보 단말기, 또는 퍼스널 컴퓨터 등에 의해 실행 가능하게 하기 위한 통신을 행하는 것이다.

도 3은 원격지로부터의 로봇 조작 방식의 설명도이다. 본 실시예에서는 네트워크, 예를 들면 인터넷을 통해 원격지로부터 로봇을 조작할 수 있는 것으로 하고, 그를 위해 로봇측에 Web 서버를 설치하는 것으로 한다.

도 4는 원격 조작 로봇의 외관도이다. 좌측은 전면, 우측은 후면의 외관을 나타낸다. 전면에는 도 2의 카메라(12)에 상당하는 스테레오 카메라(31), 적외선 송수신기(14)에 상당하는 가전 리모콘 송신기(32), 각종 스위치(19)에 상당하는 전원 스위치(33), 메뉴 스위치(34), 장애물 검지 센서로서 이용되는 범퍼 스위치(35), 및 후술하는 바와 같이 건물의 거주자가 외부에 긴급 연락을 행하기 위한 긴급 버튼(36)이 구비되어 있다.

도 3에서, Web 브라우저(24)측으로부터는 메뉴를 선택함으로써 인터넷(25)으로의 접속이 행해지고, Web 서버(21)에서는 Web 브라우저(24)측으로부터의 지시에 따라서 CGI/ISAPI(23)의 호출이 행해지고, CGI/ISAPI(23)에서 커맨드 형식이 로봇 조작에 적합한 형태로 변경되어, 조작 실행부(22)에 의해서 명령이 실행된다.

제어용 계산기(10)측으로부터는, 조작 실행부(22)로부터 반송되는 스테이터스나 화상 데이터가 CGI/ISAPI(23)로 송신되고, 데이터 형식이 변경되어, Web 서버 (21)에 의해서 htm1 파일로서 인터넷(25)을 통해 Web 브라우저(24)측에 제공되고, Web 브라우저(24)측에서 메뉴 표시나 화상 표시가 행해진다.

도 4는 원격 조작 로봇의 외관도이다. 좌측은 전면, 우측은 후면의 외관을 나타낸다. 전면에는 도 2의 카메라(12)에 상당하는 스테레오 카메라(31), 적외선 송수신기(14)에 상당하는 가전 리모콘 송신기(32), 각종 스위치(19)에 상당하는 전원 스위치(33), 메뉴 스위치(34), 장애물 검지 센서로서 이용되는 범퍼 스위치(35 ), 및 후술하는 바와 같이 건물의 거주자가 외부에 긴급 연락을 행하기 위한 긴급 버튼(36)이 구비되어 있다.

또한, 이동부(37)는 이동 기구(11)에, 모니터(38)는 표시 디바이스(18)에, 근접 거리 센서(39)는 각종 센서(20)에 상당하고, 마이크(40), 스피커(41), 트랙 포인터(42)가 더 구비되어 있다. 후면에는 도 2의 팬 틸트 대(13)에 대응하는 팬틸트 유닛(43)이 구비되어 있다.

도 5는 원격 조작 로봇 내부 구조를 도시한다. 도 5에서 도 4의 스테레오 카메라(31)에 상당하는 USB 카메라, 근접 거리 센서(39)에 상당하는 거리 측정 센서, 모니터(38)에 상당하는 LCD가 도시되어 있다.

또한 MPU 컨트롤러(65) 및 HUB(64)에는 CMOS 카메라(66), 도 2의 팬 틸트 대(13)의 회전을 제어하기 위한 2개의 모터(67), 이동 기구(11)로서의 도 5의 크로러 및 수동륜을 회전시키기 위한 3개의 모터(68), LED나 누름 버튼 스위치가 탑재된 스위치 서브 기판(69), 거리 센서(70), 팬(수평 회전각)용 포텐셔메터(71), 틸트(앙부각)용 포텐셔메터(72), 적외선 송신기(73), 적외선 수신기(74), AC 어댑터(75)와 전지(76)가 접속된 DC/DC 충전 회로(77)가 구비되어 있다.

도 6은 원격 조작 로봇의 부품 구성도이다. 도 6에서 CPU 기판(51) 상의 메인 CPU(53)와, 확장 기판(52) 상의 MPU 컨트롤러(65)가 도 2의 제어용 계산기(10)에 상당하고, 도 3에 도시한 제어용 계산기(10) 내부의 Web 서버(21)는, 예를 들면 메인 CPU(53)를 중심으로 하여 구성할 수 있다. 혹은 후술하는 바와 같이 Web 서버를 로봇과는 별도로 설치할 수 있고, 그 경우에는 로봇과 인터넷 사이에 서버 계산기가 별개로 구비된다.

도 6에서 메인 CPU(53)에는 포인팅 디바이스(54), 사용자 확장용 USB(유니버설 시리얼 버스) 포트(55), 마이크(56)와 스피커(57)가 접속된 음성 코덱(58), LCD(5 9)가 접속된 LCD 인터페이스(60), 각각 컨트롤부를 통한 CF(컴팩트 플래시) 메모리(61)와 통신 모듈(62)이 접속되어 있다.

또한 MPU 컨트롤러(65) 및 HUB(64)에는 CMOS 카메라(66), 도 2의 팬 틸트 대( 13)의 회전을 제어하기 위한 2개의 모터(67), 이동 기구(11)로서의 도 5의 크로러 및 수동륜을 회전시키기 위한 3개의 모터(68), LED나 누름 버튼 스위치가 탑재된 스위치 서브 기판(69), 거리 센서(70), 팬(수평 회전각)용 포텐셔메터(71), 틸트(앙부각)용 포텐셔메터(72), 적외선 송신기(73), 적외선 수신기(74), AC 어댑터(75)와 전지(76)가 접속된 DC/DC 충전 회로(77)가 구비되어 있다.

도 7은 본 실시예에서, 원격지로부터 방의 배치도에 대응하는 이동처의 목적 위치의 지시를 받는 경우의, 로봇 처리의 설명도이다. 도 7에서는, 로봇측에서 건물의 방의 배치도를 미리 메모리 상에 저장해 놓고, 원격지의 클라이언트의 단말기측에 그 방의 배치도의 화상을 송신하고, 클라이언트가 방의 배치도 상에서 로봇의 이동 목적 위치를 로봇측에 지시함으로써, 로봇이 그 목적지를 향해 이동하기 위한 처리가 실행된다.

도 8은, 도 7의 처리에서 원격지측의 클라이언트의 휴대 전화 등의 단말기에서의 방 배치도의 표시예이다. 도 8에서는 표시 화면 상에 방 배치도가 나타나고, 로봇의 현재 위치와 그 방향이 침실 상의 삼각 표시로, 또한 클라이언트로부터 지시되는 로봇의 이동 목표 위치가 거실 상의 커서로 표시되어 있다.

다음으로, 단계 S3에서 메모리 상에 유지되어 있는 방의 배치도 화상의 사이즈를 클라이언트측으로부터 송신된 화상 사이즈의 데이터를 이용하여 그 사이즈로 변환하고, 그 변환 스케일을 보존하고, 단계 S4에서, S1에서 계측한 자기 위치의 정보를 포함한 방 배치도의 화상을 클라이언트측에 보내고, 단계 S5에서 클라이언트측으로부터 지시된 목적지의 위치 좌표를 취득한다.

도 9에서 처리가 개시되면, 단계 S1, S2의 처리가 행해지는데, 클라이언트측으로부터 목적의 위치가 아니고, 방의 명칭 등이 지시되기 때문에, 도 7의 단계 S3에서의 변환 스케일의 보존은 필요 없고, 즉시 단계 S4에서 자기 위치 정보를 포함하는 방 배치 화상이 클라이언트에 송신되어, 도 7의 단계 S5, S6의 처리 대신에, 단계 S10에서 클라이언트측으로부터 이동할 목적의 방명, 또는 방 번호의 데이터를 수취하여, 단계 S11에서 목적의 방명, 또는 방 번호로부터, 미리 등록해 둔 각 방마다의 목표 위치, 예를 들면 방의 입구의 위치를 나타내는 대응표를 이용하여 목표 위치의 좌표가 얻어지고, 그 후 도 7과 마찬가지로 단계 S7∼S9의 처리가 실행된다.

도 8은, 도 7의 처리에서 원격지측의 클라이언트의 휴대 전화 등의 단말기에서의 방 배치도의 표시예이다. 도 8에서는 표시 화면 상에 방 배치도가 나타나고, 로봇의 현재 위치와 그 방향이 침실 상의 삼각 표시로, 또한 클라이언트로부터 지시되는 로봇의 이동 목표 위치가 리빙 상의 커서로 표시되어 있다.

다음으로, 예를 들면 도 7의 단계 S1에서의 로봇의 자기 위치의 취득, 즉 자기 위치 추정 방법에 대하여 설명한다. 본 실시예에서는, 미리 로봇에 의해서 건물 내의 각 방의 파노라마 화상을 촬영하여 등록해 놓고, 현재 로봇이 존재하는 방에서 촬영한 파노라마 화상과 비교함으로써, 로봇이 존재하는 방, 및 정확한 위치의 추정을 행하는 것으로 한다.

도 11은 미리 건물 내의 각 방의 파노라마 화상을 등록하는 경우의 파노라마 화상 촬영 방법의 설명도이다. 즉 준비 단계로서, 각 방에서 로봇을 방의, 예를 들면 중심에 설치하고, 예를 들면 30도의 스텝으로 카메라를 선회시켜 화상을 취득, 합성하고, 예를 들면 축소 처리를 행함으로써 360도의 파노라마 화상이 작성된다. 여기서 계산 등의 처리 시간을 단축하기 위해서, 전체를 압축하거나, 또한 너무나 선명한 화상으로는 위치를 추정할 때에 촬영한 화상과의 매칭 결과가 나쁘게 될 가능성이 있기 때문에, 평균화 처리를 행한다.

도 12는 로봇이 존재하는 방의 추정 처리의 흐름도이고, 도 13은 그 추정 처리에서 이용되는 화상 상관 연산의 설명도이다. 우선 도 12에서 처리가 개시되면, 단계 S20∼S22에서, 도 11에서 설명한 준비 단계로서의 파노라마 화상의 촬영과, 실제의 위치 추정 시에 사용되는 참조 템플릿의 작성이 행해진다.

다음으로, 예를 들면 도 7의 단계 S1에서의 로봇의 자기 위치의 취득, 즉 자기 위치 동정 방법에 대하여 설명한다. 본 실시예에서는, 미리 로봇에 의해서 건물 내의 각 방의 파노라마 화상을 촬영하여 등록해 놓고, 현재 로봇이 존재하는 방에서 촬영한 파노라마 화상과 비교함으로써, 로봇이 존재하는 방, 및 정확한 위치의 동정을 행하는 것으로 한다.

도 11은 미리 건물 내의 각 방의 파노라마 화상을 등록하는 경우의 파노라마 화상 촬영 방법의 설명도이다. 즉 준비 단계로서, 각 방에서 로봇을 방의, 예를 들면 중심에 설치하고, 예를 들면 30도의 스텝으로 카메라를 선회시켜 화상을 취득, 합성하고, 예를 들면 축소 처리를 행함으로써 360도의 파노라마 화상이 작성된다. 여기서 계산 등의 처리 시간을 단축하기 위해서, 전체를 압축하거나, 또한 너무나 선명한 화상으로는 위치를 동정할 때에 촬영한 화상과의 매칭 결과가 나쁘게 될 가능성이 있기 때문에, 평균화 처리를 행한다.

도 12의 단계 S23 이후의 처리는, 현재 로봇이 존재하는 방의 추정 처리를 도시한다. 우선 단계 S23에서 로봇이 현재 존재하는 방에 대하여 파노라마 화상이 촬영되고, 단계 S24에서 그 파노라마 화상이 축소되고, 또한 평균화 처리가 실시되며, 단계 S25 이후에 참조 템플릿과의 비교가 행해진다.

도 13의 아래의 도면은 로봇이 현재 존재하는 방의 잘려진 화상의 예이다. 현재 존재하는 방의 파노라마 화상에서, 잘라냄을 개시한 위치를 탐색 기준 위치로 하고, 탐색 범위로서 xrange개의 소 블록의 화상을 이용하여, n개의 방의 등록 화상과의 비교가 행해진다.

도 13의 위 도면은 이와 같이 소 블록으로서 잘려진 화상의 예이다. 예를 들면 n개의 방의 등록 화상으로서, 각각의 방의 파노라마 화상으로부터, k개의 소 블록의 화상이 각각 잘려진다.

도 12의 단계 S23 이후의 처리는, 현재 로봇이 존재하는 방의 동정 처리를 도시한다. 우선 단계 S23에서 로봇이 현재 존재하는 방에 대하여 파노라마 화상이 촬영되고, 단계 S24에서 그 파노라마 화상이 축소되고, 또한 평균화 처리가 실시되며, 단계 S25 이후에 참조 템플릿과의 비교가 행해진다.

도 13의 하의 도면은 로봇이 현재 존재하는 방의 잘려진 화상의 예이다. 현재 존재하는 방의 파노라마 화상에서, 잘라냄을 개시한 위치를 탐색 기준 위치로 하고, 탐색 범위로서 xrange개의 소 블록의 화상을 이용하여, n개의 방의 등록 화상과의 비교가 행해진다.

도 12의 단계 S25에서 등록되어 있는 모든 방에 대하여 처리가 행해지는지 의 여부가 판정되고, 아직 행해지고 있지 않은 경우에는 단계 S26에서 참조 블록 번호, 즉 도 13의 n개의 방의 각각에 대하여 등록되어 있는 잘려진 화상 k개에 대하여 아직 참조가 끝났는지의 여부가 판정된다.

끝나지 않은 경우에는 단계 S27에서 탐색 범위 번호, 즉 도 13의 현재 로봇이 존재하는 방의 파노라마 화상에서의 탐색 기준 위치로부터 xrange 화소의 탐색 범위에 대한 탐색이 끝났는지의 여부가 판정되고, 끝나지 않은 경우에는 단계 S28에서 확장 축소 번호, 즉 단계 S22에서 잘려진 소 블록 화상을 확대 또는 축소한 결과의 화상으로서의 n개의 화상 중에, 현재의 방의 화상과의 비교가 행해진 화상의 번호가 n에 달하는지의 여부가 판정된다.

아직 n에 달하지 않은 경우에는 단계 S29에서 참조 템플릿, 즉 처리의 대상으로 되어 있는 방의, 처리의 대상으로 되어 있는 소 블록 화상의, 처리의 대상으로 되어 있는 확장 축소 번호의 참조 템플릿과, 탐색 범위 번호에 의해서 지정되어 있는 현재의 방의 파노라마 화상과의 상관 연산이 행해진다. 그리고 단계 S30에서 확장 축소 번호가 인크리먼트되어, 단계 S28 이후의 처리가 반복된다.

단계 S28에서 확장 축소 번호가 n 이하가 아닌, 즉 n개의 확장 축소 번호의 화상에 대하여 처리가 종료됐다고 판정하면, 단계 S31에서 처리 중인 탐색 범위번호의 화상에 대하여 가장 상관 연산 결과가 작은 확장 축소 번호의 화상이 그 탐색 위치에서의 탐색 결과로 된 후에, 단계 S32에서 탐색 범위 번호의 값이 인크리먼트되고, 단계 S27 이후의 처리가 반복된다. 또 여기서는 상관 연산으로서, 예를 들면 화상마다의 농도의 차의 절대값에 상당하는 디스토션을 하는 것으로 하고, 그 값이 작을 수록 화상 사이의 매칭율이 커진다.

단계 S27에서 탐색 범위 번호가 xrange 이하가 아니라고 판정하면, 처리 중인 참조 블록 번호의 화상에 대한 비교가 종료한 것으로 되기 때문에, 단계 S33에 서 참조 블록 번호가 인크리먼트된 후에, 단계 S26 이후의 처리가 반복된다.

단계 S26에서 참조 블록 번호가 k 이하가 아니라고 판정하면, 처리 중인 방에 대한 비교가 종료한 것으로 되기 때문에, 단계 S34에서 그 방에 대한 상관 결과로서의 소블록 화상 k개와, 탐색 범위 xrange에 의해서 결정되는 이차원 매트릭스가 생성되고, 단계 S35에서 상관 연산의 연산 결과와 거리를 파라미터로 하여, 예를 들면 다이나믹 프로그래밍(DP) 매칭을 행함으로써 비용이 산출되고, 처리 중의 방에 대한 비용 최소값이 구해진다.

도 14, 도 15는, 도 12의 처리에서 로봇이 존재하는 방이 추정된 후에, 그 방 중에서 로봇의 위치를 추정하는 처리의 흐름도이다. 도 14는 로봇의 개략 위치의 추정 처리, 도 15는 정밀 위치의 추정 처리의 흐름도이다.

도 14에 있어서 처리가 개시되면, 우선 실제의 로봇의 위치의 추정에 앞서서, 단계 S40에서, 도 11에서 설명한 바와 같이 하여 촬영되어, 등록된 파노라마 화상 중에서 랜드 마크, 예를 들면 기둥이 선택되고, 그 화상 상의 위치와 실제의 방에서의 위치가 등록되며, 단계 S41에서 기둥의 화상이 파노라마 화상으로부터 잘려지고, 확장 축소 템플릿이 생성된다.

다음으로, 실제 로봇의 개략 위치의 추정 처리로서, 우선 단계 S42에서 로봇이 현재 존재하는 방, 즉 도 12의 처리에 의해서 추정된 방과 동일한 방의 기둥의 확장 축소 템플릿을 참조 화상으로 하여 상관 연산이 행해지고, 현재의 파노라마 화상 중의 기둥의 위치가 특정되고, 단계 S43에서 특정된 기둥의 위치까지의 로봇으로부터의 거리가 스테레오 시각에 의해 구해져, 로봇의 존재하는 개략적인 위치가 추정된다.

도 16은 이와 같이 하여 구해진 로봇의 위치의 설명도이다. 도 16에서는, 예를 들면 방의 4개의 코너의 기둥으로부터의 거리가 단계 S43에서 구해지고, 각각의 거리에 상당하는 원호의 교점에 상당하는 사각형의 내부가 로봇의 개략적인 위치의 추정 결과로서 요구된다.

도 15는, 도 14에서 요구된 로봇의 개략 위치로부터 더욱 정밀 위치를 추정하는 처리의 흐름도이다. 도 15에서 처리가 개시되면, 우선 단계 S45에서 기둥의 화상으로부터 종선, 즉 기둥의 엣지를 추출하기 위해서 (1)에서 엣지의 추출, (2)에서 2치화, (3)에서 세로 방향으로 투영한 히스토그램이 구해진다. 세로 방향으로 투영한 막대그래프란, 세로 방향으로 검출되는 엣지 중에서, 예를 들면 책상처럼 높이가 낮은 것의 엣지는 그 막대그래프의 값이 작아지기 때문에, 최대값을 갖는 엣지를 기둥의 엣지로서 구하는 것이고, 이것에 의해서 기둥의 엣지가 추출된다.

다음으로, 실제 로봇의 개략 위치의 동정 처리로서, 우선 단계 S42에서 로봇이 현재 존재하는 방, 즉 도 12의 처리에 의해서 동정된 방과 동일한 방의 기둥의 확장 축소 템플릿을 참조 화상으로 하여 상관 연산이 행해지고, 현재의 파노라마 화상 중의 기둥의 위치가 특정되고, 단계 S43에서 특정된 기둥의 위치까지의 로봇으로부터의 거리가 스테레오 시각에 의해 구해져, 로봇의 존재하는 개략적인 위치가 동정된다.

도 16은 이와 같이 하여 구해진 로봇의 위치의 설명도이다. 도 16에서는, 예를 들면 방의 4개의 코너의 기둥으로부터의 거리가 단계 S43에서 구해지고, 각각의 거리에 상당하는 원호의 교점에 상당하는 사각형의 내부가 로봇의 개략적인 위치의 동정 결과로서 요구된다.

도 16의 사각형 내의 삼각형이, 도 15의 처리에 의해서 추정된 로봇의 현재의 정밀한 위치와 방향을 나타낸다. 이와 같이 추정된 로봇의 위치와 방향의 데이터가 필요에 따라서, 예를 들면 도 2의 무선 통신부(15)에 의해서 클라이언트측에 통지된다.

이어서, 단계 S46에서 추출된 종선, 즉 기둥의 엣지와 2개의 카메라의 각각의 촬영 방향이 이루는 각도가 구해진다.

그리고 단계 S47에서, 방 안에서의 로봇이 존재하는 위치와 방향을 정밀하게 구하기 위해서, 방 안에서 매트릭스 형상으로 가상적인 포인트가 설정되고, 각 포인트에서 로봇의 방향을 파라미터로 하여, 그 로봇의 위치와 자세에 대응하는 기둥의 종선과 2개의 카메라의 촬영 방향이 이루는 각도가 구해지고, 단계 S46에서 구해진 각도의 값과의 차에 대응하는 값이 비용으로서 산출되고, 단계 S48에서 그 비용이 최소로 되는 위치와 방향이 로봇의 현재의 위치와 방향이 정밀한 값으로서 구해져 처리를 종료한다.

도 16의 사각형 내의 삼각형이, 도 15의 처리에 의해서 동정된 로봇의 현재의 정밀한 위치와 방향을 나타낸다. 이와 같이 동정된 로봇의 위치와 방향의 데이터가 필요에 따라서, 예를 들면 도 2의 무선 통신부(15)에 의해서 클라이언트측에 통지된다.

다음으로, 도 10에 이어서 원격 조작 로봇에 관한 실시예에 대하여 더욱 설명한다. 도 17은 조작 로봇의 원격지로의 긴급 연락 처리의 흐름도이다. 도 4에 서 설명한 바와 같이 로봇은 긴급 버튼을 구비하고 있고, 예를 들면 건물의 거주자가 원격지에 긴급 사태를 연락하고 싶은 경우에 긴급 버튼을 누름으로써, 원격지로 연락이 행해진다.

즉, 도 17에서 처리가 개시되면, 단계 S50에서 긴급 버튼이 감시되고, 단계 S51에서 긴급 버튼이 눌러졌는지의 여부가 판정되어, 눌러지지 않은 경우에는 단계 S50 이후의 처리가 반복되고, 눌러진 경우에는 단계 S52에서 미리 등록된 연락처에 전자 메일, 혹은 전화 등의 방법에 의해 긴급 사태가 통지되어, 처리를 종료한다.

다음으로, 본 실시예에서, 로봇에 의해서 촬영된 건물 내, 예를 들면 방의 화상을 원격지측으로부터 확인하는 방법에 대하여, 도 18 및 도 19를 이용하여 설명한다. 도 18에서는, 예를 들면 로봇(80)이 정기적으로 건물 내를 순회하고, 촬영한 각 방의 화상을, 무선 LAN을 통하여 Web 서버를 구비하는 서버 계산기(81)에 송신하고, 원격지측으로부터는 이 Web 서버에 액세스함으로써, 화상을 참조하는 것이 가능하게 된다.

즉, 서버 계산기(81)의 내부에는, 로봇(80)으로부터 송신된 화상 데이터를 수취하는 소켓 서버(82)와 Web 서버(83)가 구비되고, 로봇(80)으로부터 송신된 화상은 Web 서버(83) 내에서 외부로부터 참조 가능한 폴더의 내부에 축적된다. 원격지측에서는 Web 브라우저(24)에 의해서 인터넷(25)을 통해 화상 취득 명령을 Web 서버(83)에 보내고, Web 서버(83)로부터 인터넷(25)을 통해 송신된 화상의 표시를 행하게 된다.

또한, 이 경우 예를 들면 도 6에서는 통신 모듈(62)로서 LAN 카드 등이 커넥 터에 끼워져 사용된다.

도 19에서는, 도 3에서와 마찬가지로, 로봇 제어용 계산기(10) 내부에 Web 서버(21)가 구비되고, Web 브라우저(24)는 인터넷(25)을 통해 Web 서버(21)에 액세스함으로써 화상을 참조할 수 있다. 여기서는, 예를 들면 PHS 카드 등이 도 6의 통신 모듈(62)로서 커넥터에 끼워지게 된다.

또한, 인터넷(25)을 통해 로봇측에 링거 신호가 소정의 횟수만큼 착신한 시점에, Web 서버(21)를 기동하고, 외부로부터의 액세스를 가능하게 할 수도 있다.

본 발명은 인터넷 경유로 가정 전기 제품을 조작하거나, 빈 집의 상황을 원격지로부터 모니터하는 기능이나, 로봇의 자기 위치의 정확한 추정 방법을 제공하는 것으로, 원격 조작 로봇을 이용하는 모든 산업, 및 정밀 로봇의 자기 위치의 추정을 필요로 하는 산업 등에 이용하는 것이 가능하다. 구체적으로는 가정 전기 산업, 빌딩 관리업 등, 여러가지 산업에 이용하는 것이 가능하다.

이상, 상세히 설명한 바와 같이, 본 발명에 따르면 원격지측의 단말기 상에 표시된, 예를 들면 방 배치도 상에서 이동 목적지를 지시함으로써, 원격 조작 로봇을 그 목적지로 이동시키는 것이 가능하게 된다.

또한, 원격 단말기측으로부터 건물 내의 화상을 확인하거나, 미리 프로그램된 움직임을 원격지측으로부터 로봇에 실행시키는 것도, 또한 건물의 거주자가 긴 급 연락을 행하는 것도 가능하게 된다.

본 발명은 인터넷 경유로 가정 전기 제품을 조작하거나, 빈 집의 상황을 원격지로부터 모니터하는 기능이나, 로봇의 자기 위치의 정확한 동정 방법을 제공하는 것으로, 원격 조작 로봇을 이용하는 모든 산업, 및 정밀 로봇의 자기 위치의 동정을 필요로 하는 산업 등에 이용하는 것이 가능하다. 구체적으로는 가정 전기 산업, 빌딩 관리업 등, 여러가지 산업에 이용하는 것이 가능하다.

Claims (16)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 원격지로부터 조작이 가능한 원격 조작 로봇에 있어서,

    해당 로봇의 1개 이상의 동작에 대응하는 각각의 스크립트의 프로그램을 저장하는 스크립트 저장 수단과,

    해당 스크립트 저장 수단에 저장되어 있는 프로그램 중 어느 하나의 실행 지시를 외부로부터 수취하는 통신 수단

    을 포함하는 것을 특징으로 하는 원격 조작 로봇.
12. 삭제
13. 삭제
14. 화상 촬영 방향을 변화시킬 수 있는 카메라를 탑재한 로봇의 자기 위치 추정 방법에 있어서,

    미리 해당 로봇이 이동할 가능성이 있는 각 방의 파노라마 화상을 촬영하는 단계와,

    해당 파노라마 화상으로부터 복수의 블록 화상을 잘라내어 참조 화상을 작성하는 단계와,

    로봇이 존재하는 위치에서 촬영한 파노라마 화상 내에서 해당 블록 화상과 동일한 크기의 화상과, 해당 참조 화상을 이용하여, 상관 연산과 DP 매칭에 의해 로봇이 존재하는 방을 식별하는 단계

    를 포함하는 것을 특징으로 하는 로봇 자기 위치 추정 방법.
15. 제14항에 있어서,

    상기 식별된 방 내의 랜드마크 중에, 미리 촬영되어 있는 랜드마크의 화상을 참조 템플릿으로 하여, 로봇이 존재하는 위치에서 촬영된 화상과의 상관 연산을 행하여, 해당 랜드마크의 해당 촬영 화상 상에서의 위치를 구하는 단계와,

    복수의 랜드마크까지의 거리를 스테레오 시각에 의해 계측하고, 해당 식별된 방 내에서의 자기의 위치와 방향을 추정하는 단계

    를 더 포함하는 것을 특징으로 하는 로봇 자기 위치 추정 방법.
16. 제15항에 있어서,

    상기 촬영되어 있는 랜드마크의 화상 내의 종선을 추출하는 단계와,

    2개의 카메라의 촬영 방향과 해당 종선의 방향이 이루는 2개의 각과, 로봇의 위치와 방향을 가정하여 2개의 카메라의 촬영 방향과 해당 랜드마크의 방향이 이루는 2개의 각을 계산한 결과 사이의 차에 대응하는 비용을 구하는 단계와,

    해당 가정한 위치와 방향을 변화시키고, 상기 비용이 가장 작아지는 가정의 위치와 방향을 로봇의 위치와 방향으로서 추정하는 단계

    를 더 포함하는 것을 특징으로 하는 로봇 자기 위치 추정 방법.

Images