KR20230103063A - 로봇 및 그 제어 방법 - Google Patents

Abstract

로봇이 개시된다. 로봇은 본체, 상기 본체의 상이한 위치에 배치된 복수의 카메라, 상기 복수의 상이한 위치에 배치된 복수의 소리 감지 센서, 통신 인터페이스 및, 상기 복수의 카메라를 통해 획득된 복수의 촬영 영상을 상기 통신 인터페이스를 통해 사용자 단말로 전송하는 프로세서를 포함하며, 상기 프로세서는, 상기 복수의 소리 감지 센서 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면, 상기 구조 요청 소리가 발생되는 위치를 식별하고, 상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어할 수 있다.

Description

로봇 및 그 제어 방법 { Robot and control method thereof }

본 발명은 로봇 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 소리를 감지하는 로봇 및 그 제어 방법에 관한 것이다.

다양한 목적의 로봇이 공장, 가정에도 배치되고 있으며, 이러한 로봇은 외부 객체를 파지하여 일 위치에서 타 위치로 이동시키거나, 운반하는 동작을 수행할 수 있다.

최근에는 재난 현장 지원을 위한 재난 지원 로봇로 개발되고 있다. 다만, 현재 출시되는 재난 지원 로봇을 인명 구조할 수 있는 능동적인 기능을 하지 못한다는 문제점이 있었다.

본 발명은 상술한 필요성에 의해 안출된 것으로, 본 발명의 목적은 재난 현장에서 복수의 소리 센서를 이용하여 구조 요청 소리를 감지하고 소리가 감지된 위치를 촬영하는 로봇 및 그 제어 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 로봇은, 본체, 상기 본체의 상이한 위치에 배치된 복수의 카메라, 상기 본체의 상이한 위치에 배치된 복수의 소리 감지 센서, 통신 인터페이스 및, 상기 복수의 카메라를 통해 획득된 복수의 촬영 영상을 상기 통신 인터페이스를 통해 사용자 단말로 전송하는 프로세서를 포함하며, 상기 프로세서는, 상기 복수의 소리 감지 센서 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면, 상기 구조 요청 소리가 발생되는 위치를 식별하고, 상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어한다.

또한, 상기 복수의 카메라 중 특정 위치에 배치된 카메라는, 상기 로봇의 중앙에 배치된 메인 카메라이고, 상기 복수의 카메라 중 나머지 카메라는, 전방 및 후방을 촬영하도록 배치된 카메라이며, 상기 프로세서는, 상기 메인 카메라를 상기 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 상기 식별된 위치를 촬영할 수 있다.

또한, 상기 복수의 소리 감지 센서는, 상기 메인 카메라를 기준으로 기 설정된 각도 간격으로 배치되어 상이한 방향의 소리를 감지할 수 있다.

또한, 상기 프로세서는, 상기 복수의 소리 감지 센서를 통해 획득된 소리의 크기에 기초하여 상기 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

또한, 상기 프로세서는, 상기 복수의 소리 감지 센서를 통해 획득된 소리에서 노이즈를 제거하고, 노이즈가 제거된 소리에 포함된 음성의 특성에 기초하여 상기 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

또한, 상기 프로세서는, 상기 복수의 소리 감지 센서를 통해 획득된 소리를 학습된 인공 지능 모델에 입력하여 상기 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

또한, 상기 프로세서는, 실종자의 음성 정보 또는 실종자의 외형 정보 중 적어도 하나에 기초하여 실종자의 위치가 식별되면, 상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어하고, 실종자가 식별되었음을 알리는 정보를 상기 사용자 단말로 전송할 수 있다.

이 경우, 상기 사용자 단말은, 상기 촬영 영상이 표시되는 화면에 실종자가 식별되었음을 인디케이팅하는 비주얼 알림 또는 실종자의 외형 정보가 식별되었음을 나타내는 텍스트 정보 중 적어도 하나를 제공할 수 있다.

한편, 일 실시 예에 따른 본체, 상기 본체의 상이한 위치에 배치된 복수의 카메라 및 상기 본체의 상이한 위치에 배치된 복수의 소리 감지 센서를 포함하는 로봇의 제어 방법은, 상기 복수의 소리 감지 센서 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면, 상기 구조 요청 소리가 발생되는 위치를 식별하는 단계, 상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어하는 단계 및, 복수의 카메라를 통해 획득된 복수의 촬영 영상을 사용자 단말로 전송하는 단계를 포함한다.

또한, 상기 복수의 카메라 중 특정 위치에 배치된 카메라는, 상기 로봇의 중앙에 배치된 메인 카메라이며, 상기 식별된 위치를 촬영하도록 제어하는 단계는, 상기 메인 카메라를 상기 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 상기 식별된 위치를 촬영할 수 있다.

또한, 상기 복수의 소리 감지 센서는, 상기 메인 카메라를 기준으로 기 설정된 각도 간격으로 배치되어 상이한 방향의 소리를 감지할 수 있다.

또한, 상기 구조 요청 소리가 발생되는 위치를 식별하는 단계는, 상기 복수의 소리 감지 센서를 통해 획득된 소리의 크기에 기초하여 상기 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

상술한 다양한 실시 예에 따르면, 로봇이 구조 요청 소리를 자동으로 탐지할 수 있게 된다. 또한, 로봇을 원격 조정하여 사람이 직접 들어가기 힘든 공간에 로봇을 들여 보낼 수 있으므로, 인명 구조에 유용하게 이용될 수 있다. 또한, 늦은 새벽 조용한 구역을 방범, 순찰 하는데 유용하게 이용될 수 있다. 또한, 사람의 발길이 닿지 않은 탐사 지역에 로봇을 사전 답사로 활용할 수 있게 된다.

도 1은 일 실시 예에 따른 로봇 제어 시스템을 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 로봇의 구성을 나타내는 블럭도이다.
도 3은 일 실시 예에 따른 사용자 단말의 구성을 나타내는 블럭도이다.
도 4는 일 실시 예에 따른 로봇 제어 방법을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 소리 감지 센서 및 카메라 제어 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 로봇의 실 구현 예를 설명하기 위한 도면이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 발명의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 보다 상세하게 설명한다.

본 개시에서 '사용자' 는 로봇에게 서비스를 제공받는 사람을 의미할 수 있으나, 이에 한정되는 것은 아니다.

도 1은 일 실시 예에 따른 로봇 제어 시스템을 설명하기 위한 도면이다.

도 1에 따르면 로봇 제어 시스템은 로봇(100) 및 사용자 단말(200)을 포함한다.

로봇(100)은 스스로 일 기능을 수행하는 능력을 가진 다양한 형태의 기계를 의미할 수 있다. 일 예로, 로봇은 단순 반복 기능 외에 센서, 카메라 등을 기반으로 실시간으로 주변 환경을 감지하고, 정보를 수집하여 자율적으로 동작하는 스마트 기계를 의미할 수도 있다. 일 예에 따른 로봇(100)은 인간의 손가락과 같이 외부 객체를 파지하거나 또는 이동시킬 수 있는 그리퍼(또는 robot hand)를 포함할 수 있다.

일 실시 예에 따른 로봇(100)은 재난 지원 로봇으로 구현될 수 있다. 재난 지원 로봇은 지진, 화재, 건물 붕괴, 가스 누출 현장 등과 같은 다양한 재난 현장 뿐 아니라, 치안/방범이 필요한 상황 등 인명 구조가 요구되는 다양한 상황에서 이용될 수 있다. 다만, 이는 일 예에 불과할 뿐 본 발명의 다양한 실시 예가 적용 가능하다면, 다른 분야에서도 이용될 수 있음은 물론이다. 일 예에 따라 로봇(100)는 실(Live) 환경 또는/ 및 가상(virtual) 재난 환경 시스템을 기반으로 훈련될 수 있다.

사용자 단말(200)은 로봇(100)과 통신 연결되면, 로봇(100)에 장착된 카메라를 통해 획득된 촬영 영상을 수신하여 표시하고, 제어 UI 화면을 통해 입력된 제어 명령을 로봇(100)으로 전송하여 로봇(100)을 제어할 수 잇다.

여기서, 사용자 단말(200)은, 원격 제어 장치, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱 등의 장치일 수 있으나, 이에 제한되지 않는다. 일 예에 따라 사용자 단말(200)는 적외선 통신을 이용하여 로봇(100)을 제어하도록 구현될 수 있다.

사용자 단말(200)은 웹 페이지에 접속하여 로그인하거나, 어플리케이션을 통해 로그인 하여 사용자 계정에 접속하여 서버와 통신을 수행할 수 있다. 예를 들어, 사용자 단말(200)은 로봇(100)에 대한 제어 권한을 가지는 사용자 계정에 접속할 수 있다.

서버는 모든 네트워크 시스템에서 각종 운영 체계와 어플리케이션(application) 간의 상호 작용을 담당하는 중앙 서버(또는 통합 서버) 또는 클라우드 컴퓨팅 기술을 이용하는 클라우드 서버 등으로 구현될 수 있다. 여기서, 클라우드 컴퓨팅(cloud computing)은 인터넷 기반의 컴퓨팅 기술을 의미하는 것으로, 인터넷 상의 유틸리티 데이터 서버(utility data server)에 프로그램을 두고 그때 그때 컴퓨터나 휴대폰 등에 불러와서 사용하는 웹에 기반한 소프트웨어 서비스이다.

도 2는 일 실시 예에 따른 로봇의 구성을 나타내는 블럭도이다.

도 2에 따르면, 로봇(100)은 본체(110), 카메라(120), 복수의 센서(130), 통신 인터페이스(140), 구동부(150), 메모리(160) 및 프로세서(170)를 포함할 수 있다. 일 예에 따라 로봇(100)은 사륜 로봇으로 구현될 수 있으나, 이에 한정되는 것은 아니다.

본체(110)는 바디부 및 암부를 포함할 수 있다. 바디부는 로봇(100)의 외형을 형성하는 하드웨어로 로봇(100)의 구현 예에 따라 상측 바디부, 하측 바디부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

암부는 그리퍼(gripper) 및 암(arm)를 포함할 수 있다. 암부는 인간의 팔과 유사한 형태일 수 있으며, 일 예에 따라 어깨, 팔꿈치, 팔뚝, 그리고 손목을 가질 수 있다. 암부는 기능에 맞는 다양한 타입으로 구현 가능라며, 타입 별로 암이 작동할 수 있는 기능 및 이동 범위에 영향을 미칠 수 있다. 일 실시 예에 따라 암은 관절형 암으로 구현될 수 있다. 관절형 암은 보유한 축 또는 회전 지점의 수에 따라 분류될 수 있다. 예를 들어, 4축, 6축 및 7축 관절형 암으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 데카르트/직선 로봇 암, 원통형 로봇 암, 구형/폴라 로봇 암, SCARA 로봇 암 등으로 구현될 수 있으나 이에 한정된는 것은 아니다.

복수의 카메라(120)는 오브젝트에 의해 반사되어 수신되는 가시광 기타 광학 신호를 이미지 센서로 포커싱하는 렌즈 및 가시광 기타 광학 신호를 감지할 수 있는 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는 복수의 픽셀로 구분되는 2D의 픽셀 어레이를 포함할 수 있으며, 일 예에 따른 카메라는 뎁스 카메라로 구현될 수 있다.

복수의 카메라(120)는 본체(110) 상에서 복수의 상이한 위치에 배치될 수 있다. 일 예에 따라 복수의 카메라(120)는 본체(110)의 중앙에 배치된 메인 카메라 및 전면, 후면에 배치된 카메라들을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며 좌측면, 우측면 등에도 카메라가 배치되는 것도 가능하다. 여기서, 중앙에 배치되는 메인 카메라는 잠만경의 원리와 유사하게 사방을 볼수 있는 카메라일 수 있으나 이에 한정되는 것은 아니다.

또한, 복수의 카메라(120)는 적외선 카메라를 포함하거나, 적외선 모드로 동작 가능한 카메라를 포함하여, 어두운 현장을 적외선 촬영할 수 있도록 할 수 있다.

복수의 소리 감지 센서(130)는 공기의 진동을 감지하여 그에 대응되는 전압을 출력하는 센서일 수 있다.

복수의 소리 감지 센서(130)는 본체(110) 상에서 복수의 상이한 위치에 배치될 수 있다. 중앙에 배치된 메인 카메라를 기준으로 기 설정된 각도 간격으로 배치될 수 있다. 예를 들어 정면 기준 +-30°기준부터 시작하여 30°간격으로 소리 감지 센서가 배치될 수 있다. 예를 들어 30°간격으로 10 방향으로 배치되어 전 방향 소리는 감지할 수 있도록 배치될 수 있으나, 이에 한정되는 것은 아니다.

그 밖에 로봇은 다양한 타입의 센서를 더 포함할 수 있다. 센서는 물리량을 계측하거나 로봇(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 다양한 타입의 센서는 라이더(LIDAR, Light Detection And Ranging) 센서 및 TOF(Time of flight) 센서와 같은 거리 센서, 충돌 감지 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서, 가스 센서, 압력 센서 중 적어도 하나를 포함할 수도 있다.

통신 인터페이스(140)는 로봇(100)의 구현 예에 따라 다양한 인터페이스로 구현될 수 있음은 물론이다. 예를 들어 통신 인터페이스(160)는 블루투스(Bluetooth), AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, 적외선 통신 등과 같은 통신 방식을 통해 사용자 단말(200)과 통신을 수행할 수 있다.

구동부(150)는 로봇(100)을 주행시킬 수 있는 장치이다. 구동부(150)는 프로세서(170)의 제어에 따라 주행 방향 및 주행 속도를 조절할 수 있으며, 일 예에 따른 구동부(150)는 로봇(100)이 주행하기 위한 동력을 발생시키는 동력발생장치(예: 사용 연료(또는 에너지원)에 따라 가솔린 엔진(engine), 디젤 엔진, LPG(liquefied petroleum gas) 엔진, 전기 모터 등), 주행 방향을 조절하기 위한 조향 장치(예: 기계식 스티어링(manual steering), 유압식 스티어링(hydraulics steering), 전자식 스티어링(electronic control power steering; EPS) 등), 동력에 따라 로봇(100)을 주행시키는 주행 장치(예: 바퀴, 프로펠러 등) 등을 포함할 수 있다. 여기서, 구동부(150)는 로봇(100)의 주행 타입(예: 휠 타입, 보행 타입, 비행 타입 등)에 따라 변형 실시될 수 있다.

메모리(160)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(160)는 데이터 저장 용도에 따라 로봇(100)에 임베디드된 메모리 형태로 구현되거나, 로봇(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 로봇(100)의 구동을 위한 데이터의 경우 로봇(100)에 임베디드된 메모리에 저장되고, 로봇(100)의 확장 기능을 위한 데이터의 경우 로봇(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 로봇(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 로봇(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

적어도 하나의 프로세서(170)는 로봇(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(170)는 로봇(100)의 각 구성과 연결되어 로봇(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(170)는 구동부(150) 및 메모리(160)와 전기적으로 연결되어 로봇(100)의 전반적인 동작을 제어할 수 있다. 프로세서(170)는 하나 또는 복수의 프로세서로 구성될 수 있다. 예를 들어, 후술하는 다양한 기능(예를 들어, 맵 생성, 경로 플래닝)은 하나의 프로세서에 의해 수행될 수도 있으나, 복수의 프로세서에 의해 각기 다른 기능이 수행될 수도 있다.

프로세서(170)는 메모리(160)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 로봇(100)의 동작을 수행할 수 있다.

일 실시 예에 따라 프로세서(170)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), NPU(Neural Processing Unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)) 등 다양한 이름으로 명명될 수 있으나, 본 명세서에서는 프로세서(170)로 기재한다.

프로세서(170)는 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(170)는 SRAM 등의 휘발성 메모리를 포함할 수 있다.

일 실시 예에 따르면, 프로세서(170)는 복수의 카메라(120)를 통해 획득된 복수의 촬영 영상을 통신 인터페이스(140)를 통해 사용자 단말(200)로 전송할 수 있다.

또한, 프로세서(170)는 복수의 소리 감지 센서(130) 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면, 구조 요청 소리가 발생되는 위치를 식별하고, 복수의 카메라(120) 중 특정 위치에 배치된 카메라가 식별된 위치를 촬영하도록 제어할 수 있다. 여기서, 특정 위치에 배치된 카메라는 로봇(100)의 중앙에 배치된 메인 카메라일 수 있다.

구체적으로, 프로세서(170)는 메인 카메라를 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 식별된 위치를 촬영하도록 제어할 수 있다. 일 에에 따라 메인 카메라를 300°까지 회전이 가능하도록 구현될 수 있다.

다만, 경우에 따라 본체(100)를 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 식별된 위치를 촬영하도록 제어하는 것도 가능하다.

일 실시 예에 따라 프로세서(170)는 복수의 소리 감지 센서(130) 각각을 통해 획득된 소리의 크기에 기초하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다. 예를 들어, 로봇(100)이 밤 거리를 순찰하는 기능을 수행하는 경우 소리의 크기에 기초하여 구조 요청 소리를 판단할 수 있다.

다른 실시 예에 따라 프로세서(170)는 복수의 소리 감지 센서(130) 각각을 통해 획득된 소리에서 노이즈를 제거하고, 노이즈가 제거된 소리에 포함된 음성의 특성에 기초하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다. 예를 들어, 로봇(100)이 재난 현장에 투입된 경우 복수의 소리 감지 센서(130) 각각을 통해 획득된 소리에서 재난 현장에서 발생되는 노이즈를 제거하고, 노이즈가 제거된 소리에 포함된 음성의 특성에 기초하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다. 예를 들어, 프로세서(170)는 노이즈가 제거된 소리에 포함된 음성이 구조를 요청하는 특정 텍스트(살려주세요, 도와주세요 등)에 대응된다고 식별되는지 여부를 판단할 수 있다. 이 경우, 프로세서(170)는 음성 인식 모듈을 이용하여 노이즈가 제거된 소리에 대한 음성 인식을 수행하여 텍스트를 획득할 수 있다.

다른 실시 예에 따라 프로세서(170)는 복수의 소리 감지 센서(130)를 통해 획득된 소리를 학습된 인공 지능 모델에 입력하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다. 이 경우, 인공 지능 모델은 소리 데이터가 입력되면, 해당 소리 데이터에 구조 요청 소리가 포함되어 있는지 여부를 판단하도록 학습된 모델일 수 있다.

일 예에 따라 인공 지능 모델은 CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

일 실시 예에 따르면, 인공 지능 모델은 입력 훈련 데이터 및 출력 훈련 데이터 쌍에 기초하여 학습되거나, 입력 훈련 데이터에 기초하여 학습될 수 있다. 여기서, 인공 지능 모델이 학습된다는 것은, 기본 인공 지능 모델(예를 들어 임의의 랜덤한 파라미터를 포함하는 인공 지능 모델)이 학습 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 전자 장치(100)를 통해 이루어질 수 있으나, 이에 한정되는 것은 아니며 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다. 다만, 이는 지도 학습의 경우를 예를 든 것이며, 입력 데이터 만을 입력하여 인공 지능 모델을 학습시키는 비지도 학습에 기초하여 인공 지능 모델을 학습시킬 수 있음은 물론이다.

다른 실시 예에 따라 프로세서(170)는 기 입력되거나, 사용자 단말(200)로부터 수신된 실종자 정보에 기초하여 인명 구조 작업을 수행하는 것도 가능하다. 여기서, 실종자 정보는 실종자의 프로필 정보(나이, 성별 등), 실종자의 음성 정보 또는 실종자의 외형 정보 중 적어도 하나를 포함할 수 있다. 실종자의 외형 정보는 실종자의 옷 색상 정보, 악세사리 정보 등 실종자의 외형을 식별할 수 있는 다양한 타입의 정보를 포함할 수 있다.

예를 들어, 프로세서(170)는 복수의 소리 감지 센서(130)를 통해 획득된 소리 중 실종자 음성과 유사한 음성이 식별되면, 메인 카메라가 식별된 위치를 촬영하도록 제어할 수 있다. 이 경우, 프로세서(170)은 기존의 음성 비교 알고리즘을 이용하여 복수의 소리 감지 센서(130)를 통해 획득된 소리 각각을 실종자 음성과 비교할 수 있다.

또한, 프로세서(170)는 실종자 음성과 유사한 음성이 식별되었음과 해당 위치가 메인 카메라를 통해 촬영되고 있음을 알리는 정보를 사용자 단말(200)로 전송할 수 있다. 이 경우, 사용자 단말(200)은 메인 카메라의 촬영 영상을 표시하는 화면에 알림을 제공할 수 있다. 여기서, 알림은 실종자 음성과 유사한 음성이 식별되었음을 나타내는 텍스트 정보, 또는 기 정의된 알림 중 적어도 하나를 포함할 수 있다.

또한, 프로세서(170)는 실종자의 외형 정보가 특정 카메라의 촬영 영상에서 식별된 경우 해당 정보가 식별되었음을 알리는 정보를 사용자 단말(200)로 전송할 수 있다. 이 경우, 사용자 단말(200)은 해당 촬영 영상을 표시하는 화면에 알림을 제공할 수 있다. 여기서, 알림은 해당 촬영 영상에서 실종자의 외형 정보가 식별된 영역을 인디케이팅하는 비주얼 알림(예를 들어, 붉은 색과 같은 특정 색상의 테두리 표시로 강조) 또는 실종자의 외형 정보가 식별되었음을 나타내는 텍스트 정보 중 적어도 하나를 포함할 수 있다. 다만, 실종자의 외형 정보가 특정 카메라의 촬영 영상에서 식별된 경우 메인 카메라가 식별된 위치를 촬영하도록 제어하는 것도 가능함은 물론이다.

한편, 로봇(100)은 상술한 인명 구조 모드 뿐 아니라, 자율 조종 모드로 동작 가능하다. 예를 들어, 상술한 소리 탐지 또는/및 카메라 자동 회전 동작을 하지 않고 사용자 단말(100)의 조작에 따라 조종될 수 있다.

도 3은 일 실시 예에 따른 사용자 단말의 구성을 나타내는 블럭도이다.

도 3에 따르면, 사용자 단말(200)은 디스플레이(210), 사용자 인터페이스(22O), 통신 인터페이스(230) 및 프로세서(240)를 포함할 수 있다. 일 예에 따라 사용자 단말(200)은 적외선 통신을 이용하여 로봇(100)을 제어하는 리모콘으로 구현될 수 있으나, 이에 한정되는 것은 아니다.

디스플레이(210)는 자발광 소자를 포함하는 디스플레이 또는, 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다.

사용자 인터페이스(220)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린 등으로 구현될 수 있다.

통신 인터페이스(230)는 사용자 단말(200)의 구현 예에 따라 다양한 인터페이스로 구현될 수 있음은 물론이다. 예를 들어 통신 인터페이스(230)는 블루투스(Bluetooth), AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN(Wide Area Network), 이더넷(Ethernet), IEEE 1394, 적외선 등과 같은 통신 방식을 통해 로봇(100), 서버 등과 통신을 수행할 수 있다.

일 실시 예에 따르면, 프로세서(230)는 로봇(100)으로부터 수신된 촬영 영상을 디스플레이(110)를 통해 표시할 수 있다. 이 경우 사용자는 로봇(100)의 재난 현장을 실시간으로 모니터링하고 로봇(100)의 동작을 제어할 수 있다. 예를 들어, 프로세서(230)는 근적외선이 멀고 어두운 영역의 디테일을 살리고 가시광 영상이 색채를 보존한다는 서로의 장점을 이용하여 영상 합성을 통해 가시성이 우수한 영상을 획득하는 것도 가능하다.

또한, 프로세서(230)는 로봇(100)을 제어하기 위한 제어 UI 화면을 디스플레이(110)를 통해 표시할 수 있다. 이 경우, 프로세서(230)는 사용자 인터페이스(210)를 통해 제어 UI 화면에 제어 메뉴에 대한 사용자 명령에 기초하여 로봇(100)을 제어하기 위한 제어 명령을 로봇(100)으로 전송할 수 있다.

다른 실시 예에 따르면, 프로세서(230)는 로봇(100)으로부터 수신된 촬영 영상을 학습된 인공 지능 모델을 이용하여 재난 현장에 대한 정보를 획득하고, 획득된 정보에 기초하여 특정 상황인 것으로 판단되면 알림 메시지를 제공할 수 있다. 이 경우, 인공 지능 모델은 사용자 단말(200)에 저장되어 있을 수도 있으나, 외부 서버에 저장되는 것도 가능하다. 이 경우, 프로세서(230)는 촬영 영상을 외부 서버로 전송하고, 외부 서버로부터 로봇(100)의 재난 현장에 대한 정보 또는 알림 메시지를 수신할 수 있다. 여기서, 알림 메시지는 디스플레이(110)를 통한 비주얼 알림, 스피커를 통한 오디오 알림, 진동 알림 등을 통해 제공될 수 있다.

그 밖에 사용자 단말(200)은 메모리, 스피커, 마이크 등과 같은 일반적인 구성을 더 포함할 수 있다.

도 4는 일 실시 예에 따른 로봇 제어 방법을 설명하기 위한 도면이다.

도 4에서는 설명의 편의를 위하여 로봇(100)이 사륜 로봇으로 구현되는 경우를 상정하였다.

도 4에 따르면, 사용자의 제어 신호에 기초하여 사륜 로봇에 포함된 4개의 바퀴의 구동 상태를 제어할 수 있다. 예를 들어, 도시된 바와 같이 바퀴에 동력을 제공하는 모터를 제어하여 바퀴의 구동 상태를 제어할 수 있다.

도 5는 일 실시 예에 따른 소리 감지 센서 및 카메라 제어 방법을 설명하기 위한 도면이다.

도 5에서는 설명의 편의를 위하여 로봇(100)에 10 개의 소리 센서가 구비되는 경우를 상정하였다.

도 5에 따르면, 10 개의 소리 감지 센서를 통해 감지된 소리를 분석하여 구조 요청 소리가 발생된 위치를 식별하고, 식별된 위치를 촬영하도록 중앙에 배치된 메인 카메라를 회전시킬 수 있다.

도 6은 일 실시 예에 따른 로봇의 실 구현 예를 설명하기 위한 도면이다.

도 6에 따르면, 10개의 소리센서(LM386)을 통해 소리를 탐지하고, 프로세서(예를 들어, 아두이노)를 통해 가장 큰 아날로그값을 계산한 후, 그 방향에 따라 중앙 카메라가 부착된 모터(AX-12A)를 회전시킬 수 있다.

도 7은 일 실시 예에 따른 로봇의 제어 방법을 설명하기 위한 흐름도이다.

도 7에 도시된 로봇의 제어 방법은 본체, 본체의 상이한 위치에 배치된 복수의 카메라 및 본체의 상이한 위치에 배치된 복수의 소리 감지 센서를 포함하는 로봇의 제어 방법일 수 있다.

도 7에 따르면, 복수의 소리 감지 센서 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면(S710), 구조 요청 소리가 발생되는 위치를 식별한다(S720).

이어서, 복수의 카메라 중 특정 위치에 배치된 카메라가 식별된 위치를 촬영하도록 제어한다(S730).

이 후, 복수의 카메라를 통해 획득된 복수의 촬영 영상을 사용자 단말로 전송한다(S740).

여기서, 복수의 카메라 중 특정 위치에 배치된 카메라는, 로봇의 중앙에 배치된 메인 카메라이고, 나머지 카메라는, 전방 및 후방을 촬영하도록 배치된 카메라일 수 있다. 이 경우, S730 단계에서는, 메인 카메라를 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 식별된 위치를 촬영할 수 있다.

또한, 복수의 소리 감지 센서는, 메인 카메라를 기준으로 기 설정된 각도 간격으로 배치되어 상이한 방향의 소리를 감지할 수 있다.

또한, S720 단계에서는 복수의 소리 감지 센서를 통해 획득된 소리의 크기에 기초하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

또한, S720 단계에서는 복수의 소리 감지 센서를 통해 획득된 소리에서 노이즈를 제거하고, 노이즈가 제거된 소리에 포함된 음성의 특성에 기초하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

또한, S720 단계에서는 복수의 소리 감지 센서를 통해 획득된 소리를 학습된 인공 지능 모델에 입력하여 구조 요청 소리에 대응되는지 여부를 판단할 수 있다.

상술한 다양한 실시 예에 따르면, 로봇이 구조 요청 소리를 자동으로 탐지할 수 있게 된다. 또한, 로봇을 원격 조정하여 사람이 직접 들어가기 힘든 공간에 로봇을 들여 보낼 수 있으므로, 인명 구조에 유용하게 이용될 수 있다. 또한, 늦은 새벽 조용한 구역을 방범, 순찰 하는데 유용하게 이용될 수 있다. 또한, 사람의 발길이 닿지 않은 탐사 지역에 로봇을 사전 답사로 활용할 수 있게 된다.

한편, 상술한 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 발명의 다양한 실시 예들에 따른 방법들은 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망) 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.

또한, 상술한 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.

또한, 상술한 본다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.

한편, 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 로봇 200: 사용자 단말

Claims (10)

1. 로봇에 있어서,
   본체;
   상기 본체의 상이한 위치에 배치된 복수의 카메라;
   상기 본체의 상이한 위치에 배치된 복수의 소리 감지 센서;
   통신 인터페이스; 및
   상기 복수의 카메라를 통해 획득된 복수의 촬영 영상을 상기 통신 인터페이스를 통해 사용자 단말로 전송하는 프로세서;를 포함하며,
   상기 프로세서는,
   상기 복수의 소리 감지 센서 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면, 상기 구조 요청 소리가 발생되는 위치를 식별하고,
   상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어하는, 로봇.
2. 제1항에 있어서,
   상기 복수의 카메라 중 특정 위치에 배치된 카메라는,
   상기 로봇의 중앙에 배치된 메인 카메라이고,
   상기 복수의 카메라 중 나머지 카메라는,
   전방 및 후방을 촬영하도록 배치된 카메라이며,
   상기 프로세서는,
   상기 메인 카메라를 상기 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 상기 식별된 위치를 촬영하는, 로봇.
3. 제2항에 있어서,
   상기 복수의 소리 감지 센서는,
   상기 메인 카메라를 기준으로 기 설정된 각도 간격으로 배치되어 상이한 방향의 소리를 감지하는, 로봇.
4. 제1항에 있어서,
   상기 프로세서는,
   상기 복수의 소리 감지 센서를 통해 획득된 소리의 크기에 기초하여 상기 구조 요청 소리에 대응되는지 여부를 판단하는, 로봇.
5. 제1항에 있어서,
   상기 프로세서는,
   상기 복수의 소리 감지 센서를 통해 획득된 소리에서 노이즈를 제거하고, 노이즈가 제거된 소리에 포함된 음성의 특성에 기초하여 상기 구조 요청 소리에 대응되는지 여부를 판단하는, 로봇.
6. 제1항에 있어서,
   상기 프로세서는,
   상기 복수의 소리 감지 센서를 통해 획득된 소리를 학습된 인공 지능 모델에 입력하여 상기 구조 요청 소리에 대응되는지 여부를 판단하는, 로봇.
7. 제1항에 있어서,
   상기 프로세서는,
   실종자의 음성 정보 또는 실종자의 외형 정보 중 적어도 하나에 기초하여 실종자의 위치가 식별되면, 상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어하고, 실종자가 식별되었음을 알리는 정보를 상기 사용자 단말로 전송하고,
8. 제7항에 있어서,
   상기 사용자 단말은,
   상기 촬영 영상이 표시되는 화면에 실종자가 식별되었음을 인디케이팅하는 비주얼 알림 또는 실종자의 외형 정보가 식별되었음을 나타내는 텍스트 정보 중 적어도 하나를 제공하는, 로봇.
9. 본체, 상기 본체의 상이한 위치에 배치된 복수의 카메라 및 상기 본체의 상이한 위치에 배치된 복수의 소리 감지 센서를 포함하는 로봇의 제어 방법에 있어서,
   상기 복수의 소리 감지 센서 중 적어도 하나의 센서를 통해 획득된 소리가 구조 요청 소리에 대응되는 것으로 판단되면, 상기 구조 요청 소리가 발생되는 위치를 식별하는 단계;
   상기 복수의 카메라 중 특정 위치에 배치된 카메라가 상기 식별된 위치를 촬영하도록 제어하는 단계; 및
   복수의 카메라를 통해 획득된 복수의 촬영 영상을 사용자 단말로 전송하는 단계;를 포함하는 제어 방법.
10. 제9항에 있어서,
    상기 복수의 카메라 중 특정 위치에 배치된 카메라는,
    상기 로봇의 중앙에 배치된 메인 카메라이고,
    상기 복수의 카메라 중 나머지 카메라는,
    전방 및 후방을 촬영하도록 배치된 카메라이며,
    상기 식별된 위치를 촬영하도록 제어하는 단계는,
    상기 메인 카메라를 상기 구조 요청 소리가 발생되는 위치 방향으로 자동 회전시켜 상기 식별된 위치를 촬영하는, 제어 방법.

Images